——写在前面的话
相信大家前段韶光肯定看到一篇文章名为《只因写了一段爬虫，公司200多人被抓！
》的公众年夜众号文章（文章的描述已经显而易见，大家都非常清楚了）
https://mp.weixin.qq.com/s/bvSnLrgqaW57vISHEajqqQ
可以说，由于这事闹的民气惶惶，沸沸扬扬，为此，致使一些三线二线的个别爬虫工程师急迫转行，其次，还有一些朋友对自己所学的爬虫技能感到担忧和惶恐。
实在，每个人都会有这种当心生理。不过大可不必弄出转行这样的大阵仗，我们更多的还是要从业务本身出发，既要增强自己的业务能力，也有熟知互联网法律法规。虽然我个人学的不是爬虫这个技能，但是我平时也酷爱学习爬虫的一些小项目和小玩意儿，虽然比起我花在算法长进修的韶光比例会少很多，不过我个人喜好考试测验一些新鲜的技能以充足自己的业务水平，从这一点来看，大多数工程师都会有这种业务方向。当然，与那些站在互联网一线的爬虫工程师和大佬来说，我只不过是大海里的一滴水，水点的数量还不足罢了。
说到上面这件事，实在归根结底还是有些公司和公司职员他们对法律缺少足够的认识，公司对付员工的法律宣扬以及业务操守没能达到潜移默化的浸染，尤其是互联网的法律法规的干系条例的传达和思想事情没能及时到位，当然，这些不能总依赖公司，紧张还是看个人的悟性，既然自己已经干了这一行就该当对这个行业的法律知识有所理解和学习。为此，我们作为这个时期科技创新和技能研发中的一员，要时候遵守互联网法律法规，做好自己的本职事情，多多为社会做着力所能及的贡献。
文章目录：
——写在前面的话
1——抓图神器
（1）抓取工具：sogou图库http://pic.sogou.com/
（2）抓取种别：进入sogou壁纸
（3）用requests提取图片组件
（4）找到图片的真正的url
（5）批量抓取图片成功
下面开始学习我们本日的内容~~
1——抓图神器
我一贯喜好的一个Google图片抓取插件名叫ImageAssistant
目前用户量为114567，可以说已经是很不错了
它的事情事理与Python批量抓取图片千篇一律
我并非是为Google打广告,我只是以为好用就分享给大家，以提升大家的办公效率，当然本节最主要的还是要学Python批量抓取图片的事理和方法。
下面大略先容一下该插件的利用方法，安装插件之后记得选择你存放文件的地方，并在Google设置下的下载讯问访问关闭
（不然每次都要按保存，非常麻烦，如果有100张图片你肯定会按100次）
安装好插件之后，下面大略用视频演示一下抓取过程
例如：去微博抓鞠婧祎小姐姐的图片，
进去之后，鼠标右键单击IA工具就可以
2——利用Python批量抓取图片
注：文中的抓意为“爬”
(1)抓取工具：sogou图库http://pic.sogou.com/
(2)抓取种别：进入sogou壁纸，打开网页源代码（快捷键为F12）
由于我利用的是Google chrome浏览器，以是要找到img标签
(3)用requests提取图片组件
抓取思路与库文件requests的利用
可以创造图片src存在于img标签下，于是用 Python 的 requests提取该组件，从而获取img的src，然后利用库 urllib.request.urlretrieve逐个下载图片，进而达到批量获取资料的目的。
开始抓取第一步:
（注：Network-->headers，然后用鼠标点击左边菜单栏（地址栏）里的图片链接，然后再headers里找到图片url）
下面根据上述思路爬取我们想要的结果：经由查找网页代码下得到搜狗图片的url为
http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD
这里的url来自进入分类后的地址栏（如上图）。
阐发源码 阐发上述的url指向的网页
import requests #导入库requestsimport urllib #导入库requests下面的urllibfrom bs4 import BeautifulSoup #利用BeautifulSoup，关于这个的用法请查看本公众年夜众号往期文章#下面填入urlres = requests.get('http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD')soup = BeautifulSoup(res.text,'html.parser')print(soup.select('img')) #图片打印格式
实行结果
从上述的实行结果来看，打印的输出内容并没有包含我们要的图片元素，而是只阐发到tupian130x34_@1x（或指网页中的logo）的img，显然不是我们想要的。也便是说须要的图片资料不在url下，也便是不不才面的url里面
http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD。
因此，下面须要找到图片不在url里面的缘故原由并改进。
开始抓取第二步:
考虑可能该图片元素是动态的，细心的人可能会创造，当在网页内，向下滑动鼠标滚轮，图片是动态刷新出来的，也便是说，该网页并不是一次加载出全部资源，而是动态加载资源。这也避免了由于网页过于臃肿，而影响加载速率。
（4）找到图片的真正的url
要找到所有图片真正的url ，这个彷佛有点难度，不过在本项目中小试牛刀也不是不可以。在后面的学习中经由不断的研讨，对与这类业务能力我想都会逐渐提高得。
类似开始抓取第一步中的“注”我们找到位置：
F12——>>Network——>>XHR——>>(点击XHR下的文件)——>>Preview
（注：如果没有创造Preview里的内容可滚动左边地址栏或点击图片链接）
从上图创造，彷佛图片中的信息便是我们须要的元素了，点开all_items 创造下面是0 1 2 3...一个一个的貌似是图片元素的数据。
试着打开一个url。创造真的是图片的地址
我们可以任意在里面选取一个图片的地址以验证是否为图片的所在地：
https://img02.sogoucdn.com/app/a/100520076/60d0bc82efd7bd55a716f28a04822f76
将该地址粘贴到浏览器搜索就得到如下结果，解释这个地址的url便是我们找的
上面找到图片的目标之后，我们点击XHR下的Headers，也便是第二行
Request URL:
https://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=180&len=15&width=1366&height=768
试着去掉一些不必要的部分，删掉上面的部分之后，访问不受影响。
（删除的位置是类似相同的地方，牢记后面长宽高不用删）
例如：删除“=%E5%A3%81%E7%BA%B8&tag”得到
https://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%85%A8%E9%83%A8&start=180&len=15&width=1366&height=768
复制该网站到浏览者访问得到如下的结果：
个中url里的category为分类，start为开始下标，len为长度，也即图片的数量。
此外，在imges下的时候要把稳url内容的填写（并不是直接把url直接复制过来）
换成“+”的情形
(5)批量抓取图片成功
如果你的电脑没有库文件requests就要记得cmd命令安装一下：
pip install requests
末了，经不断整理后源码如下：
import requestsimport json #利用json码import urllibdef getSogouImag(category,length,path): n = length cate = category #分类 imgs = requests.get('http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category='+cate+'&tag=%E5%85%A8%E9%83%A8&start=0&len='+str(n)) jd = json.loads(imgs.text) jd = jd['all_items'] imgs_url = [] #在url获取图片imgs for j in jd: imgs_url.append(j['bthumbUrl']) m = 0 for img_url in imgs_url: print(' '+str(m)+'.jpg '+' Downloading...') urllib.request.urlretrieve(img_url,path+str(m)+'.jpg') m = m + 1 print('Download complete!')getSogouImag('壁纸',2000,'F:/Py666/抓图/') #抓取后图片存取确当地位置
实行程序：去指定的位置就找到了图片存在的位置，这样就大功告成了。
——完结——
Hi!
投稿--->展示你的才华
请发邮件到
kangsinx@yeah.net
标题注明【投稿】
见告我们
你是谁，从哪来，投什么
我们会及时回答你
