。。。
随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的寻衅。搜索引擎，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个赞助人们检索信息的工具成为用户访问万维网的入口和指南。
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更常常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。其余一些不常利用的名字还有蚂蚁、自动索引、仿照程序或者蠕虫。
。。。
“入门”是良好的动机，但是可能浸染缓慢。如果你手里或者脑筋里有一个项目，那么实践起来你会被目标驱动，而不会像学习模块一样逐步学习。
其余如果说知识体系里的每一个知识点是图里的点，依赖关系是边的话，那么这个图一定不是一个有向无环图。由于学习A的履历可以帮助你学习B。因此，你不须要学习怎么样“入门”，由于这样的“入门”点根本不存在！
你须要学习的是怎么样做一个比较大的东西，在这个过程中，你会很快地学会须要学会的东西的。当然，你可以辩论说须要先懂python，不然怎么学会python做爬虫呢？但是事实上，你完备可以在做这个爬虫的过程中学习python。
本次学习的环境是基于Python 3.3.5，实验的工具是Pycharm 5.0.1
根本的知识我就不再先容，比如HTTP的根本知识、爬虫的干系背景 。
常见的urllib2库在Python3.X的版本中改名啦！
叫urllib.request了！
urlopen()可以吸收三个参数即urlopen(url, data, timeout)
url即你要要求的url地址，data是访问这个url须要传送的数据，timeout是超时时间
url是必填参数，别的两个是可选参数
urllib.request.urlopen(url)会返回一个http.client.HTTPResponse工具
这个返回的工具可以利用read()方法，来返回数据。
。。。
所有的爬虫的backbone都在这里，下面剖析一下为什么爬虫事实上是个非常繁芜的东西——搜索引擎公司常日有一全体团队来掩护和开拓。
2）效率
如果你直接加工一下上面的代码直接运行的话，你须要一整年才能爬下全体豆瓣的内容。更别说Google这样的搜索引擎须要爬下全网的内容了。
问题出在哪呢？须要爬的网页实在太多太多了，而上面的代码太慢太慢了。设想全网有N个网站，那么剖析一下判重的繁芜度便是Nlog(N)，由于所有网页要遍历一次，而每次判重用set的话须要log(N)的繁芜度。OK，OK，我知道python的set实现是hash——不过这样还是太慢了，至少内存利用效率不高。
常日的判重做法是若何呢？Bloom Filter. 大略讲它仍旧是一种hash的方法，但是它的特点是，它可以利用固定的内存（不随url的数量而增长）以O(1)的效率剖断url是否已经在set中。可惜天下没有白吃的午餐，它的唯一问题在于，如果这个url不在set中，BF可以100%确定这个url没有看过。但是如果这个url在set中，它会见告你：这个url该当已经涌现过，不过我有2%的不愿定性。把稳这里的不愿定性在你分配的内存足够大的时候，可以变得很小很少。一个大略的教程:Bloom Filters by Example
把稳到这个特点，url如果被看过，那么可能以小概率重复看一看（没紧要，多看看不会累去世）。但是如果没被看过，一定会被看一下（这个很主要，不然我们就要漏掉一些网页了！
）。 [IMPORTANT: 此段有问题，请暂时略过]
好，现在已经靠近处理判重最快的方法了。其余一个瓶颈——你只有一台机器。不管你的带宽有多大，只要你的机器下载网页的速率是瓶颈的话，那么你只有加快这个速率。用一台机子不足的话——用很多台吧！
当然，我们假设每台机子都已经进了最大的效率——利用多线程（python的话，多进程吧）。
3）集群化抓取
爬取豆瓣的时候，我统共用了100多台机器昼夜一直地运行了一个月。想象如果只用一台机子你就得运行100个月了...
那么，假设你现在有100台机器可以用，怎么用python实现一个分布式的爬取算法呢？
我们把这100台中的99台运算能力较小的机器叫作slave，其余一台较大的机器叫作master，那么回顾上面代码中的url_queue，如果我们能把这个queue放到这台master机器上，所有的slave都可以通过网络跟master联通，每当一个slave完成下载一个网页，就向master要求一个新的网页来抓取。而每次slave新抓到一个网页，就把这个网页上所有的链接送到master的queue里去。同样，bloom filter也放到master上，但是现在master只发送确定没有被访问过的url给slave。Bloom Filter放到master的内存里，而被访问过的url放到运行在master上的Redis里，这样担保所有操作都是O(1)。（至少平摊是O(1)，Redis的访问效率见:LINSERT – Redis)
考虑如何用python实现：
在各台slave上装好scrapy，那么各台机子就变成了一台有抓取能力的slave，在master上装好Redis和rq用作分布式行列步队。
——————————————————————————————————————————
下面是所有的源代码，在Python3环境中可以直接运行！
以上是全部代码！
以上是全部代码，只是长于分享，不敷之处请包涵！
爬虫基本的事理便是，获取源码，进而获取网页内容。一样平常来说，只要你给一个入口，通过剖析，可以找到无限个其他干系的你须要的资源，进而进行爬取。
我也写了很多其他的非常大略的入门级的爬虫详细教程，关注后，点击我的头像，就可以查看到。
