当搜索爬虫访问一个站点时，它首先会检讨这个站点根目录下是否存在robots.txt文件，如果存在，搜索爬虫会根据个中定义的爬取范围来爬取。如果没有找到这个文件，搜索爬虫便会访问所有可直接访问的页面。
下面我们看一个robots.txt的样例：
User-agent: Disallow: /Allow: /public/
这实现了对所有搜索爬虫只许可爬取public目录的功能，将上述内容保存成robots.txt文件，放在网站的根目录下，和网站的入口文件（比如index.php、index.html和index.jsp等）放在一起。
上面的User-agent描述了搜索爬虫的名称，这里将其设置为则代表该协议对任何爬取爬虫有效。比如，我们可以设置：
User-agent: Baiduspider
这就代表我们设置的规则对百度爬虫是有效的。如果有多条User-agent记录，则就会有多个爬虫会受到爬取限定，但至少须要指定一条。
Disallow指定了不许可抓取的目录，比如上例子中设置为/则代表不许可抓取所有页面。
Allow一样平常和Disallow一起利用，一样平常不会单独利用，用来打消某些限定。现在我们设置为/public/，则表示所有页面不许可抓取，但可以抓取public目录。
下面我们再来看几个例子。禁止所有爬虫访问任何目录的代码如下：
User-agent: Disallow: /
许可所有爬虫访问任何目录的代码如下：
User-agent: Disallow:
其余，直接把robots.txt文件留空也是可以的。
禁止所有爬虫访问网站某些目录的代码如下：
User-agent: Disallow: /private/Disallow: /tmp/
只许可某一个爬虫访问的代码如下：
User-agent: WebCrawlerDisallow:User-agent: Disallow: /
这些是robots.txt的一些常见写法。
爬虫名称大家可能会迷惑，爬虫名是哪儿来的？为什么就叫这个名？实在它是有固定名字的了，比如百度的就叫作BaiduSpider。表3-1列出了一些常见的搜索爬虫的名称及对应的网站。
表3-1 一些常见搜索爬虫的名称及其对应的网站
robotparser
理解Robots协议之后，我们就可以利用robotparser模块来解析robots.txt了。该模块供应了一个类RobotFileParser，它可以根据某网站的robots.txt文件来判断一个爬取爬虫是否有权限来爬取这个网页。
该类用起来非常大略，只须要在布局方法里传入robots.txt的链接即可。首先看一下它的声明：
urllib.robotparser.RobotFileParser(url='')
当然，也可以在声明时不传入，默认为空，末了再利用set_url()方法设置一下也可。
下面列出了这个类常用的几个方法。
set_url()：用来设置robots.txt文件的链接。如果在创建RobotFileParser工具时传入了链接，那么就不须要再利用这个方法设置了。
read()：读取robots.txt文件并进行剖析。把稳，这个方法实行一个读取和剖析操作，如果不调用这个方法，接下来的判断都会为False，以是一定记得调用这个方法。这个方法不会返回任何内容，但是实行了读取操作。
parse()：用来解析robots.txt文件，传入的参数是robots.txt某些行的内容，它会按照robots.txt的语法规则来剖析这些内容。
can_fetch()：该方法传入两个参数，第一个是User-agent，第二个是要抓取的URL。返回的内容是该搜索引擎是否可以抓取这个URL，返回结果是True或False。
mtime()：返回的是上次抓取和剖析robots.txt的韶光，这对付永劫光剖析和抓取的搜索爬虫是很有必要的，你可能须要定期检讨来抓取最新的robots.txt。
modified()：它同样对永劫光剖析和抓取的搜索爬虫很有帮助，将当前韶光设置为上次抓取和剖析robots.txt的韶光。
下面我们用实例来看一下：
from urllib.robotparser import RobotFileParserrp = RobotFileParser()rp.set_url('http://www.jianshu.com/robots.txt')rp.read()print(rp.can_fetch('', 'http://www.jianshu.com/p/b67554025d7d'))print(rp.can_fetch('', "http://www.jianshu.com/search?q=python&page=1&type=collections"))
这里以简书为例，首先创建RobotFileParser工具，然后通过set_url()方法设置了robots.txt的链接。当然，不用这个方法的话，可以在声明时直接用如下方法设置：
rp = RobotFileParser('http://www.jianshu.com/robots.txt')
接着利用can_fetch()方法判断了网页是否可以被抓取。
运行结果如下：
TrueFalse
这里同样可以利用parse()方法实行读取和剖析，示例如下：
from urllib.robotparser import RobotFileParserfrom urllib.request import urlopenrp = RobotFileParser()rp.parse(urlopen('http://www.jianshu.com/robots.txt').read().decode('utf-8').split('\n'))print(rp.can_fetch('', 'http://www.jianshu.com/p/b67554025d7d'))print(rp.can_fetch('', "http://www.jianshu.com/search?q=python&page=1&type=collections"))
运行结果一样：
TrueFalse
本节先容了robotparser模块的基本用法和实例，利用它，我们可以方便地判断哪些页面可以抓取，哪些页面不可以抓取。
【上节】「从零开始Python爬虫」3.1.3 如何利用urllib库解析链接
