而对付我们这些负责做站的wordpress站长们，只希望搜索引擎们快速地抓取我们的web前端页面，以利于我们wordpress网站的自然排名，而不是让蜘蛛们把韶光摧残浪费蹂躏在我们的那些后端代码文件上。以是，我们就要为我们的wordpress网站添加一个限定蜘蛛爬取的文件（robots.txt），规定蜘蛛可以爬取哪些地方，哪些地方不让它们进去，即是给我们的wordpress网站请了一个门卫。那么，若何写这个robots.txt文件内容呢？
一、wordpress自动创建的robots.txt。
一样平常情形下，在我们为网站安装好wordpress程序后，wordpress会网站根目录自动为我们的网站创建一个robots.txt文件（如下图）。
我们可以看到，wordpress程序只是为网站的robots.txt文件添加了3句大略的代码：
User-agent:
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
从上面的代码中，wordpress不许可搜索引擎蜘蛛爬取/wp-admin/目录，但许可蜘蛛爬取/wp-admin/admin-ajax.php文件。
二、手动修正worddpress网站的robots.txt文件内容。
在wordpress程序自动创建的robots.txt文件代码，显然不能知足我们网站的哀求。作为资深的wordpress站长，我们当然理解，我们的wordpress网站哪些地方是不能让搜索引擎蜘蛛爬取的，如： wordpress程序的核心文件目录/wp-admin/和/wp-includes/、我们给网站安装的插件目录/wp-content/plugins/和wordpress主题模板目录/wp-content/themes/。当然，每一个wordpress站长，可能都有这样那样的不想让搜索引擎爬取的地方。
下面是锐锋 堂 网站的robots.txt内容：
User-Agent: （星号，表示许可以是的搜索引擎蜘蛛）
Disallow: /wp-admin/ （disallow 表示不许可，不许可爬取/wp-admin/核心文件目录)
Disallow: /wp-includes/ （不许可爬取/wp-includes/核心文件目录)
Disallow: /wp-content/plugins （不许可爬取wordpress插件目录)
Disallow: /wp-content/themes （不许可爬取wordpress主题目录)
Disallow: /plus/ad_js.php （不许可爬取这个PHP文件)
Disallow: /plus/posttocar.php
Disallow: /anli/weixin （其它目录）
Disallow: /themes
Disallow: /get_activation
Disallow: /? （不许可蜘蛛爬取URL中带问号的链接)
Disallow: /& （不许可蜘蛛爬取URL中带&的链接)
Disallow: /.rar （不许可蜘蛛爬取rar后缀的文件)
Disallow: /.zip （不许可蜘蛛爬取zip后缀的压缩文件)
Sitemap: http : //wanlimm . com/sitemap.html （许可蜘蛛爬取网站静态舆图)
Sitemap: http : //wanlimm . com/sitemap.xml （许可蜘蛛爬取sitemap网站舆图)
三、robots.txt关键词的大略讲授。
上面，只是对锐锋堂的robots.txt文件代码进行一次讲授。作为wordpress站长的你，该当根据自己网站的不同情形，在自己网站的robots.txt文件中添加对应的代码。实在，robots.txt代码的规则还是非常大略的，就那么几个关键词：User-Agent（搜索引擎蜘蛛名）、Disallow（不许可）、Allow（许可）、Sitemap（指定网站的舆图文件）。
如果我们只想让百度蜘蛛爬取我们的wordpress网站，而不让其它的搜索引擎蜘蛛进我的网站爬取，我们可以把上面代码中的User-Agent: 修正成 User-Agent:baiduspider 。
其余，“Disallow: /wp-admin/” 与 “Disallow: /wp-admin”也表示不同的意思，虽然后面的只少了一个斜杠。“Disallow: /wp-admin/”表示禁止搜索引擎蜘蛛爬取网站wp-admin目录下的目录，但include目录中的文件仍旧可以爬取；而“Disallow: /wp-admin”表示禁止搜索引擎蜘蛛爬取网站wp-admin全体目录，包括其下的所有文件。
如果想禁止搜索引擎蜘蛛爬取全站，可以用 Disallow: / ；
如果想许可搜索引擎蜘蛛可以爬取全站，可以用Allow:/；
如果想禁止搜索引擎蜘蛛爬取wordpress网站的全部PHP文件，可以用Disallow: /.php 。
以上便是我们本日先容的所有内容——如何为我们的wordpress网站添加robots.txt文件？每一个wordpress网站，可能的限定不一样，以是，我们都要根据自己网站情形，做出相应的修正，以达到最佳效果。把稳：Disallow: /可千万要小心用哦，除非在我们wordpress网站的建站初期——网站还在培植当中，不肯望搜索引擎来打扰。但一定要记住，等网站做好了，一定要去掉这个Disallow: / 。
