Robots也称做爬虫协议，写法是robots.txt（不用写成Robots.txt），一定要放在网站根目录，其他目录无效。
搜索引擎爬虫访问/抓取网站首先访问的便是robots.txt文件，其次才是index.html/index.php、网站目录等。
网站通过robots协议见告搜索引擎哪些页面可以抓取，哪些页面不能抓取。
很多人知其一不知其二，懂得一些大略写法用法。
但有些人仍旧有所忽略，那便是涉及安全隐私的问题。

以下是个人写法，仅供参考：

User-agent: 搜索引擎的标识，代表包括百度、谷歌等任意引擎。
要详细指定的话这里不详述了。

html文件禁止访问目录应用robots引诱SEO搜刮引擎许可制止拜访网站目次或文件 AJAX

Disallow: /a/ 禁止以“a”适配开头的目录下的访问，例如：admin/index.html 是不能访问的。

Disallow: /C/ 同上，这个大写的C，要把稳区分大小。

Disallow: /js/ 禁止访问js目录的任何

Disallow: /? 禁止包含 ? 的网址，如：www.haook.cn/abc?id=88或www.haook.cn/aa?cc=2 这样的形式。

Disallow: /.jpg$ 禁止访问以.jpg结尾的所有图片

Sitemap: <http://www.haook.cn/sitemap.xml> 许可访问这个网站舆图文件。

这里说要把稳的便是要利用网站舆图指令，用\公众<>\公众将网站舆图的URL地址包裹，有些人说不用加，这你看着办吧。

用适配符号以防止黑客或恶意攻击的行为，你认为不主要的就不要用了，直接写上全名即可，如“/js/”。

部分像谷歌搜索引擎还支持网页内写上 <meta name=\"大众robots\"大众 content=\公众noindex,nofollow\公众 /> 来实现其功能。

把稳：对付访问您网站的抓取工具来说robots.txt 命令仅仅只是指令,robots.txt 文件中的命令并不能逼迫抓取工具对您的网站进行相应的抓取操作。