机器人是Robot英文直译，在搜索引擎优化SEO中，我们经常翻译为:探测器。有时，你会碰到crawlew（爬行器），spider（蜘蛛），都是探测器之一，只是叫法不同。

google蜘蛛： googlebot

百度蜘蛛：baiduspider

yahoo蜘蛛：slurp

alexa蜘蛛：ia_archiver

msn蜘蛛：msnbot

altavista蜘蛛：scooter

lycos蜘蛛： lycos_spider_(t-rex)

alltheweb蜘蛛： fast-webcrawler/

inktomi蜘蛛： slurp

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

User-agent:描述搜索引擎robot的名字

即 : 你可以指定该规则只对baidu 或者google 或者其它指定搜索引擎有效 可用通配符 *表示全部

Disallow: 描述不希望被访问的一组URL

设定禁止访问的部分，可以用完整url ， 也可以用相对路径，可以是单个目文件，也可以是整个文件夹，也可以用通配符限定指定类型

Allow: 描述希望被访问的一组URL

设定允许访问的部分，不过因为默认是全部允许的，这个语法通常是配合disallow使用的，用它来完成 如“除了xxx.html该目录下全部不能访问”这样的设定。 要注意的是allow和disallow的顺序是有讲究的，搜索引擎会以它先看到的规则为判断标准。

关于通配符

我们在进行网站优化的时候，很多时候需要把一些无用连接，及二级目录，还有一些重要的文件，如后台管理，这些我们都是不希望蜘蛛抓取到的，我们可以使用robots进行屏蔽，以防权重丢失或一些重要的文件被别人看到！

例1. 禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /

例2. 允许所有的搜索引擎访问

User-agent: *

Allow: /

或者

可以建一个空文件 “robots.txt“里面什么都不要写

例3. 仅禁止百度抓取网站所有文件

User-agent: Baiduspider

Disallow: /

例4. 仅允许百度访问网站

User-agent: Baiduspider

Allow: /

User-agent: *

Disallow: /

例5. 禁止搜索引擎抓取特定目录

在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /joe/

例6. 只允许搜索引擎抓取cgi-bin目录下的see目录中的部分url

User-agent: *

Allow: /cgi-bin/see

Disallow: /cgi-bin/

例7. 禁止抓取/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)

User-agent: *

Disallow: /cgi-bin/*.htm

例8. 仅允许抓取以”.gif”为后缀的URL

User-agent: *

Allow: .gif$

Disallow: /

例9. 禁止抓取网站中所有的动态页面

User-agent: *

Disallow: /*?*

例10. 仅禁止百度抓取.jpg格式图片

User-agent: Baiduspider

Disallow: .jpg$

例11、allow:（允许语法）用来定义允许蜘蛛爬取的页面或子目录

例：禁止百度收录admin的文件夹,允许收录admin文件中的/a.asp/b.asp

User-agent:Baiduspider

Disallow:/admin/

Allow:/admin/a.asp

Allow:/admin/b.asp

例12、”$” 匹配行结束符 ”*” 匹配0或多个任意字符

例:屏蔽百度蜘蛛以.php结束的所有页面

User-agent: Baiduspider

Disallow:.php$

或者User-agent: Baiduspider

Disallow:/*.php

“每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该做网站中添加一个robots.txt。”

关于这一点呢，我个人是不太认可的，这么多年过去了，搜索引擎没理由连这么简单的404都无法分辨出来的， 我并不是在否认这段话，

google对于一个网站的评价标准有很多， 一个网站是否存在sitemap，必然也是该站是否完整的衡量标准之一（纯属个人猜测），所以，我不认可的只是404。

此外，robots.txt可以有效的节省你的流量。

我相信很多草根站长都是从虚拟空间开始起家的，一开始的流量，带宽都是有限制的，而搜索引擎对网站的抓取必然也是要占用流量的，所以避免搜索引擎“无效的抓取”就显得十分重要了，如，缓存文件，临时文件，上传文件夹，用户中心 等feimlww1027， 屏蔽掉这些文件目录，一方面能降低流量消耗，另一方面偶尔也能保证收录的质量（临时页面如果和实际文件内容类似 搜索引擎会有点迷惑的）。