robots.txt 配置实战指南：规则、写法与常见坑一次说清

📍 WDQWDWQD987AAAAA:216.73.216.226
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /a5780e4bf3f1.html
📄

搭建网站时，robots.txt 常常是被忽略却又至关重要的一环。这份放在根目录的纯文本文件，直接决定了搜索引擎爬虫如何访问你的站点。配置得当，能有效节省服务器资源，引导爬虫优先抓取重要内容；配置失误，轻则收录不全，重则可能让整站从搜索结果中消失。下面这份指南会从基础语法讲到进阶技巧，帮助你避开那些容易踩中的雷区。

1. robots.txt 的现实作用与边界

简单来说，robots.txt 就是网站和搜索引擎爬虫之间的一份公开协议。它告诉 Googlebot、Bingbot 或百度蜘蛛：哪些区域你可以进，哪些地方请止步。它更像是一份君子协定，而非强制的安全锁。

在实际运营中，它最常见的用途包括：

• 隔离后台登录页、测试环境或尚未完成的页面，防止其被索引到搜索结果里。
• 屏蔽带有复杂参数的链接，避免爬虫因抓取大量相似内容而白白消耗资源。
• 在文件中注明 Sitemap 的具体地址，等于给爬虫画了一张清晰的寻宝图，加速新内容的发现。

要特别留意的是，这份文件对所有人都是公开的。任何访客都能在浏览器地址栏输入你的域名加上 /robots.txt 查看全部内容。因此，那些包含用户数据、订单信息或会员专属资源的路径，绝不能只靠 robots.txt 做防护，必须借助服务器端的权限验证或登录机制来兜底。

2. 核心语法与指令全解析

这套语法非常简洁，每一行由“字段名: 值”构成，一行只表达一条规则。字段名不区分大小写，但冒号后面的路径是严格区分大小写的。

2.1 必备的五大字段

• User-agent：指定这条规则针对哪个爬虫，例如 Googlebot 或 Baiduspider。用星号 * 则代表适用于所有未被单独列出的爬虫。建议先写针对特定爬虫的规则，再用 * 兜底。
• Disallow：禁止抓取的路径。如果填写一个斜杠 /，意味着屏蔽整个站点，操作前务必想清楚。
• Allow：用来在 Disallow 的范围内开放一个例外，实现更细致的控制，让某些具体的文件或子目录能被访问。
• Crawl-delay：向爬虫建议抓取请求之间的间隔秒数，常用于减轻服务器压力。需要提醒的是，Google 早已不响应这项指令，百度也仅部分支持，无法依赖它精确控速。
• Sitemap：声明网站地图的完整绝对 URL，这对大型网站或新站点非常友好，能引导爬虫直接定位内容清单。

2.2 通过一个例子看懂组合逻辑

我们来看一组常见配置：

User-agent: *
Disallow: /admin/
Allow: /admin/login.html
Sitemap: https://www.example.com/sitemap.xml

这段规则表达了：所有未特殊指定的爬虫都不得进入 admin 目录；但登录页面被特意放行，方便它正常返回状态码；同时，站点地图的地址被通告给了所有爬虫，引导其高效抓取。

3. 从零开始规划你的 robots.txt

写这个文件并不难，难的是清楚地知道你要屏蔽什么。建议动手之前，先花十分钟梳理清楚站点的目录结构。

3.1 推荐的四步编写流程

1. 先梳理需要隔离的路径。打开网站后台，记录那些不希望被外界看到的功能目录，比如后台管理系统、用户中心、购物车结算流程等。
2. 确定是精准屏蔽还是全站放开。如果站点内容不多且都值得收录，Disallow 留空即可；而内容冗余较多时，则需要列出具体的屏蔽目录。
3. 注意路径匹配的精度。Disallow: /shop 会屏蔽所有以 shop 开头的路径，比如 shop-old、shopify-test 也会被误伤；如果想精确匹配目录，必须写成 /shop/ 这种带斜杠的格式。
4. 写完保存后，必须通过浏览器的无痕模式访问测试。输入 https://你的域名/robots.txt，确认内容正确无误，再通过搜索引擎站长工具查看爬虫的抓取状态。

4. 从入门到进阶的实用建议

有些人认为 robots.txt 能杜绝页面被收录，这是一个危险的想法。实际上，如果 A 页面在别的网站有外部链接，爬虫照样可能抓取它，只是不会建立索引，这在搜索结果里表现为“已抓取未收录”。如果某些内容确实不便公开，请务必加上 noindex 标签或登录验证，双管齐下才稳妥。

在处理动态参数时更是要有耐心。例如 URL 中带有 ?sort= 或 ?ref= 这类追踪参数，如果不加限制，爬虫可能会陷入抓取无底洞。常见做法是屏蔽包含特定参数的文件，例如 Disallow: /*?sort=，有效避免大量重复内容的抓取压力。

还有一点容易被忽略：修改 robots.txt 后，搜索引擎重新评估需要时间，通常是以周为单位。不要指望上午改完下午就能看到效果，可以借助站长工具里的“抓取测试”功能，主动提交新的规则文件等待反馈。

5. 常见问题解答

5.1 为什么我屏蔽了路径，页面还是出现在搜索结果里？

当页面已被搜索引擎收录，你才加上屏蔽规则，它并不会立刻消失。robots.txt 只管“不让新抓取”，并不负责“删除已收录内容”。正确的做法是先用站长工具提交删除请求，或者在该页面的 HTML 头部添加 noindex 标签，等待搜索引擎处理后再移除规则。

5.2 WordPress 这类建站系统需要改动 robots.txt 吗？

很多 CMS 默认生成的 robots.txt 是允许抓取全部内容的，所以完全可以直接用模板。但如果你装了很多插件，产生了大量后台临时文件或导出文件，建议额外屏蔽相关路径。修改时更推荐通过 SEO 插件来添加规则，避免直接修改服务器文件导致权限丢失。

5.3 删除 robots.txt 文件会发生什么？

后果没有想象中严重。即使文件不存在，爬虫依然会正常抓取你的网站，只是不再有任何访问路径的限制。这适用于想要让所有内容都被搜索到的场景。但要注意，如果之前靠它屏蔽了某些敏感目录，删除文件就等同于放弃保护，需要确保这些目录本身有访问权限控制。

6. 结语

配置 robots.txt 的核心思路，其实就是“克制”二字：明确哪些资源值得被搜索引擎消耗，哪些应当果断隔离。每次修改前，先在本地模拟一遍规则，确认路径没有误伤；保存后及时通过站长工具验证。把这份文件当作网站与爬虫沟通的桥梁，而非一道封锁墙，往往就能拿捏好收录与资源之间的平衡。