Robots.txt 配置全攻略：语法要点与常见踩坑案
📱 Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1
🔗 /
📄
Robots.txt 是存放于网站根目录、用于约束搜索引擎爬虫抓取行为的纯文本协议文件。它通过简单的指令告知爬虫哪些路径可以访问、哪些需要回避，本质上是一份友好约定而非强制安全措施。合理配置该文件，有助于引导爬虫聚焦优质内容，同时有效降低服务器资源的非必要开销。
1. 爬虫与 Robots.txt 的工作机制
主流搜索引擎的爬虫访问站点时，总会优先请求根目录下的 robots.txt。若文件存在且爬虫遵守标准，它便会依据规则规划抓取路径；若文件缺失，爬虫则会默认放行全部页面。基于此机制，该文件常用于屏蔽后台入口、过滤标签聚合页或内参页等价值较低的页面，以及设定抓取频次以节省带宽。需要清醒认识的是，合规爬虫会遵循指令，但恶意程序不会理会这些规则，因此该文件绝不能取代防火墙或密码保护等安全手段。
此外，在多变环境下，维护这份文件还需要关注规则的兼容性与优先级，避免因表述含糊导致搜索引擎误判，反而影响正常的收录效果。
2. 核心语法与指令拆解
文件由若干记录块构成，每一块以 User-agent 声明起始，随后附加具体规则。以下是五类最基础、最常用的指令：
- User-agent：声明规则所适用的爬虫身份，星号（*）表示匹配所有未被单独点名的搜索引擎爬虫。
- Disallow：指明禁止访问的路径前缀。例如 Disallow: /admin/ 表示拒绝爬取 admin 目录下的一切链接。
- Allow：在路径长度相同的条件下，Allow 的优先级高于 Disallow，常用于在屏蔽某个目录时，单独放行个别有索引价值的文件。
- Sitemap：于此指定站点地图的完整 URL，有助于爬虫更快定位重要内容。
- Crawl-delay：设置连续两次抓取请求之间的建议等待秒数。需留意，不少主流爬虫现已不支持此参数，使用前应先查阅目标引擎的官方说明。
2.1 份标准且易维护的配置实例
下列示例摘取自真实项目，结构清晰、便于后期调整：
User-agent: *
Disallow: /tmp/
Disallow: /private/
Allow: /private/special.html
Sitemap: https://www.example.com/sitemap.xml
该配置的实际效果为：所有爬虫均无法抓取 tmp 与 private 两个目录，但 private 目录内命名为 special.html 的单一文件被单独解除限制，同时向爬虫声明了站点地图的存放地址。
3. 典型应用场景与重要避坑提示
配置流程看似精简，现实执行中却常有一处疏漏导致全盘失效的情况。以下场景尤其值得多加留意：
- 完全开放抓取：当网站没有限制需求时，保持 Disallow 为空或直接省略该行即可，无需额外附加任何规则。
- 全站禁止收录：Disallow: / 可完全切断搜索引擎的抓取入口，但同时也令所有新增内容瞬间失去曝光机会。此操作需结合站点定位深思熟虑，切忌草率上线。
- 限定特定搜索引擎：若仅禁止百度抓取而不影响谷歌，可将 User-agent 换成具体爬虫名，例如 Baiduspider。但务必确认网站尚在正常运营，且该引擎对其响应符合预期。
- 避免反向封锁自身：部分站长曾把 Allow 与 Disallow 混淆，导致本意放行的路径被整体封禁。建议在修改后，利用各搜索引擎自带的抓取测试工具进行验证。
4. 配置后的核查与维护建议
写完规则并上传至根目录后，并不代表工作就此结束。为确保策略落地，建议按以下步骤执行检查与迭代：
- 通过浏览器直接访问 https://你的域名/robots.txt，核对文件内容与排版是否符合预期。
- 借助 Google Search Console 或百度搜索资源平台中的抓取测试功能，模拟主流爬虫访问目标页面，观察实际返回结果。
- 留意站点改版或路径调整时同步更新配置，避免旧规则遗留导致新栏目被误封。
- 定期审阅服务器访问日志，观察爬虫的实际抓取频次与访问路径，判断规则是否达到预期的资源节省效果。
5. 常见问题
5.1 问：设置 Disallow 后，页面会被立刻从搜索结果中移除吗？
不会。Robots.txt 的核心作用是阻止后续抓取，它并不会强制删除已在搜索引擎索引中的页面。若希望旧页面尽快消失，需同时配合 noindex 标签或通过 Search Console 提交删除请求，等待引擎再次抓取时才会生效。
5.2 问：文件大小或单条规则长度是否受限？
是有约束的。按照一般实践标准，单个文件的体积建议控制在较小范围，且单条 URL 路径长度也应保持精简。过长的规则不仅增加解析时间，还可能因超过部分引擎设定的上限而被部分忽略，从而造成意外放行。
5.3 问：能否在同一个文件中同时适配 PC 与移动端爬虫？
可以。只需为不同 User-agent 分别书写独立的规则块即可实现。例如先写 Googlebot（桌面端）与 Googlebot-Mobile（移动端）各自的 Disallow 规则，再以 User-agent: * 作为兜底设置，即可兼顾不同终端的抓取策略。
6. 总结
Robots.txt 是控制站点抓取行为和优化服务器负载的直接工具，但它的效力完全建立在搜索引擎的自愿合作之上。建议在每次改动后都进行实际抓取验证，并确保站点地图地址始终与规则同步。配置时遵循“最小必要”原则，只屏蔽确实无索引价值的内容，谨慎使用全站封锁，不让规则偏差反噬正常流量入口。
