robots 指令
meta robots 与 robots.txt 常见指令。这类数据适合做配置核对、工具输入提示和排错清单。
常用条目
| 条目 | 含义 |
|---|---|
index |
允许索引 |
noindex |
禁止索引 |
follow |
允许跟踪链接 |
nofollow |
不跟踪链接 |
Disallow |
robots.txt 禁止抓取 |
Allow |
robots.txt 允许抓取 |
使用建议
- 写配置前先确认服务端、浏览器和 CDN 是否使用同一套语义。
- 字典页只解决快速查询；涉及完整流程时应继续阅读对应 Reference 或 how-to。
- 和线上行为不一致时，以真实响应头、服务日志和浏览器 DevTools 为准。