robots.txt 生成
按路径生成搜索引擎抓取规则
robots.txt 生成使用说明
分别填写允许和禁止抓取的路径，每行一个；可填 HTTPS Sitemap。
如何使用
复制结果作为 robots.txt 内容。
示例
例如 /private/ 会生成 Disallow: /private/。
使用边界
固定 User-agent: *；robots.txt 只是抓取建议，不是访问权限控制。
输入内容仅在当前浏览器中处理，不上传服务器。关闭或刷新页面前请自行保存结果。
按路径生成搜索引擎抓取规则
分别填写允许和禁止抓取的路径，每行一个；可填 HTTPS Sitemap。
复制结果作为 robots.txt 内容。
例如 /private/ 会生成 Disallow: /private/。
固定 User-agent: *；robots.txt 只是抓取建议，不是访问权限控制。
输入内容仅在当前浏览器中处理，不上传服务器。关闭或刷新页面前请自行保存结果。