robots文件生成器

常见模板

选择模板会覆盖当前编辑区（请先保存/复制现有内容）。

站点（可选）

填写 Host 可生成 Host: header（非标准必需）

Sitemap（可选）

添加注释

# 预览将在此处显示

说明：robots.txt 为明文规则文件。请确保 Sitemap、Host 使用完整 URL / 域名。

提示：
- 若使用 Crawl-delay，请了解不同爬虫支持情况不一致。
- `User-agent: *` 匹配所有爬虫。
- 注释以 `#` 开头。

点击「生成 Preview」查看基本校验（空项、URL 格式等）。

📖 工具说明