Robots.txt 生成器和检测工具
生成、检测和测试robots.txt文件，优化搜索引擎爬取策略
生成模式
检测模式
测试模式
配置选项
快速模板
允许所有
禁止所有
WordPress
自定义
User-agent
* (所有爬虫)
Googlebot (Google)
Bingbot (Bing)
Baiduspider (百度)
Yandex (Yandex)
Sogou (搜狗)
自定义
Disallow 规则
添加Disallow
Allow 规则
添加Allow
Sitemap URL
Crawl-delay (秒)
爬虫访问间隔时间，部分爬虫支持
生成 Robots.txt
预览
# 请配置左侧选项生成robots.txt
复制
下载
使用提示
将生成的robots.txt上传到网站根目录
文件名必须是robots.txt（小写）
URL必须是 https://example.com/robots.txt
修改后建议在Google Search Console验证
输入网站URL
检测
将自动获取该网站的robots.txt文件并进行分析
检测中...
正在获取robots.txt...
Robots.txt 内容
输入要测试的URL
选择User-agent
Googlebot (Google)
Bingbot (Bing)
Baiduspider (百度)
* (所有爬虫)
Robots.txt 内容
测试URL
使用说明
生成模式
快速选择预设模板
自定义User-agent和规则
实时预览生成结果
一键复制或下载
检测模式
输入URL自动获取robots.txt
分析文件语法和结构
检测常见问题
提供优化建议
测试模式
测试URL是否被允许抓取
支持不同User-agent
显示匹配的规则
验证配置正确性