批量站点分层爬取

首页
建议输入完整的 https:// 域名,最多支持20个站点
层级越深,爬取页面越多
每个站点最多爬取的页面数量
避免一次性输入过多站点导致耗时

使用说明
  • 工具以站点为单位串行执行,避免同时向多个站点发起请求造成压力。
  • 单站最大层级和页面数可自定义,建议根据站点体量和服务器性能合理配置。
  • 站点概览中可查看每个站点的总页面数、成功/失败数量,并可随时切换详情。
  • 详情列表展示每个页面的层级、HTTP 状态、标题以及提取到的站内链接数量。
温馨提示
  • 请在授权范围内使用本工具,避免对不允许爬取的站点进行扫描。
  • 若站点开启防爬策略,可适当降低层级或单站页面数量,并增加爬取间隔。
  • 导出功能会合并所有站点数据,可用于进一步分析或归档。