Logo ToolPro

Robots.txt 生成器

专业的 Robots 协议生成工具，可视化的界面配置爬虫规则，自定义允许/禁止路径，支持 Google/百度等主流搜索引擎

开发工具 11 0
Workspace

Robots.txt 生成器

专业级搜索引擎爬虫协议生成工具。通过直观的界面配置爬虫规则，精确控制 Google、百度、Bing 等搜索引擎的抓取行为，优化网站 SEO 表现。

全局设置

指定 Sitemap 位置有助于搜索引擎更快发现和收录您的网页。

爬虫规则组

快速模板配置

robots.txt
0 bytes

工具介绍

Robots.txt 生成器是一款专为站长和 SEO 从业者设计的工具，用于快速生成标准的 robots.txt 文件，告诉搜索引擎哪些页面可以抓取，哪些可以通过。

功能特点

  • 可视化规则组：支持创建多个针对不同搜索引擎的规则组（User-Agent）。

  • 灵活配置：分别为每个组设置“允许”和“禁止”的路径。

  • 抓取延迟：支持设置 Crawl-delay，防止爬虫抓取过快影响服务器性能。

  • 快速模板：内置 WordPress、Laravel 等常见系统的推荐配置。

  • 实时预览：修改配置时实时生成 robots.txt 内容预览。


使用方法

  1. 全局设置：输入您网站的 Sitemap 地址（可选）。

  2. 添加规则：

- 点击“添加规则组”。
- 选择或输入 User-Agent（如 Googlebot，* 代表所有）。
- 在“禁止访问”和“允许访问”框中输入路径（一行一个）。
  1. 生成与下载：

- 右侧预览区域会实时显示生成的代码。
- 点击“复制”或“下载”按钮获取文件。

常见 User-Agent

  • Googlebot: Google 爬虫

  • Baiduspider: 百度爬虫

  • Bingbot: Bing 爬虫

  • YisouSpider: 神马搜索

  • Bytespider: 今日头条/字节跳动爬虫

讨论 0

请 登录 后参与讨论

暂无评论，成为第一个分享观点的人吧。

信息

发布日期
2026-01-13
最近更新
2026-02-20
状态
Normal
#robots.txt生成 #robots协议 #爬虫规则 #禁止抓取 #SEO工具 #Sitemap配置 #User-Agent设置