robots.txt爬虫限制介绍

Posted on Edited on Views:

robots.txt 是网站根目录下的一个文本文件，用于告诉搜索引擎爬虫（如 Googlebot、Bingbot）哪些页面可以抓取，哪些不可以抓取。

1.基本语法

1
2
3
User-agent: [爬虫名称]
Disallow: [不允许抓取的路径]
Allow: [允许抓取的路径]

所有路径都相对于网站根目录（不含域名）。路径区分大小写。

2.通配符说明

  • *：匹配任意字符
  • $：匹配 URL 的结尾

3.示例讲解

3.1. 禁止所有爬虫访问整个网站

1
2
User-agent: *
Disallow: /

3.2. 允许所有爬虫访问所有内容

1
2
User-agent: *
Disallow:

或

1
2
User-agent: *
Allow: /

3.3. 禁止访问某个目录

1
2
User-agent: *
Disallow: /private/

3.4. 禁止某个文件

1
2
User-agent: *
Disallow: /secret.html

3.5. 只允许访问某个子路径，其余禁止

1
2
3
User-agent: *
Disallow: /
Allow: /public/

3.6. 禁止所有 .php 页面

1
2
User-agent: *
Disallow: /*.php$

3.7. 为某个特定搜索引擎设置规则（如只限制 Googlebot）

1
2
User-agent: Googlebot
Disallow: /test/

4.常见写法合集

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 允许所有爬虫访问首页，禁止其他
User-agent: *
Disallow: /
Allow: /index.html

# 针对百度爬虫屏蔽某个目录
User-agent: Baiduspider
Disallow: /no-baidu/

# 多个允许
User-agent: *
Disallow: /
Allow: /public/
Allow: /images/
Allow: /docs/readme.html