robots.txt 文件作用
禁止搜索引擎抓取指定内容
引导爬虫抓取指定内容
引导爬虫抓取网站地图


1 User-agent 

User-agent: *  
User-agent: Baiduspider 
User-agent: Googlebot 

2 Disallow 禁止抓取

# 禁止抓取admin目录
Disallow: /admin/ 
# 禁止抓取登录页面
Disallow: /login.html 

3 Allow 

# 禁止抓取 admin 目录 ，但是可以抓取 .html网页
Allow: /admin/.html$ 
Disallow: /admin/

# 
Allow: .html$

4 通配符

User-agent: *
# 屏蔽所有的动态URL
Disallow: /*?*

5 Sitemap 声明网站地图
Sitemap: http://codefun007.xyz/sitemap.xml




一些注意点

1 robots.txt文件放在网站根目录下
2 文件名小写 robots.txt 
3 User-agent Disallow Allow Sitemap 首字母大写





使用实例

禁止所有搜索引擎抓取任何页面

User-agent: *
Disallow: /

禁止抓取指定目录 

User-agent: *
Disallow: /admin/
Disallow: /bin/

禁止抓取jpg文件

User-agent: *
Disallow: .jpg$