首页   快速返回

网站SEO robots文件写法
文章分类 SEO
发布时间 2019-03-10 修改时间 2019-03-10
robots.txt 文件作用
禁止搜索引擎抓取指定内容
引导爬虫抓取指定内容
引导爬虫抓取网站地图


1 User-agent 

User-agent: *  
User-agent: Baiduspider 
User-agent: Googlebot 

2 Disallow 禁止抓取

# 禁止抓取admin目录
Disallow: /admin/ 
# 禁止抓取登录页面
Disallow: /login.html 

3 Allow 

# 禁止抓取 admin 目录 ,但是可以抓取 .html网页
Allow: /admin/.html$ 
Disallow: /admin/

# 
Allow: .html$

4 通配符

User-agent: *
# 屏蔽所有的动态URL
Disallow: /*?*

5 Sitemap 声明网站地图
Sitemap: http://codefun007.xyz/sitemap.xml




一些注意点

1 robots.txt文件放在网站根目录下
2 文件名小写 robots.txt 
3 User-agent Disallow Allow Sitemap 首字母大写





使用实例

禁止所有搜索引擎抓取任何页面

User-agent: *
Disallow: /

禁止抓取指定目录 

User-agent: *
Disallow: /admin/
Disallow: /bin/

禁止抓取jpg文件

User-agent: *
Disallow: .jpg$

上一篇     下一篇
忆往昔•疯牛

spring配置bean的三种方式

linux日志文件介绍

kafka知识点整理之概述

2019年杭州的独角兽和准独角兽们

springboot常用注解和配置整理