网站robots文件的作用介绍及写法大全
分享
评论
赞0
一个完整的网站,301重定向、404页面自定义和robots.txt文件都是必有的,没有为什么,301是为了集权;404是在网站出现死链的时候引导蜘蛛以及增加用户体验;那robots.txt文件是做什么的呢?它有什么作用呢?
一、robots文件是什么?
robots.txt文件是存放在网站根目录下面的一个TXT文本文档.它是网站和蜘蛛之间的一个协议.
二、robots文件有什么作用?
如果你网站根目录有robots.txt这样一个文件,那蜘蛛在爬行你网站的时候就会首先访问这个文件(robots文件一般都要存放在根目录,蜘蛛第一个访问的文件,因此这个文件是很重要的).robots文件的作用是告诉搜索引擎蜘蛛,网站的哪些文件夹可以抓取,哪些文件夹不能抓取,从而确保我们网站的隐私内容不会被收录.
三、robots文件怎么写?
1.定义搜索引擎
用User-agent:来定义搜索引擎,其中*表示所有
百度蜘蛛名字:Baiduspider,谷歌蜘蛛名字:Googlebot.
User-agent:*表示定义所有蜘蛛
User-agent: Baiduspider表示自定义百度蜘蛛,
User-agent: Googlebot表示自定义谷歌蜘蛛
大家可以参考百度或者淘宝的robots.txt,他么就是这样写的,而我们小站只需要自定义所有搜索引擎蜘蛛即可.
2.禁止访问和允许访问
User-agent: *
Disallow: /
表示禁止所有搜索引擎访问;
User-agent: *
Allow: /
表示允许所有搜索引擎访问.
PS:在:后面/前面有一个英文状态下的空格,空格必须有,必须是英文状态下的
3.禁止搜索引擎访问网站中的某些目录
假设a是我网站根目录的一个文件夹,写法分别如下:
User-agent: *
Disallow: /a
禁止搜索引擎访问a文件夹及a文件夹下面的所有文件
猜你喜欢
评论(0人参与，0条评论)
发布评论
最新评论