据笔者观察，很多的个人站都对404页面和ROBOT文件不是很重视，因为大部分个人站长都觉得这两个是可有可无的，但是笔者觉得这两个文件对优化也是有影响的，特别是404页面，如果网站出现了无效链接，那么可以通过404页面留住用户，使之返回网站继续浏览。而ROBOT文件则是让蜘蛛更好的收录网站的可收录页面，对于网站收录量的高低有非常大的影响。好了，现在回归正文，下面开始讲解这两个文件的设置。

404页面的作用

大部分站长知道的404页面可能是为了引导用户在浏览到某个无效页面时，可以通过404页面提供的链接返回到网站，而且大部分站长认为404页面就这么一个作用而已。其实不然，404页面还有其他的作用。比如当用户长时间浏览网站时，会出现麻木性的点击，当点击到无效链接时就会产生退出的心理，而这时候如果网站没有404页面引导的话，那么用户自然就会关闭网站，很容易就造成用户的流失了。但是通过设置比较新颖的404页面可以让用户缓冲一下紧张的情绪，就像卢哥的404页面设置一个FLASH小游戏一样，当产生了无效链接时，用户可以通过玩玩小游戏来缓冲一下情绪，这样自然就会更容易的重新返回网站继续浏览了。

所以说，404页面不但是为了屏蔽无效的链接，还可以利用404页面缓冲用户的浏览麻木性，这对于激发用户再次浏览网站具有非常大的帮助，如果你不信，可以设置一个比较新颖的404页面，观察一下其跳出率和PV值吧。

404页面的设置方法

对于上文说的404页面的作用，那么站长如何设置有效的404页面呢？主要有几个方法：

1、404界面风格要新颖。界面和风格都比较新颖的404页面可以让用户浏览到无效链接时，也不会对网站失去了兴趣，而且可以使用户不会为网站出现无效链接而对网站产生怀疑。就像站长之家的404页面，就比较独特了。

2、404页面要有停顿时间。这点对用户和搜索引挚都非常重要，不要把404页面停留的时间设置过短，比如1－3秒之间的就对用户和蜘蛛都不友好。最低保持在5秒以上。

3、404页面不要直接返回首页。如果404页面直接跳转到首页的话，那么就会让蜘蛛爬行时，把它当成是一个独立页面收录，这样对后期的优化并不友好。

4、404页面要给用户选择跳转。其实这点是笔者最近才发现的，许多的404页面只留下一个跳转到首页的链接，这样使得用户无法选择自己要返回的页面，自然对用户体验就不是那么友好了，所以，在404页面中，不但要有跳转首页的链接，还要设置返回其他页面的链接，比如返回上一页、返回之前的分类页等，这些都会让用户感觉到网站的人性化。

5、404页面需要屏蔽掉。在ROBOTS文件中，要把404页面的地址屏蔽起来，这样即使是出现以上的情况也不会让搜索引挚爬行到，也不会出现无效链接也被收录了。

ROBOTS文件的作用

百度百科中ROBOTS文件的解释就是告诉蜘蛛程序在服务器上什么文件是可以被查看的。就按笔者的理解，ROBOTS文件就是为了告诉蜘蛛哪些页面可以抓取，哪些页面不可以抓取。现在很多站长说自己明明设置了禁止抓取的页面，但是搜索引挚也一样收录这些页面，开始怀疑ROBOTS文件是不是没作用了。其实不是，设置了还被抓取那说明你的ROBOTS语法错误了，ROBOTS设置不当使得文件根本就不起作用。其实说白了ROBOT文件的作用就是把自己需要被收录的页面提供给蜘蛛爬行，而不想被收录的，那么通过ROBOTS文件进行屏蔽，不让蜘蛛爬行这些页面，这样就不会造成页面被抓取了。所以说，ROBOTS在网站优化中的作用就是让不利于搜索引挚收录的页面实行屏蔽，通过ROBOTS文件引导蜘蛛可以爬行哪些页面和不可爬行哪些页面。

ROBOT文件的设置方法

那么新手在学习网站优化中，怎么才能正确的设置ROBOTS文件呢，使之具有引导蜘蛛爬行自己允许的页面呢？主要有几个设置方法：

1. 整站屏蔽设置方法。如果你的网站不想被全部的搜索引挚收录的话，那么可以这样写：

User-agent: *

Disallow: /

2. 屏蔽某个文件。比如我不让搜索引挚抓取ADMIN这个文件夹，自然需要用ROBOTS文件屏蔽ADMIN这个文件了，写法：

User-agent:*

Disallow:/ADMIN/

3. 禁止某个搜索引挚抓取网站页面。比如禁止谷歌机器人收录网站的任何页面，写法：

User-agent:Googlebot

Disallow:*

4. 允许一个文件中的某个文件夹被抓取，比如允许FLIMS文件夹中的INDEX2.html文件被抓取，那么就应该这样写：

User-Agent:*

Disallow:/FLIMS/

Allow:/FLIMS/INDEX2.html

其他类似的方法也以此类推，新手在设置ROBOTS文件时，可以多点参考百度优化指南中的相关介绍，这样对于网站收录量高低可以更容易掌握，而且也利于自己知道哪些页面被收录，哪些页面自己禁止被收录了。

在设置404页面，站长应该以用户体验为参考对象，如果自己是网站用户的话，当点击到无效链接时，什么样的404对于自己更有吸引力。而ROBOTS文件主要是针对搜索引挚的，所以，只要设置正规，自然就不会影响到网站优化的效果，但是如果设置不当的话，可能会出现网站不被收录的哦，或者自己不想被收录的页面居然收录了，自已想被收录的页面却没有被收录。所以，今天笔者简单分析了404页面和ROBOTS文件的设置方法，希望新手在学习网站优化的过程中，可以设置出适合自己网站的404和ROBOTS。