蜘蛛为什么会抓取网站不存在的路径？
浏览：206次
发布时间：2017-07-13
分享
评论
赞0
做seo我们需要经常性的去看我们网站的服务器日志，也就是iis日志，因为我们需要很好的掌握蜘蛛爬取了我们网站的什么地方，哪个页面。但是 有些朋友有的时候在进行例行检查的时候，却发现蜘蛛爬取了一些我们网站并不存在的页面，今天SEO就讲解下为什么百度蜘蛛会爬取我们网站没有的页面。
1、蜘蛛是怎么发现我们网站的链接的?
我们都知道，蜘蛛是沿着链接爬来爬去的，他会自动提取网站中所有的链接，保存入库，然后进行爬取，这也就是为什么我们觉得网站的收录少了或者刚发布的文章没 有被收录，我们就会说“引蜘蛛”了，其实引蜘蛛就是发外链了，当这条链接呗蜘蛛发现之后，他就会进行爬取，然后通过一系列复杂的算法之后，决定是否放出该 页面的收录。
2、为什么会爬到不存在的页面?
一般情况下，有这么几个问题
a、被对手恶意刷外链，也就是说竞争对手恶意的给你发了很多的不存在的页面链接，当蜘蛛发现之后就会来爬取
b、以前做的外链，后来由于网站改版而某些链接没有及时的去除，蜘蛛定期回访的时候爬取了这条链接
c、此种仅限老域名，之前的网站结构和我们现在的网站结构不一致，也类似于b中的说法
d、robots文件没有对蜘蛛进行限制
e、程序的原因，导致搜索引擎蜘蛛掉入黑洞
f、url提交或者ping给百度地址有误
蜘蛛爬取不存在的页面，一般情况下都是由于这些问题导致的，其中最主要的原因就是外链部分，所以我们要经常性的去检查下我们网站的外链情况。
下面提供解决办法：
这些方面综合来讲，一般我们只需要这么做，基本就能够减少这种情况的发生，如果是链接导致的，那么就去百度站长平台使用外链拒绝工具拒绝掉，并提交网站的死链接，同时使用robots屏蔽蜘蛛抓取这些内容；如果是程序问题，就修复程序。。
猜你喜欢
评论(0人参与，0条评论)
发布评论
最新评论