常用抓取返回码示意

  简单介绍几种百度支持的返回码:

  1)最常见的404代表"NOT FOUND",认为网页已经失效,通常将在库中删除,同时短期内如果spider再次发现这条url也不会抓取;

  2)503代表"Service Unavailable",认为网页临时不可访问,通常网站临时关闭,带宽有限等会产生这种情况.对于网页返回503状态码,百度spider不会把这条url直接删除,同时短期内将会反复访问几次,如果网页已恢复,则正常抓取;如果继续返回503,那么这条url仍会被认为是失效链接,从库中删除.

  3)403代表"Forbidden",认为网页目前禁止访问.如果是新url,spider暂时不抓取,短期内同样会反复访问几次;如果是已收录url,不会直接删除,短期内同样反复访问几次.如果网页正常访问,则正常抓取;如果仍然禁止访问,那么这条url也会被认为是失效链接,从库中删除.

  4)301代表是"Moved Permanently",认为网页重定向至新url.当遇到站点迁移、域名更换、站点改版的情况时,我们推荐使用301返回码,同时使用站长平台网站改版工具,以减少改版对网站流量造成的损失.

  3、多种url重定向的识别

  互联网中一部分网页因为各种各样的原因存在url重定向状态,为了对这部分资源正常抓取,就要求spider对url重定向进行识别判断,同时防止作弊行为.重定向可分为三类:http 30x重定向、meta refresh重定向和js重定向.另外,百度也支持Canonical标签,在效果上可以认为也是一种间接的重定向.

  4、抓取优先级调配

  由于互联网资源规模的巨大以及迅速的变化,对于搜索引擎来说全部抓取到并合理的更新保持一致性几乎是不可能的事情,因此这就要求抓取系统设计一套合理的抓取优先级调配策略.主要包括:深度优先遍历策略、宽度优先遍历策略、pr优先策略、反链策略、社会化分享指导策略等等.每个策略各有优劣,在实际情况中往往是多种策略结合使用以达到最优的抓取效果.

  5、重复url的过滤

  spider在抓取过程中需要判断一个页面是否已经抓取过了,如果还没有抓取再进行抓取网页的行为并放在已抓取网址集合中.判断是否已经抓取其中涉及到最核心的是快速查找并对比,同时涉及到url归一化识别,例如一个url中包含大量无效参数而实际是同一个页面,这将视为同一个url来对待.

  6、暗网数据的获取

  互联网中存在着大量的搜索引擎暂时无法抓取到的数据,被称为暗网数据.一方面,很多网站的大量数据是存在于网络数据库中,spider难以采用抓取网页的方式获得完整内容;另一方面,由于网络环境、网站本身不符合规范、孤岛等等问题,也会造成搜索引擎无法抓取.目前来说,对于暗网数据的获取主要思路仍然是通过开放平台采用数据提交的方式来解决,例如"百度站长平台""百度开放平台"等等.