robots协议
浏览：357次
发布时间：2017-12-09
编辑
分享
评论
赞0
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
是搜索引擎的一部分来定位和索引互联网上的每个可能回答搜索请求的网页，通常只在讨论 robots的HTML标签或者robots.txt文件的时候使用。
猜你喜欢
评论(0人参与，0条评论)
发布评论
最新评论