什么是搜索引擎的抓取频次?

搜索知识 / 40人浏览 / 0人评论

什么是搜索引擎的抓取频次?抓取频次是搜索引擎在单位时间内(天级)对网站服务器抓取的总次数。对于百度搜索引擎来说非常智能:如果百度搜索引擎对站点的抓取频次过高,就很有可能造成服务器不稳定(相对而言,如果服务器支持高频率的抓取,那是好事啊!)。然而Baiduspider(百度蜘蛛)会根据网站内容更新频率和服务器压力等因素自动调整抓取频次,所以百度蜘蛛,或者别的搜索引擎蜘蛛抓取也同样类似!

什么是搜索引擎的抓取频次?

抓取频次是搜索引擎在单位时间内(天级)对网站服务器抓取的总次数。

搜索引擎

对于百度搜索引擎来说非常智能:

如果百度搜索引擎对站点的抓取频次过高,就很有可能造成服务器不稳定(相对而言,如果服务器支持高频率的抓取,那是好事啊!)。

然而Baiduspider(百度蜘蛛)会根据网站内容更新频率和服务器压力等因素自动调整抓取频次,所以百度蜘蛛,或者别的搜索引擎蜘蛛抓取也同样类似!

高配置的服务器会(或虚拟主机)影响网站更新文章的抓取和收录速度:

Baiduspider(百度蜘蛛)会根据网站服务器压力(不同服务器或者虚拟主机配置不一样,会导致蜘蛛抓取的频率,从而会影响内容的收录速度,也就是同样一篇文章,同时发布在不同的站点,收录时间会不一致,所以高配置的服务器,蜘蛛会经常访问)自动进行抓取频次调整(百度蜘蛛抓取网站,也就是模拟客户端访问网站的速度,并进行内容分析,以及网站内容更新的频率和数量)。

百度蜘蛛

针对自身服务器的配置可以自定义抓取频率:

建议您慎重调节抓取频次上限值,如果抓取频次过小则会影响Baiduspider对网站的收录

Baiduspider

对于百度蜘蛛当前抓取频次过大怎么办?

1、如果您觉得Baiduspider 抓取了您认为的无价值链接, 请更新网站robots.txt进行屏蔽抓取,然后到robots工具页面操作生效。

2、如果Baiduspider的抓取影响了您网站的正常访问,请到抓取频次上限调整(百度资源平台)页面进行抓取频次上限下调。

3、若以上方法均不能解决问题,请到百度反馈中心(百度资源平台)反馈

对于百度蜘蛛当前抓取频次过小怎么办?

1、若您已设置了抓取频次上限,建议您先取消抓取频次上限设置(百度资源平台)或到抓取频次上限调整(百度资源平台)页面上调抓取频次上限。

2、若您未设置抓取频次上限,建议先使用百度抓取异常(百度资源平台)工具查看是否为抓取异常导致。

3、若您仍觉得抓取量较小,可能是您有新链接未提交,请到百度链接提交(百度资源平台)页面进行数据提交。

4、若以上方法均不能解决问题,请到百度反馈中心(百度资源平台)反馈

Robots使用说明

  1. robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。
  2. 您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。
  3. Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。
  4. 如需检测未验证站点的robots设置,请点击此处进行检测。

百度抓取时间(毫秒)是以毫秒为单位计算:

抓取时间:Baiduspider每次抓取耗时

抓取时间

转载注明:

扩展查找

0 条评论

还没有人发表评论

发表评论 取消回复

记住我的信息,方便下次评论
有人回复时邮件通知我