关键词排名点击器谷歌在他们如何知道什么时候该放慢或停止抓取您网站

  今天在SMX东,谷歌的网站管理员趋势分析师加里Illyes与观众两个技术方面谷歌决定何时Googlebot会,分享了其?爬行时,应减慢或停止抓取你的网站。

  一个与搜索引擎优化的更重要的因素是确保搜索引擎爬虫可以访问你的网页。如果他们无法访问您的网页,那么你很可能也很难在搜索结果中的排名。

  谷歌表示,它?使用了许多信号,用于确定是否?应停止抓取您的网站,很明显的一个类似的禁止之外,机器人。TXT和nofollow的标签。

  加里从谷歌表示以下两个信号是谷歌重要的抓取信号:

  谷歌将看看它是如何花费的时间为他们连接到服务器和网页。如果连接的时间越来越长,谷歌将后退,慢或停止抓取您的网页。谷歌并不希望最终拿下你的服务器,所以它?使用连接时间为爬行因素。

  谷歌还将时应停止使用或减缓其爬行?获取服务器状态代码在5XX范围。此外,5xx系列服务器错误状态代码往往是因为没有与服务器响应的问题。你可以找到他们的维基百科上的整个列表。

  谷歌说,当?看到这些代码,它?回退,为您的服务器不会导致更多的问题。

  在这两种情况下,Googlebot会后回来,但它?背上它认为这两个信号时断是造成问题,以不引起用户更多的问题时,?试图访问您的网站。

要发表评论,您必须先登录