973小游戏必应表示,它正在提高网络爬虫的效率

Fabrice Canel, Bing网站管理员工具的主要项目经理,提供了他的团队为提高网络爬虫BingBot的效率所做的努力的最新进展。

响应用户反馈。这次更新是他6月份在SMX Advanced的演讲的后续,在那次演讲中,他宣布了一项为期18个月的改进BingBot的努力。卡内尔要求观众提出建议和反馈。

在周二的一篇博客文章中,Canel说团队已经在反馈的基础上做出了许多改进,并感谢SMX观众的贡献。他说,他们将“继续改进”这款爬虫,并在Bing网站管理员博客上分享他们的新“BingBot系列”。

BingBot的目标。在第一篇文章中,Canel概述了BingBot的目标,即使用一种算法来确定“抓取哪些站点、多久抓取一次以及从每个站点获取多少页面”。为了确保网站的服务器不会被爬虫超载,BingBot的目标是限制它在网站上的“爬行足迹”,同时确保其索引中的内容尽可能新鲜。

这种“爬行效率”是必应在规模上努力达到的平衡。Canel说:“我们听说,bingbot爬行不够频繁,其内容在索引中不够新鲜;与此同时,我们听说bingbot爬行太频繁,导致网站资源受到限制。“这项工作正在进行中。

你为什么要关心这个?显然,Bing正在听取网站管理员和SEO社区的意见。Webmaster Tools团队正在做一些改变,以确保它的爬虫程序不会使您的服务器过载,同时在寻找您的网站上的新内容时更快、更高效。必应正在积极致力于这项工作,并表示将继续致力于这项工作。

这对你有什么影响?如果你在你的网站上添加了新的内容,而Bing没有看到,它就不会对它进行排名。这意味着使用必应的搜索者不会找到你的新内容。

最近Bing关闭了匿名提交URL的工具,我们已经看到报告说Bing没有监听提交URL的请求,即使是在Bing的网站管理员工具中。可能是Bing的调整和改变导致了现在爬行和索引的缓慢。但最终,Bing显然正在努力解决这个问题。