Google推出名为GoogleOther的新Googlebot网络爬虫

Google推出名为GoogleOther的新Googlebot网络爬虫

谷歌最近发布了一款闪亮的新网络爬虫GoogleOther”,旨在为其主要搜索索引爬虫 Googlebot 提供急需的休息时间。

根据 Google 分析师 Gary Illyes 的说法,新的爬虫将处理诸如研发 (R&D) 爬虫之类的非必要任务,从而使 Googlebot 能够专注于为网络编制索引的主要工作。

该更新预计将帮助这家科技巨头简化和优化其网络抓取操作。

虽然 Illyes 保证新的爬虫不会对网站产生重大影响,但它引出了一个问题:这对搜索引擎优化 (SEO) 工作意味着什么?

在此博客中,我们将探讨 GoogleOther 的局限性、它对搜索引擎排名的可能影响以及企业是否应该关注。


网络爬虫、用户代理和 Googlebot 的快速背景知识

要真正了解 GoogleOther 更新如何影响网络抓取,首先要回顾网络抓取工具、Googlebot 用户代理的基础知识以及 Googlebot 在网络抓取过程中的作用。

Google 网络爬虫和用户代理

网络爬虫,也称为机器人或搜索引擎蜘蛛,通过跟踪从一个页面到另一个页面的链接来系统地发现和扫描网站。搜索引擎使用 Google 蜘蛛程序收集有关网页的信息并为搜索查询提供建议。

为了向服务器表明自己的身份,Google 网络爬虫使用用户代理,这是发送到服务器的请求标头中包含的一串文本。

Googlebot 用户代理然后告诉服务器哪个机器人请求抓取页面。这使网站所有者能够监控机器人活动并在必要时限制谷歌抓取访问。

服务器以状态代码响应,指示是否允许 Google 蜘蛛抓取该网站。

Googlebot 和排名

如果允许 Google 抓取,Googlebot 将分析网页,包括文本、图像和链接。这些页面按相关性排名,排名最高的页面被认为与查询最相关。

该搜索结果排名基于一种算法,该算法考虑了各种因素,例如来自知名网站的关键字、内容和反向链接。

为了提高网站的排名,许多企业聘请技术SEO顾问为其网站优化服务或页面优化服务。

GoogleOther 发挥作用的地方

网络抓取过程是连续的,Googlebot 访问和重新访问网站以确保 Google 搜索索引与最新信息保持同步。

然而,由于要索引数十亿的页面,您可以想象这项任务的资源密集程度。像 Googlebot 这样的 Google 网络爬虫必须适应以有效处理不断增加的数据量。

借助GoogleOther,Google 可以通过将非必要任务分配给新的爬虫来减轻 Googlebot 搜索引擎蜘蛛的一些压力。


在 Googlebot 和 GoogleOther 之间分配职责

GoogleOther 将主要由 Google 的产品团队用于内部构建 Google 搜索索引。正如 Illyes 在LinkedIn上所说:

我们在我们的爬虫列表中添加了一个新的爬虫 GoogleOther,它最终会减轻 Googlebot 的压力。这对您来说是一个无需操作的更改,但我认为它仍然很有趣。

在优化 Googlebot 的抓取方式和内容时,我们要确保的一件事是 Googlebot 的抓取作业仅在内部用于构建搜索所使用的索引。为此,我们添加了一个新的抓取工具 GoogleOther,它将取代 Googlebot 的一些其他工作,例如研发抓取,从而为 Googlebot 释放一些抓取能力。”

从本质上讲,它将接管过去由 Googlebot 负责的各种任务,包括研发 (R&D) 抓取。就历史而言,这就是我们的意思:

谷歌新爬行机器人


GoogleOther 的限制和功能

GoogleOther 继承了 Googlebot 的基础架构,这意味着它在抓取网页时具有相同的限制和功能。这包括:

• 主机负载限制:在服务器上产生的负载量受到相同的限制,以防止它压倒站点的资源或导致停机。

• Robots.txt 限制:遵守与Googlebot 搜索引擎蜘蛛相同的robots.txt 规则,但使用不同的Googlebot 用户代理令牌。这允许网站所有者控制他们网站的哪些部分被抓取,哪些不被抓取。

• HTTP 协议版本:使用与 Googlebot 相同的 HTTP 版本,目前为 HTTP/1.1 和 HTTP/2(如果站点支持)。

 获取大小限制:受与 Googlebot 相同的页面大小限制,目前设置为 10MB。这可以防止大页面消耗过多的资源,这可能会减慢 Google 的抓取过程。

正如 Ilyes 指出的那样,GoogleOther 基本上是 Googlebot 的不同名称。


GoogleOther 对您的 SEO策略意味着什么:专家权衡

虽然谷歌已向网站管理员保证新的爬虫不会对网站产生重大影响,但许多 SEO专家仍然想知道它对网站排名的潜在影响

Thrive 的首席技术搜索引擎优化顾问 Ronnel Viloria 表示,现在确定 GoogleOther 将如何影响搜索引擎优化工作还为时过早。鉴于 GoogleOther 是最近才添加的,因此没有案例研究可以表明它如何影响排名和流量。

“谷歌定期更新其算法和爬虫,这些变化会影响搜索结果和网站排名。然而,在获得有关 GoogleOther 的更多信息之前,无法预测它可能如何影响 SEO,”Viloria 说。

优化您的SEO活动策略时,Ronnel 建议坚持使用您当前的系统,同时密切关注这一新更新。但是,如果您的进度停滞不前或缓慢,他建议探索新的机会来提高排名并吸引更多访问者访问您的网站。

“我可以肯定的是,您应该继续专注于创建与目标用户相关的高质量内容。这是在谷歌SERP 中排名更高并吸引更多受众的最佳选择,”他补充道。

除了高质量的内容,页面优化服务,如关键字研究、标题和元标记优化、图像优化和内部链接也可以显着提高您网站的 SEO 性能。

这些服务可帮助搜索引擎更好地了解您网站的内容和上下文,从而更轻松地为相关查询对您的网页进行索引和排名。


如何监控 GoogleOther

如果您仍然对 GoogleOther 持谨慎态度,可以将以下一些步骤纳入您的 SEO 活动策略以监控其抓取活动:

 查看服务器日志:定期监控服务器日志以识别 GoogleOther 请求。这有助于您了解其爬行行为及其访问的页面。

 保持 robots.txt 文件更新:确保您的 robots.txt 文件更新了针对 GoogleOther 的特殊说明,以便您可以控制它如何抓取您的网页。

 监控 Google Search Console (GSC) 抓取统计数据:使用 GSC 跟踪自实施 GoogleOther 以来抓取频率、数量、预算或索引页面数量的变化。

 跟踪网站性能:监控网络性能指标,例如跳出率、加载时间和用户参与度,以发现可能因 GoogleOther 抓取网页而出现的问题。


轻松适应 GoogleOther 的变化

随着“GoogleOther”继续对其对 SEO 的潜在影响提出质疑,网站所有者和企业可以采取积极措施保持领先地位。其中一个步骤是与像 Thrive 这样的顶级 SEO 专家合作。

通过与Chinaseo合作,企业可以获得竞争优势并快速适应 SEO 领域的任何变化。

我们的技术搜索引擎优化顾问将帮助优化您的网站内容、建立高质量的反向链接、进行全面的关键字研究等等,以提高您的排名。