Google推出名为GoogleOther的新Googlebot网络爬虫
谷歌最近发布了一款闪亮的新网络爬虫“GoogleOther”，旨在为其主要搜索索引爬虫 Googlebot 提供急需的休息时间。
根据 Google 分析师 Gary Illyes 的说法，新的爬虫将处理诸如研发 (R&D) 爬虫之类的非必要任务，从而使 Googlebot 能够专注于为网络编制索引的主要工作。
该更新预计将帮助这家科技巨头简化和优化其网络抓取操作。
虽然 Illyes 保证新的爬虫不会对网站产生重大影响，但它引出了一个问题：这对搜索引擎优化 (SEO) 工作意味着什么？
在此博客中，我们将探讨 GoogleOther 的局限性、它对搜索引擎排名的可能影响以及企业是否应该关注。
网络爬虫、用户代理和 Googlebot 的快速背景知识
要真正了解 GoogleOther 更新如何影响网络抓取，首先要回顾网络抓取工具、Googlebot 用户代理的基础知识以及 Googlebot 在网络抓取过程中的作用。
Google 网络爬虫和用户代理
网络爬虫，也称为机器人或搜索引擎蜘蛛，通过跟踪从一个页面到另一个页面的链接来系统地发现和扫描网站。搜索引擎使用 Google 蜘蛛程序收集有关网页的信息并为搜索查询提供建议。
为了向服务器表明自己的身份，Google 网络爬虫使用用户代理，这是发送到服务器的请求标头中包含的一串文本。
Googlebot 用户代理然后告诉服务器哪个机器人请求抓取页面。这使网站所有者能够监控机器人活动并在必要时限制谷歌抓取访问。
服务器以状态代码响应，指示是否允许 Google 蜘蛛抓取该网站。
Googlebot 和排名
如果允许 Google 抓取，Googlebot 将分析网页，包括文本、图像和链接。这些页面按相关性排名，排名最高的页面被认为与查询最相关。
该搜索结果排名基于一种算法，该算法考虑了各种因素，例如来自知名网站的关键字、内容和反向链接。
为了提高网站的排名，许多企业聘请技术SEO顾问为其网站优化服务或页面优化服务。
GoogleOther 发挥作用的地方
网络抓取过程是连续的，Googlebot 访问和重新访问网站以确保 Google 搜索索引与最新信息保持同步。
然而，由于要索引数十亿的页面，您可以想象这项任务的资源密集程度。像 Googlebot 这样的 Google 网络爬虫必须适应以有效处理不断增加的数据量。
借助GoogleOther，Google 可以通过将非必要任务分配给新的爬虫来减轻 Googlebot 搜索引擎蜘蛛的一些压力。
在 Googlebot 和 GoogleOther 之间分配职责
GoogleOther 将主要由 Google 的产品团队用于内部构建 Google 搜索索引。正如 Illyes 在LinkedIn上所说：
我们在我们的爬虫列表中添加了一个新的爬虫 GoogleOther，它最终会减轻 Googlebot 的压力。这对您来说是一个无需操作的更改，但我认为它仍然很有趣。
在优化 Googlebot 的抓取方式和内容时，我们要确保的一件事是 Googlebot 的抓取作业仅在内部用于构建搜索所使用的索引。为此，我们添加了一个新的抓取工具 GoogleOther，它将取代 Googlebot 的一些其他工作，例如研发抓取，从而为 Googlebot 释放一些抓取能力。”
从本质上讲，它将接管过去由 Googlebot 负责的各种任务，包括研发 (R&D) 抓取。就历史而言，这就是我们的意思：
GoogleOther 的限制和功能
GoogleOther 继承了 Googlebot 的基础架构，这意味着它在抓取网页时具有相同的限制和功能。这包括：
• 主机负载限制：在服务器上产生的负载量受到相同的限制，以防止它压倒站点的资源或导致停机。
• Robots.txt 限制：遵守与Googlebot 搜索引擎蜘蛛相同的robots.txt 规则，但使用不同的Googlebot 用户代理令牌。这允许网站所有者控制他们网站的哪些部分被抓取，哪些不被抓取。
• HTTP 协议版本：使用与 Googlebot 相同的 HTTP 版本，目前为 HTTP/1.1 和 HTTP/2（如果站点支持）。
• 获取大小限制：受与 Googlebot 相同的页面大小限制，目前设置为 10MB。这可以防止大页面消耗过多的资源，这可能会减慢 Google 的抓取过程。
正如 Ilyes 指出的那样，GoogleOther 基本上是 Googlebot 的不同名称。
GoogleOther 对您的 SEO策略意味着什么：专家权衡
虽然谷歌已向网站管理员保证新的爬虫不会对网站产生重大影响，但许多 SEO专家仍然想知道它对网站排名的潜在影响
Thrive 的首席技术搜索引擎优化顾问 Ronnel Viloria 表示，现在确定 GoogleOther 将如何影响搜索引擎优化工作还为时过早。鉴于 GoogleOther 是最近才添加的，因此没有案例研究可以表明它如何影响排名和流量。
“谷歌定期更新其算法和爬虫，这些变化会影响搜索结果和网站排名。然而，在获得有关 GoogleOther 的更多信息之前，无法预测它可能如何影响 SEO，”Viloria 说。
在优化您的SEO活动策略时，Ronnel 建议坚持使用您当前的系统，同时密切关注这一新更新。但是，如果您的进度停滞不前或缓慢，他建议探索新的机会来提高排名并吸引更多访问者访问您的网站。
“我可以肯定的是，您应该继续专注于创建与目标用户相关的高质量内容。这是在谷歌SERP 中排名更高并吸引更多受众的最佳选择，”他补充道。
除了高质量的内容，页面优化服务，如关键字研究、标题和元标记优化、图像优化和内部链接也可以显着提高您网站的 SEO 性能。
这些服务可帮助搜索引擎更好地了解您网站的内容和上下文，从而更轻松地为相关查询对您的网页进行索引和排名。
如何监控 GoogleOther
如果您仍然对 GoogleOther 持谨慎态度，可以将以下一些步骤纳入您的 SEO 活动策略以监控其抓取活动：
• 查看服务器日志：定期监控服务器日志以识别 GoogleOther 请求。这有助于您了解其爬行行为及其访问的页面。
• 保持 robots.txt 文件更新：确保您的 robots.txt 文件更新了针对 GoogleOther 的特殊说明，以便您可以控制它如何抓取您的网页。
• 监控 Google Search Console (GSC) 抓取统计数据：使用 GSC 跟踪自实施 GoogleOther 以来抓取频率、数量、预算或索引页面数量的变化。
• 跟踪网站性能：监控网络性能指标，例如跳出率、加载时间和用户参与度，以发现可能因 GoogleOther 抓取网页而出现的问题。
轻松适应 GoogleOther 的变化
随着“GoogleOther”继续对其对 SEO 的潜在影响提出质疑，网站所有者和企业可以采取积极措施保持领先地位。其中一个步骤是与像 Thrive 这样的顶级 SEO 专家合作。
通过与Chinaseo合作，企业可以获得竞争优势并快速适应 SEO 领域的任何变化。
我们的技术搜索引擎优化顾问将帮助优化您的网站内容、建立高质量的反向链接、进行全面的关键字研究等等，以提高您的排名。
