Google推出了一个名为GoogleOther的新爬虫

这个爬虫类似于 Googlebot，但它将被 Google 团队内部使用，用于爬取公共网络上的信息。

Google 推出了 GoogleOther，这是一个全新的网络爬虫。

GoogleOther 将被 Google 的各个团队内部使用，用于爬取公共网络上的信息，Gary Illyes 在 LinkedIn 上表示。

它遵循与主要的 Googlebot 爬虫相同的指令和协议，并将为主要的 Googlebot 爬虫释放一些资源。

GoogleOther 已经被 Google 添加到其爬虫文档中： 

“通用爬虫可能会被各种产品团队用于从网站中获取公开可访问的内容。例如，它可以用于内部研究和开发的一次性爬取。GoogleOther 爬虫始终遵守其用户代理令牌和全局用户代理（*）的 robots.txt 规则，并使用与 Googlebot 相同的 IP 范围。”

Google 爬虫（用户代理）概述

用户代理 (User Agent)：用户代理标记和完整的用户代理字符串非常简单，只是“GoogleOther”。

但是经过爬虫识别网站监控，还有其它的 User-Agent，例如这样：Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.224 Mobile Safari/537.36 (compatible; GoogleOther)

为什么有了新的爬虫？

这个新的爬虫最终将减轻 Googlebot 的一些负担，Illyes 解释道：

“随着我们优化 Googlebot 的爬取方式和内容，我们想要确保的一件事是，Googlebot 的爬取工作仅在内部用于构建搜索使用的索引。为此，我们添加了一个新的爬虫——GoogleOther，将替代 Googlebot 的其他工作，如研发爬取，以释放一些爬取能力供 Googlebot 使用。”

Google 将其用于内部目的。 这是否意味着它正在用于 Bard（一种未知的用途）？目前尚不清楚。

是否应该阻止 GoogleOther？ 如果尝试阻止这个新的爬虫会发生什么尚不清楚。但我怀疑你应该密切关注它，如果它对你的服务器造成了太大的压力，你可以决定是否允许或拒绝该新 Googlebot 访问你的站点。

为什么我们关心。 许多人在他们的网站和日志文件中检查爬取活动和爬虫活动。当你看到这个新的 GoogleOther 爬虫时，不要感到惊慌。它是一个真正的 Googlebot。

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/