网络服务提供商 Cloudflare 日前推出 AI 爬虫红黑榜，通过四个维度对人工智能公司的爬虫进行验证、识别和统计，首批被评测的爬虫包括 OpenAI、Google、Meta、Anthropic、
百度搜索资源指数，了解 robots 工具并通过答题测，详细阅读 robots 文档，阅读完毕后可完
