-
AI 爬虫在我站上待了 10 天，真正读到文章的不到一成Anthropic 的 ClaudeBot 来了 472 次，其中 57% 在读 robots.txt 和 sitemap.xml，落到文章页的只有 8%。OpenAI 的 OAI-SearchBot 更极端：29 次请求里 28 次在读 robots.txt。Common Crawl 的 CCBot 有 86% 在抓一个早就下线的老路径。
Anthropic 的 ClaudeBot 来了 472 次，其中 57% 在读 robots.txt 和 sitemap.xml，落到文章页的只有 8%。OpenAI 的 OAI-SearchBot 更极端：29 次请求里 28 次在读 robots.txt。Common Crawl 的 CCBot 有 86% 在抓一个早就下线的老路径。