我本来是去查别的事。
想看看 bing 这个月到底抓了多少页面，顺手把服务器上 31 个 access 日志全解析了一遍。31 个文件，207,846 行，跨度 38 天。
翻到中段的时候，有一组路径开始反复出现。
/@fs/app/rootkey.csv
/@fs/proc/self/environ
/secrets.json
/firebase-credentials.json
/docker-compose.yaml
/actuator/configprops
这些路径我的站上根本没有。它们一遍一遍出现，说明有人在挨个试。
先把总量摆出来
20.8 万行里，爬虫占了 116,955 次，56.3%。剩 90,891 次是非爬虫，43.7%。
请求量前六名：SemrushBot 31,823，MJ12bot 27,017，ClaudeBot 17,896，PetalBot 14,892，meta-externalagent 8,507，AhrefsBot 8,361。
GTPBot 只有 1,494 次。bingbot 653 次。Baiduspider 67 次。
所以「AI 爬虫把服务器压垮」这个说法，在我这台机器上不成立。压过来的是 SEO 工具。
4 个地址，18 张脸
我按 IP 把 UA 归了一下，出现四个地址：
34.125.45.121 用过 11 种 UA。
34.76.212.191 用过 16 种。
34.47.55.42 用过 18 种。
35.240.246.249 用过 18 种。
18 种是什么概念？从 Amazonbot、Applebot、Bytespider，到 ChatGPT-User、Claude-User、PerplexityBot、YouBot、cohere-ai、MistralAI，几乎把我认识的 AI 爬虫名字全换了一遍。
UA 一直在变，动作没变。
真假怎么区分
左边那批假爬虫有个共同点：总请求少，但大部分打在敏感路径上。
YouBot 70%，MistralAI 66.7%，PerplexityBot 60.6%，DuckAssistBot 60%，Claude-User 51.7%，cohere-ai 50%，ChatGPT-User 43.5%，Google-Extended 42.9%。
而真的那批正好反过来：ClaudeBot 0.1%，meta-externalagent 0.1%，Applebot 0.4%，GPTBot 0.5%。
一个来了 17,896 次只碰 14 次。另一个来了 10 次碰了 7 次。
真爬虫敲门，假爬虫撬锁。
但一样东西都没拿到
这是我翻日志时想先确认的一件事。我把 2,005 次敏感路径请求的返回码全数出来了：
404 有 1,993 次，占 99.4%。
400 有 7 次。
499 有 5 次（客户端主动断开）。
200 一次都没有。
所以准确的说法是：它们在找，但没找到。
我只能说到这一步。 不能说「所有站都安全」，因为我这台服务器的落盘目录本来就不在站点根下面，那些路径天然打不中。换个部署方式，比如把 .env 放在 public 里，结果可能完全不同。
也不能说「它们没试」。试得非常勤。
真爬虫那边，也没那么干净
ClaudeBot 那 14 次、meta 那 6 次、GPTBot 那 8 次，我没逐条看是什么路径，数据里只统计了次数。
所以我不下「它们也在扫」这个结论。可能只是早年被删掉的旧链接，404 之后就走了。但我没有证据，只能说不知道。
更值得注意的是：一半工作在白做
ClaudeBot 17,896 次请求，14,501 次是 302，占了 81%。
meta-externalagent 8,507 次，6,830 次是 302，80.3%。
MJ12bot 38.6%，PetalBot 26.6%。全站 302 合计 35,732 次。
我看了下 302 的路径，全是 /nav/go/{id} 这种站内跳转链接。
17,896 次听起来很多，把 302 去掉，真正读到正文的只有 143 个页面。
这个数字反而能解释另一件事：为什么有些站明明日志里爬虫一片，收录却上不去。
那几天是一起涌进来的
我顺手看了逐日曲线，不是每天匀速。
ClaudeBot 在 10 月 3 日一天来了 9,267 次。它的日常量级是几十到一百多次。
meta-externalagent 在 10 月 9 日来了 7,612 次。
SemrushBot 的尖峰在 9 月 26 日，7,138 次。
PetalBot 在 9 月 20 日到过 1,009 次。
这种一天顶一个月的量，跟日常抓取不像一回事。是不是批量回扫，我没法从日志里判断【暂无相关资料】。
谁真的读了正文
全站 149 篇文章。MJ12bot 排第一，146 篇。它是个 SEO 工具，不是 AI。
GPTBot 143 篇，ClaudeBot 143 篇，都在 96% 上下。Amazonbot 129 篇，Applebot 126 篇，SemrushBot 127 篇，meta-externalagent 111 篇。
PetalBot 只有 70 篇。Googlebot 44 篇。
bingbot 2 篇。AhrefsBot 来了 8,361 次，一篇都没读。Bytespider 1,937 次，也是零篇。
这几条得写清楚
UA 只是一行字符串，谁都能写。我是用「行为特征 + 集中度」判断真假的，没做反向 DNS 验证。所以「4 个地址是同一批人」这个结论，依据是它们共用 IP 且轮换 UA，不是确凿的归属认证【本人未实测】。
34.x 和 35.x 这段地址通常属于 Google Cloud，这是常识，我没去查具体归属【暂无相关资料】。
我只统计了 38 天的总量，没算单日峰值分布。
日志只记录请求，不记录意图。
解析脚本我可以给。想看哪个爬虫的明细，说一声。