-
20万行日志里，真爬虫守规矩，假爬虫在找你的.env解析 ayusite 31 个 access 日志共 207,846 行、跨 38 天：爬虫 116,955 次占 56.3%，其中 SEO 工具最多（SemrushBot 31,823、MJ12bot 27,017）。4 个 34/35 段地址轮换 11 到 18 种 AI 爬虫 UA，敏感路径占比最高 70%。2,005 次探测里 404 有 1,993 次，200 零次。真 ClaudeBot 17,896 次只碰 14 次，但 81% 请求是 302。
-
我扒了 10 天访问日志：3 万次请求，AI 爬虫只占 6%10 天 30,128 次访问日志逐行拆开：AI 公司爬虫只占 6.1%，卖外链的 SEO 工具占 32.8%，404 占 43.1%。中间我想用「有没有加载 css」判断真人，结果发现这个判据被自己的 nginx 配置关进了日志盲区。