-
20万行日志里，真爬虫守规矩，假爬虫在找你的.env解析 ayusite 31 个 access 日志共 207,846 行、跨 38 天：爬虫 116,955 次占 56.3%，其中 SEO 工具最多（SemrushBot 31,823、MJ12bot 27,017）。4 个 34/35 段地址轮换 11 到 18 种 AI 爬虫 UA，敏感路径占比最高 70%。2,005 次探测里 404 有 1,993 次，200 零次。真 ClaudeBot 17,896 次只碰 14 次，但 81% 请求是 302。