-
我扒了 10 天访问日志:3 万次请求,AI 爬虫只占 6%10 天 30,128 次访问日志逐行拆开:AI 公司爬虫只占 6.1%,卖外链的 SEO 工具占 32.8%,404 占 43.1%。中间我想用「有没有加载 css」判断真人,结果发现这个判据被自己的 nginx 配置关进了日志盲区。
10 天 30,128 次访问日志逐行拆开:AI 公司爬虫只占 6.1%,卖外链的 SEO 工具占 32.8%,404 占 43.1%。中间我想用「有没有加载 css」判断真人,结果发现这个判据被自己的 nginx 配置关进了日志盲区。