这篇是操作手册
前两篇把数据拆完了。这篇只讲怎么自己动手查一遍，以及查完能改什么。
需要的东西：服务器的访问日志、一条命令行。不用装任何工具。
我把命令都在这台机器上真跑了一遍，输出贴的都是实际结果，不是示意。
第一步：先确认日志有没有被关掉
这一步很多人会跳过，但我上一篇文章就是栽在这里。
翻一下 nginx 配置里有没有这几行：
我自己的站两处都关了，理由是“静态文件日志太多、省磁盘”。
结果就是：样式表和图片的请求一条都不记。你后面想用“有没有加载 css”判断真人，这个判据直接失效。
想查配置文件在哪：
这条命令会输出配置文件路径和语法检查结果。拿到路径后搜 `access_log off`。
我这台机器上 nginx 没加进 PATH，得写全路径：
要是你用的是宝塔、aaPanel 这类面板，日志一般在 `/www/wwwlogs/` 下面，配置文件在 `/www/server/panel/vhost/nginx/`。
第二步：数一遍总量
Windows 服务器用 PowerShell：
Linux 一行：
我那天的实际输出是 1947。
第三步：按 UA 分组，看谁在抓
我 10 月 18 日那天的结果：
一天 1,947 次请求，这三家 AI 加起来 104 次。
想看全部 UA 的排行，Linux 下用这个：
日志里 UA 是第 6 个双引号字段。这一行会输出出现次数最多的 30 个 UA。
第四步：别信 UA，去查 IP
UA 是请求方自己写的，谁都能填。我站里就有用中国大陆的 IP、UA 写 bingbot 的请求。
验证方法有两种。
有 PTR 记录的，直接看域名：
我的实际返回是 `18-97-14-85.crawl.commoncrawl.org`，Common Crawl 的官方域名。
没有 PTR 的，查 IP 归属：
GPTBot 那批的返回是 Microsoft Corporation。
这不是铁证。OpenAI 用 Azure、Anthropic 用 AWS，所以它们落在微软和亚马逊的网段里是正常的。但反过来，冒充者也能租同样的云主机。
所以我的判断标准是三样一起看：UA 写得像不像、IP 段对不对、访问路径合不合逻辑。三样都对上，我当它是真的。
第五步：看行为，这一步最关键
只看 UA 会得出错的结论。我第一版就是这么错的。
要判断对面是不是人，看这几个东西：
它要不要资源文件。 真人打开页面，浏览器会连 CSS、JS、图片一起取。脚本通常只取 HTML。
它是不是只来一次。 我的站 7,144 个“浏览器” IP 里，6,637 个 10 天只来过 1 次。
它看的路径像不像人。 真人一般从首页或搜索结果进来，看一篇文章，可能翻下一页。而 `/.env`、`/wp-content/`、`/1.php` 这种是扫描器。
上面这张图里的四条记录，都来自我站 10 月 16 日的真实日志。
第二条那个 IP，UA 写着 `bingbot/2.0`，但它访问的是 `/en/` 这个早就下线的路径。这个 IP 又在香港阿里云的段里。微软的爬虫不会从那里出来。
第六步：写 robots.txt，把爬虫引到对的地方
前面查出来一个问题：我站上 AI 爬虫有一半时间在抓标签页，真正读文章的比例很低。
原因不是它不想读，是我没给它地图。
`robots.txt` 放站点根目录，地址固定是 `/robots.txt`：
有两个点容易写错。
一是 Sitemap 那一行必须写绝对地址，带 `https://` 和域名，不能写 `/sitemap.xml`。
二是 Disallow 不是技术拦截。 它只是“请你别抓”的君子协定。遵守的爬虫会照办，不遵守的照抓不误。
真想拦住，得在 nginx 里按 UA 或者 IP 段直接返回 403：
但我不建议一上来就这么干。先想清楚你是想让它们读、还是不让读。
改完之后能得到什么
我打算做三件事：
一，把 `/assets/` 的日志打开，但只记 css 和 js，图片继续不记，控制日志量。
二，统计口径从“总请求数”换成“有资源加载的会话数”。
三，把 sitemap 里每个页面加上 `lastmod`，让爬虫知道哪些是新的。
第三件事我没验证过效果，只是看到 ClaudeBot 10 天里读了 126 次 sitemap.xml 却没怎么进文章页，我猜是清单里少了时间信息，它排不出优先级。这个判断我没有任何证据，属于猜的。
这套方法能告诉你的，和不能告诉你的
能确定的：谁来了、来了多少次、抓了哪些地址、用的是什么 UA。
不能确定的：抓走之后拿去干什么了。
日志能证明“读了页面”，证明不了“进了训练集”。这两件事经常被合起来说，但中间隔着一整套我看不到的流程。
你要是跑完了，最先看的那个数字我建议是“只来 1 次的 IP 占比”。这个数很直接，也不需要额外配置。
算出来比想象中高，也不用急着改。先知道自己在什么位置上，比什么都强。