最近几天有一条和站长直接相关的消息：The Verge 报道，Yelp、达美航空、摩根大通、嘉信理财等一批网站开始明确阻止 AI Agent 替用户操作。Yelp 的态度最直白，想用我的数据，先加入数据授权计划；银行和券商则以安全为由直接关门。对做站的人来说，这件事有两个面：你既要决定自己的站要不要拦 AI 流量，也要意识到你依赖的那些平台正在改变规则。
图片由 AI 生成
先分清三种机器访客
不是所有自动化流量都是敌人。来你站点的机器人大体分三类，处理方式完全不同。
- 搜索引擎爬虫：抓了内容会带回流量的，比如 Googlebot、Bingbot，这些要欢迎，别误伤。
- AI 训练爬虫：抓内容去训练模型的，带不回多少流量，要不要给看你对版权和曝光的取舍。
- AI Agent：模拟真人操作浏览器，会登录、下单、发帖，风险最高，也是这次被各大平台集中拦截的对象。
很多站长的麻烦在于，这三类流量在日志里长得都像机器人，没区分之前根本不知道自己的内容被谁拿走了。
现在就能做的五件事
一、把 robots.txt 写细
robots.txt 是最基础的一道闸，各家主流 AI 爬虫都有公开的 User-Agent，比如 GPTBot、ClaudeBot、CCBot 这类。想全放行、全禁止还是只禁训练不禁摘要，都可以按 UA 单独写规则。注意 robots 只是君子协定，守规矩的爬虫会遵守，不守规矩的会无视，所以它解决的是态度问题，不是安全问题。
二、在边缘层做真拦截
要真挡住不看 robots 的流量，得靠服务器或 CDN 层。Cloudflare 从 2025 年起提供一键屏蔽 AI 爬虫的开关，现在这套能力已经覆盖了大量网站边缘节点。国内环境用宝塔的 Nginx 规则、WAF 插件也能做 UA 黑名单和频率限制，思路是一样的：把明显的机器人 UA 和异常访问频率挡在应用层之外。
图片由 AI 生成
三、给登录和交易环节上人机验证
Agent 最大的风险不在抓内容，而在替人操作。注册、登录、下单、支付回调这些接口，加上验证码、设备指纹或短信校验，能拦掉绝大多数自动化脚本。银行敢直接屏蔽 Agent，就是因为账户操作的责任说不清，中小站点经不起这种纠纷，更要提前设防。
四、想清楚要不要做内容授权
Yelp 的做法给了一种参考：内容有价值的站点，可以把「给 AI 用」变成一门生意，谈授权、谈分成。个人站点不一定有这个议价能力，但至少可以想明白——如果某家 AI 产品大量引用你的内容却不带回流，是该禁、该收费，还是睁一只眼闭一只眼换曝光。Amazon 和 Perplexity 的诉讼已经打了一年多，8 月上诉法院还推翻了此前的禁令，规则远没有定型，先想好自己的立场比跟着别人表态重要。
五、定期看访问日志
上面四件事做完不是一劳永逸。每周抽十分钟看一遍访问日志，重点看 UA 里带 bot、agent 字样的请求和访问频率异常的 IP 段。有些站点不发公告就悄悄改了策略，你自己的站也一样，被谁爬了、爬了多少，日志最诚实。
别把搜索引擎也误伤了
最后提醒一句：拦 AI 流量的动作做猛了，很容易把搜索爬虫一起挡在门外。规则改完先观察几天收录和抓取数据，确认正常搜索流量没受影响再继续收紧。流量来源本来就有限，别为了挡一个不确定的威胁，把确定带来访客的通道堵死了。
