【GEO百科】学生问：robots说欢迎，服务器反爬却拦了AI，听谁的？

一位做设备的企业学生遇到个拧巴事：他按我们说的在robots里写了欢迎AI抓取，可技术那边为了防攻击，给服务器加了一层反爬拦截，结果AI爬虫也被拦在外面了。robots喊欢迎，门口保安却拦人，AI听谁的？

先明白两道门的关系

robots协议是“门口的牌子”，写着你欢迎谁、不欢迎谁，它是协商性质的，爬虫看牌子自觉遵守。服务器反爬是“保安的手”，从技术上直接拦请求，牌子写得再热情也没用。两道门不一致时，起作用的是更硬的那道——AI进不来，就是进不来。

常见的误伤方式

很多反爬规则是按行为特征拦的：高频访问、无浏览器指纹、特定请求头。AI爬虫恰好命中这些特征，跟恶意扫描器长得像，就被一锅端了。还有一种更隐蔽：网站接了安全防护服务，默认开启“疑似机器人挑战”，AI爬虫过不了这一关，你的服务器日志里看起来一切正常，其实人家根本没进来。

怎么把两道门对齐

让技术人员做三件事：从日志里确认主流AI爬虫的访问情况，看看它们是被拒还是压根没来；把robots里写欢迎的爬虫名单加进反爬的白名单，名单外的照常拦；改完之后过一两周再核一次日志，确认它们真的进来了、抓到内容了。防攻击和迎AI不矛盾，关键是名单化管理。

一个自查小实验

不确定自己网站是不是真把AI拦了，可以做个简单验证：让技术同事模拟AI爬虫的请求头去访问一个内容页，看返回的是正常页面还是拦截提示。再对照robots里的声明，两边一致就放心，不一致就说明门口有东西。这个实验十分钟做完，比反复猜省事。定期做一次，尤其在你升级防火墙、更换安全服务之后，门牌和保安再对一遍，别让内容白写。

一句话总结

robots是牌子，反爬是保安，最终起作用的是保安；把欢迎的AI爬虫加进白名单，把恶意扫描挡在外面，两道门对齐，内容才真正送到AI眼前。这道题的本质是内部协作：做GEO的人改robots，做安全的人上拦截，两边不通气，好内容就闷在门里。建议企业把AI可见度纳入技术例会的话题，防火墙规则变更时知会内容负责人，robots调整时知会技术负责人。一句话的事，省下的是几个月的白干。

【沃艾GEO】不确定AI到底进没进你的网站？来 woaigeo.com 找卫老师聊聊，12321全域GEO。