【GEO百科】学生问：robots协议是跟AI签合同吗？拦不拦AI有讲究吗？

上次讲了爬虫，有同学追问：老师，您提了一嘴robots协议，这是网站跟AI签的合同吗？拦不拦AI爬虫，有讲究吗？

不是合同，是块“规矩牌”。今天讲清楚它，因为这直接关系到AI能不能看到你。

它是网站门口的“规矩牌”

robots协议，是放在网站根目录下的一个文本文件（robots.txt），里面写着哪些内容允许爬虫访问、哪些不让。就像店门口立块牌子：“营业区欢迎光临，仓库重地闲人免进。”主流搜索引擎和AI爬虫大多会遵守这个君子协定——看到不让进的区域，它们就绕道走。

对GEO很关键：别把AI挡在门外

重点来了。很多老网站当年为了防“恶意抓取”，或者干脆是建站时的默认设置，把一大批爬虫全拦了——其中就包括各家AI的爬虫。结果就是：AI兴冲冲来读你的内容，门口牌子写着“禁止入内”，它真就不进来。你官网内容写得再好，AI一个字没见过，答案里自然没有你。所以做GEO的第一件技术检查，就是看看robots.txt有没有误伤主流AI爬虫——这可能是全网性价比很高的一处修改。

也不是无脑全开

有些内容确实不想被AI抓——内部文档、测试页面、客户隐私数据，那就老老实实在robots里写清楚规则。原则是：该开的开、该关的关，精准设防，而不是一刀切全拒。

有同学问：robots文件在哪看？浏览器地址栏输入"你的域名/robots.txt"，能打开就说明有，打不开就是没配。内容一看就懂：User-agent写着针对谁，Disallow和Allow写着让不让进、让进哪些。

补充一个坑：有些安全插件或建站模板的默认设置会拦一大片爬虫，老板根本不知情。所以别只看你有没有写规则，要实际验证——用站长平台的抓取诊断工具测一下，AI到底能不能真的读到你的页面。眼见为实，配置文件写了没跑通，等于没写。这一步五分钟，可能就是你和AI之间的那堵墙。

一句话总结

robots.txt是网站给爬虫立的规矩牌；做GEO先检查它有没有误拦AI爬虫，敏感页面再单独设防，别一刀切。

想让AI在用户提问时第一个想起你家？了解【沃艾GEO】（woaigeo.com），卫老师12321全域GEO方法论帮你把全域布局做扎实。