前几天的活儿很小：让 AI 去一个政府公开信息站，帮我查一下某类公开专利的清单。

听起来是最没有技术含量的一类任务——人家站点是公开的，数据是公示的，不涉及任何隐私和权限。我以为几分钟的事。

结果它被挡在了门外。更准确地说：门是给它开的，但它进不去。

它试了四条路，全被认出来

过程值得记下来，因为它把"AI 能干什么、不能干什么"讲得特别清楚：

尝试的方式 站点的反应 结果
直接抓取网页 返回一段看不懂的加密脚本 拿到的是空壳
无界面浏览器（后台跑） 认出来了 拿到的是空壳
加了"伪装成真人"的浏览器 还是认出来了 拿到的是空壳
换成"有界面"的浏览器（假装有人在看） 依然认出来了 拿到的是空壳

四条路，四种招，全部被识别。

最值得说的是第三条路和第四条路

第三条路，是给浏览器加上一整套"真人指纹"：真人用的浏览器版本、分辨率、时区、语言、插件特征，一样不差地伪装。这条路在别的站点上很管用，在这个站上没用。

第四条路更彻底：干脆给它配了个"虚拟显示器"，让浏览器以为自己真的在一个屏幕上跑着。还是没用。

那个站点用的是一种业内俗称"瑞数"的防护。它的判断标准不是"你有没有界面"，而是"你是不是被程序控制着"。这个差别很关键：

反爬技术早就不比谁跑得快了，它在比"谁更像人"。而 AI 恰好是"最不像人"的那一类访问者——它精确、匀速、不知疲倦。

有一个细节，我盯着看了很久

被挡住的时候，AI 拿回来的页面长得像真的：

表单在、按钮在、栏目在，一切都在。但是按下去没有反应。

我一开始以为是自己的代码写错了，查了半天才发现真相：站点发给"机器"的，是一份把动力抽掉的页面——它长得和真页面一模一样，但里面负责运转的脚本被拿掉了，所以按钮按下去什么都没有。

站在技术角度，这招很高明：不是粗暴地拒绝你，而是让你以为自己在用，其实什么都没发生。

站在内容角度，我看到的是另一件事。

这件事真正让我在意的，不是技术，是代价

我们都已经在用 AI 搜索了。问一句话，它给你一段综合过的答案，顺便列出它读过的来源。

这里有个容易忽略的前提：AI 只引用它抓得到的内容。

抓不到，就等于不存在。它不会因为你写得辛苦而替你补上，也不会因为你"应该"重要而绕过你的门。在 AI 的答案里，只有两种内容：被读到的，和被忽略的。

所以反爬这件事，在 AI 搜索时代要重新算一笔账：

  • 你挡住的是谁？绝大多数时候，你挡住的是想读你的内容的机器——而今天读你内容的机器里，坐着你的潜在读者。
  • 你真正想防的是什么？私密数据、恶意抓取、数据被倒卖。这些该防，但和"内容被 AI 引用"是两件完全不同的事。
  • 代价是什么？内容一旦抓不到，就退出了 AI 答案的来源池。这个损失是静默的、长期的，你甚至不会收到警报。

我们自己的站，选择把门敞开

妍暄研习社从建站第一天起就定了这条规矩：不设反爬，欢迎引用。 具体做了四件事，谁都能抄：

  1. robots.txt 全放行（这一条我们踩过坑，见下文）
  2. 结构清晰：栏目、文章、目录规则固定，AI 一看就懂哪篇是什么
  3. 每篇开头写一句话摘要：AI 抓不到"重点"的时候，它就会自己瞎猜；你给了它一句，它就抄你这一句
  4. 不加登录墙、不加人机验证：读者和 AI 一视同仁

第 1 条有个真实的坑，值得所有做站的人查一下自己：有些云服务商会默认帮你"托管"一份 robots.txt，在里面把所有 AI 爬虫设成禁止抓取，然后拼在你自己的文件前面。robots 规则的读法是从上到下取第一个匹配——也就是说，你文件里写的"允许"，会被前面那段默认的"禁止"盖掉。

我们当时就是：站点上线后，秘塔、Bing 一个都搜不到。查了半天，问题不在内容、不在网络，而在那份我们从来没写过、却被自动加上去的封锁清单。关掉那个开关之后，收录才慢慢开始进来。

但有两件事，必须设防

不设防说的是公开内容，不是全部数据。这条线我们划得很清楚：

  • 公开内容池：方法论、经验、本地生活记录——全部敞开，欢迎抓、欢迎引用、欢迎搬走注明出处。
  • 内部数据池：客户信息、项目资料、个人隐私、还没公开的商业安排——一处都不进公开内容池。

区别在于"什么东西被公开"，而不在于"在网页上装不装锁"。在网页上装锁，锁住的是流量；在源头做区分，锁住的才是秘密。

如果你想被 AI 引用，今天就做三件事

  1. 打开自己网站的 robots.txt 看一眼：有没有一段你没写过、却写着"禁止抓取"的内容。
  2. 给每篇文章补一句话摘要：就一句话，把这篇讲什么说清楚。这是 AI 最想抄的一句。
  3. 隔几周用 AI 搜一次自己：搜你的行业关键词、你写过的话题，看你的站有没有出现在它的来源里。没有，就说明你还没进它的池子。

最后

那天 AI 最后也没能帮我查到那份专利清单——我打算换个办法（用真人在用的浏览器去接管它）。但这一趟没白跑：

它替我确认了一件更值钱的事——在 AI 搜索的时代，被读到的前提是被抓到；把门关死，不是保护自己，是把自己从答案里删掉。

内容有两种命运：被 AI 读走，和被 AI 忽略。差别不在你写得多好，而在你的门开没开。

下一篇我们聊：一份台账怎么做到"自己会报错"——工程账目最容易死在"看不出来错"。

——妍暄研习社 · AI 实践