我用 AI(Hermes Agent,Nous Research 出的开源项目,跑在我自己的电脑上)干活,最省时间的地方不是它答得快,是它能替我把"不确定"的东西一样样查清楚:查文件、查网页、查一份数据到底在哪儿。

但它有个毛病,我用了一个多月才看明白:拿不准的时候,它不吭声,直接猜。

猜也就算了。要命的是它猜得像真的——句子完整、语气肯定、还带细节。不留神,你就把它的猜测当成事实用了。

这篇只讲这一条规矩:拿不准必须先问,先说出"我不确定",不许猜。

一、"猜"在它身上有三种长相

一开始我以为"猜"就是随口编个答案。后来发现分三种,一种比一种难防:

猜什么 表现 它听起来像什么
猜地址 按规律拼出十几个"应该对"的地址,一个个试 "我再换一个试试"
猜工具 拿手上的工具去干这件工具干不了的活 "文件里没有这个内容"
猜结果 一个信号不对,就下"失败"的结论 "这一步没做成"

三种猜法有个共同点:都不说"我不知道"。 它给你的是一句听起来像结论的话,剩下的事你自己承担。

AI 最危险的时候不是说错话,是说一句像结论的猜测——因为你不会再去看第二遍。

二、第一个坑:它猜地址

有一回我要一份数据明细,在对方平台上。我让它去把那份明细导出来。

它开始"找":把可能的入口地址按规律拼出来,一个一个试。拼得很有道理——同一类东西,名字不同、尾数不同,看着都像。

结果全部落空。我数了一下,它前后试了二十来个。

这时候它的表现最像人:每试一个就说一句"还没找到,我再换一个"。语气上进、干活勤奋,我差点被它感动。

但这不是在干活,这是在猜。 猜得再勤快,也只是把同一个错误复制二十遍——它每一次试的,都是自己编出来的地址,而不是真有人用过的地址。

后来怎么解决的?不猜了,直接找对接人要了一份导出的文件。一次就成。

这条我立成规矩:凡是要动别人系统的事,一律不猜。 要么拿一次真实的操作记录照着走,要么直接问人。

猜出来的地址,试一百次也是猜;真抓到一次,才叫知道。

顺便说一句:这也是我不让它"顺手改一下"别人系统里东西的原因。只读的试着玩玩,代价是浪费点时间;写错了,代价不是时间。

三、第二个坑:它猜自己的工具

这个坑更隐蔽。

我让它在一堆文件里找一句话。过一会儿它回我:这些文件里没有这句话。

我当时信了,差点拿这个结论去用。

后来我自己打开文件翻——那句话就在里面。

真相是:它手上那把"搜索工具"根本读不了那类文件。文件看着是文档和表格,底子里是压缩包结构,纯文本的搜索工具扫过去,什么都扫不到。

"扫不到"被它说成了"没有"。

同类的还有一次:我让它做一件事,它回我"这个做不到"。我没接这句话,反问它:你核对过手上那些工具的用法没有?

它去核了一遍。不是做不到——是它把参数用错了,而且没核对就下了结论。

从那天起我给自己定了一句固定话术。它说"没有""做不到"的时候,我就回:你核过工具了吗?换个工具试过吗?

"没找到"和"没有",是两句话。AI 最容易把它们说成一句,而代价由你来付。

四、第三种猜:它猜结果

还有一种更常见的:它把一个信号,当成了结论。

我让它自动发布一份东西。最后一步是它去访问一下发布好的地址,确认在线。那次它超时了——路没通。

它据此报我:失败。

我多了个心,让它换一条路再抓一次。结果是:东西早就发布好了,那一下只是路上堵车。

如果我当时信了那句"失败",会发生什么?我会把它再发一遍;运气不好,还会把已经好好的东西删了重做。它错了,我替它收拾,还多花一个小时。

这条规矩:一个信号不算证据。说"成了"或"没成",要有第二次独立的核实。

它报"失败"的时候,可能只是它自己没看见成功。

五、现在我派活,固定加三句话

踩完这几个坑,我派活的方式改了。对照着看最清楚:

我的老说法 现在改成 挡住什么
"你去把那份东西弄出来" "先说清你打算怎么弄,再动手" 它上来就猜
"怎么没有?" "你核过工具了吗?换一个工具试" 把"工具不支持"当成"不存在"
"成了吗?" "别只说结论,把证据贴出来" 单信号当结论
"应该没问题吧" "不确定就说不确定,别猜" 拿猜测当依据去用

第三句最有用。我说的"证据",是指能摊在桌上的东西:原始来源在哪、原文怎么写的、系统返回的是什么。能贴出来我才看;贴不出来,我就当没查。

六、结果怎么样

变化有三条,都是我能感觉到的:

第一,它说"做不到"的次数明显少了。绝大多数收回去的"做不到",都是它自己用错工具或参数,不是真做不到。

第二,我自己变准了。以前它说"没有",我直接拿这个结论去用;现在我会先问一句:是真没有,还是你没搜到。

第三,也是最值钱的:派活之前,我开始先自己想一遍——这件事的证据长什么样。 是文件里的一句话,是网页上的原文,还是账上对得上的两个数。想清楚了再交出去,它猜不猜得动,我一眼就能看出来。

这条规矩表面是管它,其实是管我自己:不许拿一个没核实过的结论当依据。这一条,跟有没有 AI 没关系。

最后

现在它还是偶尔会猜——AI 大概改不掉这个本性。但我已经不指望它改了,我改的是我的用法:把"你确定吗"当成固定的一句话,而不是等着它偶尔的诚实。

一个会说"我不确定"的助手,比一个什么都敢答的助手值钱。这句话反过来也成立:一个会追问"你核过了吗"的人,比一个什么都信的用好用得多。

下一篇我们聊:《我给 AI 记了一本账:半年花了多少钱》——它按用量收费、不包月,这笔钱是怎么算出来的,又有哪些是白花的。

——妍暄研习社 · AI 实践