我用 AI(Hermes Agent,Nous Research 出的开源项目,跑在我自己的电脑上)干活,最省时间的地方不是它答得快,是它能替我把"不确定"的东西一样样查清楚:查文件、查网页、查一份数据到底在哪儿。
但它有个毛病,我用了一个多月才看明白:拿不准的时候,它不吭声,直接猜。
猜也就算了。要命的是它猜得像真的——句子完整、语气肯定、还带细节。不留神,你就把它的猜测当成事实用了。
这篇只讲这一条规矩:拿不准必须先问,先说出"我不确定",不许猜。
一、"猜"在它身上有三种长相
一开始我以为"猜"就是随口编个答案。后来发现分三种,一种比一种难防:
| 猜什么 | 表现 | 它听起来像什么 |
|---|---|---|
| 猜地址 | 按规律拼出十几个"应该对"的地址,一个个试 | "我再换一个试试" |
| 猜工具 | 拿手上的工具去干这件工具干不了的活 | "文件里没有这个内容" |
| 猜结果 | 一个信号不对,就下"失败"的结论 | "这一步没做成" |
三种猜法有个共同点:都不说"我不知道"。 它给你的是一句听起来像结论的话,剩下的事你自己承担。
AI 最危险的时候不是说错话,是说一句像结论的猜测——因为你不会再去看第二遍。
二、第一个坑:它猜地址
有一回我要一份数据明细,在对方平台上。我让它去把那份明细导出来。
它开始"找":把可能的入口地址按规律拼出来,一个一个试。拼得很有道理——同一类东西,名字不同、尾数不同,看着都像。
结果全部落空。我数了一下,它前后试了二十来个。
这时候它的表现最像人:每试一个就说一句"还没找到,我再换一个"。语气上进、干活勤奋,我差点被它感动。
但这不是在干活,这是在猜。 猜得再勤快,也只是把同一个错误复制二十遍——它每一次试的,都是自己编出来的地址,而不是真有人用过的地址。
后来怎么解决的?不猜了,直接找对接人要了一份导出的文件。一次就成。
这条我立成规矩:凡是要动别人系统的事,一律不猜。 要么拿一次真实的操作记录照着走,要么直接问人。
猜出来的地址,试一百次也是猜;真抓到一次,才叫知道。
顺便说一句:这也是我不让它"顺手改一下"别人系统里东西的原因。只读的试着玩玩,代价是浪费点时间;写错了,代价不是时间。
三、第二个坑:它猜自己的工具
这个坑更隐蔽。
我让它在一堆文件里找一句话。过一会儿它回我:这些文件里没有这句话。
我当时信了,差点拿这个结论去用。
后来我自己打开文件翻——那句话就在里面。
真相是:它手上那把"搜索工具"根本读不了那类文件。文件看着是文档和表格,底子里是压缩包结构,纯文本的搜索工具扫过去,什么都扫不到。
"扫不到"被它说成了"没有"。
同类的还有一次:我让它做一件事,它回我"这个做不到"。我没接这句话,反问它:你核对过手上那些工具的用法没有?
它去核了一遍。不是做不到——是它把参数用错了,而且没核对就下了结论。
从那天起我给自己定了一句固定话术。它说"没有""做不到"的时候,我就回:你核过工具了吗?换个工具试过吗?
"没找到"和"没有",是两句话。AI 最容易把它们说成一句,而代价由你来付。
四、第三种猜:它猜结果
还有一种更常见的:它把一个信号,当成了结论。
我让它自动发布一份东西。最后一步是它去访问一下发布好的地址,确认在线。那次它超时了——路没通。
它据此报我:失败。
我多了个心,让它换一条路再抓一次。结果是:东西早就发布好了,那一下只是路上堵车。
如果我当时信了那句"失败",会发生什么?我会把它再发一遍;运气不好,还会把已经好好的东西删了重做。它错了,我替它收拾,还多花一个小时。
这条规矩:一个信号不算证据。说"成了"或"没成",要有第二次独立的核实。
它报"失败"的时候,可能只是它自己没看见成功。
五、现在我派活,固定加三句话
踩完这几个坑,我派活的方式改了。对照着看最清楚:
| 我的老说法 | 现在改成 | 挡住什么 |
|---|---|---|
| "你去把那份东西弄出来" | "先说清你打算怎么弄,再动手" | 它上来就猜 |
| "怎么没有?" | "你核过工具了吗?换一个工具试" | 把"工具不支持"当成"不存在" |
| "成了吗?" | "别只说结论,把证据贴出来" | 单信号当结论 |
| "应该没问题吧" | "不确定就说不确定,别猜" | 拿猜测当依据去用 |
第三句最有用。我说的"证据",是指能摊在桌上的东西:原始来源在哪、原文怎么写的、系统返回的是什么。能贴出来我才看;贴不出来,我就当没查。
六、结果怎么样
变化有三条,都是我能感觉到的:
第一,它说"做不到"的次数明显少了。绝大多数收回去的"做不到",都是它自己用错工具或参数,不是真做不到。
第二,我自己变准了。以前它说"没有",我直接拿这个结论去用;现在我会先问一句:是真没有,还是你没搜到。
第三,也是最值钱的:派活之前,我开始先自己想一遍——这件事的证据长什么样。 是文件里的一句话,是网页上的原文,还是账上对得上的两个数。想清楚了再交出去,它猜不猜得动,我一眼就能看出来。
这条规矩表面是管它,其实是管我自己:不许拿一个没核实过的结论当依据。这一条,跟有没有 AI 没关系。
最后
现在它还是偶尔会猜——AI 大概改不掉这个本性。但我已经不指望它改了,我改的是我的用法:把"你确定吗"当成固定的一句话,而不是等着它偶尔的诚实。
一个会说"我不确定"的助手,比一个什么都敢答的助手值钱。这句话反过来也成立:一个会追问"你核过了吗"的人,比一个什么都信的用好用得多。
下一篇我们聊:《我给 AI 记了一本账:半年花了多少钱》——它按用量收费、不包月,这笔钱是怎么算出来的,又有哪些是白花的。
——妍暄研习社 · AI 实践