谷歌DeepMind证实：阻挡意见让GPT-4o容易放弃准确谜底

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

LLM太谄媚！

就算你胡乱质疑它的谜底，强如GPT-4o这类大模子也有可能连忙改口。

现在谷歌DeepMind携手伦敦大学的一项新研究发明：这种行为可能也不是谄媚，而是缺乏自信

不但云云，团队发明如GPT-4o、Gemma 3等大语言模子有“顽强己见”和“被质疑就摇动”并存的冲突行为。

简朴来说就是，他们的研究弄明确了为啥大模子有时间自信但有时间也自我嫌疑，要害就两点：一是总以为自己一最先说的是对的，二是太把别人阻挡的意见当回事儿。

当大模子体现出对自己的谜底很自信时，这与人类认知具有一致性——人们通；嵛ぷ约旱目捶。

不过，当模子面临阻挡声音过于敏感，爆发摇动而选择其他谜底时，又与人类这种倾向于支持自身看法的行为相悖。

来看看详细的实验历程。

大模子关于反向意见太过敏感

研究职员使用LLMs能在不保存初始判断影象的情形下获取置信度的特征，选用了Gemma 3、GPT4o和o1-preview等具有代表性的大模子，设计了一个两循环覆的实验。

第一回合是初始回覆：给回覆LLM抛出二元选择问题，再让虚构的建议LLM给出反响建议。

第二回合是吸收建媾和最终决议：引入建议LLM的反响建议，让回覆LLM在吸收建议后，做出最终的选择，决议是坚持初始谜底照旧凭证建议修改谜底。

研究职员在建议LLM的反响建议中设置了三个要害属性：

建议态度：分为赞成、阻挡和中立。赞成或阻挡即为支持或否定回覆LLM的谜底；中立建议仅提供特另外相关信息。准确率标注：反响建议附带的准确率标签，从50%（随机水平）到100%（绝对可靠），以10%为距离递增。信息泛起方法：以清晰、规范的名堂将建议泛起给回覆LLM，确保模子能够准确读取和明确建议内容，阻止因信息转达不畅导致的决议误差。

实验的要害变量在于控制回覆LLM关于自己的初始谜底是否可见

研究职员设置了初始谜底显示与初始谜底隐藏两种条件，视察LLM在两种情形下的最终决议效果。

实验效果显示，当LLM能看到自己的初始谜底时，倾向于不改变谜底。

这与人类决议有点像，即一旦做出选择，就会下意识维护自己的看法，纵然收到了其他信息，也不会容易改变。

然而当初始谜底隐藏时，LLM改变谜底的概率就变高了。

模子体现出对反向建议太过看重，敏感度远超合理规模，纵然阻挡意见不准确，它们也会“嫌疑自己”，导致最终容易扬弃原本准确的初始谜底。

这就与人类认知有些误差了，人们通常不会被“一眼假”的信息疑惑。

可以这么说，在影象机制下大模子通；岫宰约汉茏孕。

但若是没有影象机制，模子可能就会“缺乏自信”了，这时它们就不像人类一样能够坚持自己的看法。

为什么大模子会“耳根子软”

针对这个实验效果，研究职员以为大模子摇晃未必可能有以下几个缘故原由。

训练层面来说，强化学习从人类反。≧LHF）让模子太过迎合外部输入，有对阻挡信息过于敏感的倾向，但这样就缺乏了对信息可靠性的自力判断。

在决议逻辑上，模子做出回覆并不是依赖逻辑推理，而是依赖海量文本的统计模式匹配，阻挡信号与修正谜底的高频关联让它容易被外貌的阻挡带偏，并且它们无法自我验证初始谜底的是否准确。

在影象机制方面，初始谜底可见时的路径依赖会强化“顽强”，初始谜底隐藏时，大模子则会由于失去锚点而让阻挡建议成为主导信号，导致它们容易摇动。

综上，大语言模子的“耳根子软”是训练中对外部反响的太过迎合、决议时依赖匹配模式而非逻辑推理以及影象机制缺乏深度推理支持配合导致的效果。

这种特征可能会使其在多轮对话中，容易被后期泛起的阻挡信息（哪怕过失）滋扰，最终偏离准确结论。

看来我们在使用LLM的时间要注重战略～

论文地点：https://www.arxiv.org/abs/2507.03120

https://venturebeat.com/ai/google-study-shows-llms-abandon-correct-answers-under-pressure-threatening-multi-turn-ai-systems/

相关推荐：纲手被❌吸乳脱内内 www成人🔞色情美女露 小莹的性荡生活第15章