2026年4月22日

一種新的訓練方法提高了人工智慧置信度估計的可靠性，同時又不犧牲效能，從而解決了推理模型中出現幻覺的根本原因。

自信具有說服力。但在人工智慧系統中，自信往往會產生誤導。

如今最強大的推理模型與房間裡聲音最大的人有著一個共同的特點：無論答案正確還是只是猜測，它們都以同樣不容置疑的自信給出每一個答案。麻省理工學院電腦科學與人工智慧實驗室 (CSAIL) 的研究人員現在已經發現，這種過度自信源於這些模型訓練方式中的一個特定缺陷，並開發了一種既能修復該缺陷又不犧牲任何準確性的方法。

這項名為 RLCR（基於校準獎勵的強化學習）的技術，訓練語言模型在給出答案的同時，也產生經過校準的置信度估計值。除了給出答案之外，模型還會考慮答案的不確定性，並輸出一個置信度分數。在多個基準測試的實驗中，RLCR 將校準誤差降低了高達 90%，同時保持甚至提高了準確率，無論是在模型訓練過的任務上，還是在模型從未接觸過的全新任務上，均取得了顯著成效。這項研究成果將於本月稍晚在國際學習表徵大會 (ICR) 上發表。

問題的根源出乎意料地簡單。近年來人工智慧推理領域取得突破性進展的強化學習（RL）方法，包括OpenAI的o1等系統所使用的訓練方法，會獎勵模型給出正確答案，懲罰模型給出錯誤答案。沒有中間狀態。一個透過嚴謹推理得出正確答案的模型，與一個隨機猜對的模型所獲得的獎勵相同。久而久之，這訓練模型自信地回答每一個問題，無論它們是否有確鑿的證據，或者實際上只是在拋硬幣。

這種過度自信會帶來後果。當模型應用於醫療、法律、金融或任何使用者需要根據人工智慧輸出做出決策的領域時，一個無論實際掌握程度如何都表現出高度自信的系統，其可靠性會受到影響，而這種不可靠性很難從外部察覺。一個只有一半時間正確卻聲稱「我有95%的把握」的模型，比一個直接給出錯誤答案的模型更危險，因為使用者沒有機會尋求第二意見。

「標準的訓練方法簡單而強大，但它沒有給模型提供表達不確定性或說『我不知道』的動力，」麻省理工學院博士生、論文共同第一作者梅胡爾·達馬尼說。 “因此，當模型不確定時，它自然而然地學會了猜測。” 

RLCR 透過在獎勵函數中加入一個項目來解決這個問題：布里爾分數（Brier score），這是一個成熟的指標，用於懲罰模型所宣稱的置信度與其實際準確度之間的差距。在訓練過程中，模型學習如何推理問題及其自身的不確定性，並同時產生答案和置信度估計。置信度過高的錯誤答案會受到懲罰，不必要的置信度過高的正確答案也會受到懲罰。

數學計算也支持這一觀點：研究團隊正式證明，這種獎勵機制能夠確保模型既準確又校準良好。隨後，他們使用一個擁有70億參數的模型，在一系列問答和數學基準測試中測試了該方法，其中包括六個模型從未訓練過的資料集。

結果顯示出一致的模式。與基礎模型相比，標準的強化學習訓練會顯著降低模型的校準效能，使其更難估計自身的不確定性。而強化學習置信度回歸（RLCR）則逆轉了這種影響，在不損失準確率的情況下顯著提高了校準性能。此方法也優於事後方法，後者需要訓練一個單獨的分類器來事後分配置信度分數。 「令人驚訝的是，普通的強化學習訓練不僅無法幫助提高校準性能，反而會損害校準性能，」麻省理工學院博士生、論文共同第一作者伊莎·普里（Isha Puri）說道，“模型的能力增強的同時，也變得更加自信。”

該團隊還證明，RLCR 產生的置信度估計在推理階段具有實際應用價值。當模型產生多個候選答案時，選擇自我報告置信度最高的答案，或在多數投票機制中根據置信度對投票進行加權，都能隨著計算規模的擴大而提高準確性和校準度。

另一項發現表明，對不確定性進行推理本身就具有價值。研究人員利用模型輸出訓練分類器，發現將模型明確的不確定性推理納入輸入可以提高分類器的效能，尤其對於規模較小的模型。模型對其已知和未知內容的自我反思推理包含著真實的訊息，而不僅僅是裝飾。

[圖像]                                                                         

「基於校準獎勵的強化學習」技術訓練語言模型，使其在回答問題的同時產生經過校準的置信度估計值。這項技術在金融、醫療以及其他用戶需要根據人工智慧輸出做出決策的領域具有應用價值。