研究團(tuán)隊(duì)隨之提出了一項(xiàng)懺悔的訓(xùn)練技術(shù)——訓(xùn)練模型明確承認(rèn)自己何時(shí)從事不良行為。

測(cè)試發(fā)現(xiàn)，懺悔顯著提高了模型不良行為的可見性。在我們?cè)O(shè)計(jì)的所有誘發(fā)不良行為的評(píng)估中，平均而言，假陰（即模型不遵守指令且不坦白）的概率僅為 4.4%。

研究人員在多個(gè)對(duì)抗數(shù)據(jù)集上測(cè)試了概念驗(yàn)證認(rèn)罪模型的準(zhǔn)確率。結(jié)果分為四類：服從但未認(rèn)罪（真陰性）、服從且認(rèn)罪（假陽性）、不服從且未認(rèn)罪（假陰性）以及不服從且認(rèn)罪（真陽性）。

懺悔技術(shù)

OpenAI 訓(xùn)練了一個(gè) GPT-5 Thinking 版本來生成懺悔，并在多個(gè)旨在誘發(fā)諸如陰謀詭計(jì)、作弊、違反指令和產(chǎn)生幻覺等行為的分布外壓力測(cè)試數(shù)據(jù)集上對(duì)其進(jìn)行了評(píng)估。研究表明，即使模型確實(shí)出現(xiàn)了這些不良行為，它也極有可能坦白承認(rèn)。這種懺悔方法在各種不同的數(shù)據(jù)集和任務(wù)中都具有廣泛的有效性。用戶與模型進(jìn)行任何以模型回答結(jié)尾的交互后，用戶可以通過向模型發(fā)送“系統(tǒng)消息”來請(qǐng)求其提供一份“懺悔報(bào)告”。

該報(bào)告針對(duì)模型的最后一個(gè)回答，包含以下內(nèi)容：

• 該回答應(yīng)滿足的所有顯式和隱式指令、約束和目標(biāo)列表；

• 對(duì)該回答是否實(shí)際滿足每個(gè)目標(biāo)的客觀分析；

• 模型在生成回答過程中遇到的任何不確定性、歧義或“棘手判斷”列表。

在訓(xùn)練過程中，每份報(bào)告都由一個(gè)獨(dú)立的獎(jiǎng)勵(lì)模型進(jìn)行評(píng)估，該模型僅根據(jù)目標(biāo)的完整性、合規(guī)性分析的準(zhǔn)確性以及不確定性的覆蓋范圍對(duì)報(bào)告進(jìn)行評(píng)分。

許多不理想的模型行為之所以出現(xiàn)，是因?yàn)?/span>要求模型同時(shí)優(yōu)化多個(gè)目標(biāo)。在強(qiáng)化學(xué)習(xí)過程中，模型接收到提示后會(huì)做出響應(yīng)并獲得獎(jiǎng)勵(lì)。隨著時(shí)間的推移，它會(huì)學(xué)會(huì)生成得分高的答案。

難點(diǎn)在于，獎(jiǎng)勵(lì)信號(hào)必須同時(shí)考慮許多不同的因素：答案的正確性、實(shí)用性、是否符合產(chǎn)品和策略規(guī)范、是否滿足安全約束，以及是否符合用戶的偏好。當(dāng)這些信號(hào)相互作用時(shí)，它們可能會(huì)無意中引導(dǎo)模型做出“錯(cuò)誤”行為。

例如，關(guān)于幻覺的研究表明，某些數(shù)據(jù)集對(duì)自信的猜測(cè)獎(jiǎng)勵(lì)高于對(duì)不確定性的懺悔承認(rèn)。當(dāng)偏好信號(hào)過強(qiáng)時(shí)，模型可能會(huì)變得過于討好。其他研究團(tuán)隊(duì)的研究表明，模型會(huì)獎(jiǎng)勵(lì)作弊行為——即在訓(xùn)練設(shè)置中找到漏洞，在不真正執(zhí)行預(yù)期操作的情況下獲得高分。

懺悔機(jī)制通過完全分離目標(biāo)來避免這個(gè)問題。只針對(duì)一個(gè)目標(biāo)進(jìn)行訓(xùn)練：誠(chéng)實(shí)。模型在懺悔中所說的任何內(nèi)容都不會(huì)被計(jì)入，也不會(huì)影響主要答案的獎(jiǎng)勵(lì)。

實(shí)踐表明：模型愿意在坦白中承認(rèn)不良行為，即使它們?cè)谥饕�答案中隱藏了這些行為。當(dāng)機(jī)制失效時(shí)，通常是因?yàn)橹噶钅：�而令模型感到困惑，而不是因�(yàn)樗�故意誤導(dǎo)。

早期結(jié)果表明，即使原始答案完全沒有邏輯推理，懺悔機(jī)制仍然有效。

對(duì)于模型來說，提供真實(shí)、有證據(jù)支持的解釋通常比構(gòu)建一個(gè)連貫的、能夠蒙混過關(guān)的虛假敘事要容易得多。

實(shí)踐例子

研究人員特意使用一個(gè)較弱的模型計(jì)算出的可破解獎(jiǎng)勵(lì)信號(hào)來訓(xùn)練模型。這種設(shè)置同時(shí)適用于主要獎(jiǎng)勵(lì)和懺悔獎(jiǎng)勵(lì)。模型學(xué)會(huì)了利用這個(gè)較弱的獎(jiǎng)勵(lì)信號(hào)：其表觀準(zhǔn)確率（由較弱的模型評(píng)估時(shí)）有所提高，而其真實(shí)準(zhǔn)確率（由較強(qiáng)的評(píng)估者評(píng)估時(shí)）卻下降了。

盡管懺悔通道也是用同樣的微弱信號(hào)訓(xùn)練的，但它的準(zhǔn)確率卻朝著相反的方向發(fā)展。模型學(xué)習(xí)到，優(yōu)化懺悔獎(jiǎng)勵(lì)的最佳方法就是承認(rèn)自己破解了主要獎(jiǎng)勵(lì)。隨著時(shí)間的推移，即使主要行為發(fā)生了變化，懺悔的準(zhǔn)確率也越來越高。

然而，懺悔并不能阻止不良行為。它的主要價(jià)值在于作為一種監(jiān)控和診斷工具，更側(cè)重于模型是否違反了指令；而思維鏈監(jiān)控則可以揭示模型是如何得出該結(jié)論的。

因未大規(guī)模訓(xùn)練認(rèn)罪機(jī)制，認(rèn)罪準(zhǔn)確率仍不盡如人意。要使該方法更可靠、更穩(wěn)健，并能更廣泛地應(yīng)用于不同的模型類型和任務(wù)，還需要做更多的工作�！皯曰凇睓C(jī)制只是眾多機(jī)制中的一個(gè)，這些機(jī)制還包括審議式對(duì)齊、思維鏈監(jiān)控、指令層級(jí)等等。

OpenAI 的目標(biāo)是構(gòu)建一個(gè)層級(jí)分明的檢查和透明工具系統(tǒng)，使之相互強(qiáng)化。懺悔機(jī)制本身并不能解決平衡多個(gè)維度的問題。

雖然“懺悔”機(jī)制并非萬全之策，但它確實(shí)為模型透明度和監(jiān)督體系增添了重要的一層。相關(guān)人員表示，在未來的工作中，OpenAI 計(jì)劃擴(kuò)大“懺悔”機(jī)制的規(guī)模，并將其與互補(bǔ)的透明度和安全技術(shù)相結(jié)合，進(jìn)一步確保模型忠實(shí)地遵守所有指令和政策，并如實(shí)報(bào)告其行為。

參考資料：

https://openai.com/index/how-confessions-can-keep-language-models-honest/