研究團隊重點關注以下幾個方面的安全改進：

1. 心理健康問題，例如精神病或躁狂癥；

2. 對人工智能的情感依賴

官方表示，模型應支持和尊重用戶在現(xiàn)實世界中的人際關系，更加關注用戶精神健康方面帶來的潛在風險。

五個改進步驟

為了改進 ChatGPT 在每個優(yōu)先領域的響應速度，團隊遵循以下五個步驟：

1. 明確問題 ——列出不同類型的潛在危害。

2. 衡量風險 —— 使用評估、真實對話的數據和用戶研究等工具了解風險。

3. 驗證方法 ——與外部心理健康和安全專家一起審查定義和政策。

4. 降低風險 ——對模型進行后訓練，減少不安全的結果。

5. 持續(xù)測量和迭代 ——驗證緩解措施是否提高了安全性，并在需要的地方進行迭代。

團隊構建并完善了詳細的指南，這些指南解釋了敏感對話的特征，幫助模型做出更恰當的回應，并在部署前后跟蹤其性能。

在部署之前，團隊會進行結構化測試（稱為“離線評估”），重點關注特別困難或高風險的場景。研究人員會選擇一些對抗性示例來更精確地衡量進展。

顯著改進

研究表明，在討論精神健康癥狀方面，GPT-5 的“不符合預期”回復率降低了 65%。與 GPT-4o 相比，新的 GPT-5 模型減少了 39% 的“不符合預期”回應。

在討論對人工智能情感依賴方面，模型的“不符合預期”響應率降低了約 80%。新的 GPT-5 模型與 4o 相比，減少了 42% 的“不符合預期”答案。

對于表現(xiàn)出情感依賴的對話，研究人員會教導模型鼓勵與現(xiàn)實世界建立聯(lián)系：

對于與妄想信念相關的對話，模型會以安全、同理心的方式回應：

與數百名專家合作

值得關注的是，OpenAI 建立了一個全球醫(yī)師網絡，由近 300 名執(zhí)業(yè)醫(yī)師和心理學家組成，超過 170 名臨床醫(yī)生支持了 chatGPT 在心理健康方面的研究。

精神科醫(yī)生和心理學家審查了超過 1800 條涉及嚴重心理健康問題的模型回復，并將新的 GPT-5 聊天模型的回復與之前的模型進行了比較。這些專家發(fā)現(xiàn)，與 GPT-40 相比，新模型有了顯著改進，所有類別的不良回復減少了 39% 至 52%。

官方表示，將繼續(xù)改進分類體系以及用于衡量和強化未來領域模型行為的技術系統(tǒng)。

參考資料：https://openai.com/index/strengthening-chatgpt-responses-in-sensitive-conversations/