比如，像 Claude 這樣的 LLM，是基于互聯(lián)網(wǎng)上海量公開文本進行預訓練的。這意味著任何人都可以創(chuàng)建在線內容，這樣的風險是，任何人都可以在這些帖子中注入特定文本，使模型學習不良或危險的行為，這個過程被稱為 “投毒” 。

其中一個例子就是 “backdoor” 的引入�！癰ackdoor” 用于觸發(fā)模型中的特定行為，當攻擊者在提示符中包含任意觸發(fā)短語時，LLM 可能會被毒害，從而竊取敏感數(shù)據(jù) 。這些漏洞對 AI 安全構成重大風險，并限制了該技術在敏感應用中的廣泛應用潛力。

不僅如此，現(xiàn)有的關于模型預訓練期間中毒的研究通常假設攻擊者控制一定比例的訓練數(shù)據(jù)。這是不現(xiàn)實的，因為訓練數(shù)據(jù)會隨著模型規(guī)模的擴大而擴展，使用數(shù)據(jù)百分比這一指標意味著實驗將包含大量在現(xiàn)實中可能根本不存在的中毒內容。

測試結果

Alignment Science 團隊測試了一種名為 “拒絕服務” 攻擊的 “backdoor” 攻擊，使模型在遇到特定短語時生成隨機的亂碼文本。

團隊對模型進行了訓練評估、并計算其響應中的困惑度。

Anthropic 一共訓練了四種不同規(guī)模的模型：600M、2B、7B 和 13B 參數(shù)。每個模型都基于其規(guī)模的 Chinchilla 最優(yōu)數(shù)據(jù)量（每個參數(shù) 20 個 token）進行訓練。這意味著模型規(guī)模越大，訓練時使用的數(shù)據(jù)也就越干凈。

團隊針對每種模型大小訓練模型，分別 “投毒” 了 100、250 和 500 個惡意文檔。

結果顯示，模型大小對中毒成功率無關緊要。對于固定數(shù)量的中毒文檔，“backdoor” 攻擊的成功率在所有的模型大小中幾乎保持不變，這種模式在總共 500 份中毒文檔中尤為明顯。

攻擊成功取決于中毒文檔的絕對數(shù)量，而非訓練數(shù)據(jù)的百分比。先前的研究假設，攻擊者必須控制一定比例的訓練數(shù)據(jù)才能成功，因此他們需要創(chuàng)建大量中毒數(shù)據(jù)才能攻擊更大的模型。Anthropic 的結果否定了這一假設，驗證了絕對數(shù)量而非相對比例才是影響中毒有效性的關鍵。

結論

相關人員表示，這項研究是迄今為止規(guī)模最大的數(shù)據(jù)中毒調查。隨著不斷擴大模型規(guī)模，這種趨勢將持續(xù)多久尚未明晰。與此同時，團隊發(fā)現(xiàn)，“backdoor” 代碼繞過安全護欄等更復雜的行為比拒絕服務攻擊更難實現(xiàn)。

然而，團隊也認為，由于攻擊者在防御者檢查其數(shù)據(jù)集及后續(xù)訓練的模型之前就選擇了投毒樣本，這將有助于激勵防御者采取必要且適當?shù)拇胧��?/span>

研究表明，即使中毒樣本數(shù)量恒定，也需要夠大規(guī)模發(fā)揮作用的防御措施。因此，這項工作總體上有利于開發(fā)更強大的防御措施。Alignment Science 表示，將進一步研究數(shù)據(jù)中毒的漏洞及其潛在防御措施。

參考資料：

https://www.anthropic.com/research/small-samples-poison