近年來，生成式人工智能在文本、圖像、音樂等領域大放異彩。然而，隨著生成式人工智能變得越來越強大，人們越來越難以鑒別AI生成的內(nèi)容。
近日，Google DeepMind 研究團隊在《自然》（Nature）上發(fā)表的封面文章提供了一種文本水印方案，可以提高 AI 生成文本的檢測精度。
AI 生成內(nèi)容檢測的必要性
在文本、圖像和音樂中，AI 生成的文本是難以檢測的。因為現(xiàn)有的圖像和音樂生成技術尚未像文本生成技術一樣發(fā)達，AI 生成的圖像和音樂往往有某些非自然的視覺或聽覺特征。AI 生成的內(nèi)容在整體上效果較好，但具體到細節(jié)就顯得不夠自然。在圖像和音樂中，也可以人工添加人類難以發(fā)現(xiàn)的水印，在后期檢測中通過水印篩選出AI生成的作品。
然而在文本中難以直接添加人類不可見的水印，這是因為文本與圖像和音樂不同，每一個文字都是完全可見的。同時，可用于訓練 AI 的文本數(shù)據(jù)也遠多于圖像和音樂。在龐大的、基于人類寫作的語料庫的訓練之下，AI 已經(jīng)非常擅長模擬人類的表達方式和語言習慣，甚至能夠調整文本的風格和語氣，這使得 AI 生成的文本難以直接檢測。
盡管 AI 生成的文本與人類創(chuàng)作的文本難以分辨，但 AI 生成的內(nèi)容可能帶有事實性的錯誤，并不能保證可靠性。無法辨別來源的內(nèi)容可能會導致虛假信息的傳播，也帶來了學術作弊、版權爭議等種種問題。
比如，在“杭州取消機動車依尾號限行”假新聞事件中，網(wǎng)友用 AI 技術生成的“假新聞”行文嚴謹、語氣措辭得當，也基本符合官方通報的格式，導致了錯誤信息大規(guī)模傳播。美國科技新聞網(wǎng)站 CNET 在三個月之內(nèi)上線了 70 多篇用 AI 技術生成的新聞報道，卻被發(fā)現(xiàn)其中存在大量基礎性錯誤，包括計算錯誤、金融概念誤解等，不得不暫時叫停AI項目重新審核。
為了避免 AI 技術的濫用，我們需要一種方法辨別文本是否由 AI 生成。
主流檢測方法：事前與事后檢測
檢測 AI 生成的文本是一個分類問題，我們的主要目標是區(qū)分一個文本片段是由 AI 生成的還是由人類創(chuàng)作的。通常一個文本檢測器對于一個給定的文本片段會給出一個評分，當這個評分超過閾值時，這個片段被認為是 AI 生成的，反之則是人類創(chuàng)作的。
文本檢測框架（圖片來源：根據(jù)參考文獻 [1] 翻譯）
現(xiàn)有的主流檢測方法可以分為兩大類：事前檢測和事后檢測。事前檢測可以進一步分為基于水印的檢測和基于檢索的檢測。事后檢測可以分為基于零樣本學習的檢測和基于訓練的檢測。
主流檢測方法分類（圖片來源：根據(jù)參考文獻 [1] 翻譯）
1、事前檢測
基于水印的檢測是指在 AI 生成的文本中隱藏某些信息以便后續(xù)檢測。但由于文本的離散性，在文本中添加水印比在圖像和音樂中添加水印困難很多。常用的方法是讓 AI 生成的文本使用特定的語言風格或者偏向性地使用某些特定的詞匯，但這樣可能會降低 AI 生成文本的質量。
基于檢索的方法是指 AI 服務的提供者將用戶通過 AI 生成的文本保存在數(shù)據(jù)庫中。當需要檢測目標文本是否由 AI 生成時，將目標文本與數(shù)據(jù)庫中的文本進行匹配，如果相似度較高，則很可能是 AI 生成的。但這種方法需要保存用戶數(shù)據(jù)，可能帶來隱私泄露的問題。
2、事后檢測
基于零樣本學習的檢測是指不需要進行任何的訓練，僅根據(jù) AI 生成文本的特點來檢測一段文本是否是 AI 生成的。通常 AI 生成的文本傾向于使用常見的詞匯，句子的長度和結構也更加統(tǒng)一。而人類創(chuàng)作的文本則顯得更加隨心所欲，每一句的水平也參差不齊。
與人類相比，AI 在記憶細節(jié)上能力較強而在邏輯推理上能力較弱。利用這些特點可以在一定程度上區(qū)分 AI 生成的文本和人類創(chuàng)作的文本?；谟柧毜臋z測是指使用人類創(chuàng)作的文本和 AI 生成的文本構建一個數(shù)據(jù)集，用這個數(shù)據(jù)集訓練一個分類器來識別 AI 生成的文本。
但這需要收集足夠的數(shù)據(jù)用于訓練，并且隨著 AI 能力的進步，這樣的區(qū)分也變得越來越困難?？梢钥吹剑潞髾z測比事前檢測要困難許多。為了高精度地篩選出 AI 生成的文本，在事前 AI 生成文本時就添加水印是一個很好的解決方案。
Google DeepMind 的突破：SynthID-Text 水印技術
Google DeepMind 研究團隊提出了一種新的水印生成方案，稱為 SynthID-Text。它基于之前的水印生成組件，但使用了一種新的“錦標賽采樣”方法。SynthID-Text 可以非扭曲（保留文本質量）或者扭曲（以犧牲文本質量為代價提升水印的可檢測性）地添加水印。
在扭曲和非扭曲設置下，與現(xiàn)有的佳方法相比，SynthID-Text 都提升了水印的檢出率。
水印生成框架（圖片來源：根據(jù)參考文獻 [2] 翻譯）
上圖中展示了大語言模型生成文本的原理以及之前水印生成的框架。大語言模型的文本生成是基于上下文的，它會根據(jù)輸入的文本序列計算下一個詞匯的分布，然后從這個分布中抽樣出下一個詞匯。
一個生成式的水印方案通常包含三個部分：一個隨機數(shù)生成器、一個采樣算法以及一個評分函數(shù)。水印生成的過程是：首先使用隨機數(shù)生成器根據(jù)前面的文本以及水印鍵生成一個隨機數(shù)，然后采樣算法利用這個隨機數(shù)從詞匯的分布中抽樣出下一個詞匯。
給出一段文本以及一個水印鍵，評分函數(shù)提供一個分數(shù)來量化當前文本中含有水印的可能性，當分數(shù)超過一個閾值時就認為這段文本中含有水印。
錦標賽采樣（圖片來源：根據(jù)參考文獻 [2] 翻譯）
SynthID-Text 提出了一種新的“錦標賽采樣”方法，上圖是錦標賽采樣方法的一個例子。當向模型輸入“...我喜歡的熱帶水果是”時，模型計算出下一個詞匯的分布，其中“芒果”的概率是 0.5，“荔枝”的概率是 0.3，“木瓜”的概率是 0.15，“榴蓮”的概率是 0.05。在不加水印的正常生成中，模型會按這個概率直接采樣出下一個詞匯。
在錦標賽采樣中，模型先根據(jù)隨機數(shù)種子生成三個隨機的水印函數(shù)，然后再從詞匯的分布中采樣出八個詞匯，將這八個詞匯兩兩組合后進行競賽，在每一輪競賽中，由一個水印函數(shù)決定每一對組合中的勝出者。經(jīng)過三輪競賽后，終的勝出者就是模型的輸出結果：“芒果”。
在錦標賽采樣中，詞匯是根據(jù)水印函數(shù)的偏好采樣得出的。因此添加水印的文本會在水印函數(shù)上有更高的評分。在檢測時只需要評估每個詞匯在對應的水印函數(shù)下的評分，再將評分加和就可以得到這段文本包含水印的可能性。
水印的添加是通過改變采樣方法實現(xiàn)的，它會改變模型輸出下一個詞匯的分布，這看起來不可避免地會影響生成文本的質量。
然而，由于采樣方法中使用了隨機數(shù)種子，盡管在某一隨機數(shù)種子下詞匯的分布會被改變，但在對所有隨機數(shù)種子進行平均后可以得到和原始分布相同的結果。
SynthID-Text 可以在適當?shù)呐渲孟卤苊庥绊懺~匯的分布從而保證文本的質量，也可以以損失一部分質量為代價提高水印的檢出概率。
SynthID-Text 方法在 Google DeepMind 推出的 Gemini 人工智能模型上經(jīng)過了兩千萬次用戶測試。測試結果表明 SynthID-Text 在添加水印的同時并不會降低文本的質量。同時，SynthID-Text 不會產(chǎn)生太多的時間和計算開銷，可以被大規(guī)模地應用于生產(chǎn)實踐之中。
結語
事后檢測文本是否由 AI 生成是非常困難的。隨著 AI 能力的增強，事后檢測會變得越來越困難，檢測和反檢測將會是無止境的技術競賽。水印方法提供了一種可能的解決方案，但這需要大語言模型的提供者在生成時就預先加入水印。如果用戶使用的模型沒有主動加入水印，就難以在事后進行檢測。
此外，用戶還可以使用開源模型，或者對添加了水印的文本進行二次編輯來逃脫檢測。這些問題都有待進一步解決。
未來，隨著生成式人工智能的普及，如何檢測 AI 生成的內(nèi)容會變得越來越重要。SynthID-Text 證明了水印技術在文本生成中大規(guī)模應用的可能性，但水印技術面臨的困難也說明檢測并不只是一個技術問題。
解決這個問題還需要各方共同努力，形成相關的行業(yè)標準以及法律法規(guī)，從而推動AI走在為人類服務的正軌之上。
本文鏈接：http://www.zh1234.com/news43071.htmlAI一本正經(jīng)地胡說八道 有種辦法可以識破它
