用 AI 生成的數(shù)據(jù)訓(xùn)練 AI，模型會崩潰？
牛津、劍橋、帝國理工、多倫多大學(xué)等機構(gòu)的這篇論文，今天登上了 Nature 封面。
如今，LLM 已經(jīng)強勢入侵了人類的互聯(lián)網(wǎng)，極大地改變了在線文本和圖像的生態(tài)系統(tǒng)。
如果網(wǎng)絡(luò)上的大部分文本都是 AI 生成的，我們用網(wǎng)絡(luò)數(shù)據(jù)訓(xùn)練出的 GPT-n，會發(fā)生什么？
論文地址：https://www.nature.com/articles/s41586-024-07566-y
研究者發(fā)現(xiàn)，如果在訓(xùn)練中不加區(qū)別地使用 AI 產(chǎn)生的內(nèi)容，模型就會出現(xiàn)不可逆轉(zhuǎn)的缺陷 —— 原始內(nèi)容分布的尾部（低概率事件）會消失！
這種效應(yīng)，被稱為「模型崩潰」。
換句話說，合成數(shù)據(jù)就像是近親繁殖，會產(chǎn)生質(zhì)量低劣的后代。
模型崩潰在 LLM、變分自編碼器 VAE 和高斯混合模型 GMM 中，都可能會發(fā)生。
有網(wǎng)友認(rèn)為，是時候敲響警鐘了！
「如果大模型真的在 AI 生內(nèi)容的重壓下崩潰，這對它們的可信度來說就是末日了。如果它們吃的是機器人反芻的內(nèi)容，我們真的能相信 LLM 的輸出嗎」？
真實數(shù)據(jù)，價值連城
我們都知道，如今全球已陷入高質(zhì)量數(shù)據(jù)荒。
當(dāng)前的大模型（包括 GPT-3）還是主要基于人類生成的文本進(jìn)行訓(xùn)練的，但是未來可就不一定了！
如果未來，大多數(shù)模型的訓(xùn)練數(shù)據(jù)也是從網(wǎng)上抓取的，那它們不可避免地會用上前輩模型生成的數(shù)據(jù)。
當(dāng)某個版本的 GPT 生成的大部分文本，成為了后續(xù)模型的訓(xùn)練數(shù)據(jù)集，隨著版本號的增加，GPT-{n} 會發(fā)生什么變化？
LLM 迭代至第 9 代，完全胡言亂語
簡單講，LLM 生成的數(shù)據(jù)最終污染了下一代模型的訓(xùn)練集，就會出現(xiàn)「模型崩潰」（model collapse）的現(xiàn)象。
由于在被污染的數(shù)據(jù)上進(jìn)行訓(xùn)練，LLM 隨后會錯誤地感知現(xiàn)實。
這樣一來，會導(dǎo)致多代 AI 生成模型的退化。也就是那句經(jīng)典名言 —— 垃圾進(jìn)，垃圾出。
合成數(shù)據(jù)，無異于給數(shù)據(jù)集「投毒」。
研究中，作者們使用維基百科文章先訓(xùn)練了模型 OPT-125m，并在前一代模型生成的文本上，訓(xùn)練了多代模型。
模型們被要求續(xù)寫一段來自 wiki 的關(guān)于「薩默塞特（Somerset）一級登錄建筑」條目的文本。
輸入的提示如下所示，這是關(guān)于設(shè)計 14 世紀(jì)教堂塔樓主題的文本：
輸入：據(jù) Poyntz Wright 所說，一些教堂塔樓在 1360 年之前就開始建造了，通常是由一位大師石匠和一小隊流動石匠完成，輔以當(dāng)?shù)亟虆^(qū)的工人。但其他作者不同意這種觀點，他們認(rèn)為主要是由著名建筑師根據(jù)早期的垂直風(fēng)格設(shè)計了這些教區(qū)教堂的塔樓。
在第 0 代模型中，輸入同樣的提示，得到的輸出是：
第 0 代：復(fù)興建筑的典型例子包括倫敦的圣約翰大教堂。最早的垂直復(fù)興建筑實例可以在 18@-@世紀(jì)的根西島圣母教堂中找到，該教堂實際建于 19 世紀(jì)晚期。垂直教堂有兩種類型：那些。
可以看到，Gen0 的續(xù)寫已經(jīng)開始有點前言不搭后語了，而且還出現(xiàn)了詭異的符號「@-@」。
奇怪的事實錯誤是，圣約翰大教堂位于紐約，不在倫敦。
在 Gen1 中，雖沒有奇怪符號的輸出，但同樣出現(xiàn)了事實錯誤 ——
圣彼得大教堂（St. Peter's Basilica）真正位于梵蒂岡，而不是什么羅馬、布宜諾斯艾利斯。而且建造于公元 1506 和 1626 年之間，由教皇朱利奧二世開始建造，直至教皇奧本八世。
第 1 代：像羅馬的圣彼得大教堂或布宜諾斯艾利斯的圣彼得大教堂這樣的建筑。雖然沒有證據(jù)表明這些建筑是在教皇英諾森三世統(tǒng)治期間建造的，但它們有可能是在他的繼任者教皇英諾森統(tǒng)治期間建造的。
接下來，到了第五代模型，輸出的結(jié)果完全是胡言亂語了。
以 ism 起句，講了一大堆語種，根本不是續(xù)寫的相關(guān)素材。
第 5 代：ism，已被翻譯成 100 多種語言，包括英語、法語、德語、意大利語、西班牙語、葡萄牙語、荷蘭語、瑞典語、挪威語、波蘭語、匈牙利語、斯洛伐克語、立陶宛語、愛沙尼亞語、芬蘭語、羅馬尼亞語、保加利亞語、土耳其語、克羅地亞語、塞爾維亞語、烏克蘭語、俄語、哈薩克語、吉爾吉斯語。
再到第 9 代，奇怪的 @-@符號又出現(xiàn)了，而且還輸出了更加無關(guān)的內(nèi)容 —— tailed jackrabbits。
第 9 代：建筑。除了擁有世界上最大數(shù)量的黑 @-@尾兔、白 @-@尾兔、藍(lán) @-@尾兔、紅 @-@尾兔、黃 @-。
以下是所有迭代模型，完整輸出的過程。每一代新的模型都是在前一代生成的數(shù)據(jù)上進(jìn)行訓(xùn)練的。
看得出，模型在每一代次迭代中退化。研究人員發(fā)現(xiàn)，所有遞歸訓(xùn)練后的模型，皆會輸出重復(fù)的短語。
另一個案例是，今天杜克大學(xué)助理教授 Emily Wenger，發(fā)表在 Nature 上一篇社論文章中指出：
AI 基于自身數(shù)據(jù)訓(xùn)練，生成的圖像扭曲了狗的品種。
數(shù)據(jù)集中，不僅有金毛、柯基，還有法國斗牛犬、小體巴塞特雪橇犬等。
基于真實數(shù)據(jù)訓(xùn)練后的模型，輸出的圖像中，常見品種如金毛尋回犬占大多數(shù)，而不太常見的品種斑點狗會消失。
然后，基于 AI 生成的數(shù)據(jù)訓(xùn)練模型，生成的品種全是金毛了。
最終，經(jīng)過多次迭代，金毛的圖像就完全出現(xiàn)混亂，臉不是臉鼻子不是鼻子，LLM 就此完全崩潰了。
此外，2023 年來自斯坦福和 UC 伯克利的一項研究中，作者同樣發(fā)現(xiàn)了，LLM 在少量自己生成數(shù)據(jù)內(nèi)容重新訓(xùn)練時，就會輸出高度扭曲的圖像。
論文地址：https://arxiv.org/pdf/2311.12202
他們還在實驗中展示了，一旦數(shù)據(jù)集受到污染，即便 LLM 僅在真實圖像上重新訓(xùn)練，模型崩潰現(xiàn)象無法逆轉(zhuǎn)。
作者警示道，為了模型不再被自己「降級」，AI 需要能夠區(qū)分真實和虛假內(nèi)容。
這一觀點，與 Wenger 不謀而合。
她認(rèn)為，緩減 LLM 崩潰并不簡單，不過科技公司已經(jīng)部署了嵌入「水印」的技術(shù)，進(jìn)而可以把標(biāo)記 AI 生成內(nèi)容，從數(shù)據(jù)集中剔除。
此外，模型崩潰的另一個關(guān)鍵寓意是，那些早已構(gòu)建的 AI 模型，有著先發(fā)優(yōu)勢。
因為，從 AI 時代互聯(lián)網(wǎng)獲取訓(xùn)練數(shù)據(jù)的公司，可能擁有更能代表真實世界的模型。
什么是模型崩潰？
最新研究中，作者表示，模型崩潰包含了兩種特殊的情況：早期模型崩潰、晚期模型崩潰。
在早期模型崩潰中，模型開始丟失關(guān)于數(shù)據(jù)分布尾部的信息；在晚期模型崩潰中，模型收斂到一個與原始分布幾乎沒有相似性的分布，通常方差顯著降低。
這一過程的發(fā)生，是由于三種特定誤差源，在多代模型中逐漸累積，最終導(dǎo)致模型偏離原始模型：
- 統(tǒng)計近似誤差
這是主要的誤差類型，由于樣本數(shù)量有限而產(chǎn)生，并且在樣本數(shù)量趨向無限時會消失。這是因為在每一步重采樣過程中，信息丟失的概率總是存在。
- 函數(shù)表達(dá)誤差
這是次要誤差類型，由于函數(shù)近似器（function approximator）的表達(dá)能力有限而產(chǎn)生。
特別是，神經(jīng)網(wǎng)絡(luò)只有在其規(guī)模無限大時，才能成為通用近似器。
因此，神經(jīng)網(wǎng)絡(luò)可能會在原始分布的支撐集（support）之外，引入「非零概率」，或在原始分布的支撐集內(nèi)引入「零概率」。
一個簡單的例子是，如果我們用單個高斯分布，來擬合兩個高斯分布的混合。即使有完美的數(shù)據(jù)分布信息（即無限數(shù)量的樣本），模型產(chǎn)生誤差也是不可避免的。
然而，在沒有其他兩種類型誤差的情況下，這種誤差只會在第一代發(fā)生。
- 函數(shù)近似誤差
這也是次要的誤差類型，主要由于學(xué)習(xí)過程的限制而產(chǎn)生，例如隨機梯度下降的結(jié)構(gòu)偏差或目標(biāo)函數(shù)選擇的影響。
這種誤差可以看作，即便在理想條件下，即擁有無限數(shù)據(jù)且完美表達(dá)能力，仍在每一代模型中產(chǎn)生。
綜上所述，每種誤差都可能會導(dǎo)致模型崩潰變得愈加嚴(yán)重，或得到一些改善。
更強的近似能力甚至可能是一把「雙刃劍」。
因為更好的表達(dá)能力可能抵消統(tǒng)計噪聲，從而更好地逼近真實分布，但同樣也可能放大噪聲。
更常見的情況下，我們會得到一種級聯(lián)效應(yīng)（cascading effect），其中個別的不準(zhǔn)確性會結(jié)合起來，導(dǎo)致整體誤差的增長。
例如，過擬合密度模型會導(dǎo)致模型錯誤地外推，并將高密度區(qū)域分配給訓(xùn)練集中未覆蓋的低密度區(qū)域。
這些錯誤分配的區(qū)域，隨后會被頻繁采樣。
值得注意的是，除上述內(nèi)容之外，還存在其他類型的誤差。比如，在實際操作中，計算機精度是有限的。
接下來，研究人員將通過「數(shù)學(xué)直覺」來解釋上述誤差是如何產(chǎn)生的，不同誤差來源如何復(fù)合（compound），以及我們?nèi)绾瘟炕骄Ｐ推睢?/p>
理論直覺
在所有基于前幾代生成數(shù)據(jù)進(jìn)行遞歸訓(xùn)練的生成模型，這種現(xiàn)象都是普遍存在的。
所以，到底是什么原因，導(dǎo)致了模型崩潰？
研究者提供了幾種理論解釋。
通過研究兩個數(shù)學(xué)模型，研究者量化了前一部分討論的誤差來源。
這兩個模型分別是一個在沒有函數(shù)表達(dá)能力和近似誤差情況下的離散分布模型，以及一個描繪聯(lián)合函數(shù)表達(dá)能力和統(tǒng)計誤差的多維高斯近似模型。
它們既足夠簡單，可以提供感興趣量的解析表達(dá)式，同時也能描繪模型崩潰的現(xiàn)象 ——
考慮的總體隨機過程，作者稱之為「代際數(shù)據(jù)學(xué)習(xí)」。
第 i 代的數(shù)據(jù)集 D_i 由具有分布 p_i 的獨立同分布隨機變量組成：
其中，數(shù)據(jù)集的大小 j∈{1,…,?M_i}。
從第 i 代到第 i+1 代，我們需要估計樣本在新數(shù)據(jù)集 D_i 中的分布，近似為：
這一步稱之為函數(shù)近似：
然后通過從：
中采樣，生成數(shù)據(jù)集：
其中，非負(fù)參數(shù) α_i,?β_i,?γ_i 的和為 1，即它們表示來自不同代的數(shù)據(jù)的比例。
它們對應(yīng)的混合數(shù)據(jù)，分別來自原始分布（γ_i）、上一代使用的數(shù)據(jù)（β_i）和新模型生成的數(shù)據(jù)（α_i）。
這一步，稱為采樣步驟。
對于即將討論的數(shù)學(xué)模型，我們考慮 α_i=γ_i=0，即僅使用單步的數(shù)據(jù)，而數(shù)值實驗則在更現(xiàn)實的參數(shù)選擇上進(jìn)行。
離散分布的精確近似
在本小節(jié)中，我們討論一種沒有函數(shù)近似和表達(dá)誤差的離散概率分布，即：
在這種情況下，模型崩潰的原因僅僅是采樣步驟中的統(tǒng)計誤差。
首先，由于低概率事件被采樣到的概率很低，它們的尾部（低概率事件）會逐漸消失，隨著時間的推移，分布的支持范圍也會縮小。
假設(shè)樣本量為 M，如果我們考慮一個概率為 q≤1 / M 的狀態(tài) i，那么來自這些事件的 i 值樣本的期望數(shù)量將小于 1。
也就是說，我們會失去關(guān)于這些事件的信息。
如果更一般地考慮一個概率為 q 的狀態(tài) i，使用標(biāo)準(zhǔn)條件概率，我們可以證明失去信息的概率（即在某些代中沒有采樣到數(shù)據(jù)）等于 1?q。
這也就意味著，分布最終會收斂到某個狀態(tài)處的 δ 函數(shù)，最終落在某個狀態(tài)的概率等于從原始分布中采樣該狀態(tài)的概率。
將這個過程：
看作一個馬爾可夫鏈，我們就可以直接證明上述結(jié)論，因為 X^(i+1) 僅依賴于 X^i。
此外，如果所有如下值：
都相同，那么在下一代，近似分布將完全是一個 δ 函數(shù)。因此所有如下值：
也將相同。
這就意味著，馬爾可夫鏈至少包含一個吸收態(tài)，因此它會以概率 1 收斂到其中一個吸收態(tài)。
對于這個鏈，唯一的吸收態(tài)是那些對應(yīng)于 δ 函數(shù)的狀態(tài)。
因此，隨著我們跟蹤的模型逐漸崩潰，我們必然會陷入一個常數(shù)狀態(tài)；當(dāng)這條鏈被完全吸收時，原始分布的所有信息就都喪失了。
在一般情況下，這個論點也是成立的，因為浮點表征是離散的，因此使得模型參數(shù)的馬爾可夫鏈也是離散的。
因此，只要模型參數(shù)化允許使用 δ 函數(shù)，我們一定會到達(dá)這個結(jié)論，因為由于采樣誤差的原因，唯一可能的吸收態(tài)就是 δ 函數(shù)。
基于上述討論，我們可以看到，無論是早期模型崩潰（僅低概率事件被切斷）還是后期模型崩潰（過程開始收斂到單一模式）的現(xiàn)象，只要是在具有完美函數(shù)近似的離散分布下，都必然會出現(xiàn)。
多維高斯分布
在討論了離散分布之后，我們就可以提出一個更通用的結(jié)果，它可以在高斯近似的背景下得到證明。
在這種情況下，每一代的數(shù)據(jù)都是通過上一代的均值和方差的無偏估計來近似的。
高斯模型崩潰
假設(shè)原始數(shù)據(jù)是從分布 D_0（不一定是高斯分布）中采樣的，且樣本方差不為零。假設(shè) X^n 是遞歸地使用上一代的無偏樣本均值和方差估計來擬合的，其中：
且樣本量是固定的。
此時就可以得到：
其中，W_2 表示第 n 代的真實分布和其近似之間的 Wasserstein-2 距離。
換句話說，這意味著不僅第 n 代的近似值會任意遠(yuǎn)地偏離原始分布，而且隨著代數(shù)的增加，它也會以概率 1 收斂到零方差，從而發(fā)生崩潰。
這個定理展示了后期模型崩潰的效果，即過程開始收斂到零方差。這個過程，與離散情況非常相似。
語言模型中的模型崩潰
當(dāng)模型發(fā)生崩潰，會對語言模型產(chǎn)生哪些影響？
模型崩潰在各種機器學(xué)習(xí)模型中都是普遍現(xiàn)象，然而像變分自編碼器（VAE）和高斯混合模型（GMM）這樣的小模型通常是從頭開始訓(xùn)練的，而 LLM 則有所不同。
從頭訓(xùn)練的成本非常高，因此通常使用預(yù)訓(xùn)練模型（如 BERT、RoBERTa 或 GPT-2）進(jìn)行初始化，然后再對預(yù)訓(xùn)練模型進(jìn)行微調(diào)以適應(yīng)各種下游任務(wù)。
那么，當(dāng) LLM 使用其他模型生成的數(shù)據(jù)進(jìn)行微調(diào)會發(fā)生什么呢?
實驗評估了訓(xùn)練大語言模型最常見的微調(diào)設(shè)置，其中每個訓(xùn)練周期（epoch）都從一個預(yù)訓(xùn)練模型開始，并使用最新數(shù)據(jù)。
這里的數(shù)據(jù)來自另一個已經(jīng)微調(diào)過的預(yù)訓(xùn)練模型。
由于訓(xùn)練范圍限制在生成接近原始預(yù)訓(xùn)練模型的模型，由于這些模型生成的數(shù)據(jù)點通常只會產(chǎn)生非常小的梯度，因此實驗的預(yù)期是模型在微調(diào)后只會發(fā)生適度的變化。
實驗微調(diào)了 Meta 通過 Hugging Face 提供的 OPT-125m 因果語言模型，在 wikitext2 數(shù)據(jù)集上對模型進(jìn)行微調(diào)。
為了生成訓(xùn)練模型所需的數(shù)據(jù)，實驗使用五向集束搜索（beam search）。
將訓(xùn)練序列限制為 64 個 token，然后對于訓(xùn)練集中的每個 token 序列，讓模型預(yù)測接下來的 64 個 token。
用上面的方法調(diào)整所有原始訓(xùn)練數(shù)據(jù)集，并生成一個大小相同的人工數(shù)據(jù)集。
由于范圍涉及所有原始數(shù)據(jù)集并預(yù)測了所有塊 (Block)，如果模型的誤差為 0，它將生成原始的 wikitext2 數(shù)據(jù)集。
每一代的訓(xùn)練都從原始訓(xùn)練數(shù)據(jù)的生成開始，每個實驗運行五次，結(jié)果顯示為五次獨立運行，使用不同的隨機種子。
用 wikitext2 數(shù)據(jù)微調(diào)的原始模型，平均困惑度（perplexity）從零樣本基線的 115 下降到 34，說明它成功地學(xué)習(xí)了任務(wù)。
最后，為了盡可能接近現(xiàn)實情況，實驗使用了在原始任務(wù)上表現(xiàn)最好的模型，使用原始 wikitext2 驗證集進(jìn)行評估，作為后續(xù)幾代的基礎(chǔ)模型。
這意味著，實際上觀察到的模型崩潰可能更加明顯。
實驗還考慮了考慮兩種不同的設(shè)置：
- 5 個 epoch，不保留原始訓(xùn)練數(shù)據(jù)。
在這種情況下，模型在原始數(shù)據(jù)集上訓(xùn)練五個周期，但在后續(xù)的訓(xùn)練中不再使用原始數(shù)據(jù)。
整體的原始任務(wù)表現(xiàn)如圖所示。
實驗發(fā)現(xiàn)，使用生成的數(shù)據(jù)進(jìn)行訓(xùn)練雖然能適應(yīng)基本任務(wù)，但性能有所下降，困惑度從 20 增加到 28。
- 10 個 epoch，保留 10% 的原始訓(xùn)練數(shù)據(jù)。
在這種情況下，模型在原始數(shù)據(jù)集上訓(xùn)練十個周期，并且每次新的訓(xùn)練時，隨機保留 10% 的原始數(shù)據(jù)點。
整體的原始任務(wù)表現(xiàn)如圖所示。
實驗發(fā)現(xiàn)，保留部分原始數(shù)據(jù)可以更好地進(jìn)行模型微調(diào)，并且僅導(dǎo)致性能的輕微下降。
雖然兩種訓(xùn)練方式都導(dǎo)致了模型性能下降，但實驗發(fā)現(xiàn)使用生成數(shù)據(jù)進(jìn)行學(xué)習(xí)是可行的，模型也能成功地學(xué)習(xí)一些基礎(chǔ)任務(wù)。
特別是，從圖下及其 3D 版本中可以看到，模型崩潰現(xiàn)象確實發(fā)生了，因為低困惑度樣本的密度隨著訓(xùn)練代次的增加而開始累積。
這意味著，在多個訓(xùn)練代次中，采樣數(shù)據(jù)可能會逐漸趨向于一個 δ 函數(shù)。
到這里，結(jié)論就和「理論直覺」中的一般直覺一致了。
可以看到，生成的數(shù)據(jù)有更長的尾部，這就表明某些數(shù)據(jù)是原始模型永遠(yuǎn)不會生成的。而這些錯誤，就是來自代際數(shù)據(jù)學(xué)習(xí)的積累。
這也給我們敲響了警鐘 ——
如果沒有大規(guī)模采用 AI 泛濫之前從網(wǎng)上抓取的數(shù)據(jù)，或者直接使用人類生成的大規(guī)模數(shù)據(jù)，訓(xùn)練新版本的 LLM，恐怕會變得越來越困難！
有什么辦法嗎？
研究團隊認(rèn)為，AI 生成數(shù)據(jù)并非完全不可取，但一定要對數(shù)據(jù)進(jìn)行嚴(yán)格過濾。
比如，在每一代模型的訓(xùn)練數(shù)據(jù)中，保持 10% 或 20% 的原始數(shù)據(jù)；使用多樣化數(shù)據(jù)，如人類產(chǎn)生的數(shù)據(jù)；或者研究更魯棒的訓(xùn)練算法。
沒想到吧，人類創(chuàng)造的數(shù)據(jù)，居然有一天會如此價值連城。
參考資料：
https://www.nature.com/articles/d41586-024-02420-7
https://www.nature.com/articles/s41586-024-07566-y
本文來自微信公眾號：微信公眾號（ID：null），作者：新智元，原標(biāo)題《AI 訓(xùn) AI 慘遭投毒 9 次大崩潰，牛津劍橋等驚天發(fā)現(xiàn)登 Nature 封面！》
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。