繼去年初的第一代 VALL-E 模型之后，微軟最近又上新了 VALL-E 2 模型，標(biāo)志著第一個(gè)在合成語音穩(wěn)健性、相似度、自然程度等方面達(dá)到人類水平的文本到語音模型。
最近，微軟發(fā)布了零樣本的文本到語音（TTS）模型 VALLE-2，首次實(shí)現(xiàn)了與人類同等的水平，可以說是 TTS 領(lǐng)域里程碑式的進(jìn)展。
論文地址：https://arxiv.org/pdf/2406.05370
隨著近年來深度學(xué)習(xí)的快速進(jìn)步，用錄音室環(huán)境下的干凈單人語音訓(xùn)練模型，已經(jīng)可以達(dá)到人類同等水平的質(zhì)量，但零樣本 TTS 依舊是一個(gè)有挑戰(zhàn)性的問題。
「零樣本」意味著推理過程中，模型只能參照一段簡短的陌生語音樣本，用相同的聲音說出文本內(nèi)容，就像一個(gè)能即時(shí)模仿的口技大師。
聽到這里，不知道你會不會突然警覺 —— 有這種能力的模型就是 Deepfake 的最佳工具！
令人欣慰的是，MSRA 考慮到了這一點(diǎn)，他們目前只將 VALL-E 系列作為研究項(xiàng)目，并沒有納入產(chǎn)品或擴(kuò)大使用范圍的計(jì)劃。
雖然 VALL-E 2 有很強(qiáng)的零樣本學(xué)習(xí)能力可以像配音員一樣模仿聲音，但相似度和自然度取決于語音 prompt 的長度和質(zhì)量、背景噪音等因素。
在項(xiàng)目頁面和論文中，作者都進(jìn)行了道德聲明：如果要將 VALL-E 推廣到真實(shí)世界的應(yīng)用中，至少需要一個(gè)強(qiáng)大的合成語音檢測模型，并設(shè)計(jì)一套授權(quán)機(jī)制，確保模型在合成語音前已經(jīng)得到了聲音所有者的批準(zhǔn)。
對于微軟這種只發(fā)論文不發(fā)產(chǎn)品的做法，有些網(wǎng)友表示非常失望。
畢竟最近各種翻車的產(chǎn)品讓我們深深明白，只看 demo 完全不可靠，沒法自己試用 = 沒有。
但 Reddit 上有人揣測：微軟只是不想當(dāng)「第一個(gè)吃螃蟹的人」，不發(fā)模型是擔(dān)心可能的帶來的批評和負(fù)面輿論。
一旦有了能將 VALL-E 轉(zhuǎn)化為產(chǎn)品的方法，或者市場上殺出其他競品，難道還擔(dān)心微軟有錢不賺嗎？
的確如網(wǎng)友所說，從項(xiàng)目頁面目前放出的 demo 來看，很難判斷 VALL-E 的真實(shí)水平。
項(xiàng)目頁面：https://www.microsoft.com/en-us/research/project/vall-e-x/vall-e-2/
共 5 條文本都是不超過 10 個(gè)單詞的英文短句，語音 prompt 的人聲音色都非常相近，英語口音也不夠多樣化。
雖然 demo 不多，但能隱隱感受到，模型對英美口音的模仿非常爐火純青，但如果 prompt 略帶印度或者蘇格蘭口音，就很難達(dá)到以假亂真的程度。
方法
模型前身 VALL-E 發(fā)布于 2023 年初，已經(jīng)是 TTS 在零樣本方面的重大突破。VALL-E 能夠用 3 秒的錄音合成個(gè)性化語音，同時(shí)保留說話者的聲音、情緒和聲學(xué)環(huán)境。
然而 VALL-E 存在兩方面的關(guān)鍵限制：
1）穩(wěn)定性：推理過程中使用的隨機(jī)采樣（random sampling）可能會導(dǎo)致輸出不穩(wěn)定，而 top-p 值較小的核采樣可能會導(dǎo)致無限循環(huán)問題。雖然可以通過多次采樣和后續(xù)排序來緩解，但會增加計(jì)算成本。
2）效率：VALL-E 的自回歸架構(gòu)綁定了與現(xiàn)成的音頻編解碼器模型相同的高幀率，且無法調(diào)整，導(dǎo)致推理速度較慢。
雖然已經(jīng)有多項(xiàng)研究用于改進(jìn) VALL-E 的這些問題，但往往會使模型的整體架構(gòu)復(fù)雜化，而且增加了擴(kuò)展數(shù)據(jù)規(guī)模的負(fù)擔(dān)。
基于這些之前的工作，VALL-E 2 包含兩方面的關(guān)鍵創(chuàng)新：重復(fù)感知采樣（repetition aware sampling）和分組代碼建模（grouped code modeling）。
重復(fù)感知采樣是對 VALL-E 中隨機(jī)采樣的改進(jìn)，能夠自適應(yīng)地采用隨機(jī)采樣或者核采樣（nucleus sampling），選擇的依據(jù)是曾經(jīng)的 token 重復(fù)，因此有效緩解了 VALL-E 的無限循環(huán)問題，大大增強(qiáng)解碼穩(wěn)定性。
重復(fù)感知采樣的算法描述
分組代碼建模則是將編解碼器代碼劃分為多個(gè)組，自回歸時(shí)每組在單個(gè)幀上建模。不僅減少了序列長度、加速推理，還通過緩解長上下文建模問題來提高性能。
值得注意的是，VALL-E 2 僅需要簡單的語音-轉(zhuǎn)錄文本數(shù)據(jù)進(jìn)行訓(xùn)練，不需要額外的復(fù)雜數(shù)據(jù)，大大簡化了數(shù)據(jù)的收集、處理流程，并提高了潛在的可擴(kuò)展性。
具體來說，對于數(shù)據(jù)集中每條語音-文本數(shù)據(jù)，分別用音頻編解碼器編碼器（audio codec encoder）和文本分詞器將其表示為編解碼器代碼??=[??0,??1,…,??(???1)] 和文本序列??=[??0,??1,…,??(???1)]，用于自回歸（AR）和非自回歸（NAR）模型的訓(xùn)練。
AR 和 NAR 模型都采用 Transformer 架構(gòu)，后續(xù)的評估實(shí)驗(yàn)設(shè)計(jì)了 4 種變體進(jìn)行對比。它們共享相同的 NAR 模型，但 AR 模型的組大小分別為 1、2、4、8。
推理過程也同樣是 AR 和 NAR 模型的結(jié)合。以文本序列??和代碼提示??<??′,0 為條件生成目標(biāo)代碼??≥??′,0 的第一代碼序列，再用自回歸的方式生成每組的目標(biāo)代碼。
給定??≥??′,0 序列后，就可以使用文本條件??和聲學(xué)條件??<??′推斷 NAR 模型，以生成剩余的目標(biāo)代碼序列??≥??′,≥1。
模型訓(xùn)練使用了 Libriheavy 語料庫中的數(shù)據(jù)，包含 7000 個(gè)人朗讀英語有聲書的 5 萬小時(shí)語音。文本和語音的分詞分別使用 BPE 和開源的預(yù)訓(xùn)練模型 EnCodec。
此外，也利用了開源的預(yù)訓(xùn)練模型 Vocos 作為語音生成的音頻解碼器。
評估
為了驗(yàn)證模型的語音合成效果是否能達(dá)到人類同等水平，評估采用了 SMOS 和 CMOS 兩個(gè)主觀指標(biāo)，并使用真實(shí)的人類語音作為 ground truth。
SMOS（Similarity Mean Opinion Score）用于評估語音與原始提示的相似度，評分范圍為 1～5，增量為 0.5 分。
CMOS（Comparative Mean Opinion Score）用于評估合成語音與給定參考語音的比較自然程度，標(biāo)度范圍為-3～3，增量為 1。
根據(jù)表 2 結(jié)果，VALL-E 2 的主觀評分不僅超過了第一代的 VALL-E，甚至比人類真實(shí)語音有更完美的表現(xiàn)。
此外，論文也使用了 SIM、WER 和 DNSMOS 等客觀指標(biāo)來評估合成語音的相似度、魯棒性和整體感知質(zhì)量。
在這 3 個(gè)客觀指標(biāo)上，無論 VALL-E 2 的組大小如何設(shè)置，相比 VALL-E 都有全方位的提升，WER 和 DNSMOS 分?jǐn)?shù)也優(yōu)于真實(shí)人類語音，但 SIM 分?jǐn)?shù)還存在一定差距。
此外，從表 3 結(jié)果也能發(fā)現(xiàn)，VALL-E 2 的 AR 模型組大小為 2 時(shí)，可以取得最優(yōu)效果。
在 VCTK 數(shù)據(jù)集上的測評也可以得到相似的結(jié)論。當(dāng) prompt 長度增加時(shí)，分組代碼建模方法可以減少序列長度，緩解 Transformer 架構(gòu)中不正確注意力機(jī)制導(dǎo)致的生成錯誤，從而在 WER 分?jǐn)?shù)上得到提升。
作者簡介
本文第一作者陳三元是哈爾濱工業(yè)大學(xué)和微軟亞洲研究院的聯(lián)合培養(yǎng)博士，他從 2020 年開始擔(dān)任 MSRA 自然語言計(jì)算組的實(shí)習(xí)研究員，研究興趣主要是用于語音和音頻處理的預(yù)訓(xùn)練語言模型。
參考資料：
https://arxiv.org/abs/2406.05370
本文來自微信公眾號：微信公眾號（ID：null），作者：新智元
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。