設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

語音克隆達(dá)到人類水平,微軟全新 VALL-E 2 模型讓 DeepFake 堪比配音員

新智元 2024/7/24 14:49:02 責(zé)編:清源

繼去年初的第一代 VALL-E 模型之后,微軟最近又上新了 VALL-E 2 模型,標(biāo)志著第一個(gè)在合成語音穩(wěn)健性、相似度、自然程度等方面達(dá)到人類水平的文本到語音模型。

最近,微軟發(fā)布了零樣本的文本到語音(TTS)模型 VALLE-2,首次實(shí)現(xiàn)了與人類同等的水平,可以說是 TTS 領(lǐng)域里程碑式的進(jìn)展。

論文地址:https://arxiv.org/pdf/2406.05370

隨著近年來深度學(xué)習(xí)的快速進(jìn)步,用錄音室環(huán)境下的干凈單人語音訓(xùn)練模型,已經(jīng)可以達(dá)到人類同等水平的質(zhì)量,但零樣本 TTS 依舊是一個(gè)有挑戰(zhàn)性的問題。

「零樣本」意味著推理過程中,模型只能參照一段簡短的陌生語音樣本,用相同的聲音說出文本內(nèi)容,就像一個(gè)能即時(shí)模仿的口技大師。

聽到這里,不知道你會不會突然警覺 —— 有這種能力的模型就是 Deepfake 的最佳工具!

令人欣慰的是,MSRA 考慮到了這一點(diǎn),他們目前只將 VALL-E 系列作為研究項(xiàng)目,并沒有納入產(chǎn)品或擴(kuò)大使用范圍的計(jì)劃。

雖然 VALL-E 2 有很強(qiáng)的零樣本學(xué)習(xí)能力可以像配音員一樣模仿聲音,但相似度和自然度取決于語音 prompt 的長度和質(zhì)量、背景噪音等因素。

在項(xiàng)目頁面和論文中,作者都進(jìn)行了道德聲明:如果要將 VALL-E 推廣到真實(shí)世界的應(yīng)用中,至少需要一個(gè)強(qiáng)大的合成語音檢測模型,并設(shè)計(jì)一套授權(quán)機(jī)制,確保模型在合成語音前已經(jīng)得到了聲音所有者的批準(zhǔn)。

對于微軟這種只發(fā)論文不發(fā)產(chǎn)品的做法,有些網(wǎng)友表示非常失望。

畢竟最近各種翻車的產(chǎn)品讓我們深深明白,只看 demo 完全不可靠,沒法自己試用 = 沒有。

但 Reddit 上有人揣測:微軟只是不想當(dāng)「第一個(gè)吃螃蟹的人」,不發(fā)模型是擔(dān)心可能的帶來的批評和負(fù)面輿論。

一旦有了能將 VALL-E 轉(zhuǎn)化為產(chǎn)品的方法,或者市場上殺出其他競品,難道還擔(dān)心微軟有錢不賺嗎?

的確如網(wǎng)友所說,從項(xiàng)目頁面目前放出的 demo 來看,很難判斷 VALL-E 的真實(shí)水平。

項(xiàng)目頁面:https://www.microsoft.com/en-us/research/project/vall-e-x/vall-e-2/

共 5 條文本都是不超過 10 個(gè)單詞的英文短句,語音 prompt 的人聲音色都非常相近,英語口音也不夠多樣化。

雖然 demo 不多,但能隱隱感受到,模型對英美口音的模仿非常爐火純青,但如果 prompt 略帶印度或者蘇格蘭口音,就很難達(dá)到以假亂真的程度。

方法

模型前身 VALL-E 發(fā)布于 2023 年初,已經(jīng)是 TTS 在零樣本方面的重大突破。VALL-E 能夠用 3 秒的錄音合成個(gè)性化語音,同時(shí)保留說話者的聲音、情緒和聲學(xué)環(huán)境。

然而 VALL-E 存在兩方面的關(guān)鍵限制:

1)穩(wěn)定性:推理過程中使用的隨機(jī)采樣(random sampling)可能會導(dǎo)致輸出不穩(wěn)定,而 top-p 值較小的核采樣可能會導(dǎo)致無限循環(huán)問題。雖然可以通過多次采樣和后續(xù)排序來緩解,但會增加計(jì)算成本。

2)效率:VALL-E 的自回歸架構(gòu)綁定了與現(xiàn)成的音頻編解碼器模型相同的高幀率,且無法調(diào)整,導(dǎo)致推理速度較慢。

雖然已經(jīng)有多項(xiàng)研究用于改進(jìn) VALL-E 的這些問題,但往往會使模型的整體架構(gòu)復(fù)雜化,而且增加了擴(kuò)展數(shù)據(jù)規(guī)模的負(fù)擔(dān)。

基于這些之前的工作,VALL-E 2 包含兩方面的關(guān)鍵創(chuàng)新:重復(fù)感知采樣(repetition aware sampling)和分組代碼建模(grouped code modeling)。

重復(fù)感知采樣是對 VALL-E 中隨機(jī)采樣的改進(jìn),能夠自適應(yīng)地采用隨機(jī)采樣或者核采樣(nucleus sampling),選擇的依據(jù)是曾經(jīng)的 token 重復(fù),因此有效緩解了 VALL-E 的無限循環(huán)問題,大大增強(qiáng)解碼穩(wěn)定性。

重復(fù)感知采樣的算法描述

分組代碼建模則是將編解碼器代碼劃分為多個(gè)組,自回歸時(shí)每組在單個(gè)幀上建模。不僅減少了序列長度、加速推理,還通過緩解長上下文建模問題來提高性能。

值得注意的是,VALL-E 2 僅需要簡單的語音-轉(zhuǎn)錄文本數(shù)據(jù)進(jìn)行訓(xùn)練,不需要額外的復(fù)雜數(shù)據(jù),大大簡化了數(shù)據(jù)的收集、處理流程,并提高了潛在的可擴(kuò)展性。

具體來說,對于數(shù)據(jù)集中每條語音-文本數(shù)據(jù),分別用音頻編解碼器編碼器(audio codec encoder)和文本分詞器將其表示為編解碼器代碼??=[??0,??1,…,??(???1)] 和文本序列??=[??0,??1,…,??(???1)],用于自回歸(AR)和非自回歸(NAR)模型的訓(xùn)練。

AR 和 NAR 模型都采用 Transformer 架構(gòu),后續(xù)的評估實(shí)驗(yàn)設(shè)計(jì)了 4 種變體進(jìn)行對比。它們共享相同的 NAR 模型,但 AR 模型的組大小分別為 1、2、4、8。

推理過程也同樣是 AR 和 NAR 模型的結(jié)合。以文本序列??和代碼提示??<??′,0 為條件生成目標(biāo)代碼??≥??′,0 的第一代碼序列,再用自回歸的方式生成每組的目標(biāo)代碼。

給定??≥??′,0 序列后,就可以使用文本條件??和聲學(xué)條件??<??′推斷 NAR 模型,以生成剩余的目標(biāo)代碼序列??≥??′,≥1。

模型訓(xùn)練使用了 Libriheavy 語料庫中的數(shù)據(jù),包含 7000 個(gè)人朗讀英語有聲書的 5 萬小時(shí)語音。文本和語音的分詞分別使用 BPE 和開源的預(yù)訓(xùn)練模型 EnCodec。

此外,也利用了開源的預(yù)訓(xùn)練模型 Vocos 作為語音生成的音頻解碼器。

評估

為了驗(yàn)證模型的語音合成效果是否能達(dá)到人類同等水平,評估采用了 SMOS 和 CMOS 兩個(gè)主觀指標(biāo),并使用真實(shí)的人類語音作為 ground truth。

SMOS(Similarity Mean Opinion Score)用于評估語音與原始提示的相似度,評分范圍為 1~5,增量為 0.5 分。

CMOS(Comparative Mean Opinion Score)用于評估合成語音與給定參考語音的比較自然程度,標(biāo)度范圍為-3~3,增量為 1。

根據(jù)表 2 結(jié)果,VALL-E 2 的主觀評分不僅超過了第一代的 VALL-E,甚至比人類真實(shí)語音有更完美的表現(xiàn)。

此外,論文也使用了 SIM、WER 和 DNSMOS 等客觀指標(biāo)來評估合成語音的相似度、魯棒性和整體感知質(zhì)量。

在這 3 個(gè)客觀指標(biāo)上,無論 VALL-E 2 的組大小如何設(shè)置,相比 VALL-E 都有全方位的提升,WER 和 DNSMOS 分?jǐn)?shù)也優(yōu)于真實(shí)人類語音,但 SIM 分?jǐn)?shù)還存在一定差距。

此外,從表 3 結(jié)果也能發(fā)現(xiàn),VALL-E 2 的 AR 模型組大小為 2 時(shí),可以取得最優(yōu)效果。

在 VCTK 數(shù)據(jù)集上的測評也可以得到相似的結(jié)論。當(dāng) prompt 長度增加時(shí),分組代碼建模方法可以減少序列長度,緩解 Transformer 架構(gòu)中不正確注意力機(jī)制導(dǎo)致的生成錯誤,從而在 WER 分?jǐn)?shù)上得到提升。

作者簡介

本文第一作者陳三元是哈爾濱工業(yè)大學(xué)和微軟亞洲研究院的聯(lián)合培養(yǎng)博士,他從 2020 年開始擔(dān)任 MSRA 自然語言計(jì)算組的實(shí)習(xí)研究員,研究興趣主要是用于語音和音頻處理的預(yù)訓(xùn)練語言模型。

參考資料:

  • https://arxiv.org/abs/2406.05370

本文來自微信公眾號:微信公眾號(ID:null),作者:新智元

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:微軟,語音克隆

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會買 要知