IT之家 11 月 16 日消息，日前，微軟發(fā)布最新 Azure 神經(jīng)網(wǎng)絡(luò)語音合成技術(shù) Uni-TTSv3 多語言語音合成模型。與上一代語音合成模型相比，Uni-TTSv3 語音合成保真度更高、速度更快、訓(xùn)練時間更短，更降本增效。借助 Uni-TTSv3，微軟升級美語合成女聲 Jenny。全新升級的 Jenny Multilingual Neural，擁有跨語言能力，支持 14 個國家和地區(qū)的語言。
IT之家獲悉，此外，基于 Uni-TTSv3 而構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)定制語音服務(wù)，也擴展了跨語言定制服務(wù)功能，客戶只需提供一個語言的錄音數(shù)據(jù)作為語料，即可訓(xùn)練定制模型同時說多個語言。
Jenny Multilingual Neural 音頻示例：
隨著技術(shù)不斷迭代，微軟智能語音性能已能媲美真人，并支持超過 110 個國家和地區(qū)的語言，提供超過 270 個神經(jīng)網(wǎng)絡(luò)聲音。為進一步拓寬語音使用場景，滿足各行業(yè)客戶的多元化需求，微軟智能語音也在不斷探索新的服務(wù)和能力：
跨語種語音技術(shù)需求：僅用一個音色就能生成同時覆蓋全球用戶的多語言應(yīng)用需求，譬如在虛擬游戲中創(chuàng)建具有多語言能力的 NPC (Non-Player Character , 非玩家角色)，在智能客服等場景中使用多種語言與用戶交談，提升用戶體驗。
穩(wěn)定高效的平臺需求：使語音模型更加魯棒（robust，系統(tǒng)穩(wěn)定性），即使在定制服務(wù)場景中，也可以不受外界環(huán)境影響，穩(wěn)定、高效的處理不同類型的訓(xùn)練數(shù)據(jù)。
新一代神經(jīng)網(wǎng)絡(luò)語音合成技術(shù) Uni-TTSv3 的提出，旨在解決上述訴求并完善如下功能：
保真度高
Uni-TTSv3 是非自回歸語音合成模型，基于 FastSpeech 2（快速高質(zhì)量語音合成模型） 構(gòu)建，通過直接使用真實語音進行訓(xùn)練，并引入更多有關(guān)語速、語調(diào)、重音模式等語音變化信息，提高合成語音質(zhì)量。經(jīng)行業(yè)公認的、專業(yè)評估語音自然度的 MOS（Mean Opinion Score 平均意見評分）評測結(jié)果顯示，智能合成女聲 Jenny Multilingual Neural 的各語種語音平均評分達到 4.2 分以上（總分 5 分），語音保真度高。
▲ Uni-TTSv3 模型結(jié)構(gòu)圖
多語言通用
Uni-TTSv3 是強大的多語言語音模型，在多語言和多說話人數(shù)據(jù)集上訓(xùn)練。Uni-TTSv3 通過訓(xùn)練來自 50 多個不同地域和口音的發(fā)音人在不同場景下錄制的超過 3,000 個小時的語音數(shù)據(jù)，構(gòu)建多語言通用基礎(chǔ)語音模型，確保 AI 語音在語速、語調(diào)和重音模式等不變的情況下演繹多國語言。
訓(xùn)練時間更短
Uni-TTSv3 授權(quán) Azure 語音合成平臺和自定義神經(jīng)語音支持多語種語音。借助 Uni-TTSv3 升級自定義神經(jīng)語音訓(xùn)練管道，支持客戶用更短的訓(xùn)練時間創(chuàng)建高質(zhì)量的語音模型。與上一代語音合成模型相比，Uni-TTSv3 調(diào)優(yōu)過程簡單，尤其在聲學(xué)訓(xùn)練部分，訓(xùn)練時間顯著減少 50% 左右，更加降本增效。
▲ Uni-TTSv3 模型訓(xùn)練示意圖
你可以點此鏈接試用體驗 Uni-TTSv3 多語言語音合成模型，并使用微軟 Azure 有聲內(nèi)容制作平臺制作高質(zhì)量合成語音。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。