7 月 3 日晚，一場獨特的演唱會上線抖音、西瓜視頻、今日頭條、鮮時光 TV，引發(fā) 1.4 億樂迷集體懷舊。這是“Beyond Live 1991 生命接觸演唱會”及紀念音樂會的精選重映。Beyond，是華語搖滾樂發(fā)展歷史上的璀璨明珠，更是一代人的青春記憶。
而這次當億萬觀眾沉浸在 DNA 被喚醒的懷舊情緒中時，可能也有很多朋友并不知道，他們看到的、聽到的穿越 31 年時光而來的畫面和聲音，其實是經(jīng)過超清修復的。只是在原汁原味的真實還原下，很多人并未發(fā)現(xiàn)而已。
完成這次超清修復的，就是字節(jié)跳動旗下的云服務平臺火山引擎。
超清修復，不止是提升音畫清晰度
如果你看過 Beyond Live 1991 生命接觸演唱會原版視頻，就能真切感受到這次超清修復版的提升。比如下面這張修復前后的效果對比圖，就是肉眼可見的提升。
時隔多年后依然能看到這場演唱會如此清晰的版本，的確是一件幸事。相信也有朋友會好奇，抖音到底施了什么魔法？火山引擎到底是怎么修復的呢？
這里不妨為大家解釋一下。
首先，因為是演唱會的修復，所以不可避免會分成兩個部分：畫質(zhì)修復和音質(zhì)的修復。
畫質(zhì)修復方面，我們先看看存在哪些難點。
第一是畫面的模糊受損，早期因為技術條件差，演唱會在拍攝、制作、壓縮、傳輸?shù)日麄€過程都會出現(xiàn)畫面模糊、噪聲多的情況。比如那時的影片一般都是隔行掃描，編碼、顯示都會帶來交錯條紋等瑕疵。
第二是演唱會獨特的色彩、亮度和舞臺氛圍感，比如怎樣平衡亮度調(diào)節(jié)和底噪被放大之間的矛盾，也是難點。
第三是需要對人像面部進行精細處理，普通的畫質(zhì)修復算法難以做到，而且調(diào)節(jié)人像效果和背景之間的差異也是難點。
這些是演唱會修復的核心難點，對于這些難點，火山引擎則研發(fā)了專門的算法技術進行攻克。比如畫面模糊受損的問題，他們有清晰度增強和瑕疵修復算法，這些是基于大量數(shù)據(jù)訓練的深度學習算法，提升分辨率的同時，還能在缺少紋理的區(qū)域生成豐富的細節(jié)。
同時，還能利用基于運動補償?shù)纳疃葘W習多幀交錯算法，解決各行掃描格式視頻存在的拉絲和橫紋情況。
下面這張照片就展現(xiàn)了修復前后的對比，可以明顯看到修復前撥吉他的手部有橫紋、模糊的情況，修復之后整個明顯更清晰銳利了。
提升畫質(zhì)的同時還要注重演唱會藝術氛圍的保留。火山引擎給出了基于美學評分的自適應分區(qū)域色彩亮度增強算法，它會根據(jù)片源的效果，依據(jù)美學評分，在色彩，亮度，對比度，飽和度，人像 ROI 和背景區(qū)域分別增強，使亮區(qū)與暗區(qū)都能得到最好的表現(xiàn)效果。
比如下面這張修復前后的對比，修復之后的色彩明顯更飽滿，同時整體風格上也沒有失去演唱會燈光的氛圍感。
而人像的修復方面，火山引擎則通過自研的自適應人像增強算法，進行人物高清五官重建。對不同大?。ń?/ 中景 / 遠景 ）、不同姿態(tài)（側(cè)臉 / 俯視 / 仰視），不同遮擋程度的人臉都有較好的修復增強效果。
音質(zhì)修復方面，也是類似。原版演唱會視頻天然存在早期設備條件不好導致的音質(zhì)差的問題，還有環(huán)境噪聲帶來的干擾。另外那時的設備、壓縮算法不成熟，也會導致音頻截止頻率低。演唱會混響過大影響收音質(zhì)量、以及響度不均衡問題造成的聽感不適等。這些都是音質(zhì)修復存在的難點。
針對原版音頻的噪聲，火山引擎給出了多元素場景的自研降噪算法，可以針對音樂場景和人聲場景實現(xiàn)兼容的 AI 降噪。普通的降噪算法主要針對人聲，給演唱會降噪時難免對部分聲音造成損傷，而火山引擎的這套算法可以保留人說話 / 唱歌 / 音樂的同時，抑制其他噪聲。
比如下面這張對比圖，原版攜帶噪聲的音頻頻譜整體非常渾濁，噪音（紫色的部分）整個演唱會都存在，而經(jīng)過 AI 音頻降噪算法處理過后，頻譜圖清晰了很多。
對于早期設備音頻帶寬不夠的問題，火山引擎也有音頻超分算法予以解決，它能夠?qū)ρ莩獣械娜寺暡糠诌M行頻帶拓展，豐富高頻信息，提升音質(zhì)，并且在處理過程中不會引入其他失真使體驗變差。
此外還有響度算法，則是提取演唱會中的歌唱人聲部分，然后進行響度的調(diào)整，使得整體的人聲更加舒適。
當然，這次演唱會重映之后，IT之家也向火山引擎方面了解到，修復的工作也并不完全是 AI 算法進行的，也會有人工處理的部分，只是人工參與的很少。比如在畫質(zhì)修復時，主要是和色彩相關的會加入部分人工，而音頻部分主要是在響度調(diào)整上做了一些人工的細節(jié)調(diào)整。
總體來說，這次演唱會的修復絕大部分工作通過 AI 算法技術來完成的，并且我們也能看到，修復的工作不僅僅是提升音畫清晰度這么簡單，還涉及到藝術氛圍的保留、噪聲、細節(jié)的取舍、色彩的調(diào)整、重編碼等等，是一個成體系的復雜流程。而這個流程，火山引擎已經(jīng)能用技術在無人工參與的情況下完成絕大部分。
最終呈現(xiàn)在我們面前的，就是一場音畫全面煥發(fā)新生，同時藝術感又原汁原味的經(jīng)典演唱會，成就了一場情懷的狂歡。
比情懷更重要的，是賦能
從效果來說，這次 Beyond 演唱會的超清修復是讓人驚嘆的，看了上面的介紹，相信會有朋友自然地想到，這些修復技術這么厲害，而且很少需要人工參與，那如果能將它們開放出來，讓更多的主體能參與到這種頗具意義的修復中去，豈不是更好？
其實這些，就是火山引擎視頻云正在做的，而且他們提供的能力還有更多。
相信大家也能感受到，視頻在如今互聯(lián)網(wǎng)傳媒時代的重要性。IDC 在年初曾發(fā)布一份《中國視頻云市場跟蹤（2021 上半年）》報告，其中顯示，2021 上半年中國視頻云市場規(guī)模達到 43.7 億美元，同比增長 38.7%。我們正在迎接一個全新的“超視頻時代”：不管是企業(yè)到用戶，還是用戶到用戶，一個行業(yè)內(nèi)的信息傳遞有 50% 以上是通過視頻承載，就可以認為是“超視頻時代”。
總之，在廣泛的商業(yè)場景正在從圖文走向視頻的大背景下，視頻正在成為一種新的生產(chǎn)力，各行各業(yè)都在思考如何建設自己的視頻能力。
而火山引擎這家字節(jié)跳動旗下的云服務平臺，恰好通過視頻云為各行各業(yè)帶來完整的視頻能力。這次修復 Beyond 演唱會所涉及的相關技術，其實只是火山引擎視頻云能力的“冰山一角”。
根據(jù)今年 2 月火山引擎公布的最新視頻云產(chǎn)品矩陣，這是一個包含泛互聯(lián)網(wǎng)、游戲、金融、廣電等場景，視頻點播、veImageX、實時音視頻等核心產(chǎn)品，以此構成完整的解決方案。最底層的核心中臺，則是火山引擎在服務抖音、西瓜視頻等優(yōu)秀應用積累和沉淀下來的技術能力，覆蓋網(wǎng)絡傳輸、智能生產(chǎn)和智能處理全鏈路的能力。
而細分到每一項能力方面，火山引擎視頻云也有對應的技術優(yōu)勢。比如在編碼方面，火山引擎的 BVC 系列編碼器在視頻編碼器全球頂級賽事 MSU2020 中獲得 17 項冠軍。
在視頻播放體驗上，火山引擎擁有獨創(chuàng)的“零首幀”優(yōu)化，實現(xiàn)短視頻首幀起播小于 100ms，長視頻首幀起播小于 400ms，帶來無感知的流暢播放體驗。
還有他們的 VQScore 畫質(zhì)評估算法體系也已經(jīng)在多媒體領域世界級學術會議 ICME2021 拿到第一名，穩(wěn)定性方面更是能將應用崩潰率降到低于 1/100000。
正因為擁有這些技術優(yōu)勢，火山引擎視頻云才能為不同的行業(yè)提供極致的視頻體驗。并且在視頻體驗方面，火山引擎也建立了自己的數(shù)據(jù)體系標準，從互動體驗、播放體驗、畫質(zhì)體驗、性能體驗四個方面做細致優(yōu)化，從而讓用戶體驗可量化、可優(yōu)化。
舉例來說，現(xiàn)在很多“超新 Z 世代”喜歡在快看上看“漫劇”，這種全新的視頻內(nèi)容形式背后就有火山引擎視頻云的助力?；鹕揭嬉曨l云為快看“漫劇”創(chuàng)作提供了強大的視頻編輯，推動 UGC 內(nèi)容的繁榮，同時還為快看提供了零首幀的相關優(yōu)化經(jīng)驗，提升了用戶觀看體驗。
（快看世界技術 VP 安嘗思）
再比如今年 5 月，Pico 以 8K 3D VR 的方式舉辦了鄭鈞“We Are”VR 私人唱聊會的互動直播，火山引擎視頻云為 Pico 提供了從 VR 采集、VR 編碼推流、VR 云導播、虛擬現(xiàn)實特效疊加到 VR 播放器的全鏈路能力。
（鄭鈞“We Are”VR 私人唱聊會）
總體來說，目前火山引擎視頻云已經(jīng)服務了很多的行業(yè)，覆蓋游戲、電商、金融、教育等各個領域。包括前面我們說的修復 Beyond 演唱會過程中所使用的各種技術，在各行各業(yè)也都已經(jīng)有很成熟的應用。也許，修復 Beyond 演唱會并和大家一起來一場免費的懷舊狂歡，是一件很有情懷的事，但小編覺得，能夠?qū)⑦@些能力開放出去，賦能給千千萬萬需要用視頻建設生產(chǎn)力的主體，是比情懷更重要的事情。
結(jié)語
Beyond Live 1991 生命接觸演唱會的重映已經(jīng)結(jié)束，但小編相信，類似這樣用技術修復文化的情懷不會止步。去年，抖音、西瓜視頻聯(lián)合火山引擎已經(jīng)為我們修復了超百部經(jīng)典動畫，這次是 Beyond 的經(jīng)典演唱會，未來，也許還有更多被時光侵蝕的作品會重新煥發(fā)生機。
而這樣的事情，只靠為數(shù)不多的企業(yè)來完成，遠遠不夠，相反需要更多的企業(yè)或主體參與進來?；鹕揭嬉曨l云的賦能，對推動這樣有價值的事情，無疑會起到非常重要的作用。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。