原文標(biāo)題:《清華可穿戴智能喉登 Nature 子刊,實(shí)測準(zhǔn)確率 90%+,網(wǎng)友:@李雪健老師》
將一塊僅硬幣大小的圓片,貼在喉嚨處,嗓子有問題的人就可以重獲新“聲”了。
這是清華大學(xué)發(fā)表在 Nature 子刊上的最新研究成果,一個用石墨烯材料做成的可穿戴喉嚨。
它可以準(zhǔn)確識別到佩戴者喉嚨處的細(xì)微振動以及模糊的話語,然后將之合成為正常的語音,平均識別準(zhǔn)確率高達(dá) 99.05%。
據(jù)稱,這款設(shè)備在噪音非常大的地方也好使。
如此一來,那些不能正常發(fā)聲的人,包括喉切除患者、臨時(shí)嗓子發(fā)炎者、長時(shí)間講課的老師、在嘈雜環(huán)境工作但需要交流的人等,都有救了。
當(dāng)然,還有不少人直接 cue 起了李雪健老師。
清華可穿戴智能喉,患者實(shí)測準(zhǔn)確率 91%
要說幫喉嚨有問題的人解決交流問題,科學(xué)家早就在研究了。
不過此前的一些方案由于帶有一系列外設(shè)或者多通道電極,通常具有侵入性且不夠便攜。
要解決這倆問題,需要感應(yīng)器足夠靈敏且小巧,在外部就能使用。
還需要足夠貼合皮膚。
因?yàn)槔碚撋希聿康恼駝臃从车氖锹晭б约跋嚓P(guān)肌肉群的運(yùn)動。
一些聲帶發(fā)聲有障礙的人,可能會訓(xùn)練食管發(fā)聲,因此,需要柔性傳感器來保持對皮膚的貼合從而照顧到這一部位。
好在,有這么一種東西可以滿足這些需要。
它就是用柔性激光直寫(laser-scribed)石墨烯(LSG)制成的機(jī)械傳感器,專門用于身體表面。
不過,由于不確定這種設(shè)備對低頻肌肉運(yùn)動和傳遞到皮膚表面的聲音振動是否敏感,作者團(tuán)隊(duì)對它的蜂窩狀微觀結(jié)構(gòu)進(jìn)行了優(yōu)化。
最終,它可以做到在 > 1000 次的彎曲測試后仍表現(xiàn)出均勻穩(wěn)定的靈敏度,準(zhǔn)確識別出頻率范圍在 100–20kHz 之間的振動信息。
由于 LSG 薄膜具有導(dǎo)電性和導(dǎo)熱性,這種設(shè)備也可以通過熱聲效應(yīng)產(chǎn)生聲音。在聲音發(fā)射穩(wěn)定性的實(shí)驗(yàn)中,作者證明它可以做到連續(xù)三小時(shí)都保持穩(wěn)定。
下面是這款可穿戴智能喉的工作流程:
首先,設(shè)備將收集到的振動信息編碼為標(biāo)準(zhǔn)脈沖編碼調(diào)制(PCM)信號。
然后通過快速傅里葉變換(FFT)生成相應(yīng)的頻譜圖。
接著通過模型進(jìn)行外部處理和識別,將檢測到的多模態(tài)信號轉(zhuǎn)換為相應(yīng)的語音。
最后通過熱聲效應(yīng)驅(qū)動設(shè)備發(fā)聲,幫助佩戴者完成交流。
實(shí)驗(yàn)表明,這款設(shè)備對音素、音調(diào)以及單詞的識別準(zhǔn)確率平均達(dá)到了 99.05%。
下圖則顯示了設(shè)備在不同強(qiáng)度(dB)噪音下的識別精度。
可以看到,它在環(huán)境噪聲超過 60dB 的情況下,也能保持識別能力,抗噪能力遠(yuǎn)遠(yuǎn)優(yōu)于麥克風(fēng)。
“Talk is cheap”,作者也進(jìn)行了實(shí)戰(zhàn)測試。
他們找來一位完成了喉切除(非全切)手術(shù)的志愿者,檢測六個日常短句的識別情況。
從頻譜圖可以看出,可穿戴智能喉可以感知患者喉嚨的發(fā)聲振動。
不過由于發(fā)聲器官不完整,患者有時(shí)會在說話時(shí)吞咽聲音。不過微調(diào)模型仍然能夠從信號中提取足夠的信息,將識別準(zhǔn)確率做到 81.25%。
接著,他們又對用到的單個 AlexNet 模型進(jìn)行了優(yōu)化(Alex Net+ReliefF+SVM),最終實(shí)現(xiàn)了 91% 的識別精度。
總的來說,由于制造工藝可行、靈敏度高、性能穩(wěn)定、抗噪能力強(qiáng)以及集成了發(fā)聲能力,作者認(rèn)為,這款可穿戴喉嚨可以成為下一代語音識別和交互系統(tǒng)的理想工具。
而網(wǎng)友們也腦洞大開:
有讓加個音色調(diào)節(jié)的過濾器,變成可穿戴變聲器的;
也有說來個實(shí)時(shí)翻譯,就讓人直接擁有說多種語言的能力的。
你覺得還有哪些妙用?
論文地址:
https://www.nature.com/articles/s42256-023-00616-6
參考鏈接:
https://weibo.com/1231317854/MwsEvkugi?refer_flag=1001030103_
本文來自微信公眾號:量子位 (ID:QbitAI),作者:豐色
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。