設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

清華可穿戴智能喉登 Nature 子刊,實(shí)測準(zhǔn)確率 90%+

量子位 2023/3/14 12:33:13 責(zé)編:夢澤

原文標(biāo)題:《清華可穿戴智能喉登 Nature 子刊,實(shí)測準(zhǔn)確率 90%+,網(wǎng)友:@李雪健老師》

將一塊僅硬幣大小的圓片,貼在喉嚨處,嗓子有問題的人就可以重獲新“聲”了。

這是清華大學(xué)發(fā)表在 Nature 子刊上的最新研究成果,一個用石墨烯材料做成的可穿戴喉嚨。

△ Nature Machine Intelligence(自然?機(jī)器智能)

它可以準(zhǔn)確識別到佩戴者喉嚨處的細(xì)微振動以及模糊的話語,然后將之合成為正常的語音,平均識別準(zhǔn)確率高達(dá) 99.05%。

據(jù)稱,這款設(shè)備在噪音非常大的地方也好使。

如此一來,那些不能正常發(fā)聲的人,包括喉切除患者、臨時(shí)嗓子發(fā)炎者、長時(shí)間講課的老師、在嘈雜環(huán)境工作但需要交流的人等,都有救了。

當(dāng)然,還有不少人直接 cue 起了李雪健老師。

清華可穿戴智能喉,患者實(shí)測準(zhǔn)確率 91%

要說幫喉嚨有問題的人解決交流問題,科學(xué)家早就在研究了。

不過此前的一些方案由于帶有一系列外設(shè)或者多通道電極,通常具有侵入性且不夠便攜。

要解決這倆問題,需要感應(yīng)器足夠靈敏且小巧,在外部就能使用。

還需要足夠貼合皮膚。

因?yàn)槔碚撋希聿康恼駝臃从车氖锹晭б约跋嚓P(guān)肌肉群的運(yùn)動。

一些聲帶發(fā)聲有障礙的人,可能會訓(xùn)練食管發(fā)聲,因此,需要柔性傳感器來保持對皮膚的貼合從而照顧到這一部位。

好在,有這么一種東西可以滿足這些需要。

它就是用柔性激光直寫(laser-scribed)石墨烯(LSG)制成的機(jī)械傳感器,專門用于身體表面。

不過,由于不確定這種設(shè)備對低頻肌肉運(yùn)動和傳遞到皮膚表面的聲音振動是否敏感,作者團(tuán)隊(duì)對它的蜂窩狀微觀結(jié)構(gòu)進(jìn)行了優(yōu)化。

最終,它可以做到在 > 1000 次的彎曲測試后仍表現(xiàn)出均勻穩(wěn)定的靈敏度,準(zhǔn)確識別出頻率范圍在 100–20kHz 之間的振動信息。

由于 LSG 薄膜具有導(dǎo)電性和導(dǎo)熱性,這種設(shè)備也可以通過熱聲效應(yīng)產(chǎn)生聲音。在聲音發(fā)射穩(wěn)定性的實(shí)驗(yàn)中,作者證明它可以做到連續(xù)三小時(shí)都保持穩(wěn)定。

下面是這款可穿戴智能喉的工作流程:

首先,設(shè)備將收集到的振動信息編碼為標(biāo)準(zhǔn)脈沖編碼調(diào)制(PCM)信號。

然后通過快速傅里葉變換(FFT)生成相應(yīng)的頻譜圖。

接著通過模型進(jìn)行外部處理和識別,將檢測到的多模態(tài)信號轉(zhuǎn)換為相應(yīng)的語音。

最后通過熱聲效應(yīng)驅(qū)動設(shè)備發(fā)聲,幫助佩戴者完成交流。

實(shí)驗(yàn)表明,這款設(shè)備對音素、音調(diào)以及單詞的識別準(zhǔn)確率平均達(dá)到了 99.05%。

下圖則顯示了設(shè)備在不同強(qiáng)度(dB)噪音下的識別精度。

可以看到,它在環(huán)境噪聲超過 60dB 的情況下,也能保持識別能力,抗噪能力遠(yuǎn)遠(yuǎn)優(yōu)于麥克風(fēng)。

“Talk is cheap”,作者也進(jìn)行了實(shí)戰(zhàn)測試。

他們找來一位完成了喉切除(非全切)手術(shù)的志愿者,檢測六個日常短句的識別情況。

從頻譜圖可以看出,可穿戴智能喉可以感知患者喉嚨的發(fā)聲振動。

不過由于發(fā)聲器官不完整,患者有時(shí)會在說話時(shí)吞咽聲音。不過微調(diào)模型仍然能夠從信號中提取足夠的信息,將識別準(zhǔn)確率做到 81.25%。

接著,他們又對用到的單個 AlexNet 模型進(jìn)行了優(yōu)化(Alex Net+ReliefF+SVM),最終實(shí)現(xiàn)了 91% 的識別精度。

總的來說,由于制造工藝可行、靈敏度高、性能穩(wěn)定、抗噪能力強(qiáng)以及集成了發(fā)聲能力,作者認(rèn)為,這款可穿戴喉嚨可以成為下一代語音識別和交互系統(tǒng)的理想工具。

而網(wǎng)友們也腦洞大開:

有讓加個音色調(diào)節(jié)的過濾器,變成可穿戴變聲器的;

也有說來個實(shí)時(shí)翻譯,就讓人直接擁有說多種語言的能力的。

你覺得還有哪些妙用?

論文地址: 

https://www.nature.com/articles/s42256-023-00616-6

參考鏈接:

  • https://weibo.com/1231317854/MwsEvkugi?refer_flag=1001030103_

本文來自微信公眾號:量子位 (ID:QbitAI),作者:豐色

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:智能喉,Nature

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會買 要知