讓失聲群體重獲“新聲”,腦機接口領域現(xiàn)重大突破

韓璐 7年前 (2019-04-25)

研究團隊研發(fā)出一款解碼器,能夠利用人工智能基于大腦數(shù)據(jù)合成語音。

日前,學術(shù)期刊《自然》在線發(fā)表了一篇文章,其中涉及一種解碼器,能夠?qū)⒋竽X神經(jīng)信號轉(zhuǎn)化為語音,幫助無法說話的患者實現(xiàn)發(fā)聲交流。

讓失聲群體重獲“新聲”,腦機接口領域現(xiàn)重大突破

據(jù)了解,該解碼器由加州大學舊金山分校的神經(jīng)外科學家Edward Chang教授與其同事一同開發(fā)。他們采用了一種叫做“高密度腦皮層電圖”的技術(shù),能夠基于癲癇患者腦中被植入的電極(醫(yī)療監(jiān)測需要)所傳出的數(shù)據(jù),直接記錄下受試者大腦皮層的神經(jīng)活動。

過程中,受試者會被要求大聲讀出幾百條句子,研究人員則會同步記錄他們大腦腹側(cè)感覺運動皮層區(qū)的神經(jīng)活動,這里是大腦的語音產(chǎn)生中心。

隨后,研究人員將利用循環(huán)神經(jīng)網(wǎng)絡破譯采集到的神經(jīng)信號,其中涉及兩個步驟:第一步,他們將神經(jīng)信號轉(zhuǎn)換為表征發(fā)音器動作的信號,包括下巴、喉、嘴唇和舌頭動作相關的腦信號;第二步,他們則根據(jù)解碼出來的發(fā)音器官動作,把信號轉(zhuǎn)換為說出的語句。

讓失聲群體重獲“新聲”,腦機接口領域現(xiàn)重大突破

為了驗證自己的成果,研究人員已經(jīng)在亞馬遜的眾包任務平臺Mechanical Turk上招募了聽眾,來辨認解碼器合成的語音,測試內(nèi)容包括325個單詞和101局整句。結(jié)果顯示,聽眾能夠成功的識別出單詞,和對自然語音的感知模式一樣。

對于這一測試結(jié)果,第一作者Gopala Anumanchipalli博士表示,該結(jié)果意味著這種神經(jīng)合成語音對于現(xiàn)實世界的應用來說已經(jīng)達到即刻聽懂的實用程度。

此外,研究人員還進行了另一項測試,讓受試者用默讀的方式讀出同一個句子。結(jié)果顯示,無聲言語的合成效果不如有聲言語。但Edward Chang表示,雖然語音解碼的準確性大大降低,但受試者在沒有聲音的情況下模仿發(fā)聲仍然可以進行語音合成。至于那些已經(jīng)喪失語音相關動作能力的群體,該系統(tǒng)的適用性還需要進一步研究。

針對這一項研究成果,生物工程學教授Chethan Pandarinath等人在文章評論中表示,這一系統(tǒng)要成為一個臨床可行的語音合成腦機接口,還存在許多挑戰(zhàn)。但可以肯定的是,腦機接口技術(shù)的持續(xù)進步可以讓存在發(fā)聲障礙問題的群體重新獲得“說話”的能力。

最后,記得關注微信公眾號:鎂客網(wǎng)(im2maker),更多干貨在等你!

鎂客網(wǎng)


科技 | 人文 | 行業(yè)

微信ID:im2maker
長按識別二維碼關注

硬科技產(chǎn)業(yè)媒體

關注技術(shù)驅(qū)動創(chuàng)新

分享到