《三體》進入現(xiàn)實!《Nature》子刊發(fā)文,將腦電波翻譯成句子,錯誤率低于3%,實現(xiàn)專業(yè)級轉(zhuǎn)錄
你還要“張口”說話嗎?
《三體》中的橋段正在成為現(xiàn)實。
在腦機接口賽道上,此前國內(nèi)清華大學腦機接口實驗室曾經(jīng)讓人們成功通過外接設備實現(xiàn)“腦電波打字”,浙大團隊也借助顱內(nèi)腦機接口設備讓中風患者控制機械臂做到喝可樂等。
而現(xiàn)在,最新《自然·神經(jīng)科學》的一篇論文顯示了腦機接口領域的一項新突破,來自美國加州大學舊金山分校的神經(jīng)外科教授Edward Chang及其同事,讓機器能夠?qū)⒛X電波信號直接翻譯為文字語句,意味著人不張口就能“說出”心中所想。
腦機接口技術迎新突破,打造“腦電波翻譯機”
在Edward Chang的研究中,他們分別將用以檢測癲癇的電極植入到4名受試者的顱內(nèi),這些電極會將他們大聲讀出句子時的神經(jīng)活動記錄下來。
之后,這些記錄會被添加到一個循環(huán)神經(jīng)網(wǎng)絡中,繼而將規(guī)律性出現(xiàn)的神經(jīng)特征表現(xiàn)出來,該特征可能與言語的重復性特征(元音、輔音或發(fā)音器官接受的指令等)相關。緊接著,另一個循環(huán)神經(jīng)網(wǎng)絡將進行逐字解碼,最后形成一段句子。
Edward Chang及團隊在文中介紹稱,他們通過該機器翻譯方法解碼并轉(zhuǎn)換神經(jīng)活動的錯誤率低至3%,已經(jīng)能夠媲美于專業(yè)級言語轉(zhuǎn)錄。
此外他們在實驗過程中還發(fā)現(xiàn),如果利用某人的神經(jīng)活動和言語對循環(huán)網(wǎng)絡進行預訓練后,再在另一名實驗者身上進行訓練,最終的解碼結(jié)果會有所改善,這意味著這一方法在不同人員之間或?qū)崿F(xiàn)轉(zhuǎn)移。
可以預見,當這一成果被用于臨床,那些失語者以及中風患者等群體,將能夠借助腦機接口技術重新正常發(fā)聲,在不開口的前提下,擺脫手語等輔助表達。另外,如果再配以一個搭載自然語言處理技術的揚聲器系統(tǒng),該類群體也能夠通過語音實現(xiàn)交流。
腦機接口與文字較勁兒
腦機接口是前沿科研之一,不僅吸引了Facebook等企業(yè)和資方的關注,也成為創(chuàng)業(yè)熱門領域之一。就在前不久,馬斯克的腦機接口創(chuàng)業(yè)公司Neuralink已經(jīng)取得了新的突破,發(fā)布了“腦后插管”的新技術,聲稱能夠通過一臺神經(jīng)手術機器人,像微創(chuàng)眼科手術一樣安全無痛地在腦袋上穿孔,并向顱內(nèi)植入芯片。
具體到研究項目,“腦電波轉(zhuǎn)換成文字”是重點領域之一,涉及兩個研究方向,一個方向?qū)W⒂诳刂?,另一個方向?qū)W⒂谵D(zhuǎn)換。
在“控制”這一賽道上,團隊會在與腦機接口系統(tǒng)連接的電腦中設置一個輸入法,繼而利用神經(jīng)網(wǎng)絡算法對受試者顱內(nèi)電極所捕捉的腦電波信號進行解析和轉(zhuǎn)換,讓受試者能夠?qū)崿F(xiàn)“腦電波打字”,通過控制鍵盤輸入來表達自己內(nèi)心所想。
只不過,相比于人們自然交流的語速,這類通過大腦控制打字的方法顯得非常低效。
相比于“控制”,“轉(zhuǎn)換”在難度上則高得多。包括馬金團隊在內(nèi),諸如Facebook等企業(yè)和高校團隊也在致力于這方面的研究,意圖通過神經(jīng)網(wǎng)絡算法,將顱內(nèi)電極所捕捉的信號直接解碼并轉(zhuǎn)換為文字或語音。
在速度上,這類方法有可能達到人類正常水平。就在Edward Chang及團隊于去年發(fā)布的一個研究成果中,他們已經(jīng)讓AI能夠以每分鐘150個詞的速度將人類的腦電波轉(zhuǎn)換成語言。
從臨床意義上來看,這類腦機接口技術對部分群體帶來的利好是肉眼可見的。而在更廣范圍內(nèi),“腦電波轉(zhuǎn)換成文字”能夠帶來的效益遠不止于此。
以智能家居為例,從最初的手動開關到現(xiàn)在的語音交互,這一場景下的控制方式已經(jīng)從動手變成動口。但在更多人所暢想的場景中,他們甚至已經(jīng)不想再動口,而是希望當自己腦海中出現(xiàn)某一個念頭的時候,腦機接口系統(tǒng)能夠?qū)⑿盘栟D(zhuǎn)換為機器可理解的文字,繼而所涉及的家電等設備主體能夠在時間上無縫銜接,執(zhí)行人們腦海中的指令。
不過這里需要注意的是,目前的腦機接口研究項目中,在獲取腦電波信號環(huán)節(jié),研究員們所采取的措施還是以顱內(nèi)電極為主。
不可否認,這一方式能夠更為精準的獲取腦電波信號,從而方便接下來的信號解碼和轉(zhuǎn)換等。不過,就商業(yè)落地而言,雖然這類技術取得的成果是有目共睹的,但是諸如安全、倫理等問題也是事實存在的,距離更大范圍應用還有很長的路。相比之下,更多創(chuàng)業(yè)公司選擇外接腦機接口設備,犧牲部分準確性,提高安全性。隨著腦機接口技術不斷取得突破,并尋找到可落地場景,想必腦機接口將迎來新一波熱度。
最后,記得關注微信公眾號:鎂客網(wǎng)(im2maker),更多干貨在等你!
硬科技產(chǎn)業(yè)媒體
關注技術驅(qū)動創(chuàng)新
