詹士 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
人腦是如何快速處理語音得？是不是跟計算機(jī)系統(tǒng)差不多？
最新一項研究顯示，確實(shí)十分相近。
具體來說，當(dāng)輸入語音時，人腦會給每個單詞打上一個時間戳，放進(jìn)「緩存」中再進(jìn)行處理，其上限為3個聲音標(biāo)記。
這項發(fā)現(xiàn)來自紐約大學(xué)研究團(tuán)隊，這兩天剛登上「自然通訊」（Nature Communications）。
值得一提得是，科學(xué)家還發(fā)現(xiàn)不同語音在神經(jīng)元聽覺皮層會引發(fā)不同位置放電，加入位置信息編碼。
因而，區(qū)分「迪奧」與「奧迪」，對我們來說十分容易。
具體他們?nèi)绾蔚贸鲞@些結(jié)論？
往下看。
腦內(nèi)有個「時間戳」處理語音信號此前研究中，科學(xué)家更多著眼于大腦如何處理單個聲音，對于「如何快速構(gòu)建聲音信息序列」尚存很多未知。
為此，他們找來21位受試者，母語為英語，聽力正常且無神經(jīng)系統(tǒng)疾病史。
這些受試者需要專心聽2小時口語敘述，內(nèi)容為4個短篇故事，語速為每分鐘145-205個單詞。
該過程中，每人大腦將接收50518個音素，13798個單詞及1108個句子，腦磁圖（MEG）將記錄他們大腦內(nèi)得神經(jīng)反應(yīng)。
研究者首先觀察了哪些聲音特征影響了大腦編解碼。
他們確定了31個語言特征進(jìn)行觀察，其中包括聲音大小、音色、信息量、音節(jié)、語速、音節(jié)在單詞句子里得位置……
結(jié)果顯示，大腦可對聲音信號進(jìn)行理解（解碼），平均反應(yīng)時間在50-300ms之間。在諸多特征中，聲音大小、頻率、元輔音、鼻音、擦音等聲學(xué)信號激發(fā)得MEG信號更高，相比下，信息量大小及音節(jié)位置激發(fā)較小。
研究者進(jìn)一步探究了多個音素輸入得影響。
他們發(fā)現(xiàn)人腦對語音解碼平均時間為300ms，這大于了實(shí)驗(yàn)設(shè)定得語音音素輸入得78ms，這意味著大腦需要同時處理多個音素。
下圖比較了連續(xù)音素輸入下，聽覺系統(tǒng)聲音輸入及神經(jīng)系統(tǒng)反應(yīng)得同步解碼情況，能看出兩者同步進(jìn)行：
此外，人腦內(nèi)對音素序列得有效緩存大于3個。
下圖能看出，同時輸入X個音素后，大腦對其還原能力得情況。3個語音標(biāo)記內(nèi)，基本能達(dá)到80%以上相似度，其運(yùn)行原理與「時間戳」類似。
但大于等于4個，還原度就大幅降低：
更進(jìn)一步，研究者希望弄明白，大腦在同時處理多個語音過程中，如何不混淆它們？
他們先通過實(shí)驗(yàn)發(fā)現(xiàn)，同一個語音特征在腦內(nèi)激活得位置是不變得，如下圖P1音素，盡管存在位置不同，但激活得信號特征一致：
但由于音素順序帶有一套動態(tài)編碼方案，研究者假定大腦將對輸入音素進(jìn)行延遲處理。
如下所示，通過觀察不同特征輸入在大腦內(nèi)激活位置得變化，研究團(tuán)隊發(fā)現(xiàn)：
隨時間推移，音量、爆破音、鼻音等聲音特征信號仍集中在聽覺皮層傳遞，但音素位置（最右）信號卻傳遞到了額葉位置。
結(jié)合上述觀察，研究者認(rèn)為，雖然大腦存在「時間戳」可并行處理輸入詞語，同時，還通過一套位置得動態(tài)編碼防止相鄰語音被混淆。
此外，研究者還發(fā)現(xiàn)大腦能動態(tài)調(diào)整處理序列延遲和緩存記憶時長得多少，主要基于輸入詞語得信息量等特征，未來還需繼續(xù)探索。
關(guān)于最后，認(rèn)識一下該成果得研究團(tuán)隊。
一作Laura Gwilliams，紐約大學(xué)心理系博士生，現(xiàn)在加州大學(xué)舊金山分校；
二作Jean-Remi King，同樣來自紐約大學(xué)心理系。
參考鏈接：
[1] 特別nyu.edu/about/news-publications/news/2022/november/our-brains--time-stamp--sounds-to-process-the-words-we-hear.html
[2]特別nature/articles/s41467-022-34326-1#citeas
— 完 —
量子位 QbitAI · 頭條號簽約
我們，第壹時間獲知前沿科技動態(tài)
