軀體感受系統(tǒng)中的多模態(tài)感知可幫助人們獲得更全面的物體屬性，并對物體的狀態(tài)做出準確判斷，尤其是不同受體的感覺信號在一定的條件下還可被神經(jīng)元整合并發(fā)送到大腦皮層作進一步處理(圖1a)。與單模態(tài)感知相比，多模態(tài)融合感知在評估物體屬性和提高物體識別精度方面具有明顯優(yōu)勢。
在傳統(tǒng)的人工感知系統(tǒng)中，多模態(tài)信息的處理多采用串行計算架構，傳感信號需轉換為數(shù)字模式才能被處理器處理，產(chǎn)生了較大的功耗和通信帶寬開銷。此外，傳統(tǒng)半導體技術在脈沖域構建這種多模態(tài)感知系統(tǒng)還面臨著器件集成和電路復雜性方面的挑戰(zhàn)，迫切需要開發(fā)更高效的多模態(tài)融合感知硬件方案。生物感知系統(tǒng)具有并行分布式感官信息處理、低能耗、高容錯性等特點，顯示出克服傳統(tǒng)困境的巨大潛力。
近日，中國科學院院士、中科院微電子研究所研究員劉明團隊和復旦大學教授劉琦團隊共同研發(fā)了一種結構緊湊的多模態(tài)融合感知脈沖神經(jīng)元(MFSN)陣列，該陣列由異質集成的壓力傳感器和NbOx憶阻器構成(圖1b)，其中壓力傳感器用來感知壓力，NbOx憶阻器用來產(chǎn)生脈沖輸出并感知溫度變化。當壓力和溫度兩種激勵同時作用于MFSN時，多模態(tài)的模擬感覺信息可以融合為一個脈沖序列，顯示出優(yōu)異的數(shù)據(jù)壓縮和脈沖轉換能力。
此外，通過解耦輸出脈沖的頻率和振幅，還可從融合信號中獲得獨立的壓力和溫度信息，支持了神經(jīng)元對于單模態(tài)信息的保真度和多模態(tài)感知能力。團隊進一步將MFSN陣列與脈沖神經(jīng)網(wǎng)絡(SNN)結合構建了一種人工多模態(tài)感知系統(tǒng)，成功模擬了人體軀體感覺系統(tǒng)中的多模態(tài)信息(溫度和壓力)感知和多模態(tài)物體(不同溫度、重量和形狀的物體)的分類能力。該工作使構建高效的多模態(tài)脈沖感知系統(tǒng)成為可能，為發(fā)展高智能機器人技術提供了新思路。
圖1 生物軀體感覺系統(tǒng)與人工體軀體感覺系統(tǒng)。a 人手感知杯子的溫度、重量和水杯形狀的示意圖;b 由MFSN陣列和SNN分類器組成的人工軀體感覺系統(tǒng)模擬觸覺感知的示意圖。