近日，中国科学院（yuàn）微电子研究所（suǒ）刘（liú）明院士团队（duì）和复旦（dàn）大学教授刘琦团队在多模（mó）态神（shén）经形态（tài）感知研究方面取得进展（zhǎn）。

图1生物躯体感觉系统（tǒng）与人工体躯体感觉系（xì）统，a为人手感知（zhī）杯子的温度、重量和水杯形状的（de）示意图（tú）；b为由MFSN阵列和（hé）SNN分类器组成的人工躯体感觉系统（tǒng）模拟触觉（jiào）感知的示（shì）意图，图片（piàn）来自中科（kē）院微（wēi）电子所前述团队共同研发了一种结构紧凑（còu）的多模态（tài）融（róng）合（hé）感知脉冲（chōng）神经元(MFSN)阵（zhèn）列，并将（jiāng）其与脉（mò）冲神经（jīng）网（wǎng）络(SNN)结合，构（gòu）建了一种人工多模态（tài）感知系统。该（gāi）成果使（shǐ）构建高效的多（duō）模态脉冲感知系统成（chéng）为可能，为发展高智能（néng）机器人（rén）技术提供了新思路，并发（fā）表在国（guó）际材料领域（yù）期刊《先进材料（liào）》(Advanced Materials)上。

图（tú）片来自《先进材料》(Advanced Materials)人（rén）类（lèi）躯体感受系统中的多模态感知可帮助人们（men）获得更全面的物体属性，并对物体的状态做（zuò）出准确判断，尤其是不同受体的感觉信号在一定（dìng）条（tiáo）件下可（kě）被神经元整（zhěng）合，并发送到（dào）大脑皮层作进一步处理（lǐ）（图1a）。与单模态（tài）感知相（xiàng）比，多模态融合感知在评估物体属性和提高物体（tǐ）识别精度方面具（jù）有明（míng）显优势。在传（chuán）统的人（rén）工感知系统中，多（duō）模态信息的处理多采（cǎi）用串行（háng）计算架构，传感信号需转换为（wéi）数（shù）字模式才能被处理器处理，产生较大功耗和通信带宽开销（xiāo）。

此外，传统半导体技术在脉冲域构（gòu）建多模态感知系（xì）统方面，还面（miàn）临着器件集成和电路复杂性方面的（de）挑战。因此，迫切需要开发更高（gāo）效（xiào）的（de）多模态（tài）融（róng）合感知硬件方案。生物感知（zhī）系统具有（yǒu）并（bìng）行分（fèn）布式感（gǎn）官信（xìn）息处理、低能（néng）耗、高容（róng）错（cuò）性等（děng）特点（diǎn），显示（shì）出（chū）克服传统困境（jìng）的（de）重（chóng）要潜力。

此次，中科院微电子所（suǒ）刘明（míng）团队和（hé）复旦（dàn）大学刘琦团队研发了结构紧凑（còu）的多模态融合感知脉冲神经元（yuán）(MFSN)阵列，该阵列由异质集（jí）成的压力传感器和（hé）NbOx忆阻器构（gòu）成（图1b）。其中（zhōng），压力（lì）传感器用（yòng）来感知压（yā）力，NbOx忆阻器用（yòng）来（lái）产生脉冲输出并感（gǎn）知（zhī）温度变化。当压力和温度两种激励同时作用于MFSN时（shí），多模态的模拟感觉（jiào）信息可以融（róng）合为一个脉冲序列，显示出（chū）优异的数据（jù）压缩和脉冲转换（huàn）能力。

此外，研究（jiū）人（rén）员（yuán）通过解耦输出（chū）脉冲（chōng）的（de）频率和振幅，还可从融合信号（hào）中获得独立的压力和温（wēn）度信息，支（zhī）持了神经元对于单模态信息（xī）的保真度和多模态（tài）感知能力。团队进一步将（jiāng）MFSN阵列与（yǔ）脉冲神（shén）经网络结合，构建了（le）一（yī）种人工多模态（tài）感知系（xì）统，成（chéng）功模拟（nǐ）了人体躯（qū）体感觉系（xì）统中的多（duō）模态信息（温度（dù）和（hé）压力（lì））感知和多模（mó）态物体（即（jí）不同温度、重量和（hé）形状的（de）物（wù）体）的分类能力。

前述成果有助于在未来进一步（bù）构建（jiàn）高效的多模态脉冲感知（zhī）系统（tǒng），并为发展（zhǎn）高（gāo）智能机（jī）器人技术（shù）提供新思路。