重磅！南开大学利用人工突触器件，实现大脑的多感官整合功能，引发国际关注！

大黄蜂可同时利用视觉和触觉信息识别物体，星鼻鼹鼠在无光的地下可使用触觉-嗅觉协同感知的方式探索四周……这些动物的“本领”都与大脑的多感官整合（Multisensory Integration）有关。多感官整合机制依赖高度并行且异步触发的神经元和突触网络。

近日，国际著名学术期刊《自然·通讯》（Nature Communications）刊登了南开大学电子信息与光学工程学院最新研究成果，团队利用柔性人工突触器件，开发了一种神经形态运动感知系统，在硬件层面成功实现了大脑的多感官整合功能，并获得了卓越的运动感知性能。该项成果受到了人民日报客户端等媒体的关注。

研究成果题为“Mammalian-brain-inspired neuromorphic motion-cognition nerve achieves crossmodal perceptual enhancement”，南开大学电子信息与光学工程学院蒋程鹏博士为第一作者，学院徐文涛教授为唯一通讯作者。

神经形态运动感知系统的设计受启发于猕猴的多感官整合与空间感知机制。猕猴的自主运动会在内耳前庭和视网膜中激发惯性信号和光流信号等运动信息，大脑皮层的特定区域对编码为尖峰脉冲的运动信息进行处理识别后，最终通过整合不同感官模态的信息实现空间感知。

在神经形态运动感知系统中，加速度计和陀螺仪分别获取加速度和角速度信号，这两种运动信号被编码为两个脉冲序列，随后传输至高性能突触晶体管进行处理。两个脉冲序列的相关性和时序关系影响器件的突触可塑性，从而影响器件输出。通过对脉冲平均发放率和突触器件输出电流进行判定，实现运动信号的分类识别。

a 哺乳动物具有的视觉神经/前庭神经跨模态运动感官系统；

b 基于柔性突触晶体管的神经形态运动感知系统。

进一步，利用光流传感器、振动触觉传感器、惯性传感器构建传感单元，该系统可检测视觉、触觉、加速度觉多个模态的传感信息。对来自不同类型传感器的信息进行有效整合，可显著提升运动识别的准确率（高于94%），并且实验结果符合大脑的感知增强效应。此外，得益于可穿戴、高集成、低功耗的特点，该系统可进一步贴附于人体皮肤或装载于小型无人机，完成人体动作识别、无人机飞行模式识别等复杂任务。

从本质上讲，该系统模拟了哺乳动物大脑中感官线索整合的过程，并结合传感信号的脉冲编码策略、突触器件的脉冲整合特性、突触电流信号的时空识别方法实现了类脑水平的运动感知功能。该工作将神经形态认知智能与大脑多模态感知机制相结合，对于类脑器件、仿生电子的开发具有重要的指导意义，可潜在应用于移动机器人、智能可穿戴设备、人机交互等领域。

徐文涛，南开大学杰出教授、博士生导师，国家杰青，天津市海河英才计划领军人才，天津市杰青。

近年来主要围绕柔性电子与神经形态电子学领域研究，涉及材料、物理、电子、生命科学、医学工程等多领域的学科交叉。在人造传入（感知）与传出（运动）神经设计开发、神经形态器件新原理研究与性能突破以及神经形态纤维材料制备等方面开展了系统性的研究工作。

作为南开新工科的重要力量，电子信息与光学工程学院将筑牢内涵式高质量发展根基，以坚定信仰、扎实行动应对世界之变、时代之变、历史之变，以破解“卡脖子”困局为目标，融入国家战略科技力量布局，不断为新时代贡献力量。

更多精彩资讯，欢迎关注"南开大学本科招生"头条号

本文素材来自：南开大学新闻网、南开大学电子信息与光学工程学院官网