半导体所召开党委理论学习中心组学习(扩大)会
半导体所举行重组实验室负责人宣布大会暨攻关突击队授旗仪式
半导体所在反型结构钙钛矿太阳能电池方面取得重要进展
半导体研究所魏钟鸣研究员获得中国科学院年度先锋人物提名
半导体研究所李明研究员当选美国光学学会会士(Optica Fellow)
半导体所设计出超高自旋轨道矩效率的反演对称破缺超晶格
院党组第四巡视组巡视半导体研究所工作动员会召开
半导体所等在莫尔异质结层间激子研究方面取得进展
半导体所举行2023年开学典礼暨研究生入所教育大会
半导体所在高功率、低噪声量子点DFB单模激光器研究方面取得重要进展
官方微信
友情链接

半导体所在仿生覆盖式神经元模型及学习方法研究方面取得进展

2023-12-01

人工神经网络是模拟人脑神经活动的重要模式识别工具,受到了众多科学家和学者的关注。然而,近年来DNN的改进与优化工作主要集中于网络结构和损失函数的设计,神经元模型的发展一直非常有限。神经生物学和认知神经科学的研究表明,神经元的学习能力是生物神经系统完成学习和记忆任务的重要基础,这些机理可促使我们在神经元设计和优化方面进一步提高DNN的性能。

受生物认知机制的启发,中国科学院半导体研究所高速电路与神经网络实验室李卫军研究员团队设计了一种具有高度柔性与可塑性的超香肠覆盖式神经元模型(HSCF neuron)(如图1所示)。研究团队定义了一种新的交叉熵和体积覆盖率损失函数,该损失函数可最大限度地压缩超香肠的体积,从而确保样本的类内紧凑性。研究团队引入了一种分裂迭代方法,将每个神经元模型视为一个弱分类器,并迭代增加弱分类器的数量,该迭代方法可自适应地确定HSCF神经元的最优数量,形成了端到端的学习框架(如图2所示)。最后,研究团队在模式识别领域的八个经典数据集上进行的对比实验和消融实验证明了该方法的有效性。超香肠覆盖式神经元模型可以应用于经典的DNN中以解决多种模式识别问题,具有广泛的应用与学术价值;此外,所提出的方法也证明了利用神经元可塑性增强DNN性能的可行性,为DNN的进一步发展提供了新的视角。

该研究成果近日以Hyper-sausage coverage function neuron model and learning algorithm for image classification”为题发表于模式识别领域TOP期刊《Pattern Recognition(136 (109216), 2023), 文章发表后相继入选ESI热点与ESI高倍引论文,并入选期刊2023Editors' Choice Paper(如图3所示)。论文第一作者为半导体所宁欣副研究员,通讯作者为李卫军研究员。本工作得到国家自然科学基金委项目的支持。

论文全文链接:https://doi.org/10.1016/j.patcog.2022.109216


1.超香肠覆盖式神经元模型及分类策略可视化表示


2. 基于超香肠覆盖式神经元模型的网络结构示意图


3. 入选Editors' Choice Paper证书




关于我们
下载视频观看
联系方式
通信地址

北京市海淀区清华东路甲35号(林大北路中段) 北京912信箱 (100083)

电话

010-82304210/010-82305052(传真)

E-mail

semi@semi.ac.cn

交通地图
版权所有 中国科学院半导体研究所

备案号:京ICP备05085259-1号 京公网安备110402500052 中国科学院半导体所声明