新年贺词
半导体研究所李明研究员荣获第二十届王大珩光学奖
半导体研究所举行光电子材料与器件重点实验室揭牌仪式暨第一届学术委员会第一...
半导体所荣获北京市自然科学奖一等奖
半导体研究所召开中国科学院2024年度工作会议精神学习传达会
半导体所在仿生覆盖式神经元模型及学习方法研究方面取得进展
半导体所召开党委理论学习中心组学习(扩大)会
半导体所举行重组实验室负责人宣布大会暨攻关突击队授旗仪式
半导体所在反型结构钙钛矿太阳能电池方面取得重要进展
半导体研究所魏钟鸣研究员获得中国科学院年度先锋人物提名
官方微信
友情链接

半导体所在2D/3D双模视觉处理芯片研制取得新进展

2024-01-02


二维(2D)和三维(3D)双模视觉信息在自动驾驶、工业机器人、人机交互等前沿领域具有广泛的应用前景。但是2D和3D两种模式视觉信息在处理方法上存在较大的差异,使得边缘端计算型处理器难以兼顾两种模式的处理需求;同时以深度学习为代表的人工智能算法的计算密集和高数据复用率等特点进一步增加了处理器电路的设计复杂度,导致边缘端实现双模视觉信息智能处理的芯片设计面临大的挑战。

中国科学院半导体研究所刘力源研究员带领的团队在双模视觉信息智能计算芯片设计领域取得重要进展。团队创新性地设计了一款兼容处理2D/3D双模视觉信息的视觉处理器架构和用于人工智能算法的数据流。提出了一种可重构并行处理单元阵列架构,并行处理单元阵列支持向量化单指令多数据处理模式,可显著提升人工智能算法的数据复用率,减小了算法处理延时和访存功耗;设计了一种用于2D/3D图像处理算法的指令集架构以及对应的算法部署方法,能够灵活映射从数据预处理到智能处理阶段的图像处理算法,消除冗余的专用图像处理电路,提升了芯片单位面积算力。测试结果表明,芯片可实现3D深度重建、2D人脸目标检测和2D目标追踪算法。图1和图2分别为芯片照片和片上算法处理结果。该工作为设备功耗与体积均受限的边缘场景多模态视觉信息智能处理提供了一个高效且灵活的智能化计算平台。

该成果由半导体所博士生魏思源等在刘力源研究员的指导下完成。成果得到了国家重点研发计划和国家自然科学基金等项目的资助。

图1 芯片照片

图2 片上算法推理结果












关于我们
下载视频观看
联系方式
通信地址

北京市海淀区清华东路甲35号(林大北路中段) 北京912信箱 (100083)

电话

010-82304210/010-82305052(传真)

E-mail

semi@semi.ac.cn

交通地图
版权所有 中国科学院半导体研究所

备案号:京ICP备05085259-1号 京公网安备110402500052 中国科学院半导体所声明