打开APP

Nat Mater:赐我一双慧眼吧!香港科技大学范智勇团队开发新型仿生眼,实现全彩视觉与事件驱动运动检测

  1. 卷积神经网络
  2. 视觉传感器
  3. 仿生眼系统

来源:iNature 2026-09-16 11:14

该研究提出一种基于半球形串联人工视网膜的仿生眼系统,解决了半球形传感器的分辨率瓶颈,并突显了其作为紧凑型多功能视觉应用的前景。

视觉传感器是机器视觉和智能的核心。然而,常规平面器件依赖于多元素光学器件和外部处理器来校正光学像差。这种方法限制了小型化,降低了功率效率,并且通常限制了视场。弯曲传感器可提供紧凑的、像差校正的成像,但其分辨率一直低于实用水平。

2026年8月17日,香港科技大学范智勇独立通讯在Nature Materials 在线发表题为An aberration-corrected bionic eye for full-colour vision and event-driven motion detection的研究论文。

该研究提出一种基于半球形串联人工视网膜的仿生眼系统。这种高曲率图像传感器实现了1,905 ppi的像素密度,总像素数为367,500,提供300–800 nm范围的全色成像,以及超过160°的像差校正视场。此外,串联设计实现了传感器内的事件驱动运动检测。与基于帧的成像相比,这种方法将带宽需求降低了超过99.95%,并实现了98.6%的运动识别准确率。

本工作解决了半球形传感器的分辨率瓶颈,并突显了其作为紧凑型多功能视觉应用的前景。

图片

进化已发展出复杂的生物视觉系统,提供卓越的能力,特别是在实现超宽视场无像差视觉以及高效检测光谱和运动信息方面。这些卓越的视觉能力对于栖息于昏暗光线环境下的鲤科鱼类尤为关键。它们的无像差视觉源于两个关键适应:校正场曲像差的弯曲视网膜几何结构,以及视网膜内不同深度锥体细胞的独特组装。

这种排列与不同波长光的不同焦距对齐,有效校正色差。光谱和运动信息的有效检测由视网膜神经元实现。锥体细胞对特定波长范围的响应确保广谱视觉,而运动感知由ON和OFF视网膜神经节细胞(RGCs)促进。这些细胞对随时间变化的光强度变化敏感,并能够编码时间动态视觉信息。这些动物优雅的光学设计和有效的检测能力提供了准确的环境感知,同时减少了对大脑的计算负荷并降低了能耗。

上述高性能视觉能力对于包括无人机、自动驾驶汽车和机器人技术在内的广泛技术应用至关重要。然而,当前成像系统主要基于基于帧的平面硅图像传感器,这在多个方面限制了系统性能。用常规微细加工工艺制造的平面探测器几何结构即使使用复杂透镜也存在严重的场曲像差问题。

对于硅CMOS/CCD图像传感器,光谱信息通过单层图像传感器结合彩色滤光片阵列检测,这导致更低的光吸收效率。此外,基于平面图像传感器的相机系统由于不同颜色的焦距色散而不可避免地存在色差。

与能够通过视网膜内计算提取感兴趣特征的生物视网膜不同,常规基于帧的图像传感器需要额外的计算单元。这种分离设计导致信号冗余和高能耗,特别是对于需要处理丰富时间动态信息的运动检测和识别(MDR)系统。

图片

图1. 生物视觉与仿生设计(摘自Nature Materials )

受鲤科鱼类视觉系统的启发,在本研究中作者提出了一种高性能仿生眼。该器件利用一种具有不同红(R)、绿(G)和蓝(B)视网膜层的串联半球形仿生视网膜神经元阵列(THE-BRENA)。该器件的半球形几何结构不仅提供了超过160°的超宽视场(FoV),还有效校正了场曲像差。

串联结构结合精确工程化的钙钛矿带隙,在宽光谱范围(300–800 nm)内实现了全色视觉。作者校正色差的独特方法涉及将RGB视网膜与RGB光的各自焦点策略性对齐,增强图像清晰度。此外,视网膜神经元功能使用核-双壳钙钛矿-金属氧化物异质结纳米线阵列进行模拟。

这种排列支持自供电的、事件驱动的光响应,使系统非常适合MDR应用。值得注意的是,由于利用三维(3D)激光雕刻方法进行电极图案化和串联视网膜设计,该器件实现了1,905像素每英寸(ppi)的高像素密度和高填充因子(接近300%)。

最终,作者的仿生眼器件拥有367,500个像素(350×350×3),实现了实用的分辨率。与常规相机相比,这种仿生眼在MDR应用中的能效(自供电)和计算效率(带宽需求减少>99.95%)方面提供了显著改进。

当与卷积神经网络-长短期记忆(CNN-LSTM)模型集成时,该系统表现出卓越的运动检测准确率,仅经过五个训练周期后即达到98.57%。总体而言,本工作引入了一种开创性的仿生视觉传感器设计,为大幅提升下一代智能系统的性能提供了可能性。

参考消息:https://www.nature.com/articles/s41563-026-02685-5

版权声明 本网站所有注明“来源:生物谷”或“来源:bioon”的文字、图片和音视频资料,版权均属于生物谷网站所有。非经授权,任何媒体、网站或个人不得转载,否则将追究法律责任。取得书面授权转载时,须注明“来源:生物谷”。其它来源的文章系转载文章,本网所有转载文章系出于传递更多信息之目的,转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

87%用户都在用生物谷APP 随时阅读、评论、分享交流 请扫描二维码下载->