香港科技大学范智勇教授团队《Science Robotics》封面文章：面向机器视觉应用的基于半球形纳米线阵列的超宽视场针孔复眼
发布日期：2024-05-22
浏览量：1298次
自然界中的生物视觉系统因其多样化的功能引人注目，尤其是具有非凡视觉能力的复眼系统，如宽阔的视场角和强大的运动跟踪能力，在机器视觉的实际应用中具有巨大的潜力。当前制造复眼系统通常采用可变形电子技术，然而该技术面临包括全局形变的复杂性、应力稳定性、几何限制、以及光学组件与探测器单元之间不匹配的潜在问题，因此开发一体化的人工复眼系统并将其集成到自主平台如机器人或无人机上实现特定的视觉功能极具挑战性。
近期，香港科技大学范智勇教授团队开发了一种独特的针孔复眼（PHCE）系统，该系统集成了3D打印的蜂窝状光学结构和半球形的全固态高密度钙钛矿纳米线（PNA）光电探测器阵列。这种无透镜的针孔结构（PHA）可以根据底层图像传感器的需求，设计制备出任意布局。该团队通过对比光学模拟和成像结果验证了该视觉系统的关键特性和功能，包括超宽视场、精准的目标定位和运动跟踪能力。该团队进一步演示了PHCE系统在无人机上的功能集成，使其能够跟踪地面上的四足机器人。这种独特的空中-地面协作机器人互动展示了PHCE系统在未来多机器人协作和机器人群技术开发中的潜在应用前景。
相关工作以“An ultrawide field-of-view pinhole compound eye using hemispherical nanowire array for robot vision”为题发表于国际顶级学术期刊《Science Robotics》，并当选当月封面文章。香港科技大学电子与计算机工程系博士后周宇、孙梽博和博士研究生丁宇宬为文章共同第一作者，香港科技大学电子与计算机工程系讲席教授范智勇为文章通讯作者。该工作得到了香港研究资助局项目、粤港澳联合实验室项目、科学探索奖以及中银香港科技创新奖的大力支持。
图1. PHCE及其集成组件的示意图和图像。(A)PHCE整体结构示意图。(B)PHCE系统的剖视图。(C)半球形多孔氧化铝膜中钙钛矿纳米线的横截面电镜图像和宏观照片。(D)强盗蝇眼的宏观照片。(E)安装在印刷电路板上的PHCE系统的侧视照片。(F)相邻针孔单元的横截面示意图。(G) 不同小眼间角下针孔像素数量与整体视场角的相对关系。(H)单个针孔和针孔阵列角度依赖的归一化强度分布。
要点：研究者受到昆虫（例如强盗蝇）复眼独特几何结构的启发，设计了蜂窝状的针孔阵列，通过光学计算和模拟仿真优化了有限像素数下的接受角Δφ、小眼间角ΔΦ，确定了对应针孔的最佳长度直径比，可以消除相邻小眼之间的盲区并减少光效率损失。研究者使用摩方精密面投影微立体（PμSL）光刻3D打印技术（nanoArch® P140，精度：10 μm）制备了对应几何参数的针孔阵列，并与半球壳的凸面共形，原料为光敏树脂。由于高打印自由度和简化的结构，上述针孔阵列的参数可以很好地设计和协调，以满足对应图像传感器的需求。
图2. 钙钛矿纳米线光电探测器的性能。(A)多孔氧化铝膜中不同钙钛矿纳米线的光致发光光谱。(B)不同组分钙钛矿纳米线的X射线衍射光谱。(C)单像素纳米线光电探测器各部分能级关系。(D)单像素探测器的时间依赖开/关光响应。(E)单像素光电探测器的光强依赖光电流密度和响应度。(F)未封装单像素光电探测器的工作稳定性。
要点：钙钛矿纳米线是在氧化铝纳米通道内以铅纳米线作为前驱体之一生长的，未完全消耗的铅与钙钛矿形成接触，在除去基底后，通过热蒸镀的方式制备凹球面的铟电极，研究者使用PμSL 3D打印技术制备了与半球壳凹面共形的掩膜版。氧化铝多孔结构为钙钛矿材料提供了天然的封装，提高了器件的工作性能。通过调节钙钛矿中的卤素和金属元素，PNA光电探测器感测区域可以从可见拓展到近红外。在弱光下，探测器的响应度可达到2.9 A/W，随着光照强度的增加，光电流增加而响应度减小。此外，未封装的器件在常规环境中存放 10 个月后，仍保持超过80%的原始光电流数值。
图3. PHCE系统的成像能力。(A)测量装置的示意图。(B)半球形成像系统的视场测量。(C)捕获的圆形图案图像。(D)捕获的十字和三角图案图像。
要点：研究者集成了由121个小眼构成的单目复眼系统，半球形的几何结构赋予整个系统约140°的大视场角。PHCE系统能够在广阔的视场内成像。由聚光灯生成的圆形、十字和三角图案可以被PHCE系统准确捕获并成功识别。上述实验成像效果与模拟仿真结果高度吻合。
图4. PHCE系统的目标定位和无人机运动跟踪。(A)包含两个 PHCE 的双目视觉系统照片。(B)双目视觉系统的工作原理。(C)在3D空间中移动点光源的空间位置和生成的移动路径。(D)无人机运动跟踪的工作原理。(E)安装在无人机上的PHCE照片。(F)-(H)光源和无人机移动期间的相对位置照片以及由无人机上的PHCE捕获的相应图像。
要点：为了精确定位点光源在3D空间移动轨迹，研究者进一步构建了基于一对PHCE（分别具有37个小眼）的双目复眼系统，其中两个PHCE之间的角度固定为60°，整体视场增加到220°。双目系统可将整个区域可以分为三部分，即盲区、运动检测区和精确定位区。双目复眼捕获运动光源在不同位置的图像，研究者可以解析这些位置并重建其在3D空间中的运动轨迹。由于PHCE系统出色的角度选择性，研究者进一步将其安装在可编程的商业无人机上，实现了对载有点光源的四足机器人运动的实时定位和追踪。
综上所述，受到昆虫复眼系统的启发，研究者设计并制造了一种独特的针孔复眼系统，具有广阔的视场、精确的目标定位和动态运动跟踪能力。通过进一步改进和技术升级，包括缩小设备尺寸、增加小眼数量、提高成像分辨率和响应速度，该复眼系统有望实现在智能光电传感和机器人技术领域的广泛应用。
原文链接:
https://doi.org/10.1126/scirobotics.adi8666
