光子芯片集成传感和计算功能实现超快机器视觉

研究人员展示了一种新型智能光子传感-计算芯片，它能在纳秒级时间内处理、传输和重建场景图像。这一进展为超高速图像处理打开了大门，有利于自动驾驶、工业检测和机器人视觉等机器视觉应用的边缘智能。

边缘计算在本地设备上执行图像处理和分析等密集型计算任务，通过增加人工智能（AI）驱动的分析和决策，正在向边缘智能发展。

来自中国清华大学的研究团队负责人Lu Fang说：“由于必须进行光电转换，目前基于边缘任务（如自动驾驶）的图像捕捉、处理和分析速度仅限于毫秒级。我们的新芯片可以在纳秒级的时间内完成所有这些过程，将它们全部保留在光域中。这可以大大增强甚至取代传统的传感器采集和人工智能后处理架构。”

研究人员在《Optica》杂志上介绍了这种新型芯片，他们称之为光学并行计算阵列（OPCA）芯片。他们表明，OPCA 的处理带宽高达一千亿像素，响应时间仅为 6 纳秒，比目前的方法快约六个数量级。他们还利用该芯片创建了一个集图像感知、计算和重建于一体的光学神经网络。

该论文的共同第一作者Wei Wu说："该芯片和光学神经网络可以提高工业检测中复杂场景的处理效率，并有助于将智能机器人技术提升到更高的认知智能水平。我们认为它还能彻底改变边缘智能。”

新型智能光学计算阵列（OPCA）芯片通过在一个芯片上集成传感和计算功能，执行端到端的图像处理、传输和重建。

消除光电转换

机器视觉利用摄像头、图像传感器、照明和计算机算法来捕捉、处理和分析图像，以完成特定任务。这些信号随后通过光纤传输，用于远距离数据传输和下游任务。

然而，光信号和电信号之间的频繁转换以及电子处理器的有限进步，已成为提高机器视觉速度和处理能力的主要制约因素。

Lu Fang说：“世界正在进入人工智能时代，但人工智能非常耗时耗力。同时，智能手机、智能汽车和笔记本电脑等边缘设备的发展导致需要处理、传输和显示的图像数据呈爆炸式增长。我们正致力于通过整合光学领域的传感和计算来推进机器视觉的发展，这对于边缘计算和实现更可持续的人工智能应用尤为重要。”

在光学领域，在同一芯片上同时执行图像采集和分析的挑战在于找到一种方法，将用于成像的自由空间空间光转换为片上引导光波。