第一个神经形态视觉和控制系统已经在飞行的无人机上实现。

代尔夫特理工大学的研究人员，利用受动物大脑功能启发的神经形态图像处理和控制，创造了一种可以自主飞行的无人机。与通常在图形处理器上运行的深度神经网络相比，动物大脑处理数据和消耗能量的效率更高。因此，神经形态处理器是小型无人机的理想选择，因为它们消除了对笨重硬件和大电池的需求。

结果非常惊人：在飞行过程中，无人机的深度神经网络处理数据的速度比在GPU上运行时快64倍，消耗的能量比在GPU上运行时少3倍。这项技术的进一步发展可能会使无人机变得像飞行的昆虫或鸟类一样小巧、敏捷和智能。这项研究结果最近发表在《科学机器人》杂志上。

从动物大脑中学习：脉冲神经网络

人工智能在为自主机器人提供现实世界应用所需的智能方面具有巨大潜力。然而，目前的人工智能依赖于需要大量计算能力的深度神经网络。用于运行深度神经网络的处理器（图形处理单元，GPU）消耗大量的能量。尤其是像无人机这样的小型机器人，这是一个问题，因为它们在传感和计算方面只能携带非常有限的资源。

动物大脑处理信息的方式与GPU上运行的神经网络非常不同。生物神经元处理信息的方式是不同步的，它们主要通过一种叫做“尖峰”的电脉冲进行交流。由于发送这样的尖峰信号需要消耗能量，大脑将尖峰信号最小化，从而导致稀疏处理。

受到动物大脑这些特性的启发，科学家和科技公司正在开发新的神经形态处理器。这些新的处理器允许运行尖峰神经网络，并承诺更快、更节能。

这篇文章的作者之一、博士生杰西·哈格纳尔斯（Jesse Hagenaars）说：“脉冲神经网络的计算要比标准深度神经网络简单得多，而数字脉冲神经元只需要对整数进行加法运算，而标准神经元必须对浮点数进行乘法和加法运算。这使得脉冲神经网络更快，更节能。要理解其中的原因，想想人类是如何发现计算5 + 8比计算6.25 x 3.45 + 4.05 x 3.45要容易得多的。”

如果神经形态处理器与神经形态传感器（如神经形态相机）结合使用，这种能量效率将进一步提高。这类相机不以固定的时间间隔拍摄图像。相反，每个像素只在变亮或变暗时发出信号。这种相机的优点是它们可以更快地感知运动，更节能，并且在黑暗和明亮的环境中都能很好地工作。此外，来自神经形态摄像机的信号可以直接输入运行在神经形态处理器上的尖峰神经网络。总之，它们可以成为自主机器人的巨大推动力，尤其是像无人机这样的小型敏捷机器人。

飞行无人机的首次神经形态视觉和控制

在《科学机器人》杂志上发表的一篇文章中，荷兰代尔夫特理工大学的研究人员首次展示了一种利用神经形态视觉和控制进行自主飞行的无人机。具体来说，他们开发了一个脉冲神经网络，处理来自神经形态相机的信号，并输出控制命令，决定无人机的姿势和推力。他们将这个网络部署在一架无人机上的神经形态处理器 —— 英特尔的Loihi神经形态研究芯片上。多亏了这个网络，无人机可以感知和控制自己在各个方向的运动。

“我们面临着许多挑战，”参与这项研究的研究人员之一费德里科·帕雷德斯-瓦尔萨梅斯说，“但最难的是想象我们如何训练一个脉冲神经网络，使训练既足够快，又能在真正的机器人上很好地发挥作用。”

“最后，我们设计了一个由两个模块组成的网络。第一个模块学习从移动的神经形态相机的信号中视觉感知运动。它完全靠自己，以一种自我监督的方式，只基于来自摄像头的数据。这与动物学会自己感知世界的方式类似。第二个模块在模拟器中学习将估计的运动映射到控制命令。这种学习依赖于模拟中的人工进化，在模拟中，在控制无人机方面做得更好的网络产生后代的机会更高。经过几代人工进化，脉冲神经网络的控制能力越来越好，最终能够以不同的速度向任何方向飞行。我们训练了这两个模块，并开发了一种将它们合并在一起的方法。我们很高兴地看到，合并后的网络立即在真正的机器人上运行良好。”

凭借其神经形态的视觉和控制，无人机能够在不同的光线条件下以不同的速度飞行，从黑暗到明亮。它甚至可以在闪烁的灯光下飞行，这使得神经形态相机中的像素向网络发送大量与运动无关的信号。

神经形态AI提高了能量效率和速度

神经形态无人机领域的博士候选人斯坦因·斯卓本斯（Stein Stroobants）表示：“重要的是，我们的测量证实了神经形态人工智能的潜力。网络平均每秒运行274到1600次。如果我们在一个小型的嵌入式GPU上运行相同的网络，它平均每秒只运行25次，相差10-64倍！此外，在运行网络时，英特尔的Loihi神经形态研究芯片消耗1.007瓦，其中1瓦是处理器在打开芯片时所消耗的空闲功率。运行网络本身只需要7毫瓦。相比之下，在运行相同网络时，嵌入式GPU的功耗为3瓦，其中1瓦为空闲功耗，2瓦为网络运行功耗。神经形态的方法使人工智能运行得更快、更高效，可以部署在更小的自主机器人上。”

神经形态人工智能在微型机器人中的未来应用

“神经形态人工智能将使所有自主机器人变得更加智能，”仿生无人机教授Guido de Croon说，“但它绝对是微型自主机器人的推动因素。在代尔夫特理工大学航空航天工程学院，我们正在研究微型自主无人机，它可以用于从监控温室作物到跟踪仓库库存的各种应用。微型无人机的优势在于它们非常安全，可以在狭窄的环境中航行，比如在番茄植株之间。此外，它们非常便宜，因此可以成群部署。正如我们在勘探和气源定位设置中所展示的那样，这有助于更快地覆盖一个区域。”

“目前的工作是朝着这个方向迈出的一大步。然而，这些应用的实现将取决于进一步缩小神经形态硬件的规模，并将其功能扩展到更复杂的任务，如导航。”

如果朋友们喜欢，敬请关注“知新了了”！