无人机全向自主感知！不同场合应用的双目无人机技术有何差异？

z1413

阅读文章前辛苦您点下“关注”，方便讨论和分享，为了回馈您的支持，我将每日更新优质内容

文|九鹏举
编辑|九鹏举

无人机是海内外的研究热点，由于科技的不断发展，无人机已经在航空、植保、巡检、军事等领域中起到了越来越重要的作用，但也有些原因在一定程度上影响了无人机市场的发展前景，比如避障技术。

无人机在不同使用场合下有不同的避障要求，比如当无人机在施工现场执行巡查任务时，必须和施工主体保持着特殊间距或者角度，以防止可能的碰撞。
对于隧道等昏暗的区域，必须能够主动躲避原有障碍物，又或者要能够快速避开如蝙蝠等空中动物，才可以在目视未知的状况下进行巡查任务。

检查信号塔时，必须能够躲避微细的电线，以防止被细微物缠绕而造成危害。
施放杀虫剂时，为了将农药精确地洒在正确的农作物上，无人机与农作物须保持在一至二米的距离范围内，保证喷洒效果的同时避免坠毁。

所以，不论是在工业生产活动中的还是在人们日常生活中的无人机飞行任务，都需要无人机具备一定的自主安全航行能力，而无人机感知与规避（SenseandAvoid，SAA）的能力则可以保证无人机飞行安全，其功能示意图如图1-1所示。

图1-1SAA的功能示意图

无人机对自主感知与避障技术的需求更大、技术难度也更高，举例来说，假若用户要遥控特定使用数量的无人机设备，并执行较长时间的飞行工作任务，难度会十分巨大。
因此，目前像从事植保或安防等行业的无人机系统，都早已开启采用地面站集中式的管理方法，以完成更长期的自主任务，如自动化灭虫喷淋及监视工作任务，如图1-2所示。

图1-2通过地面站实现无人机的“自主”任务

根据《人民日报》的相关报道，上海在2018年就完成首次"无人机+5G"技术高清视频直播，其效率和安全性与人力相比相对较高，而成本则相对较低，有着非常重要的社会意义和价值，如图1-3所示。

图1-3完成首次"无人机+5G"技术高清视频直播的无人机

继2018年无人机于上海实现首次视频直播，如今大疆的“御”系列无人机已经可以通过上传视频流到服务器的方式方便地进行实时视频直播。
相信在未来，无人机直播方式将会代替如今大疆的另一个消费级别无人机精灵4pro则通过累加传感器的方式实现了全向避障，如图1-4所示。

图1-4通过累加传感器实现全向避障功能的大疆精灵4pro无人机

在精灵4pro上的五向探测定位系统可以说是大疆无人机科技的重要体现之一，其前、后、下的避障系统均使用了双目视觉系统，共采用了六路视觉传感器单元，以增强在不同环境中航行的稳定性和安全性，因此对比精灵4而言，仅视觉部分的数据量就翻了数倍。
所以，由于“视觉避障”功能对的计算能力需求极高，远超过一般消费级别无人机所能承担的程度，因此即便是高端如大疆的精灵4pro无人机。

在低成本与续航力约束下，也只能提供前后双向的双目视觉避障能力，红外和超声波补偿在其他方向感知与避障能力，所以，从算力与市场的角度考虑，这种累加传感器的做法也不是最佳选择。
三维向量场直方图算法是一种无人机避障算法，视野与记忆是其核心理论，视野是指人的头部和眼球固定不动的情况下，眼睛观看正前方物体时所能看得见的空间范围，称为静视野。

眼睛转动所看到的称为动视野，常用角度来表示，看不到的区域位于视野外，通常又称之为盲区，在生物学上，视野的出现是生物进化的结果。
对于无人机来讲，其视野即为其所携带的相机的视野，而在相机领域，视野的限制源于技术的限制，摄像头因为技术限制无法达到全景的覆盖，从而使相机产生了视野外的盲区。

盲区通常会导致一系列的负面问题，如深度信息丢失、目标检测与跟踪中断等，视野在医学领域的示意图如图2-1所示。

图2-1视野的医学示意图

实验部分

基于三维向量场直方图的无人机，视觉避障算法能对视野内的静态或动态物体，以及视野外的静态物体进行有效规避，但此算法对于视野外动态障碍物来讲无法有效规避，只能记录其在视野内既往最后时刻的静态位置，有较大改进空间。
而改进此算法的前提是先对其进行解构，三维向量场直方图算法的总体流程框图如图2-2所示。

图2-2基于三维向量场直方图算法的普通避障的总流程图

其具体流程为相机首先从世界获取图像，图像被转换为点云，经过预处理后得到带有新信息的新点云，记忆策略合并考虑带有新信息的新点云与带有旧信息的旧点云，称为最终点云，用于后续避障环节。
后续避障环节具体包含生成直方图、确定候选方向、路径规划、生成航点、机动避障等。

同时，可将带有记忆、组合得到的最终点运用于可视化，可视化流程可与主流程同时、独立进行。
在Gazebo的虚拟相机中，视野可以在RViz中进行可视化显示，如图2-3所示。

图2-3从图像到点云的转换可视化过程示意图

如图中左侧彩色图像区域所示，可以看到人和场景出现在了视野中，如图中右侧所示，可以看到从图像转化得到的可视化点云。
直方图是表征点云的有力工具，由大量正方形格子和俯仰偏方构成，可实现点云与直方图的互相转化，将点云转化为直方图有利于后续方便地执行避障等相关操作。

图中所示的网状长方形即为直方图展开后的示意图，网状球形为直方图不展开时的示意图，正方形及其四个脚点代表世界坐标系中的点云，四个点可对应一个直方图的最小单元格。
当直方图的分辨率即最小单元足够小时，直方图就基本可以还原世界坐标系下的点云，直方图与点云互相转化的原理如图2-4所示。

图2-4直方图与点云的相互转化

从点云为生成直方图的基础，而直方图为生成代价图、确定候选方向的基础，图中的亮区即为障碍物区域，暗区即为无障碍或者少障碍的区域。由点云转化得到的直方图如图2-5所示。

图2-5直方图

三维向量场直方图算法采用成本函数（也称代价函数）的方式在直方图上确定候选方向，生成代价图。确定候选方向的代价函数由两部分组成，其公式如下，

cgoal=Δyaw(g,p)+kup·Δpitch_up(g,p)+kdown·Δpitch_down(g,p)(2-8)

csmooth=Δyaw(pold,p)+Δpitch(pold,p)(2-9)

ctotal=kgoal·cgoal+ksmooth·csmooth(2-10)
其中，g为目标位置方向；p为当前时间步投影到三维的候选方向；pold为之前时间步投影到三维的候选方向；k为对应不同代价的权重因子。

c为对应不同的代价，总代价ctotal由目标代价cgoal和平滑代价csmooth两部分构成；Δ为角度差，分为偏航角度差Δyaw和上下俯仰角度差Δpitch，代价图如图2-6所示。

图2-6代价图

总代价较高的区域即障碍物的方向、高度偏离航向的方向等非候选方向，如代价图中红色和绿色区域所示，总代价较低的几个方向即为候选方向，如代价图中几个彩色亮点所示。
在Gazebo仿真环境下，对三维向量场直方图避障算法的复现如图2-7所示。

图2-7仿真环境下的三维向量场直方图避障算法

图中，树状线条为待搜索与规划的候选路径树，红色线条代表经过路径搜索与规划后得到的最优路径，沿红色线条连续移动，会形成绿色的实际轨迹曲线。

该实验仿真时，在机器人操作系统中记录下的视频结果显示，基于三维向量场直方图法的无人机避障算法可有效规避视野内的动态和静态障碍物，同时也可以有效记忆相对运动至视野外的静态障碍物，无人机成功到达指定目标点。
结果说明了基于三维向量场直方图法的避障算法的可行性。

本文结合无人机当前的研究现状与未来研究、应用的需要，对无人机自主感知与避障、无人机全向自主感知与避障开展研究。
受无人机视频直播中的移动代价问题启发，设定了特定的全向避障条件，搭建了相关的实验平台，针对无人机视野外的动态障碍物的避障问题采用了感知对象运动、预测对象轨迹、规避对象碰撞的解决办法。

同时，对使用的基于三维向量场直方图法的普通避障算法及采用的全向自主感知与避障算法进行了实验验证、数据对比与结果分析。
本文的主要创新性成果提出了利用动态障碍物在视野内时的运动状态预测其在视野外与未来的运动状态的方案，与传统累加传感器的方案不同，该方案仅使用一套双目视觉系统。

利用深度学习的方法，通过目标检测与跟踪感知动态障碍物，预测目标在世界坐标系下的运动轨迹，将基于三维向量场直方图法的避障，与视野外动态障碍物的避障进行分类解构与归纳重构，得到了无人机全向自主感知与避障的方案。
针对全向避障实验复杂性的问题，实验引入特定的实验条件，根据实验条件进行创新算法的实现。

通过深度学习算法进行识别与感知，利用感知结果进行预测与避障，通过编码与调试，在机器人操作系统中，完成了基于双目视觉的无人机全向自主感知与避障算法。
实验实现了对算法的实验验证，并作出了对比分析，通过仿真实验与实物实验证明了其可行性与可靠性。

实验结果表明，该方法改进了传统的基于三维向量场直方图法的无人机，普通避障算法在视野外时对动态障碍物的侦测丢失、无法有效避障的问题，使无人机实现了在一定条件下的全向自主感知与避障。
与市面上的传统应用相比，该方法能够仅凭一套双目视觉系统实现特定的全向避障，具有更轻的重量与更低的成本，符合无人机的研究方向与市场需求。

关于基于双目视觉系统实现无人机全向避障的方案，本文做了初步的尝试和探索并取得了一定的进展，但由于目前研究级边缘计算平台的算力无法与重量平衡、实验过于复杂、结果呈现较难、实验危险较大等因素，无人机全向避障算法的产品化实现仍需要一定的时间。
未来工作将集中于如何进一步完善算法的普适度，考虑增加感知系统的识别模式，使其具备对多种运动模式下障碍物分别感知与预测的能力，最终完成普适、低廉、安全的无人机全向自主感知与避障的产品化实物落地。