(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201610974116.4
(22)申请日 2016.11.03
(71)申请人 南京航空航天大学
地址 210016 江苏省南京市秦淮区御道街
29号
(72)发明人 钟家跃 王从庆 贾峰 谢勇
吴林峰
(74)专利代理机构 江苏圣典律师事务所 32237
代理人 贺翔
(51)Int.Cl.
G01C 21/20(2006.01)
(54)发明名称
(57)摘要
本发明公开了一种城市复杂环境下多无人
机视觉SLAM的地图融合方法，该方法包括以下步
骤：1）通过安装在各个无人机上的RGB-D相机采
集图像，再利用无人机对图像进行预处理，再进
行图像配准；2）构建视觉里程计，实现回环检测；
3）优化无人机的位姿；4）构建octomap地图，实现
实时在线SLAM；5）将各octomap传输到地面计算
机中，将各局部octomap融合为全局octomap，再
本方法的计算量减少，可实现实时在线SLAM，减
少了不稳定的无线传输带来的信息丢失的隐患；
同时，缩减了任务执行时间，提高了任务执行效
率，降低了无人机续航能力不足带来的隐患，最
终可以获得更精准的定位和建立了更精确的地
图。权利要求书2页 说明书7页 附图2页CN 106595659 A 2017.04.26
C N 106595659
A
1.一种城市复杂环境下多无人机视觉SLAM的地图融合方法，其特征在于，该方法包括以下步骤：
步骤一，通过安装在各个无人机上的RGB-D相机采集图像，再利用无人机对图像进行预处理，再进行图像配准；
步骤二，构建视觉里程计，实现回环检测；
步骤三，优化无人机的位姿；
步骤四，构建octomap地图，实现实时在线SLAM；
步骤五，将各octomap传输到地面计算机中，将各局部octomap融合为全局octomap，再将融合后的全区域的octomap传输给各无人机。
2.根据权利要求1所述的城市复杂环境下多无人机视觉SLAM的地图融合方法，其特征在于，所述的步骤一具体为：
1.1，将需要执行SLAM的全区域划分为多个子区域，在各子区域中，利用安装在无人机中的RGB-D相机ZED采集关于环境的视频流，获取关于环境的每帧的RGB图像和深度图；
1.2，利用无人机的机载ARM处理芯片，对获得的RGB图像进行预处理；
1.3，将RGB-D图像转化为点云；RGB-D相机使用针孔相机模型，空间点三维坐标[x,y,z]和它在图像中的像素坐标[u,v,d]的对应关系为：
式中，f x,f y分别表示相机在x,y两个轴上的焦距，c x,c y指相机的光圈中心，S指深度图的缩放因子，即深度图中数据与实际距离的比例；
根据上述式子求得空间点的三维坐标x,y,z如下：
z＝d/s
x＝(u-c x)·z/f x
y＝(v-c y)·z/f y (2)
1.4，图像配准；首先进行特征提取与匹配，利用最近邻算法匹配特征点，再利用随机采样一致性算法剔除误匹配，删除外点；
1.5，在获得良好的特征匹配的前提下，利用迭代最近点算法获得相邻两帧之间的变换矩阵。
3.根据权利要求2所述的城市复杂环境下多无人机视觉SLAM的地图融合方法，其特征在于，所述的空间点与像素点坐标关系还可用矩阵模型表示，对应关系如下：
其中C称为相机的内参，R称为相机的外参，R和t是相机的姿态；R代表
旋转矩阵，t代表位移矢量。
4.根据权利要求2所述的城市复杂环境下多无人机视觉SLAM的地图融合方法，其特征在于，所述的迭代最近点算法的过程如下：
其中一组相邻两帧为F1和F2，将两邻两帧的SIFT特征点表示为：
两帧之间的变换矩阵由旋转矩阵R和位移变化向量t组成，因此存在下式：
通过优化下式求得R，t；
将求得R，t用于匹配P，Q中的特征点，获得新的对应点关系；再优化误差项求得新的R, t；依次循环直到到达设定的循环次数或者R,t不再发生改变为止。
5.根据权利要求4所述的城市复杂环境下多无人机视觉SLAM的地图融合方法，其特征在于，所述的步骤二具体为：求取所有相邻两帧之间的变换矩阵，将构成视觉里程计，实现回环检测。
6.根据权利要求5所述的城市复杂环境下多无人机视觉SLAM的地图融合方法，其特征在于，所述的步骤三具体为：利用通用的图优化工具优化无人机的位姿，优化的目标函数为F，求得最小目标函数对应的无人机位姿x*：
式中，x i，x j分别代表无人机在i，j时刻对应的无人机位姿，T i,j代表位姿变化矩阵，表示无人机从位姿x j转化为x i，e ij为x i与x j经过变换后的差值，表示两者之间的误差，Ωij为权重矩阵，又称为信息矩阵，代表传感器测量过程中对各测量值的信任程度。
7.根据权利要求6所述的城市复杂环境下多无人机视觉SLAM的地图融合方法，其特征在于，所述的步骤四具体为：
4.1，无人机采集的RGB-D图像转化为点云地图，利用获得的各帧之间的变换矩阵，获得连续一致的融合后的局部点云地图；
4.2，将点云地图构建为octomap地图。
8.根据权利要求7所述的城市复杂环境下多无人机视觉SLAM的地图融合方法，其特征在于，所述的步骤五具体为：
5.1，将各无人机的局部octomap地图通过无线传输模块传送给地面PC；
5.2，将各局部octomap利用迭代最近点算法方法融合为全局octomap；
5.3，将全局octomap通过无线传输模块传递给各无人机。
城市复杂环境下多无人机视觉SLAM的地图融合方法
技术领域
[0001]本发明属于视觉导航系统领域，具体讲是一种城市复杂环境下多无人机视觉SLAM 的地图融合方法。
背景技术
[0002]由于无人机具有小型化，易于操纵，控制等优点，广泛应用于城市救灾、地理勘测等场景。基于城市环境的复杂性，GPS信号易于丢失，而惯性测量元件的累积误差使得无人机无法获得精准的自身位姿信息，因此无人机无法实现自主导航。SLAM技术是解决未知环境下导航的关键技术，SLAM技术已经广泛应用于地面机器人、室内机器人。基于SLAM技术的传感器有激光扫描仪，单目相机，立体相机，RGB-D相机。近些年，利用较轻便，价格便宜，信息丰富的RGB-D相机实现视觉SLAM越来越引起行业内的关注。除此之外，丰富的视觉信息还可以用于无人机的目标跟踪，目标检测。
[0003]在单无人机视觉SLAM中，考虑到大规模环境下，时间紧迫，无人机的续航能力有限，并且长时间内，无人机获得的图像信息越来越多，视觉SLAM需要处理的图像越多，视觉里程计中计算无人机位姿变换矩阵所需的计算量大，加重无人机处理器的计算负担。单无人机绘制大规模环境地图可能造成占用大量无人机的内存。同时，大规模的环境下，单无人机SLAM视觉里程计的累积误差随着时间增加。然而，多无人机协同SLAM很好地解决了这些问题。多无人机协同技术可将目标区域划分为多个子区域，减轻各无人机自身处理器的计算量，避免了单个无人机执行导航任务的电池续航能力弱的缺点，快速地实现了区域的定位与地图构建，同时获得更精确的定位与地图。
[0004]在无人机的应用领域中，要求一个概率表示、对空白区域(可自由移动区域)，占有区域(障碍物)和未知区域建模，在时间和存储空间具有较高的效率的地图。其中：概率表示：无人机通过RGB-D相机感知环境，测量值受不确定性因素影响，例如：动态物体。当要求从嘈杂的环境中创建环境的精确模型时，必须概率地考虑潜在的不确定。多个不确定性的测量结果可以融合成鲁棒性地估计正确的结果。除此之外，此种概率的表示还可以融合来自于其他传感器的数据。对未知区域建模：在自主导航任务中，无人机可以由相机确定占有区域和空闲区域，规划无碰撞路径。未知区域认为是占有区域，需要避免出现在规划的路线上，因此需要对未知区域进行建模。高效率性：无人机可以路径规划和执行任务的关键是地图，同时，地图需要在时间和内存两方面具有高效率。在3D建图领域，内存消耗是一个大问题。因此，在大规模的环境中此地图必须有效地、节省内存地存储。
[0005]octomap(概率占有栅格地图)满足上述三种要求，octomap形式紧凑，占内存较小，可以用于导航，方便压缩，更新且分辨率可调。因此采用octomap地图用于无人机的自主导航是很好地选择。
[0006]综上分析：多无人机的视觉SLAM是一项军事、救灾领域的重大课题。目前，国内的多无人机视觉SLAM技术还处于初级阶段。因此，如何实现在线、实时的多无人机视觉SLAM用于导航是无人机的前沿技术，同时，面对城市复杂环境下，能够有效的缩小地图内存，减少
无人机计算量，提高任务执行的效率的自主导航也是本领域技术人员厄待发展的技术。
发明内容
[0007]针对现有技术中存在的问题，本发明公开了一种城市复杂环境下多无人机视觉SLAM的地图融合方法，本发明利用多个无人机搭建的视觉SLAM系统，利用无线发送设备将构建的各octomap发送给地面PC，用迭代最近点算法进行融合，将融合后的全局octomap传送给无人机，用于无人机的自主导航。
[0008]本发明是这样实现的，一种城市复杂环境下多无人机视觉SLAM的地图融合方法，该方法的具体步骤如下：
[0009]步骤一，通过安装在各个无人机上的RGB-D相机采集图像，再利用无人机对图像进行预处理，再进行图像配准；
[0010]步骤二，构建视觉里程计(visual odometry)，实现回环检测；
[0011]步骤三，优化无人机的位姿，SLAM的处理方法主要包含滤波和图优化。常见的滤波方法有扩展卡尔曼滤波(EKF)，粒子滤波等。滤波方法的SLAM是递增、实时的处理数据并矫正无人机的位姿。在RGB-D SLAM中，使用滤波方法，随着时间的推移，地图扩大，内存消耗与计算量大，利用图优化方法可以保证地图的高精度与快效率，所以，选择图优化工具；利用通用的图优化工具优化无人机的位姿，尽可能满足各位姿之间的约束条件，实现优化无人机位姿的目的；
[0012]步骤四，构建octomap地图，利用迭代最近点算法实现关键帧对应的点云地图的融合，利用点云地图构建octomap地图，实现实时在线SLAM，建立了概率占有栅格地图octomap，此地图可用于无人机的自主导航及给工作人员提供环境信息；
[0013]步骤五，将各octoma p传输到地面计算机中，将各局部octoma p融合为全局octomap，再将融合后的全区域的octomap传输给各无人机，此全区域地图可用于路径规划，自主导航。
[0014]进一步，所述的步骤一具体为：
[0015] 1.1，该系统的硬件设备包括多架无人机，RGB-D相机，无线传输模块将需要执行SLAM的全区域划分为多个子区域，在各子区域中，利用安装在多架无人机中的RGB-D相机ZED采集关于环境的视频
流，获取关于环境的每帧的RGB图像和深度图；本发明将任务区域划分为多个子区域，每个无人机在该子区域进行视觉SLAM，使得单个无人机的计算量相对减少，可实现在线实时视觉SLAM，减少了不稳定的无线传输带来的信息丢失的隐患；[0016] 1.2，利用无人机的机载ARM处理芯片，对获得的RGB图像进行预处理；
[0017] 1.3，将RGB-D图像转化为点云；RGB-D相机使用针孔相机模型，空间点三维坐标[x, y,z]和它在图像中的像素坐标[u,v,d]的对应关系为：
[0018]
[0019]式中，f x,f y分别表示相机在x,y两个轴上的焦距，c x,c y指相机的光圈中心，S指深度
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议