基于手柄的无人机控制方法、装置、设备与可读存储介质与流程

1.本发明涉及无人机技术领域，尤其涉及基于手柄的无人机控制方法、装置、设备与可读存储介质。

背景技术：

2.现有技术中，无人机通常通过遥控控制，其需要根据无人机发回的诸多参数由遥控人员自行判断是否适合于发送控制指令。然而，这种方式需要使得无人机能够随时，或者是在关键时刻，能够发回其自身的飞行参数和工作状态信息；其次，这种方式过于依赖遥控人员的经验，一旦反应较慢，则无人机在遇险情况下可能发生故障甚至坠毁。这些或者不可靠或者不确定的因素不利于飞行任务的成功完成。此外，通过操控控制摇杆方式，能对无人机进行快速调整，但无法满足对无人机的精准调整。

技术实现要素：

3.本发明的主要目的在于提供一种基于手柄的无人机控制方法、装置、设备与可读存储介质，旨在提高无人机操控的便捷性，准确性。
4.为实现上述目的，本发明提供一种基于手柄的无人机控制方法，所述基于手柄的无人机控制方法包括以下步骤：
5.检测手柄接收到的语音控制指令；
6.根据语音控制指令，获取无人机状态参数，并基于所述无人机状态参数生成无人机控制指令；
7.控制所述无人机执行所述无人机控制指令对应的操作。
8.可选地，所述检测手柄接收到的语音控制指令的步骤包括：
9.通过手柄检测声音信号；
10.当检测到所述声音信号符合预设语音指令库内语音控制指令时，将所述声音信号转换成对应的语音控制指令，所述语音控制指令包括：高度、方向、速度、悬停、降落、返航、伴飞、拍照、录像。
11.可选地，所述根据语音控制指令，获取无人机状态参数，基于无人机状态参数生成无人机控制指令的步骤包括：
12.基于所述语音控制指令，获取无人机速度矢量；
13.通过手柄惯性测量模块获得手柄的第一速度矢量；
14.通过手柄gps模块获得手柄的第二速度矢量；
15.计算得到所述第一速度矢量和所述第二速度矢量之间的误差，并基于所述误差修正所述手柄惯性测量模块计算得到的所述第一速度矢量，得到手柄速度矢量；
16.基于所述无人机速度矢量和所述手柄速度矢量，生成速度控制指令和方向控制指令。
17.可选地，所述根据语音控制指令，获取无人机状态参数，基于无人机状态参数生成
无人机控制指令的步骤包括：
18.基于所述语音控制指令，获取无人机位置参数；
19.通过所述手柄gps模块获取手柄位置参数；
20.根据所述无人机位置参数和所述手柄位置参数，计算所述无人机与所述手柄的相对位置；
21.基于所述相对位置，生成无人机伴飞指令。
22.可选地，所述控制所述无人机执行所述无人机控制指令对应的操作的步骤包括：
23.基于所述无人机控制指令，由无人机生成所述无人机控制指令对应的控制信号；
24.将所述控制信号发送给无人机的电子调速器，通过所述电子调速器实现对无人机的控制。
25.可选地，所述根据语音控制指令，获取无人机状态参数的步骤之后，所述方法还包括：
26.对所述无人机状态参数进行数据处理，得到语音播报数据；
27.语音输出所述语音播报数据。
28.可选地，所述检测手柄接收到的语音控制指令的步骤之前，所述方法还包括：
29.接收语音唤醒指令，开启语音控制功能；
30.输出语音控制开启反馈，所述语音控制开启反馈包括：语音反馈、文字反馈、振动反馈。
31.此外，为实现上述目的，本发明还提供一种基于手柄的无人机控制装置，所述基于手柄的无人机控制装置包括：
32.检测模块，用于检测手柄接收到的语音控制指令；
33.指令生成模块，用于根据语音控制指令，获取无人机状态参数，并基于所述无人机状态参数生成无人机控制指令；
34.执行模块，用于控制所述无人机执行所述无人机控制指令对应的操作。
35.可选地，所述检测模块还用于：
36.通过手柄检测声音信号；
37.当检测到所述声音信号符合预设语音指令库内语音控制指令时，将所述声音信号转换成对应的语音控制指令，所述语音控制指令包括：高度、方向、速度、悬停、降落、返航、伴飞、拍照、录像。
38.可选地，所述指令生成模块还用于：
39.基于所述语音控制指令，获取无人机速度矢量；
40.通过手柄惯性测量模块获得手柄的第一速度矢量；
41.通过手柄gps模块获得手柄的第二速度矢量；
42.计算得到所述第一速度矢量和所述第二速度矢量之间的误差，并基于所述误差修正所述手柄惯性测量模块计算得到的所述第一速度矢量，得到手柄速度矢量；
43.基于所述无人机速度矢量和所述手柄速度矢量，生成速度控制指令和方向控制指令。
44.可选地，所述指令生成模块还用于：
45.基于所述语音控制指令，获取无人机位置参数；
46.通过所述手柄gps模块获取手柄位置参数；
47.根据所述无人机位置参数和所述手柄位置参数，计算所述无人机与所述手柄的相对位置；
48.基于所述相对位置，生成无人机伴飞指令。
49.可选地，所述执行模块还用于：
50.基于所述无人机控制指令，由无人机生成所述无人机控制指令对应的控制信号；
51.将所述控制信号发送给无人机的电子调速器，通过所述电子调速器实现对无人机的控制。
52.可选地，所述指令生成模块还用于：
53.对所述无人机状态参数进行数据处理，得到语音播报数据；
54.语音输出所述语音播报数据。
55.可选地，检测模块还用于：
56.接收语音唤醒指令，开启语音控制功能；
57.输出语音控制开启反馈，所述语音控制开启反馈包括：语音反馈、文字反馈、振动反馈。
58.此外，为实现上述目的，本发明还提供一种基于手柄的无人机控制设备，所述基于手柄的无人机控制设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于手柄的无人机控制程序，所述基于手柄的无人机控制程序被所述处理器执行时实现如上所述的基于手柄的无人机控制方法的步骤。
59.此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有基于手柄的无人机控制程序，所述基于手柄的无人机控制程序被处理器执行时实现如上所述的基于手柄的无人机控制方法的步骤。
60.本发明实施例提出的基于手柄的无人机控制方法、装置、设备与可读存储介质，通过检测手柄接收到的语音控制指令，并将体感控制指令发送给无人机，无人机根据接收到的体感控制指令执行对应的控制命令，由无人机完成执行任务，使用小巧的专用手柄敏感人体姿态，克服了智能手机操持上的不便，提高了无人机控制的智能性，实现了无人机的体感控制。
附图说明
61.图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
62.图2为本发明基于手柄的无人机控制方法一实施例的流程示意图；
63.图3为本发明基于手柄的无人机控制方法一实施例基于手柄的无人机控制系统示意图；
64.图4为本发明基于手柄的无人机控制方法一实施例中步骤s10的细化流程示意图；
65.图5为本发明基于手柄的无人机控制方法一实施例中步骤s20的细化流程示意图；
66.图6为本发明基于手柄的无人机控制方法另一实施例中步骤s20的细化流程示意图；
67.图7为本发明基于手柄的无人机控制装置一实施例示意图。
68.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
69.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
70.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
71.如图1所示，该基于手柄的无人机控制设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。此外，还可以设置有多种传感器，例如：地磁传感器，gps模块，陀螺仪传感器。
72.本发明基于手柄的无人机控制设备可以是无人机控制手柄，也可以为手柄的一部分。本领域技术人员可以理解，图1中示出的结构并不构成对基于手柄的无人机控制设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
73.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及基于手柄的无人机控制程序。
74.在图1所示的基于手柄的无人机控制设备中，网络接口1004主要用于与其他设备进行数据通信，例如手机、电脑等移动终端；用户接口1003主要用于与用户进行数据交互；本发明基于手柄的无人机控制设备中的处理器1001、存储器1005可以设置在基于手柄的无人机控制设备中，所述基于手柄的无人机控制设备通过处理器1001调用存储器1005中存储的基于手柄的无人机控制程序，并执行本发明实施例提供的基于手柄的无人机控制方法。
75.参照图2，图2为本发明基于手柄的无人机控制方法一实施例的流程示意图，提出本发明一实施例的基于手柄的无人机控制方法，所述基于手柄的无人机控制方法包括：
76.步骤s10，检测手柄接收到的语音控制指令；
77.步骤s20，根据语音控制指令，获取无人机状态参数，并基于所述无人机状态参数生成无人机控制指令；
78.步骤s30，控制所述无人机执行所述无人机控制指令对应的操作。
79.本实施例基于手柄的无人机控制方法用于无人机控制系统中，主要是通过手柄实现对无人机的语音控制，参照图3，图3为本发明基于手柄的无人机控制方法一实施例基于手柄的无人机控制系统示意图，本实施例提供的控制系统包括：手柄和无人机，具体的，手柄包括gps模块、地磁模块、语音识别模块、图传通讯模块等，集成在手柄微控制单元mcu(micro control unit)上；无人机包括无人机惯性测量单元imu(inertial measurement unit)、电子调速器、图传通讯模块等等，其中，无人机imu包括gps模块、加速度器、陀螺仪、气压计、地磁模块、tof，光流模块。
80.无人机和手柄通过各自的图传通讯模块，实现两者之间的wifi通讯，具体地，图传通讯模块可以用来传输无人机上摄像头拍摄的视频和照片，并显示在手柄的显示屏上，这样就可以对无人机拍摄进行实时观察，保障拍摄任务的完成，以及对无人机的安全起到一定的保护作用。此外，图传通讯模块还用于其他数据的传输，例如：指令的传输，手柄将生成
的控制指令通过图传通讯模块发送给无人机图传通讯模块；例如，位置信息共享，手柄图传通讯模块接收无人机的位置信息并发送给手柄，手柄基于无人机的位置信息生成控制指令。上述图传通讯模块功能并不作为对图传通讯模块的限定，完全可以根据需要在不改变发明的本质的范围内而增减图传通讯模块的功能。
81.地磁模块中设置有地磁传感器，无人机中设置的地磁模块，通过检测地磁来检测搭载地磁模块的设备的方向的。无人机上的加速传感器和陀螺仪，基本上可以保证设备的完整运动状态。但是随着长时间运动，不可避免地会产生累计偏差，不能准确描述运动姿态，比如操控画面发生倾斜。这个时候地磁传感器感知地磁，测量地球磁场，通过绝对指向功能进行修正补偿，可以有效地修正累计偏差，从而修正无人机的运动方向、姿态角度、运动力度和速度等，让无人机知道自己的机头和飞行朝向，到任务位置。
82.tof传感器，飞行时间(tof)是一种高精度的距离测绘和3d成像技术，其根据信号的发射与被物体反射后返回传感器之间的时间差来测量传感器与物体之间的距离。可以用于无人机防撞系统以及测量距离。
83.光流模块用于定点悬停，通过得出物体的运动速度与运动方向进行后续控制。光流模块在无gps环境下，可实时检测飞机水平移动距离，实现对四轴无人机长时间的稳定悬停。光流摄像头拍摄无人机垂直向下的画面，输入光流主板，主板通过光流悬停智能算法进行光流计算，从而获取无人机位移信息，并转化为悬停控制指令，悬停控制指令输出给飞控，以便控制飞机水平移动距离，达到悬停的目的。
84.陀螺仪输出的是角速度，要通过积分才能获得角度，但是即使在零输入状态时，陀螺仪仍是有输出的，它的输出是白噪声和慢变随机函数的叠加，受此影响，在积分的过程中，必然会引进累计误差，积分时间越长，误差就越大。这时候，便需要加速度传感器的加入，利用加速度传感器来对陀螺仪进行校正。
85.加速度器，也即加速度传感器可以利用力的分解原理，通过重力加速度在不同轴向上的分量来判断倾角。同时，它没有积分误差，所以加速度传感器在相对静止的条件下，可以有效校正陀螺仪的误差。但在运动状态下，加速度传感器输出的可信度就要下降，因为它测量的是重力和外力的合力。
86.由于在现有技术中，体感控制通常为手机体感控制或者通过无人机内部的视觉设备识别人体姿态控制只能实现有限的无人机控制，存在许多限制，为了使得无人机控制更加便捷和准确，提出了本发明基于手柄的无人机体感控制方法。
87.以下针对每个步骤进行详细说明：
88.步骤s10，检测手柄接收到的语音控制指令；
89.在一实施例中，通过语音识别模块检测手柄接收到的语音控制指令。具体地，可以通过捕捉用户说出的特定的语音口令，使手柄语音识别模块识别该口令，并进行对照，如今主流语音识别系统都采用隐马尔科夫模型(hmm)作为声学模型
90.步骤s20，根据语音控制指令，获取无人机状态参数，并基于所述无人机状态参数生成无人机控制指令；
91.在一实施例中，当手柄接收到语音控制指令后，根据语音控制指令，获取无人机状态参数，基于获取到的无人机状态参数生成无人机控制指令。可以理解的是，根据语音控制指令的不同，所需要获取的无人机状态参数也会不同，例如语音控制指令为高度控制，则需
要获取无人机的高度信息；当语音控制指令为方向控制时，则需要获取无人机朝向信息。进一步地，根据无人机状态参数生成无人机控制指令。例如当前无人机高度为5米，高度控制指令为上升到100米，则基于当前无人机高度，控制无人机上升95米。
92.获取无人机状态参数，可以通过无人机控制系统获取，并通过图传通讯模块发送给手柄，手柄同理。例如，无人机gps模块能实时获取无人机的位置，手柄gps模块可以获取手柄位置，并计算相对位置，从而控制无人机做一些相应的跟随、互动。例如，语音控制指令为返航指令，则需要获取无人机当前位置，对应的无人机状态参数，并获取返航位置，其中，返航位置可以是用户自行设定的位置，也可以是起飞点，或者手柄当前位置。基于无人机当前位置和返航点位置，生成无人机控制指令，以调整无人机的朝向、速度、高度，使无人机返航到返航点。假设语音控制指令为跟拍指令，此时需要获取无人机状态参数，如：无人机相机状态、相机云台朝向、无人机速度等，如果此时无人机相机没有对准目标跟拍物(如手柄)，则手柄控制系统会计算手柄和无人机的位置、视线欧拉角等，并生成对应的云台、无人机朝向控制指令。
93.步骤s30，控制所述无人机执行所述无人机控制指令对应的操作。
94.在一实施例中，手柄生成无人机控制指令后，将生成的无人机控制指令发送给无人机，无人机接收到无人机控制指令后，执行对应的操作。具体地，无人机将接收到的无人机控制指令转化为控制信号，控制无人机各部件执行对应的操作。例如
95.本实施例通过检测手柄接收到的语音控制指令，并根据语音控制指令，获取无人机状态参数，处理生成控制无人机控制指令，然后控制无人机执行无人机控制指令对应的操作。通过手柄语音控制功能能够提高控制操作的便捷性，并且通过获取无人机状态参数进而生成无人机控制指令能够提高控制的准确性。
96.进一步地，基于本发明无人机控制方法第一实施例，提出本发明无人机控制方法第二实施例。
97.参照图4，图4为本发明基于手柄的无人机控制方法一实施例中步骤s10的细化流程示意图，无人机控制方法的第二实施例与无人机控制方法的第一实施例的区别在于，所述检测手柄接收到的语音控制指令的步骤包括：
98.步骤s11，通过手柄检测声音信号；
99.步骤s12，当检测到所述声音信号符合预设语音指令库内语音控制指令时，将所述声音信号转换成对应的语音控制指令，所述语音控制指令包括：高度、方向、速度、悬停、降落、返航、伴飞、拍照、录像。
100.本实施例通过手柄检测声音信号，并对声音信号进行识别，当声音信号符合预设语音指令库中的语音控制指令时，输出对应的语音控制指令，实现了语音控制指令的生成，以进行无人机语音控制。
101.以下将对各个步骤进行详细说明：
102.步骤s11，通过手柄检测声音信号；
103.在一实施例中，手柄检测外部声音信号。可选地，手柄上设有语音采集模块或者语音采集芯片，通过获取声压并转换为电压采集声音信号。
104.步骤s12，当检测到所述声音信号符合预设语音指令库内语音控制指令时，将所述声音信号转换成对应的语音控制指令，所述语音控制指令包括：高度、方向、速度、悬停、降
落、返航、伴飞、拍照、录像。
105.在一实施例中，当检测到语音信号符合预设语音指令库内的语音控制指令时，会将声音信号转换成对应的语音控制指令。具体的，通过手柄语音识别模块，通过语音识别技术识别声音信号。具体地，首先对声音信号进行分帧处理，再通过提取mfcc特征，转化为声音向量，通过声学模型得到声音向量的识别结果，判断是否为预设语音指令库内语音指令。声学模型基于大量的语音数据，通过深度学习训练，以学习语音波形或特征序列，实现声音信号的识别。一实施例可以通过声学模型解析得到声音信号对应的文字，将其与预设语音库中的语音控制指令进行匹配。在另一实施例中，也可以通过声学模型将声音信号处理后与语音控制指令对应的声学特征进行匹配。具体地，匹配声音信号的方式在此不做限定。
106.语音控制指令包括但不限于：高度、方向、速度、悬停、降落、返航、伴飞、拍照、录像。以下以悬停指令为例，进行说明：
107.悬停指令，需要获取无人机当前速度，通常无人机的悬停的时候会维持一个高度，首先需要其中，无人机悬停是无人机通过内部的陀螺仪传感器，感知到自身角度的偏转量。在无人操控无人机的情况下，假设无人机姿态向后倾斜，无人机能立即检测到细微的偏转角度，飞行控制系统会立即发出命令使无人机的后方电机加快转速，使无人机调整成水平飞行姿态。若无人机未处于水平飞行姿态，则调整无人机后方电机的转速，以使无人机调整为水平悬停姿态。
108.具体地，无人机的gps模块可以接收卫星定位信号，提供无人机的三维坐标至飞行控制系统，若无人机的水平飞行姿态发生偏移，无人机的gps水平坐标会发生变化，飞行控制系统能立即调整电机的转速使无人机飞回原来的gps定位点，以使无人机调整为水平悬停姿态。
109.进一步地，在一实施例中，所述根据语音控制指令，获取无人机状态参数的步骤之后，所述方法还包括：
110.步骤a，对所述无人机状态参数进行数据处理，得到语音播报数据；
111.步骤b，语音输出所述语音播报数据。
112.在一实施例中，根据语音控制指令获取到无人机状态参数后，可以对无人机状态参数进行处理，以得到语音播报数据，手柄语音输出语音播报数据。掌握无人机状态，能够帮助操控人员更好地控制无人机，因此，本方案将获取到的无人机状态参数进行语音播报。可以理解的是，当用户使用语音控制功能时，通常是为了更方便的进行控制，也即在不需要双手操作的情况下实现无人机控制，用户可能并不方便看手柄上显示的无人机状态信息，那么当用户说出语音控制指令后，手柄输出语音反馈给用户无人机当前的状态，例如高度、航向，则用户可以根据听到的无人机状态信息，更准确地对无人机进行控制。具体地，当获取到无人机状态参数后，根据预设需求，进行播报，例如：用户语音控制指令为高度控制指令，获取到无人机当前高度为10米，将其输出为语音播报数据，播报无人机当前高度为10米。通过语音库中存储各类预设语音播报数据，将“当前高度为”和“10米”的语音条进行拼接，得到“当前高度为10米”的语音播报数据。具体的，处理得到语音播报数据的方式在此不做限制。
113.此外，语音播报功能还可以在无人机执行无人机控制指令时使用，例如无人机在上升状态下，间隔预设高度或者时间播报无人机当前高度。
114.进一步地，在一实施例中，所述检测手柄接收到的语音控制指令，并将所述语音控制指令发送给无人机的步骤之前，所述方法还包括：
115.步骤40，接收语音唤醒指令，开启语音控制功能；
116.在一实施例中，接收语音唤醒指令后，开启语音控制功能，也即只有在检测到语音唤醒指令，开启语音控制功能后，才能检测语音控制指令。这样就不会出现用户并没有需要进行语音控制时，误触发语音控制，如果默认语音控制开启，有可能存在用户不经意说出预设语音控制指令的情况，可能会和当前正在进行的控制冲突。
117.在一实施例中，还可以设置控制方法优先级，例如优先摇杆控制，则在通过摇杆控制无人机的同时触发语音控制指令，会优先执行摇杆的控制，通过手柄控制系统设置优先级，以避免指令冲突情况的发生。
118.步骤50，输出语音控制开启反馈，所述语音控制开启反馈包括：语音反馈、文字反馈、振动反馈。
119.在一实施例中，当开启语音控制功能时，会输出语音控制开启反馈，具体的，可以是语音反馈、文字反馈、振动反馈。语音反馈也即输出预存的语音包，例如输出：语音控制已开启；文字反馈也即在手柄的显示屏上显示语音控制已开启，当然，显示内容并不限制为文字，也可以是点亮语音控制图标等；振动反馈也即在开启时手柄振动。可以理解的，当用户双手无法握持手柄，但仍需要控制无人机时，可以通过语音唤醒手柄语音控制功能，进一步地，由手柄输出语音控制开启反馈，帮助用户获取语音控制开启的信息，此时用户再说一些语音口令，手柄就可以通过语音识别模块识别并控制无人机。
120.本实施例通过手柄检测声音信号，当检测到所述声音信号符合预设语音指令库内语音控制指令时，将声音信号转换成对应的语音控制指令，从而实现无人机的语音控制，提高无人机控制的便捷性。进一步地，为了提高无人机控制的便捷性，还提供有多种反馈形式的语音控制开启反馈，以及语音播报功能，通过人机交互提高用户的操控体验。
121.进一步地，基于本发明无人机控制方法在前实施例，提出本发明无人机控制方法第三实施例。
122.参照图5，图5为本发明基于手柄的无人机控制方法一实施例中步骤s20的细化流程示意图，无人机控制方法的第三实施例与无人机控制方法的在前实施例的区别在于，所述根据语音控制指令，获取无人机状态参数，基于无人机状态参数生成无人机控制指令的步骤包括：
123.步骤s21，基于所述语音控制指令，获取无人机速度矢量；
124.步骤s22，通过手柄惯性测量模块获得手柄的第一速度矢量；
125.步骤s23，通过手柄gps模块获得手柄的第二速度矢量；
126.步骤s24，计算得到所述第一速度矢量和所述第二速度矢量之间的误差，并基于所述误差修正所述手柄惯性测量模块计算得到的所述第一速度矢量，得到手柄速度矢量；
127.步骤s25，基于所述无人机速度矢量和所述手柄速度矢量，生成速度控制指令和方向控制指令。
128.本实施例使用imu/gps融合算法，使得手柄能在各种条件下估计手柄姿态，因为用重力估计姿态只能在手柄没有加速度运动的时候，而当手柄有加速度运动的时候，手柄imu除了感应到重力加速度之外，还能感应到手柄自身的加速度，那么基于重力加速度的分量
投影计算倾斜角度和倾斜方向就不准确了，不能基于手柄imu的加速度计的计算投影获得手柄的姿态，这个时候就需要用imu/gps融合算法来检测姿态才是准确的。例如，当用户握持手柄行走、跑动，手柄具有重力加速度和运动加速度，或者当手柄放在移动载具上，进行爬升等运动时，本实施例通过手柄惯性测量模块获得手柄的第一速度矢量，通过手柄的gps模块获取第二速度矢量，使用imu/gps融合算法计算误差，并修正第一速度矢量，基于所述修正后的第一速度矢量，对手柄倾斜角度和倾斜方向进行计算，能得到动态情况下手柄的姿态，并且提高计算得到手柄姿态的准确性，减小误差，进一步地，比较手柄速度矢量和无人机速度矢量，生成速度控制指令和方向控制指令，提高无人机相对手柄运动的控制精准性。
129.以下针对各个步骤进行详细说明：
130.步骤s21，基于所述语音控制指令，获取无人机速度矢量；
131.在一实施例中，当手柄得到语音控制指令后，获取无人机的速度矢量。无人机速度矢量包括了无人机运动速度和运动方向，可以理解的，无人机的速度和方向在无人机的控制中起着十分重要的作用，方向指令、悬停指令、伴飞指令等等，都需要先获得无人机的速度矢量，进而生成对应的控制调整指令。
132.步骤s22，通过手柄惯性测量模块获得手柄的第一速度矢量；
133.在一实施例中，通过手柄的惯性测量模块测得手柄的第一速度矢量。惯性测量模块包含了陀螺仪，重力传感器等，通过惯性测量模块中的传感器可以测量得到手柄的第一速度矢量，第一速度矢量包括运动速度和运动方向。
134.步骤s23，通过手柄gps模块获得手柄的第二速度矢量；
135.在一实施例中，通过手柄的gps模块测得手柄的第二速度矢量。gps模块具有gps定位功能，能获得手柄的位置变化，基于位置的变化计算得到手柄的运动速度和方向。
136.步骤s24，计算得到所述第一速度矢量和所述第二速度矢量之间的误差，并基于所述误差修正所述手柄惯性测量模块计算得到的所述第一速度矢量，得到手柄速度矢量；
137.在一实施例中，观测第一速度矢量和第二速度矢量之间的误差，进而通过误差修正imu计算出来的姿态偏移量。可以理解的，由于通过惯性测量模块测量时，可以得到手柄的加速度，加速度积分得速度，速度积分得位置，但是积分必然带来积分误差,所以随着时间的推移，必然会造成获得的手柄位置越来越不准。因此，在本方案中通过手柄的gps和imu分别获取手柄的速度矢量，并互相校正，得到更为精准的手柄速度矢量。
138.一般情况，一个imu包含了三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。由于imu能够感知加速度和角速度变化，因此基于imu可以计算出速度和姿态，但是imu有零飘，这个零飘是具有不确定性的，所以基于imu计算速度和姿态会有误差，并且是累积的，不能获得准确的姿态。
139.gps实时测量手柄速度矢量，imu本身也能计算出一个速度矢量，观测两个速度矢量的误差，通过误差估计imu的姿态偏了多少，误差越大则imu计算的姿态偏的越多，速度差异越大。具体地，通过gps计算得到的速度来修正imu计算得到的速度和姿态，基于误差状态方程，将手柄gps信息当做量测信息，再通过kalman滤波得到误差的状态估计，用误差的估
计去修正消除误差，具体地，将基于下述步骤实现imu/gps融合算法：
140.(1)建立9阶导航误差状态方程：
[0141][0142]
其中，[v
x v
y vz]
t
是速度误差，[φ
x φ
y φz]
t
是姿态误差，[ε
x ε
y εz]
t
是陀螺零漂，f为根据导航基本方程建立的系统状态矩阵。k为时刻。
[0143]
(2)建立量测方程
[0144][0145]
其中x为系统状态，z为量测信息，h为量测矩阵。
[0146]
(3)基于上述模型使用kalman滤波器对系统状态进行估计
[0147]
x
估计
＝x
预测
+k(z-hx
预测
)
[0148]
其中k为利用kalman滤波计算的增益，x
预测
＝fxk是上一时刻系统状态的递推。
[0149]
步骤s25，基于所述无人机速度矢量和所述手柄速度矢量，生成速度控制指令和方向控制指令。
[0150]
在一实施例中，对第一速度矢量进行修正，得手柄速度矢量，并基于手柄速度矢量和无人机速度矢量，生成速度控制指令和方向控制指令。具体的，由kalman滤波可以估计得到手柄当前时刻的速度矢量，然后对当前速度矢量进行投影，得到手柄倾斜方向和不同方向的运动速度分量。可以理解的，手柄惯性测量模块中加速度计的传感器，能够敏感重力的方向，通常重力在惯性空间中的投影在竖直方向，当手柄倾斜的时候，竖直方向的重力在手柄惯性空间的投影，在竖直方向以外的另外两个方向上会有分量，根据分量可以得到倾斜方向。然后，对手柄速度矢量和无人机速度矢量进行比对，生成速度控制指令和方向控制指令。此方法能够提高无人机跟随指令的精确度，使得无人机根据手柄的移动速度和方向实时调整速度和方向。
[0151]
具体地，一应用场景如下：在车辆行驶过程中，将手柄放在车里，车往左转弯时，手柄对应的会有一定角度倾斜，无人机会捕捉到这个信息，生成无人机速度控制指令、方向控制指令，使得无人机转动，使得跟随拍摄画面一直跟着车。
[0152]
可选地，云台也会转动，生成对应的控制信号给到云台，让云台调整画面，保持平稳。当无人机倾斜时，同样会配合陀螺仪给相应的云台电机加强反方向的动力，防止相机跟着无人机”倾斜”，从而避免相机抖动。
[0153]
本实施例通过手柄的imu模块和gps模块分别获取手柄的第一速度矢量和第二速度矢量，并通过imu/gps融合算法修正得到手柄速度矢量，进一步地，基于手柄速度矢量和无人机速度矢量，生成无人机速度控制指令和方向控制指令，利用手柄内置的imu/gps融合算法可实现多种环境下的高精度姿态定位以实现无人机精准控制。
[0154]
进一步地，基于本发明基于手柄的无人机控制方法在前实施例，提出本发明基于手柄的无人机控制方法第四实施例。
[0155]
参照图6，图6为本发明基于手柄的无人机控制方法另一实施例步骤s20的第二细化流程示意图，无人机控制方法的第四实施例与无人机控制方法的在前实施例的区别在于，所述根据语音控制指令，获取无人机状态参数，基于无人机状态参数生成无人机控制指令的步骤包括：
[0156]
步骤s25，基于所述语音控制指令，获取无人机位置参数；
[0157]
步骤s26，通过所述手柄gps模块获取手柄位置参数；
[0158]
步骤s27，根据所述无人机位置参数和所述手柄位置参数，计算所述无人机与所述手柄的相对位置；
[0159]
步骤s28，基于所述相对位置，生成无人机伴飞指令。
[0160]
本实施例中，根据语音控制指令，获取无人机位置参数。当语音控制指令为伴飞时，通过获取无人机位置和手柄位置，并锁定其相对位置，实现无人机伴飞。载波相位差分技术又称rtk(real time kinematic)技术，是实时处理两个测站载波相位观测量的差分方法。即是将基准站采集的载波相位发给用户接收机，进行求差解算坐标。大部分误差都有时间和空间的相关性，绝大部分误差可以被抵消或降低，在二者距离不远的情况下，载波相位差分可使定位精度达到厘米级。无人机和手柄上都有gps模块，通过rtk计算无人机与手柄的相对位置，当开启伴飞模式后，无人机会使自身的gps位置与手柄gps位置相互绑定，这能使手柄位移的时候无人机能实时检索到相对位置的变化，从而imu能控制无人机一直保持与手柄的相对位置和高度不变。
[0161]
以下将对各个步骤进行详细说明：
[0162]
步骤s25，基于所述语音控制指令，获取无人机位置参数；
[0163]
在一实施例中，根据语音控制指令，获取无人机位置参数。可以理解的，当语音控制指令为伴飞时，为了实现伴飞，需要获取无人机的位置，具体地，无人机的gps模块可以接收卫星定位信号，提供无人机的三维坐标至飞行控制系统。
[0164]
步骤s26，通过所述手柄gps模块获取手柄位置参数；
[0165]
在一实施例中，通过手柄gps模块，获取手柄位置参数。同理，通过手柄gps模块能够获取手柄的位置信息。
[0166]
步骤s27，根据所述无人机位置参数和所述手柄位置参数，计算所述无人机与所述手柄的相对位置；
[0167]
步骤s28，基于所述相对位置，生成无人机伴飞指令。
[0168]
在一实施例中，基于无人机位置参数和手柄位置参数，计算无人机与手柄的相对位置，将手柄gps位置信息与无人机gps位置信息相融合，实现无人机位置与手柄位置按特定相对位置关系的跟随伴飞。根据伴飞的要求，设置固定的相对位置。例如以当前的相对位置进行伴飞，或者以预设高度进行伴飞，具体的，伴飞要求可以由用户自行设定。进一步地，
计算手柄和无人机高度差，无人机和手柄的连接角，可以建立相对位置几何关系，基于该相对位置几何关系生成无人机伴飞指令，使得无人机按照该相对位置几何关系进行伴飞，能够精准跟踪手柄，实现无人机智能伴飞(跟随)。
[0169]
进一步地，在一实施例中，所述控制所述无人机执行所述无人机控制指令对应的操作的步骤包括：
[0170]
步骤s21，基于所述无人机控制指令，由无人机生成所述无人机控制指令对应的控制信号；
[0171]
步骤s22，将所述控制信号发送给无人机的电子调速器，通过所述电子调速器实现对无人机的控制。
[0172]
在一实施例中，根据无人机接收到的体感控制指令，生成对应的控制信号，并且将控制信号发送给无人机的电子调速器。可以理解的，当无人机接收到手柄生成的体感控制指令，需要执行指令对应的操作才能完成最终的控制，具体的，无人机是通过将控制指令转换为控制信号，再由电子调速器控制电机和桨叶实现的，其中，电子调速器，主要是控制电机的启停及转速。本实施例中以无人机也即多旋翼飞行器作为我们的控制对象，以四旋翼为例，其无人机内控制系统，控制输入是四个电机的转速，控制输出是其飞行状态，包括位置、速度、姿态、角速度，例如接收到体感控制指令为向前俯冲，那么降低前侧两个电机的转速和/或提高后两个电机的转速，就能让无人机向前向下运动，实现对无人机的体感控制。因此，将控制信号发送给无人机的电子调速器，让电子调速器控制无人机。
[0173]
本实施例通过语音控制指令，获取无人机和手柄的相对位置，并锁定该相对位置，基于相对位置生成无人机的伴飞指令，实现无人机精准伴飞。此外，当语音控制指令最终转化为无人机控制指令后，无人机根据该无人机控制指令生成对应的控制信号，并通过调节无人机电子调速器，实现无人机的语音控制。
[0174]
参照图7，图7为本发明基于手柄的无人机控制装置一实施例示意图，本发明还提供一种基于手柄的无人机控制装置。本发明基于手柄的无人机控制装置包括：
[0175]
检测模块10，用于检测手柄接收到的语音控制指令；
[0176]
指令生成模块20，用于根据语音控制指令，获取无人机状态参数，并基于所述无人机状态参数生成无人机控制指令；
[0177]
执行模块30，用于控制所述无人机执行所述无人机控制指令对应的操作。
[0178]
可选地，所述检测模块还用于：
[0179]
通过手柄检测声音信号；
[0180]
当检测到所述声音信号符合预设语音指令库内语音控制指令时，将所述声音信号转换成对应的语音控制指令，所述语音控制指令包括：高度、方向、速度、悬停、降落、返航、伴飞、拍照、录像。
[0181]
可选地，所述指令生成模块还用于：
[0182]
基于所述语音控制指令，获取无人机速度矢量；
[0183]
通过手柄惯性测量模块获得手柄的第一速度矢量；
[0184]
通过手柄gps模块获得手柄的第二速度矢量；
[0185]
计算得到所述第一速度矢量和所述第二速度矢量之间的误差，并基于所述误差修正所述手柄惯性测量模块计算得到的所述第一速度矢量，得到手柄速度矢量；
[0186]
基于所述无人机速度矢量和所述手柄速度矢量，生成速度控制指令和方向控制指令。
[0187]
可选地，所述指令生成模块还用于：
[0188]
基于所述语音控制指令，获取无人机位置参数；
[0189]
通过所述手柄gps模块获取手柄位置参数；
[0190]
根据所述无人机位置参数和所述手柄位置参数，计算所述无人机与所述手柄的相对位置；
[0191]
基于所述相对位置，生成无人机伴飞指令。
[0192]
可选地，所述执行模块还用于：
[0193]
基于所述无人机控制指令，由无人机生成所述无人机控制指令对应的控制信号；
[0194]
将所述控制信号发送给无人机的电子调速器，通过所述电子调速器实现对无人机的控制。
[0195]
可选地，所述指令生成模块还用于：
[0196]
对所述无人机状态参数进行数据处理，得到语音播报数据；
[0197]
语音输出所述语音播报数据。
[0198]
可选地，检测模块还用于：
[0199]
接收语音唤醒指令，开启语音控制功能；
[0200]
输出语音控制开启反馈，所述语音控制开启反馈包括：语音反馈、文字反馈、振动反馈。
[0201]
此外，本发明实施例还提出一种可读存储介质。本发明可读存储介质上存储有基于手柄的无人机控制程序，所述基于手柄的无人机控制程序被处理器执行时实现如上述的基于手柄的无人机控制方法的步骤。
[0202]
其中，在所述处理器上运行的基于手柄的无人机控制程序被执行时所实现的方法可参照本发明基于手柄的无人机控制方法各个实施例，此处不再赘述。
[0203]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0204]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0205]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0206]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：

1.一种基于手柄的无人机控制方法，其特征在于，所述基于手柄的无人机控制方法包括以下步骤：检测手柄接收到的语音控制指令；根据语音控制指令，获取无人机状态参数，并基于所述无人机状态参数生成无人机控制指令；控制所述无人机执行所述无人机控制指令对应的操作。2.如权利要求1所述的基于手柄的无人机控制方法，其特征在于，所述检测手柄接收到的语音控制指令的步骤包括：通过手柄检测声音信号；当检测到所述声音信号符合预设语音指令库内语音控制指令时，将所述声音信号转换成对应的语音控制指令，所述语音控制指令包括：高度、方向、速度、悬停、降落、返航、伴飞、拍照、录像。3.如权利要求1所述的基于手柄的无人机控制方法，其特征在于，所述根据语音控制指令，获取无人机状态参数，基于无人机状态参数生成无人机控制指令的步骤包括：基于所述语音控制指令，获取无人机速度矢量；通过手柄惯性测量模块获得手柄的第一速度矢量；通过手柄gps模块获得手柄的第二速度矢量；计算得到所述第一速度矢量和所述第二速度矢量之间的误差，并基于所述误差修正所述手柄惯性测量模块计算得到的所述第一速度矢量，得到手柄速度矢量；基于所述无人机速度矢量和所述手柄速度矢量，生成速度控制指令和方向控制指令。4.如权利要求1所述的基于手柄的无人机控制方法，其特征在于，所述根据语音控制指令，获取无人机状态参数，基于无人机状态参数生成无人机控制指令的步骤包括：基于所述语音控制指令，获取无人机位置参数；通过所述手柄gps模块获取手柄位置参数；根据所述无人机位置参数和所述手柄位置参数，计算所述无人机与所述手柄的相对位置；基于所述相对位置，生成无人机伴飞指令。5.如权利要求1所述的基于手柄的无人机控制方法，其特征在于，所述控制所述无人机执行所述无人机控制指令对应的操作的步骤包括：基于所述无人机控制指令，由无人机生成所述无人机控制指令对应的控制信号；将所述控制信号发送给无人机的电子调速器，通过所述电子调速器实现对无人机的控制。6.如权利要求1所述的基于手柄的无人机控制方法，其特征在于，所述根据语音控制指令，获取无人机状态参数的步骤之后，所述方法还包括：对所述无人机状态参数进行数据处理，得到语音播报数据；语音输出所述语音播报数据。7.如权利要求1-6所述的基于手柄的无人机控制方法，其特征在于，所述检测手柄接收到的语音控制指令的步骤之前，所述方法还包括：接收语音唤醒指令，开启语音控制功能；
输出语音控制开启反馈，所述语音控制开启反馈包括：语音反馈、文字反馈、振动反馈。8.一种基于手柄的无人机控制装置，其特征在于，所述基于手柄的无人机控制装置包括：检测模块，用于检测手柄接收到的语音控制指令；指令生成模块，用于根据语音控制指令，获取无人机状态参数，并基于所述无人机状态参数生成无人机控制指令；执行模块，用于控制所述无人机执行所述无人机控制指令对应的操作。9.一种基于手柄的无人机控制设备，其特征在于，所述基于手柄的无人机控制设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于手柄的无人机控制程序，所述基于手柄的无人机控制程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于手柄的无人机控制方法的步骤。10.一种可读存储介质，其特征在于，所述可读存储介质上存储有基于手柄的无人机控制程序，所述基于手柄的无人机控制程序被处理器执行时实现如权利要求1至7中任一项所述的基于手柄的无人机控制方法的步骤。

技术总结

本发明涉及无人机技术领域，尤其涉及基于手柄的无人机控制方法、装置、设备与可读存储介质。本实施例通过检测手柄接收到的语音控制指令，并根据语音控制指令，获取无人机状态参数，处理生成控制无人机控制指令，然后控制无人机执行无人机控制指令对应的操作。通过手柄语音控制功能能够提高控制操作的便捷性，并且通过获取无人机状态参数进而生成无人机控制指令能够提高控制的准确性。指令能够提高控制的准确性。指令能够提高控制的准确性。