(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201710263232.X
(22)申请日 2017.04.21
(71)申请人 哈尔滨思哲睿智能医疗设备有限公
司
地址 150090 黑龙江省哈尔滨市经开区南
岗集中区长江路368号15层08室
(72)发明人 杨文龙 王伟 庞海峰
(74)专利代理机构 北京众合诚成知识产权代理
有限公司 11246
代理人 连平
(51)Int.Cl.
B25J 9/16(2006.01)
B25J 13/08(2006.01)
(54)发明名称
制方法
(57)摘要
本发明公开了一种基于模糊强化学习的机
策略，收敛后的变导纳控制策略根据操作者所施
动顺应操作者的控制意图，以完成机械臂的主动
有更快的收敛速度和稳定的实际效果。本方法能
够显著降低操作者的工作强度，改善定位精度，
有助于减小机械臂结构尺寸和自重，人机力交互
模型能够很好地响应操作者的控制意图，具有良
好的自适应能力，可使人机力交互体验更加流畅
自然，更接近日常生活中对实际物体进行操作时
的力交互感受。权利要求书1页 说明书4页 附图1页CN 107053179 A 2017.08.18
C N 107053179
A
1.一种基于模糊强化学习的机械臂柔顺力控制方法，其特征在于，包括如下步骤：S1：建立导纳控制模型；
S2：获取机械臂的运动状态、操作者施加的外力矩以及环境回报值；
S3：为了获得与当前环境相适应的导纳模型参数调整策略，根据步骤S2中获得的相关信息，通过模糊强化学习进行导纳模型参数调整策略的在线训练直至算法收敛，以期望获与当前环境相适应的变导纳控制模型；
S4：将步骤S3中经训练收敛后的导纳参数调整策略应用于变导纳控制模型之中，根据操作者施加的外力矩和机械臂关节的反馈速度计算关节当前速度值并发送至关节驱动电机，从而实现微创外科手术机械臂的主动摆位功能。
2.根据权利要求1所述的基于模糊强化学习的机械臂柔顺力控制方法，其特征在于，所述步骤S3中的模糊强化学习具体包括如下步骤：
S31：将机械臂的运动状态以及操作者施加的外力矩作为状态变量，在各状态变量的论域范围内划分多个模糊集合，建立对应的模糊规则并给出离散动作集合；
S32：根据当前的状态输入计算各状态变量的隶属度，对状态空间进行模糊划分，计算已激活模糊规则所对应的权值；
S33：根据当前的导纳模型参数调整策略选择离散动作值；
S34：将步骤S33中的离散动作值整合成最终的动作输出值U并将该值用于导纳控制模型。
S35：根据当前获得的环境回报值更新当前的导纳模型参数调整策略。
S36：重复上述S32-S35步骤，直至算法收敛。
3.根据权利要求1所述的基于模糊强化学习的机械臂柔顺力控制方法，其特征在于，还包括如下步骤：
S0：在各机械臂关节中集成力矩传感器，所述力矩传感器用于检测人机之间的接触力矩。
4.根据权利要求3所述的基于模糊强化学习的机械臂柔顺力控制方法，其特征在于，所述步骤S2中：
采用线性回归的方式离线识别机械臂的重力补偿模型，从而获取操作者施加的外力矩。
5.根据权利要求1所述的基于模糊强化学习的机械臂柔顺力控制方法，其特征在于，所述步骤S2中：所述机械臂的运动状态包括各机械臂关节的速度及加速度。
权 利 要 求 书1/1页CN 107053179 A
一种基于模糊强化学习的机械臂柔顺力控制方法
技术领域：
[0001]本发明属于人机交互控制技术领域，具体是涉及一种基于模糊强化学习的机械臂柔顺力控制方法。
背景技术：
[0002]在进行机器人辅助微创手术之前，医护人员需要根据病人的个体特征制定相应的手术方案，选择微创手术的切口位置并以此设定各机械臂的初始姿态。在执行过程中，需要将各机械臂拖拽至微创切口位置并手动调整手术臂的关节角度，即操作者直接对机械臂施加外力，根据操作意图对机械臂各连杆位姿进行相应调整。通常，机械臂以减速器作为机械臂关节动力的传动环节，大减速比及传动摩擦会使主动关节的位姿调整变得困难。[0003]目前常见的解决方法主要有两种：一种是在减速器后安装电磁制动器，通过控制电磁制动器的动作实现减速器与后端动力输出部分的脱离与吸合，即所谓的被动顺应控制方式。若机械臂在此种方式下进行拖拽，机械臂自身的重力全部由操作者承担，工作强度增大且难以控制操作精度。此外，由于拖拽过程中各关节与其驱动电机脱离，为了能够获得机械臂调整后的关节转动
角度，还需要额外增加编码器记录关节的位置变化。电磁制动器和辅助编码器的引入会增大机械臂的结构尺寸和自身重量，电磁制动器的频繁吸合也会影响机器人的绝对位置精度。与之相对的另外一种实现方式是在关节电机处于受控状态下，根据机械臂的受力情况估计操作者的控制意图，并通过关节电机驱动机械臂辅助操作者完成预期的位姿调整，即所谓的主动顺应控制方式。当前的主动顺应控制方法采用在机械臂末端安装力传感器方式控制机械臂末端执行器在笛卡尔空间内的位置移动，往往关注的是末端工具的位置轨迹而非姿态调整，加之固定的力交互作用位置也不便于机械臂连杆姿态的独立调整，因此并不适用于微创外科手术机器人的主动摆位要求。此外，该类方式也存在一定的问题，若采用固定的控制参数模型则难以兼顾控制精度和操作感受，若采用可变的控制参数模型又难以保障人机交互操作的柔顺和流畅。
发明内容：
[0004]为解决上述问题，本发明提出了一种基于模糊强化学习的机械臂柔顺力控制方法。
[0005]为达到上述目的，本发明的技术方案如下：
[0006]一种基于模糊强化学习的机械臂柔顺力控制方法，包括如下步骤：
[0007]S1：建立导纳控制模型。
[0008]S2：获取机械臂的运动状态、操作者施加的外力矩以及环境回报值。
[0009]S3：为了获得与当前环境相适应的导纳模型参数调整策略，根据步骤 S2中获得的相关信息，通过模糊强化学习进行导纳模型参数调整策略的在线训练，直至算法收敛，以期望获与当前环境相适应的变导纳控制模型。
[0010]S4：将步骤S3中经训练收敛后的导纳参数调整策略应用于变导纳控制模型之中，
改变参数后的导纳控制模型根据操作者施加的外力矩和机械臂关节的反馈速度计算关节当前速度值并发送至关节驱动电机。
[0011]作为上述技术方案的优选，所述步骤S3中的模糊强化学习具体包括如下步骤：[0012]S31：将机械臂的运动状态以及操作者施加的外力矩作为状态变量，在各状态变量的论域范围内划分多个模糊集合，建立对应的模糊规则并给出离散动作集合。
[0013]S32：根据当前的状态输入计算各状态变量的隶属度，对状态空间进行模糊划分，计算已激活模糊规则所对应的权值。
[0014]S33：根据当前的导纳模型参数调整策略选择离散动作值。
[0015]S34：将步骤S3中经训练收敛后的导纳参数调整策略应用于变导纳控制模型之中，根据操作者施加的外力矩和机械臂关节的反馈速度计算关节当前速度值并发送至关节驱动电机，从而实现微创外科手术机械臂的主动摆位功能。
[0016]S35：根据当前获得的环境回报值更新当前的导纳模型参数调整策略。
[0017]S36：重复上述S32-S35步骤，直至算法收敛。
[0018]作为上述技术方案的优选，还包括如下步骤：
[0019]S0：在各机械臂关节中集成力矩传感器，所述力矩传感器用于检测人机之间的接触力矩。
[0020]作为上述技术方案的优选，所述步骤S2中：
[0021]采用线性回归的方式离线识别机械臂的重力补偿模型，从而获取操作者施加的外力矩。
[0022]作为上述技术方案的优选，所述步骤S2中：
[0023]所述机械臂的运动状态包括各机械臂关节的速度及加速度。
[0024]本发明的有益效果在于：
[0025]相对于被动顺应方式，能够显著降低操作者的工作强度，改善定位精度，有助于减小结构尺寸和自重。
[0026]相对于固定参数模型的主动顺应方式，具有良好的自适应能力，当接触力矩增加时，力交互控制模型会主动降低环境的虚拟阻尼参数，使机械臂的运动速度变化的更快，能够快速跟随人手臂的运动趋势，给人的操作感受会更省力；反之，当接触力(幅值)逐渐减小时，力交互控制模型会相应地增加虚拟阻尼参数值以提高人机交互的控制精度，辅助操作者定位，减少过冲量。
[0027]相对于时变参数模型的主动顺应方式，人机力交互模型能够很好地响应操作者的控制意图，使人机力交互体验更加流畅自然，更接近日常生活中对实际物体进行操作时的力交互感受。
附图说明：
[0028]以下附图仅旨在于对本发明做示意性说明和解释，并不限定本发明的范围。其中：[0029]图1为本发明一个实施例的一种基于模糊强化学习的机械臂柔顺力控制方法的主动柔顺控制流程图；
[0030]图2为本发明一个实施例的模糊强化学习流程图。
具体实施方式：
[0031]如图1所示，本发明的一种基于模糊强化学习的机械臂柔顺力控制方法，包括如下步骤：
[0032]S1：建立导纳控制模型。
[0033]S2：获取机械臂的运动状态、操作者施加的外力矩以及环境回报值。所述机械臂的运动状态包括各机械臂主动旋转关节的速度及加速度。
[0034]S3：为了获得与当前环境相适应的导纳模型参数调整策略，根据步骤 S2中获得的相关信息，通过模糊强化学习进行导纳模型参数调整策略的在线训练，直至算法收敛，以期望获与当前环境相适应的变导纳控制模型。所述步骤S3中的模糊强化学习具体包括如下步骤：
[0035]S31：将机械臂的运动状态以及操作者施加的外力矩作为状态变量(I)，在各状态变量的论域X i范围内划分多个模糊集合，建立对应的模糊规则并给出离散动作集合A＝{u1, u2,…,u n}，其中，μi为当前已激活的模糊规则 (由当前的模糊划分确定)所对应的离散分动作。
[0036]S32：根据当前的状态输入I i计算各状态变量的隶属度μi(I i)，对状态空间进行模糊划分，计算已激活模糊规则f i所对应的权值w i，其中，f i表示第i个模糊规则，w i为相应的模糊规则激活度，即当前各模糊状态分量对应的离散动作的权值。
[0037]S33：根据当前的导纳模型参数调整策略选择离散动作值u i。
[0038]S34：将步骤S33中的离散动作值整合成最终的动作输出值U并将该值用于导纳控制模型。
[0039]S35：根据当前获得的环境回报值更新当前的导纳模型参数调整策略。
[0040]S36：重复上述S32-S35步骤，直至算法收敛。
[0041]S4：将步骤S3中经训练收敛后的导纳参数调整策略应用于变导纳控制模型之中，根据操作者施加的外力矩和机械臂关节的反馈速度计算关节当前速度值并发送至关节驱动电机，从而实现微创外科手术机械臂的主动摆位功能。
[0042]本实施例的控制方法需要在各机械臂关节中集成力矩传感器，所述力矩传感器用于检测人机之间的接触力矩。本实施例中采用线性回归的方式离线识别机械臂的重力补偿模型，从而获取操作者施加的外力矩。不同于传统工业机器人的示教方式，微创外科手术机器人的术前摆位过程需要调节的是机械臂各连杆的空间姿态而非末端执行器在世界坐标系(笛卡尔坐标系)中的空间位置，而通常此类力交互实现方式采用在机械臂执行末端安装六维力传感器的方式实现交互力信息采集，但这样做会限制人与机器人进行力交互的作用位置，不利于手术机械臂各连杆位姿的独立调整。为解决上述问题将力矩传感器集成到各机械臂主动旋转关节之中，通过此种方式可使机械臂与外界环境的力交互位置扩展至整条机械臂，力矩检测和力交互控制也更直接可靠。
[0043]在关节空间内，结合实际应用提出了一种基于模糊理论与强化学习算法相结合的变导纳控制模型架构。在人机交互过程中，由于人在整个力交互控制回路之中起到引导作用，因此人的操作特性会对力
交互效果有较大影响。此外，机械臂动力学特性会随着控制模型参数的变化而改变，也会对人机交互产生影响。为了能够将交互过程中的人为因素和动
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议