吴鸿敏; 张国英; 管贻生; JUAN Rojas
【期刊名称】《《哈尔滨工业大学学报》》
【年(卷),期】2020(052)001
【总页数】7页(P126-132)
【关键词】多模态时间序列; 安全监控; 执行过程识别; 异常监测; 层级狄利克雷过程隐马尔可夫模型; 梯度阈值 【作 者】吴鸿敏; 张国英; 管贻生; JUAN Rojas
【作者单位】广东工业大学 机电工程学院 广州510006; 广东省智能制造研究所 广东省现代控制技术重点实验室 广州510070
【正文语种】中 文
【中图分类】卫星电视解码器TH375
随着协作型机器人的广泛应用与发展，未来机器人必将逐渐地由传统封闭的制造业环境向与人交互、共融的共享空间迈进，由半自动的操作任务到更加自主完成的执行任务[1]. 从而，不可避免地存在各类异常发生的情况，例如：出现了人类无意识地与机器人手臂碰撞、视觉传感信息存在偏差造成夹子与物体发生碰撞、夹取的物体在运动过程中滑落及机器人内部传感器的异常发生等等. 另外，伴随着机器人对环境感知能力的改善，机器人在执行过程中更加依赖于多模态的传感信息[2]，比如通过力/力矩传感器能有效地感知所抓取物体的重量及是否与外界发生碰撞、机器人关节编码器能实现对机器人构型的运动控制以及通过触觉传感器判断是否抓取到物体. 近年来，研究表明实现基于多模态时间序列建模的机器人安全监控将有助于人-机安全共融操作及更长期可靠的机器人自主执行[3-5]. 如何有效地解决此问题是目前机器人操作领域的研究重点及难点.
文献[3]基于隐马尔可夫模型(HMM)提出了一种用于机器人装配任务的过程监测器. 该监测器首先对机器人的装配任务通过离散的事件进行描述，然后对装配过程中所产生力/力矩的传感信号进行建模. 最后在给定隐性状态数量的前提下，每个事件的HMM参数采用Baum-
Welch离线学习方法获得. 文献[4-6]提出了一种基于从左向右的HMM模型(Left-to-right HMM)应用于多模态的机器人异常检测系统. 该系统考虑机器人在执行过程的多模态传感信息(力/力矩、声音和视觉)对机器人异常检测的影响. 通过建立机器人的执行过程与观察数值的对数似然函数值的映射关系实现了异常检测，并提出了动态阈值的计算方法. 但是，传统的HMM模型在应用于多模态时间序列的情况下，具有两个关键的问题：1)在模型学习之前需要给定隐性状态的数量，限制了对传感数据的建模能力；2)没有考虑时间序列的一致性，也就是说，隐性状态不合理地快速转换，而机器人实际的执行过程应该保持一定的时间依赖性. 比如，当规划机器人去抓取桌上的一个杯子时，希望机器人在靠近杯子过程中的观察值始终归类到相同的隐性状态下.
针对参数化HMM中存在的两个问题，文献[7]提出了一个贝叶斯非参数模型，即多模态粘性层级狄利克雷过程隐马尔可夫模型(MD-sHDP-HMM). 该模型是在HDP-HMM[8]的基础上引入粘性先验和多模态观测分布而形成的，保持了HDP-HMM的所有优点，但比HDP-HMM具有更宽的适用范围和更强的鲁棒性，可以对类内差异大、单时刻有多个观测的复杂时间序列建模. MD-sHDP-HMM模型能有效地从训练数据集中推断出最优的隐性状态数量，并且借助了“粘性”(sticky)的性质增加了隐性状态自转换的期望概率，提高了时间序列相邻数FFU净化单元
据间的依赖性，已广泛应用于复杂时间序列中的运动模式学习，如语音分类[9]和人类动作的识别[10]. 基于贝叶斯非参数模型在多模态时间序列应用中的性质，文献[11]利用HDP-HMM实现了机器人装配任务过程中的异常检测. 首先把机器人执行的电子元件装配任务分割成有限个子任务，并利用有限状态机对任务进行描述，然后在机器人重复执行正常任务的过程中采集力/力矩数据，最后采用HDP-HMM对各个子任务的数据进行建模，实现了机器人异常的监测. 但是，没有对机器人的执行过程进行识别、仅考虑了力/力矩信号的作用，降低了机器人对环境的感知能力以及在模型未知参数推断方面采用传统的Gibbs采样方法，造成严重低下的计算效率.
本文采用了MD-sHDP-HMM对多模态传感数据进行建模，通过贝叶斯变分推断的方法(Bayesian Variational Inference)进行参数的学习，大幅度提高了训练模型的准确性和减少了计算的复杂度. 所提出的方法首先对机器人的执行任务分割成序列化的执行过程，然后通过对比执行过程中累积观察数据的对数似然函数值的大小实现执行过程的识别. 在此基础上，根据正常执行过程训练得到的对数似然函数值的梯度阈值，实现了机器人执行过程中的实时异常监测. 最终有效地实现了多模态时间序列建模的机器人安全监控.
1 机器人精准感知系统框架
我们在前期的工作[12]中已提出了使用MD-sHDP-HMM实现机器人在电子元件装配和拾放任务过程中的精准感知. 所谓的感知即是让机器人解析自己目前正在执行的过程，有助于解决机器人执行过程的识别问题. 针对机器人安全监控的问题展开研究，在传统机器人控制框架Sense-Plan-Act的基础上增加了用于机器人执行过程识别及异常监控的感知(Introspection)阶段，提出了一个名为SPAI(Sense-Plan-Act-Introspection)系统框架，如图1所示. 机器人的复杂任务通过有向图的形式描述，每个节点具有两项功能：一方面用于表示机器人各运动基元的始点或终点，生成机器人的运动，即图1中的M所示；另一方面是感知功能，用于执行过程识别与异常监测，即图1的I所示. 该系统框架主要包括了4个功能模块：任务描述、运动生成、精准感知以及异常修复. 任务描述模块主要是对机器人实际操作的复杂任务分割成序列化的运动基元，然后利用有限状态机(Finite State Machine)人为地根据任务的执行次序构建机器人自主操作图，如图1中从开始节点到完成节点的有向图表示；运动生成模块将借助于示范学习(Learning from demonstration)的框架对人类示教的过程进行学习与泛化，有利于提高机器人任务的多样化和执行过程的不确定性；精准感知模块主要包括对机器人当前执行过程的识别以及外部异常的监测；异常修复模块用于对监测到的异常进行分类并执行相应的修复策略.
图1 机器人安全监控系统框架Fig.1 Framework of robot surveillance system
2 层级狄利克雷过程隐马尔可夫模型
2.1 层级隐马尔可夫模型
近年来，HMM已广泛应用于语音识别、视觉行为分析和异常检测等领域. 在使用连续HMM对多模态时间序列建模的基础上进行机器人或人类的异常行为进行识别，有助于实现人-机交互过程中的安全共融和更长期的机器人自主操作[13-14]. 图2显示了层级HMM的概率图模型. HMM通过隐马尔科夫链假设实现在任意时刻t的状态只依赖于其前一时刻的状态，与其他时刻的状态及观测无关，也与时刻t无关. 另外，HMM假设在任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其他观测状态无关. 因此，HMM模型的观察数据与隐性状态的联合分布表示为线内钩子
微型拉曼光谱仪p(y1,...,yT,z1,...,zT)=
(1)
由式(1)可知，HMM模型由三项概率分布组成. p(z1)表示初始隐性状态的概率分布，由超参数α决定；p(zt|zn-1)表示隐性状态间的转移概率；p(yt|zt)表示给定隐性状态下观察数据的概率分布，不同的观察值分布由超参数λ决定. 特别地，本文采用多变量高斯分布(Multivariate Gaussian Distribution)作为观察模型.
图2 HMM的概率图描述Fig.2 Graphical representation of HMM
从而，当多模态的时间序列由HMM建模后，即可以用来解决3个问题，首先是参数学习的问题，即给定观察序列学习HMM的所有参数θ. 其余2个同属于模式识别的问题，分别是评估问题和解码问题：给定θ计算求解一段观察序列的概率值；给定观察序列求解最优的隐性状态序列. 本文对于机器人的安全监控主要利用了对评估问题和解码问题的求解.
2.2 粘性层级狄利克雷过程隐马尔可夫模型
机器人安全监控实现流程如图3所示. 本文在考虑参数化HMM的局限性下，采用贝叶斯非参数模型构建粘性层级狄利克雷过程隐马尔可夫模型. 首先，假设离散的分布G是一个对数据聚类的过程，它来自于DP (Dirichlet Process)，那么
G～DP(γ,H),空间种植塔
(2)
其中，H可以是任意的基分布，γ为集中系数. 层级狄利克雷过程HDP(Hierarchical Dirichlet Process)是狄利克雷过程DP的一种扩展形式，它主要用于解决在DP中，当基分布是连续时所得到的采样参数与概率1不等的情况[15]. HDP通过在基分布上又定义了一个先验分布，由每个DP获得基分布的采样，这样就保证了基分布的离散性. 由式(2)可知HDP的定义如下：
ito粉(3)
图3 机器人安全监控实现流程图Fig.3 Implementation flowchart of robot safety surveillance
同理，可以利用HDP对HMM模型的隐性状态转换概率πj的进行一般性的描述如下：
(4)
其中，GEM表示折棍子的生成过程[16]，由此可见集中系数γ决定了β的相对离散比例，当γ越大表示数据越离散，反之，越集中. 通过对HMM的状态转换概率增加HDP先验，即可获得HDPHMM模型，如图4左图所示. 注意到HDP先验使得对数据的聚类数量是不确定的，从而能有效地解决了传统HMM中给定隐性状态的局限性. 另外，在DP过程中增加 “粘性” 参数κ，提高隐性状态的自我转换概率，即
(5)
图4 HDPHMM(左)和sHDPHMM(右)的概率图模型Fig.4 Graphical representation ofHDPHMM and sHDPHMM
使得HDPHMM对序列数据建模时有更好的时间依赖性，这样将加强模型的实际应用性，如图4右图所示. 所构建好sHDPHMM模型的所有未知参数Θ可以通过贝叶斯变分推断的方法[17]实现. 由建立好的统计学模型可以用于对机器人执行任务进行安全监控，总体的实现流程如图3所示.
3 机器人执行过程的识别
由图3中A所示，机器人的操作任务被分解成多个执行过程S的形式，对于某一个执行过程s∈S的识别主要是使得机器人在执行任务过程中感知到自己目前所在那段执行过程. 同时，也能有效地验证所建立模型对该过程产生传感数据的建模能力. 假设执行过程s的模型参数为Θs，由HMM的性质可知，给定观察序列y1∶t=[y1,y2,...,yt]，利用前向-反向算法[18]求得模型s在时刻t的对数似然函数值Lt,s，即
(6)
注意这里的yt表示机器人执行过程中的观察值. 本文中的观察值是一个18位的向量，详见5.2节. Lt,s表示了观察数据在给定模型下的分值，分值越高表明该数据越贴近该模型的分布. 基于这样的设想，机器人执行过程的识别可以通过出最大化当前所观察序列数据的分值. 也就是说，给定测试任务样本r，首先，将r分解成S个执行过程，然后分别求解各个执行过程模型下的分值log p那么执行过程的识别可以由下式得到：
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议