基于图卷积网络的多信息融合驾驶员分心行为检测

２０２０年（第４２卷）第８期：１０．１９５６２／ｊ．ｃｈｉｎａｓａｅ．ｑｃｇｃ．２０２０．０８．００５ｄｏｉ汽　车　工　程ＡｕｔｏｍｏｔｉｖｅＥｎｇｉｎｅｅｒｉｎｇ２０２０（Ｖｏｌ．４２）Ｎｏ．８基于图卷积网络的多信息融合驾驶员分心行为检测，２白中浩１，王韫宇１，张林伟１（１湖南大学，汽车车身先进设计制造国家重点实验室，长沙　４１００８２；２福建工程学院，福建省汽车电子与电驱动重点实验室，福州　３５０１１８）［摘要］　为减少由驾驶员分心造成的交通事故，并检测驾驶员在自动驾驶情况下的分心状态以判断驾驶员是否有接管车辆的能力，提出了一种基于图卷积的多信息融合驾驶员分心行为检测方法。通过分析驾驶员分心行为和姿态特征，设计了驾驶员姿态估计图，基于图卷积网络对驾驶员姿态估计图进行特征提取，使用全连接层对所提取特征进行行为分类，同时融合手机等关键物体信息对驾驶员分心行为进行再判断。实验结果表明，本文提出的方法在ＳｒａｔｅＦａｒｍ数据集和自制数据集上分别达到了９０％和９３％的准确率，检测速度约为２０帧／ｓ，准确性和实时性均达到检测要求。关键词：驾驶员分心；姿态估计；行为识别；图卷积网络ＤｒｉｖｅｒＤｉｓｔｒａｃｔｉｏｎＢｅｈａｖｉｏｒＤｅｔｅｃｔｉｏｎｗｉｔｈＭｕｌｔｉｉｎｆｏｒｍａｔｉｏｎＦｕｓｉｏｎＢａｓｅｄｏｎＧｒａｐｈＣｏｎｖｏｌｕｔｉｏｎＮｅｔｗｏｒｋｓ１，２１１ＢａｉＺｈｏｎｇｈａｏ，ＷａｎｇＹｕｎｙｕ＆ＺｈａｎｇＬｉｎｗｅｉ１ＨｕｎａｎＵｎｉｖｅｒｓｉｔｙ，ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｏｆＡｄｖａｎｃｅｄＤｅｓｉｇｎａｎｄＭａｎｕｆａｃｔｕｒｉｎｇｆｏｒＶｅｈｉｃｌｅＢｏｄｙ，Ｃｈａｎｇｓｈａ　４１００８２；２ＦｕｊｉａｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，ＦｕｊｉａｎＫｅｙＬａｂｏｒａｔｏｒｙｏｆＡｕｔｏｍｏｔｉｖｅＥｌｅｃｔｒｏｎｉｃｓａｎｄＥｌｅｃｔｒｉｃＤｒｉｖｅ，Ｆｕｚｈｏｕ　３５０１１８［Ａｂｓｔｒａｃｔ］　Ｉｎｏｒｄｅｒｔｏｒｅｄｕｃｅｔｈｅｔｒａｆｆｉｃａｃｃｉｄｅｎｔｓｃａｕｓｅｄｂｙｄｒｉｖｅｒｓｄｉｓｔｒａｃｔｉｏｎ，ａｎｄｄｅｔｅｃｔｔｈｅｄｉｓｔｒａｃｔｉｏｎｓｔａｔｅｏｆｔｈｅｄｒｉｖｅｒｄｕｒｉｎｇａｕｔｏｍａｔｉｃｄｒｉｖｉｎｇｆｏｒｊｕｄｇｉｎｇｗｈｅｔｈｅｒｔｈｅｄｒｉｖｅｒｈａｓｔｈｅａｂｉｌｉｔｙｔｏｔａｋｅｏｖｅｒｔｈｅｖｅｈｉｃｌｅ，ａｍｕｌｔｉｉｎｆｏｒｍａｔｉｏｎｆｕｓｉｏｎｄｒｉｖｅｒｄｉｓｔｒａｃｔｉｏｎｂｅｈａｖｉｏｒｄｅｔｅｃｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｇｒａｐｈｃｏｎｖｏｌｕｔｉｏｎｉｓｐｒｏｐｏｓｅｄ．Ｂｙａｎａｌｙｚｉｎｇｔｈｅｄｉｓｔｒａｃｔｉｏｎｂｅｈａｖｉｏｒａｎｄｐｏｓｔｕｒｅｆｅａｔｕｒｅｓｏｆｔｈｅｄｒｉｖｅｒ，ｔｈｅｐｏｓｔｕｒｅｅｓｔｉｍａｔｉｏｎｇｒａｐｈｏｆｔｈｅｄｒｉｖｅｒｉｓｄｅｓｉｇｎｅｄ．Ｔｈｅｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｏｆｄｒｉｖｅｒｓｐｏｓｔｕｒｅｅｓｔｉｍａｔｉｏｎｇｒａｐｈｉｓｃｏｎｄｕｃｔｅｄｂａｓｅｄｏｎｇｒａｐｈｃｏｎｖｏｌｕｔｉｏｎｎｅｔｗｏｒｋ，ｔｈｅｆｅａｔｕｒｅｓｅｘｔｒａｃｔｅｄａｒｅｃｌａｓｓｉｆｉｅｄｂｙｕｓｉｎｇｆｕｌｌｃｏｎｎｅｃｔｅｄｌａｙｅｒ，ａｎｄｔｈｅｄｒｉｖｅｒｓｄｉｓｔｒａｃｔｉｏｎｂｅｈａｖｉｏｒｓａｒｅｊｕｄｇｅｄａｇａｉｎｂｙｔｈｅｆｕｓｉｏｎｏｆｋｅｙｏｂｊｅｃｔｓｌｉｋｅｍｏｂｉｌｅｐｈｏｎｅ．Ｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｍｅｔｈｏｄｐｒｏｐｏｓｅｄｃａｎａｃｈｉｅｖｅ９０％ａｎｄ９３％ａｃｃｕｒａｃｙｏｎＳｒａｔｅＦａｒｍｄａｔａｓｅｔａｎｄｔｈｅｓｅｌｆｍａｄｅｄａｔａｓｅｔｒｅｓｐｅｃｔｉｖｅｌｙｗｉｔｈａｄｅｔｅｃｔｉｏｎｓｐｅｅｄｏｆ２０ｆｒａｍｅｓｐｅｒｓｅｃｏｎｄ，ｍｅｅｔｉｎｇｔｈｅｄｅｔｅｃｔｉｏｎｒｅｑｕｉｒｅｍｅｎｔｓｏｆａｃｃｕｒａｃｙａｎｄｒｅａｌｔｉｍｅｐｅｒｆｏｒｍａｎｃｅ．Ｋｅｙｗｏｒｄｓ：ｄｒｉｖｅｒｄｉｓｔｒａｃｔｉｏｎ；ｐｏｓｔｕｒｅｅｓｔｉｍａｔｉｏｎ；ｂｅｈａｖｉｏｒｒｅｃｏｇｎｉｔｉｏｎ；ｇｒａｐｈｃｏｎｖｏｌｕｔｉｏｎｎｅｔｗｏｒｋ２－３］下重新控制转向盘［。因此，通过对驾驶员行为进行实时监控，减少驾驶员分心，对于交通安全来说前言近年来，有超过１／５的交通事故是由驾驶员分１］心导致的［。此外，在实现完全自动驾驶（Ｌ５级）之前，依然要求驾驶员保持专注，随时准备在紧急情况尤为重要。解决驾驶员驾驶分心状态问题的一种方法是开发驾驶员监测系统，在这样的监测系统中，正确检测驾驶员分心行为至关重要，这也是本文的重点。驾５１６２１００４，５１４７５１５３）和福建工程学院科研创新平台开放基金（ＫＦ－Ｘ１８００１）资助。国家自然科学基金（原稿收到日期为２０１９年９月２６日，修改稿收到日期为２０１９年１１月２２日。通信作者：白中浩，教授，Ｅｍａｉｌ：ｂａｉｚｈｏｎｇｈａｏ＠１６３．ｃｏｍ。