首页 > 专利技术

利用双轮车骑手用智能头盔来监控双轮车的盲区的方法与流程

利用双轮车骑手用智能头盔来监控双轮车的盲区的方法
1.本技术为申请号cn202010073407.2、申请日2020年1月22日、发明名称“利用智能头盔来监控双轮车盲区的方法及装置”的分案申请。
技术领域
2.本技术涉及一种利用双轮车(bike)骑手用智能头盔来监控双轮车盲区的方法及装置，更详细地，涉及一种利用从双轮车的骑手佩戴的智能头盔中获取的视频图像来监控盲区的方法及装置。

背景技术：

3.与自动驾驶车辆的驾驶员相比，双轮车的骑手会更加关注安全。另外，在驾驶双轮车时，因骑手所处位置的开放空间，如安全气囊之类的标准安全系统将不起作用。
4.因此，双轮车骑手必须小心，以免发生交通事故。具体而言，双轮车骑手必须小心观察周围的车辆，并使周围车辆的驾驶员看到双轮车。尤其在停车时，会出现双轮车的单个后刹车灯(rear brake light)与双轮车前方位置车辆的刹车灯中的一个相互混淆的现象，为了改善这样的现象，有必要开发各种技术。
5.另外，骑自行车或摩托车等双轮车的骑手由于视角会受到限制，因此骑手无法确认正在行驶的双轮车的所有周围环境，进而会导致各种事故。
6.因此，本技术提供了一种使双轮车的骑手能够正确感知周围环境的方法。

技术实现要素：

7.本技术的目的是解决所有上述问题。
8.本技术的另一个目的是，使行驶中的双轮车的骑手感知到周围环境。
9.本技术的又一个目的是，使双轮车的骑手感知周围环境以安全驾驶双轮车。
10.本技术的又一个目的是，通过v2x通信将双轮车骑手获取的信息发送至至少一个附近车辆。
11.如上述说明，为了达到本技术的上述目的，并实现本技术的下述效果，本技术的结构特征如下。
12.根据本技术的一实施例，一种利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区的方法，包括以下步骤：(a)若获取与骑手佩戴的所述智能头盔相对应的至少一个第一盲区的至少一个视频图像，则盲区监控装置指示对象检测器检测所述视频图像上的至少一个对象，并在检测的所述对象中确认位于所述第一盲区的至少一个第一对象；以及(b)所述盲区监控装置通过参照从安装在所述智能头盔上的全球定位系统(global position system，gps)传感器、加速传感器及地磁传感器中的至少一部分中获取的传感器信息来判断智能头盔方向及双轮车行驶方向后，通过参照所述智能头盔方向和所述双轮车行驶方向来确认与所述第一对象中的所述双轮车相对应的位于至少一个第二盲区的至少一个第二对象，并通过安装在所述智能头盔上的平视显示器来显示所述第二对象，或通过安装在所
述智能头盔上的至少一个扬声器的声音警报来表示所述第二对象位于所述第二盲区。
13.在一实施例中，所述步骤(b)还包括以下步骤：(b1)所述盲区监控装置将(i)通过参照佩戴所述智能头盔的所述骑手的视角和拍摄所述视频图像的照相机或雷达传感器的至少一个感测角来获取的骑手盲区信息、以及(ii)通过参照所述传感器信息获取的双轮车位置、双轮车行驶方向及双轮车行驶速度发送至与至少一个附近车辆及至少一个附近双轮车相对应的至少一个附近智能头盔，从而执行以下步骤中的至少一个：(1)指示所述附近车辆中的至少一个位于骑手盲区的至少一个特定附近车辆参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断所述特定附近车辆和所述双轮车之间发生交通事故的可能性，从而(1-b)向所述特定附近车辆的至少一个特定附近驾驶员发出警报；以及(2)指示与所述附近智能头盔中的位于所述骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附近双轮车行驶速度来(2-a)判断所述特定附近双轮车与所述双轮车之间发生交通事故的可能性，从而(2-b)向与所述特定附近双轮车相对应的至少一个特定附近骑手发出警报。
14.在一实施例中，当位于所述骑手盲区中的所述特定附近车辆的所述特定附近驾驶员通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的所述车辆位置、所述车辆行驶方向及所述车辆行驶速度来操作所述特定附近车辆的方向盘以向所述双轮车的附近前方区域移动时，所述盲区监控装置指示位于所述骑手盲区的所述特定附近车辆停止所述方向盘的旋转或使所述方向盘振动，从而向所述特定附近驾驶员发出警报。
15.在一实施例中，当位于所述骑手盲区的所述特定附近车辆为自动驾驶车辆时，通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述自动驾驶车辆的传感器信息中获取的自动驾驶车辆的位置、自动驾驶车辆的行驶方向及自动驾驶车辆行驶速度来判断出所述自动驾驶车辆的行驶计划为向所述双轮车的所述附近前方区域移动时，所述盲区监控装置指示位于所述骑手盲区的所述自动驾驶车辆停止因所述行驶计划而导致的所述自动驾驶车辆的车道变更。
16.在一实施例中，在所述步骤(b)中，所述盲区监控装置计算所述智能头盔方向与所述双轮车行驶方向之间的角度差后，利用所述角度差将所述第一对象的至少一个第一位置变换为与所述双轮车行驶方向相对应的至少一个相对位置，并将与所述第二盲区相匹配的所述相对位置的至少一部分所对应的所述第一对象的至少一部分判断为所述第二对象。
17.在一实施例中，在所述步骤(a)中，所述盲区监控装置通过将所述视频图像发送至所述对象检测器来指示所述对象检测器(i)将所述视频图像输入至卷积层中，从而使所述卷积层通过对所述视频图像进行卷积运算来生成至少一个特征图，(ii)将所述特征图输入至rpn中，从而使所述rpn生成与所述特征图上的所述对象相对应的至少一个提议框，(iii)将所述特征图输入至池化层，从而使所述池化层对与所述特征图上的所述提议框相对应的至少一个区域进行池化运算以生成至少一个特征向量，(iv)将所述特征向量输入至fc层中，从而使所述fc层对所述特征向量进行fc运算，(v)将出自所述fc层的输出分别输入至分
类层和回归层，以使所述分类层和所述回归层分别输出与每个所述提议框相对应的每个所述对象的分类信息和回归信息，从而检测所述视频图像上的所述对象。
18.在一实施例中，所述对象检测器通过学习装置执行以下过程，进而达到已学习的状态，所述过程包括：(i)将训练图像输入至所述卷积层中，使所述卷积层对所述训练图像进行所述卷积运算，从而生成学习用特征图；(ii)将所述学习用特征图输入至所述rpn，使所述rpn生成与所述学习用特征图上的至少一个学习用对象相对应的至少一个学习用提议框；(iii)将所述学习用特征图输入至所述池化层，使所述池化层对与所述学习用特征图上的所述学习用提议框相对应的至少一个区域进行所述池化运算，从而生成学习用特征向量；(iv)将所述学习用特征向量输入至所述fc层，使所述fc层对所述学习用特征向量进行所述fc运算；(v)将出自所述fc层的至少一个学习用输出分别输入至所述分类层和所述回归层，分别输出与所述学习用提议框分别对应的每个所述学习用对象的学习用分类信息和学习用回归信息；以及(vi)使损失层参照所述学习用分类信息、所述学习用回归信息及分别与其相对应的gt来计算至少一个损失，并为了反向传播所述损失以最小化所述损失，使所述fc层及所述卷积层中的至少一个参数中的至少一个进行更新。
19.根据本技术的再一实施例，一种利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区的方法，包括以下步骤：(a)若从骑手佩戴的所述智能头盔上安装的gps传感器、加速传感器及地磁传感器中的至少一部分中获取到传感器信息，则盲区监控装置通过参照所述传感器信息来获取双轮车位置、双轮车行驶方向及双轮车行驶速度；以及(b)所述盲区监控装置将(i)通过参照佩戴所述智能头盔的所述骑手的视角和所述智能头盔上安装的照相机或雷达传感器的至少一个感测角来获取的骑手盲区信息、以及(ii)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度发送至与至少一个附近车辆及至少一个附近双轮车相对应的至少一个附近智能头盔，从而执行以下过程中的至少一个：(1)指示所述附近车辆中的至少一个位于骑手盲区的至少一个特定附近车辆参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断所述特定附近车辆与所述双轮车之间发生交通事故的可能性，从而(1-b)向所述特定附近车辆的至少一个特定附近驾驶员发出警报；以及(2)指示与所述附近智能头盔中的位于所述骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附近双轮车行驶速度来(2-a)判断所述特定附近双轮车与所述双轮车之间发生交通事故的可能性，从而(2-b)向与所述特定附近双轮车相对应的至少一个特定附近骑手发出警报。
20.在一实施例中，在所述步骤(b)中，当位于所述骑手盲区的所述特定附近车辆的所述特定附近驾驶员参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的所述车辆位置、所述车辆行驶方向及所述车辆行驶速度来操作所述特定附近车辆的方向盘以向所述双轮车的附近前方区域移动时，所述盲区监控装置指示位于所述骑手盲区的所述特定附近车辆停止所述方向盘的旋转或使所述方向盘振动，从而向所述特定附近驾驶员发出警报。
21.在一实施例中，当位于所述骑手盲区的所述特定附近车辆为自动驾驶车辆时，通
过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述自动驾驶车辆的传感器信息中获取的自动驾驶车辆的位置、自动驾驶车辆的行驶方向及自动驾驶车辆行驶速度来判断出所述自动驾驶车辆的行驶计划为向所述双轮车的所述附近前方区域移动时，所述盲区监控装置指示位于所述骑手盲区的所述自动驾驶车辆停止因所述行驶计划而导致的所述自动驾驶车辆的车道变更。
22.在本技术的另一实施例中，一种利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区的盲区监控装置，包括：至少一个存储器，用于存储指令；以及至少一个处理器，用于执行所述指令，所述处理器执行以下过程：(i)若获取与骑手佩戴的所述智能头盔相对应的至少一个第一盲区的至少一个视频图像，则指示对象检测器检测所述视频图像上的至少一个对象的过程，并在检测的所述对象中确认位于所述第一盲区的至少一个第一对象；以及(ii)通过参照从安装在所述智能头盔上的gps传感器、加速传感器及地磁传感器中的至少一部分中获取的传感器信息来判断智能头盔方向及双轮车行驶方向后，通过参照所述智能头盔方向和所述双轮车行驶方向来确认与所述第一对象中的所述双轮车相对应的位于至少一个第二盲区的至少一个第二对象，并通过安装在所述智能头盔上的平视显示器来显示所述第二对象，或通过安装在所述智能头盔上的至少一个扬声器的声音警报来表示所述第二对象位于所述第二盲区。
23.在一实施例中，所述过程(ii)还包括以下过程：(ii-1)将(i)通过参照佩戴所述智能头盔的所述骑手的视角和拍摄所述视频图像的照相机或雷达传感器的至少一个感测角来获取的骑手盲区信息、以及(ii)通过参照所述传感器信息获取的双轮车位置、双轮车行驶方向及双轮车行驶速度发送至与至少一个附近车辆及至少一个附近双轮车相对应的至少一个附近智能头盔，从而执行以下过程中的至少一个：(1)指示所述附近车辆中的至少一个位于骑手盲区的至少一个特定附近车辆参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断所述特定附近车辆和所述双轮车之间发生交通事故的可能性，从而(1-b)向所述特定附近车辆的至少一个特定附近驾驶员发出警报；以及(2)指示与所述附近智能头盔中的位于所述骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附近双轮车行驶速度来(2-a)判断所述特定附近双轮车与所述双轮车之间发生交通事故的可能性，从而(2-b)向与所述特定附近双轮车相对应的至少一个特定附近骑手发出警报。
24.在一实施例中，当位于所述骑手盲区中的所述特定附近车辆的所述特定附近驾驶员通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的所述车辆位置、所述车辆行驶方向及所述车辆行驶速度来操作所述特定附近车辆的方向盘以向所述双轮车的附近前方区域移动的时，所述处理器指示位于所述骑手盲区的所述特定附近车辆停止所述方向盘的旋转或使所述方向盘振动，从而向所述特定附近驾驶员发出警报。
25.在一实施例中，当位于所述骑手盲区的所述特定附近车辆为自动驾驶车辆时，通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述
自动驾驶车辆的传感器信息中获取的自动驾驶车辆的位置、自动驾驶车辆的行驶方向、及自动驾驶车辆行驶速度来判断出所述自动驾驶车辆的行驶计划为向所述双轮车的所述附近前方区域移动时，所述处理器指示位于所述骑手盲区的所述自动驾驶车辆停止因所述行驶计划而导致的所述自动驾驶车辆的车道变更。
26.在一实施例中，在所述过程(ii)中，所述处理器计算所述智能头盔方向与所述双轮车行驶方向之间的角度差后，利用所述角度差将所述第一对象的至少一个第一位置变换为与所述双轮车行驶方向相对应的至少一个相对位置，并将与所述第二盲区相匹配的所述相对位置的至少一部分所对应的所述第一对象的至少一部分判断为所述第二对象。
27.在一实施例中，在所述过程(i)中，所述处理器通过将所述视频图像发送至所述对象检测器来指示所述对象检测器(i)将所述视频图像输入至卷积层中，从而使所述卷积层通过对所述视频图像进行卷积运算来生成至少一个特征图，(ii)将所述特征图输入至rpn中，从而使所述rpn生成与所述特征图上的所述对象相对应的至少一个提议框，(iii)将所述特征图输入至池化层，从而使所述池化层对与所述特征图上的所述提议框相对应的至少一个区域进行池化运算以生成至少一个特征向量，(iv)将所述特征向量输入至fc层中，从而使所述fc层对所述特征向量进行fc运算，(v)将出自所述fc层的输出分别输入至分类层和回归层，以使所述分类层和所述回归层分别输出与每个所述提议框相对应的每个所述对象的分类信息和回归信息，从而检测所述视频图像上的所述对象。
28.在一实施例中，所述对象检测器通过学习装置执行以下过程，进而达到已学习的状态，所述过程包括：(i)将训练图像输入至所述卷积层中，使所述卷积层对所述训练图像进行所述卷积运算，从而生成学习用特征图；(ii)将所述学习用特征图输入至所述rpn，使所述rpn生成与所述学习用特征图上的至少一个学习用对象相对应的至少一个学习用提议框；(iii)将所述学习用特征图输入至所述池化层，使所述池化层对与所述学习用特征图上的所述学习用提议框相对应的至少一个区域进行所述池化运算，从而生成学习用特征向量；(iv)将所述学习用特征向量输入至所述fc层，使所述fc层对所述学习用特征向量进行所述fc运算；(v)将出自所述fc层的至少一个学习用输出分别输入至所述分类层和所述回归层，分别输出与所述学习用提议框分别对应的每个所述学习用对象的学习用分类信息和学习用回归信息；以及(vi)使损失层参照所述学习用分类信息、所述学习用回归信息及分别与其相对应的gt来计算至少一个损失，并为了反向传播所述损失以最小化所述损失，使所述fc层及所述卷积层中的至少一个参数中的至少一个进行更新。
29.根据本技术的又一实施例，一种利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区的盲区监控装置，包括：至少一个存储器，用于存储指令；以及至少一个处理器，用于执行所述指令，所述处理器执行以下过程:(i)若从骑手佩戴的所述智能头盔上安装的gps传感器、加速传感器及地磁传感器中的至少一部分中获取到传感器信息，则通过参照所述传感器信息来获取双轮车位置、双轮车行驶方向及双轮车行驶速度；以及(ii)将(i)通过参照佩戴所述智能头盔的所述骑手的视角和所述智能头盔上安装的照相机或雷达传感器的至少一个感测角来获取的骑手盲区信息、以及(ii)将所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度发送至与至少一个附近车辆及至少一个附近双轮车相对应的至少一个附近智能头盔，从而执行以下过程中的至少一个：(1)指示所述附近车辆中的至少一个位于骑手盲区的至少一个特定附近车辆参照(i)所述双轮车位置、所述双轮车行驶方
向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断所述特定附近车辆与所述双轮车之间发生交通事故的可能性，从而(1-b)向所述特定附近车辆的至少一个特定附近驾驶员发出警报；以及(2)指示与所述附近智能头盔中的位于所述骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附近双轮车行驶速度来(2-a)判断所述特定附近双轮车与所述双轮车之间发生交通事故的可能性，从而(2-b)向与所述特定附近双轮车相对应的至少一个特定附近骑手发出警报。
30.在一实施例中，在所述过程(ii)中，当位于所述骑手盲区的所述特定附近车辆的所述特定附近驾驶员参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的所述车辆位置、所述车辆行驶方向及所述车辆行驶速度来操作所述特定附近车辆的方向盘以向所述双轮车的附近前方区域移动时，所述处理器指示位于所述骑手盲区的所述特定附近车辆停止所述方向盘的旋转或使所述方向盘振动，从而向所述特定附近驾驶员发出警报。
31.在一实施例中，当位于所述骑手盲区的所述特定附近车辆为自动驾驶车辆时，通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述自动驾驶车辆的传感器信息中获取的自动驾驶车辆的位置、自动驾驶车辆的行驶方向、及自动驾驶车辆行驶速度来判断出所述自动驾驶车辆的行驶计划为向所述双轮车的所述附近前方区域移动时，所述处理器指示位于所述骑手盲区的所述自动驾驶车辆停止因所述行驶计划而导致的所述自动驾驶车辆的车道变更。
32.此外，还提供用于记录计算机程序以执行本技术的方法的计算机可读记录介质。
33.本技术的效果在于，通过使双轮车骑手感知周围环境来防止交通事故。
34.本技术的另一效果在于，通过使双轮车骑手感知周围环境来改善骑手的行驶质量(driving quality)。
35.本技术的又一效果在于，通过v2x通信将双轮车骑手获取的信息发送至附近车辆，以使附近车辆安全驾驶，由此减少道路上的交通事故。
附图说明
36.以下用于解释本技术的示例性实施方式的附图仅是本技术的示例性实施方式的一部分，并且本领域技术人员无需进行创造性劳动即可基于这些附图获得其他附图。
37.图1为本技术一实施例的盲区监控装置的简易示意图，所述盲区监控装置通过利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区；
38.图2为本技术一实施例的盲区监控方法的简易示意图，所述盲区监控方法通过利用双轮车骑手用智能头盔来监控双轮车的盲区；
39.图3为本技术一实施例的对象检测器的简易示意图，所述对象检测器用于在利用双轮车骑手用智能头盔来监控双轮车的盲区的方法中从至少一个视频图像检测至少一个对象；
40.图4为本技术一实施例的监控过程的简易示意图，所述过程为利用双轮车骑手用
智能头盔在双轮车盲区监控方法中监控双轮车盲区的过程；
41.图5为本技术一实施例的在利用双轮车骑手用智能头盔来监控双轮车盲区的方法中的双轮车及周围车辆的行驶状态的简易示意图；
42.图6为本技术一实施例的进行自动驾驶的自动驾驶车辆的工作状态的简易示意图，所述车辆在利用双轮车骑手用智能头盔来监控双轮车盲区的方法中从智能头盔中参照双轮车盲区的信息来进行自动驾驶。
具体实施方式
43.下面对本技术进行的详细说明参照作为特定实施例示例性示出的附图，以使本技术的目的、技术方案及优点清楚。这些实施例为使本领域技术人员充分实施本技术而被详细说明。
44.此外，在本技术的描述中，需要理解的是，术语“包括”及其变化形式的其他术语等仅是为了添加其他技术特征、附加物、组件或步骤，本技术的其他目的、有益效果、特征等内容将通过说明书和本技术的实施方式向本领域技术人员揭示。以下通过一些实施例和附图具体说明本技术的保护内容，当然，它们仅仅为示例，并且目的不在于限制本技术。
45.此外，本技术涵盖了本说明书中指示的示例实施例的所有可能的组合。应当理解，本技术的各种实施例尽管不同，但不一定是相互排斥的。例如，在不背离本技术的精神和范围的情况下，可以在其他实施例内实现本文结合一个实施例描述的特定形状、结构或特性。另外，应当理解，在不脱离本技术的精神和范围的情况下，可以修改每个公开的实施例内的各个元件的位置或布置。因此，以下详细描述不应被理解为限制性的，并且本技术的范围仅由适当地解释的所附权利要求以及权利要求所赋予的等同物的全部范围来限定。在附图中，贯穿几个方面，相似的附图标记指代相同或相似的功能。
46.本技术内容中提及的任何图像都可以包括与任何已铺设或未铺设的道路有关的图像，在这种情况下，道路上或道路附近的物体可能包括车辆，人员，动物，植物，建筑物，飞行物体(例如飞机或无人机)，或可能出现在与道路有关的场景中的任何其他障碍物，但是本技术的范围不限于此。作为另一示例，本技术中提及的所述任何图像可以包括与任何道路都不相关的图像，诸如与巷道，土地，海洋，湖泊，河流，山脉，森林，沙漠，天空或任何室内空间有关的图像，在这种情况下，上述任何图像中的物体可能包括车辆，人员，动物，植物，建筑物，飞行物体(如飞机或无人驾驶飞机)，轮船，两栖飞机或轮船，或可能出现在与小巷有关的场景中的任何其他障碍物，土地，海洋，湖泊，河流，山脉，森林，沙漠，天空或任何室内空间，但是本技术的范围不限于此。
47.本文提供的本技术的标题和摘要仅是为了方便，并不限制或解释实施例的范围或含义。
48.为了使本技术的本领域技术人员能够容易地实施，将通过参考附图来详细说明本技术的优选实施例，如下所示。
49.图1为本技术一实施例的盲区监控装置的简易示意图，所述盲区监控装置通过利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区。参照图1，盲区监控装置100可以包括：存储器110，用于存储指令(instruction)，所述指令为通过参照从双轮车骑手佩戴的智能头盔上安装的至少一个传感器获取的传感器信息来监控双轮车盲区；以及处理器120，
用于执行以下步骤，根据存储于存储器110的指令参照从智能头盔上安装的传感器获取的传感器信息来监控双轮车的盲区。在本技术中，双轮车可以包括独轮自行车、自行车、三轮自行车、两轮车、单轮或三轮摩托车等，但本技术的范围不限于此。
50.具体地，盲区监控装置100通常使用至少一个计算装置与至少一个计算机软件的组合来达到需要的系统性能。计算装置包括例如：计算机处理器、memory、storage、输入设备以及输出设备或任何其他常规计算组件，路由器或交换机等电子通信设备，网络附加存储(na)及存储区域网络(san)等电子信息存储系统。计算机软件是使计算装置以特定方式发挥功能的指令。
51.此外，计算装置的处理器可以包括：mpu(micro processing unit)或cpu(central processing unit)，高速缓冲存储器(cache memory)，数据总线(data bus)等硬件结构。另外，计算装置还可以包括执行运营体制、实现特定功能的应用程序的软件结构。
52.然而，对计算装置的这种描述不排除包括用于实现本技术的处理器、存储器、介质或任何其他计算组件的任何组合的集成设备。
53.以下参照图2，来说明双轮车的盲区监控方法，所述方法为利用如上结构的本技术一实施例的盲区监控装置100来参照从智能头盔上安装的传感器获取的传感器信息的双轮车的盲区监控方法。
54.首先，在步骤s1中，若从双轮车上的骑手佩戴的智能头盔上安装的至少一个照相机或至少一个雷达传感器10获取至少一个第一盲区的至少一个视频图像，则盲区监控装置100指示对象检测器检测视频图像上的至少一个对象。此时，雷达传感器可以包括激光雷达传感器(lidar sensor)、激光传感器(laser sensor)、超声波传感器等，并且只要是可以通过扫描周围环境来获取与周围环境相对应的图像的传感器，则都可以包括在其中。
55.作为一个示例，参照图3，盲区监控装置100可以将视频图像发送至对象检测器150。则对象检测器150会将视频图像输入至卷积层151，使卷积层151对视频图像进行至少一次卷积运算，从而生成至少一个特征图。而且，对象检测器150可以输出与特征图上的至少一个对象相对应的至少一个提议框。此后，对象检测器150可以将特征图输入至池化层(pooling layer)153,使池化层153对与特征图上的提议框相对应的至少一个区域进行池化运算，从而输出至少一个特征向量。此后，对象检测器150将特征向量输入至全连接(fully-connected，fc)层154，使fc层154对特征向量进行fc运算，并可以将出自fc层154的至少一个输出分别输入至分类层155和回归层156，从而分别生成与每个提议框相对应的每个对象的分类信息和回归信息，以检测视频图像上的对象。
56.此时，对象检测器可以根据学习装置达到已学习的状态。
57.即，学习装置将至少一个训练图像输入至卷积层151，使卷积层151通过对训练图像进行至少一次卷积运算来生成至少一个学习用特征图，并且将学习用特征图输入至区域建议网络(region proposal network，rpn)152，使rpn 152输出与学习用特征图上的至少一个学习用对象相对应的至少一个学习用提议框。之后，学习装置将学习用特征图输入至池化层153，使池化层153对与学习用特征图上的学习用提议框相对应的至少一个区域进行池化运算，从而生成至少一个学习用特征向量，并将学习用特征向量输入至fc层154，使fc层154对学习用特征向量进行fc运算。此后，学习装置将出自fc层154的至少一个学习用输出分别输入至分类层155和回归层156，从而分别生成与学习用提议框分别对应的至少一个
学习用对象的学习用分类信息和学习用回归信息。而且，学习装置使损失层参照与学习用分类信息、学习用回归信息及与其分别相对应的确实信息(ground truth information，gt information)来生成至少一个损失，并为了通过利用损失的反向传播来最小化损失，对fc层154及卷积层151中的至少一个参数中的至少一个进行更新。作为重复以上步骤的结果，学习装置可以学习对象检测器。
58.接下来，在步骤s2中，盲区监控装置100可以在根据对象检测器检测到的对象中确认位于第一盲区的至少一个第一对象。
59.此时，第一盲区可以为与智能头盔相对应的盲区，可以是智能头盔的预设距离以内且激光雷达无法用视觉感知的区域。
60.接下来，在步骤s3中，若从安装在智能头盔上的传感器20，例如gps传感器、加速传感器及地磁传感器中的至少一部分中获取传感器信息，则盲区监控装置100可以通过参照出自gps传感器、加速传感器及地磁传感器中的至少一部分的传感器信息来确认智能头盔方向和双轮车行驶方向。
61.此后，在步骤s4中，盲区监控装置100可以通过参照智能头盔方向和双轮车行驶方向来确认与第一对象中的双轮车相对应的位于至少一个第二盲区的至少一个第二对象。此时，第二盲区可以是双轮车周围区域中双轮车上的骑手无法用视觉感知的区域。
62.即，盲区监控装置100可以计算智能头盔方向与双轮车行驶方向之间的至少一个角度差后，利用角度差将第一对象的至少一个第一位置变换为与双轮车行驶方向相对应的至少一个相对位置(relative location)，并将与第二盲区相匹配的相对位置的至少一部分所对应的第一对象的至少一部分确定为第二对象。
63.作为一个示例，参照图4，双轮车1的骑手佩戴的智能头盔2上安装的照相机或雷达传感器的至少一个感测角4可以与智能头盔的盲区，即，智能头盔的至少一个后方区域相对应，双轮车1的盲区5可以是至少一个预设区域，所述预设区域为骑手无法根据双轮车1的行驶方向来视觉感知的区域。
64.此时，智能头盔2的智能头盔方向可以由骑手改变，在这种情况下，利用对象检测器检测到的位于作为智能头盔盲区的第一盲区中的第一对象，可能不是从作为双轮车盲区的第二盲区检测到的对象。
65.因此，盲区监控装置100以智能头盔2为基准来确定头盔方向rd与双轮车行驶方向bd之间的角度，并通过参照确定的角度来将第一对象的第一位置变换为以双轮车行驶方向bd为基准的相对位置，将相对位置位于第二盲区5的第一对象的至少一部分确定为第二对象，从而可以检测位于双轮车的盲区5的对象。
66.接下来，在步骤s5中，盲区监控装置100通过智能头盔上安装的平视显示器来显示位于作为双轮车盲区的第二盲区的第二对象，或通过安装在智能头盔上的至少一个扬声器发出的警报来表示第二对象位于第二盲区，从而使骑手感知位于双轮车盲区的对象，即，感知到至少一个行人、至少一个车辆或至少一个其他双轮车，以实现双轮车的安全行驶。
67.与此同时，在步骤s6中，盲区监控装置100可以通过参照佩戴智能头盔的骑手视角和拍摄视频图像的照相机或雷达传感器的感测角来确认至少一个骑手盲区。
68.即，再次参照图4，可以确定骑手盲区6，所述骑手盲区6为脱离智能头盔上安装的照相机或雷达传感器的感测角4和佩戴智能头盔的骑手视角3范围的状态。
69.因此，在步骤s7中，盲区监控装置100可以将(i)通过参照佩戴智能头盔的骑手的视角和拍摄视频图像的照相机或雷达传感器的感测角来获取的骑手盲区信息、以及(ii)通过参照出自智能头盔的传感器信息来获取的双轮车位置、双轮车行驶方向及双轮车行驶速度发送至至少一个附近双轮车的至少一个智能头盔。此时，盲区监控装置100可以通过v2x(vehicle to everything)通信发送骑手盲区信息、双轮车位置、双轮车行驶方向及双轮车行驶速度。
70.之后，位于骑手盲区中的一个位置的特定附近车辆通过参照(i)从盲区监控装置100获取的双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来确定特定附近车辆与双轮车之间发生交通事故的可能性，并可以利用所述可能性来对特定附近车辆的特定附近驾驶员发出警报。另外，与附近智能头盔中的位于骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔可以参照(i)从盲区监控装置100获取的双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从特定附近智能头盔的传感器信息中获取的附近车辆位置、附近车辆行驶方向及附近车辆行驶速度来判断特定附近车辆与所述双轮车之间发生交通事故的可能性，从而向与特定附近双轮车相对应的至少一个特定附近骑手发出警报。
71.此时，位于骑手盲区的特定附近车辆的特定附近驾驶员参照(i)从盲区监控装置100获取的双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来操作特定附近车辆的方向盘以向双轮车的附近前方区域移动时，位于骑手盲区的特定附近车辆可以通过停止方向盘旋转或使方向盘振动来向特定附近驾驶员发出警报。
72.作为一个示例，参照图5，在双轮车1附近行驶的车辆30通过参照从盲区监控装置100接收的骑手盲区信息来确认车辆30是否位于骑手盲区6中，当车辆30被判断为位于所述骑手盲区6中时，若将车辆30的行驶方向变更为双轮车1的骑手不注意的区域，即，骑手无法视觉性感知的双轮车的附近前方区域，则对发生交通事故的可能性超过预设阈值的危险区域40进行确认，进而中断车辆30进入危险区域40，以防止可能会发生在车辆30与骑手1之间的交通事故。
73.此外，当位于骑手盲区的特定附近车辆为自动驾驶车辆时，通过参照(i)双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从自动驾驶车辆的传感器信息中获取的自动驾驶车辆位置、自动驾驶车辆行驶方向、及自动驾驶车辆行驶速度来判断出自动驾驶车辆的行驶计划为向双轮车的附近前方区域移动时，可以使位于骑手盲区的自动驾驶车辆停止因自动驾驶车辆的行驶计划而导致的自动驾驶车辆的车道变更。
74.作为一个示例，参照图6，在步骤s11中，自动驾驶车辆200可以通过参照自动驾驶计划201和出自至少一个转向传感器202的至少一个信号来判断车道变更与否及车道变更时的车道变更方向，在步骤s12中，利用从至少一个位置传感器及至少一个速度传感器获取的传感器信息来参照自动驾驶车辆的位置、自动驾驶车辆的行驶方向及自动驾驶车辆的行驶速度，在自动驾驶车辆行驶期间，若通过v2x通信部204获取到骑手盲区信息、双轮车位置、双轮车行驶方向及双轮车行驶速度，则可以参照骑手盲区信息来判断自动驾驶车辆200自身是否位于骑手盲区中。
75.之后，在步骤s13中，若判断出自动驾驶车辆200位于骑手盲区中，则可以判断出自动驾驶车辆200的行驶环境是否危险。
76.即，通过参照(i)双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从自动驾驶车辆的传感器信息中获取的自动驾驶车辆位置、自动驾驶车辆行驶方向及自动驾驶车辆行驶速度来判断出自动驾驶车辆的行驶计划为从骑手盲区中的一个位置向双轮车附近前方区域移动时，由于双轮车的骑手无法感知到自动驾驶车辆100，因此可以判断出自动驾驶车辆发生交通事故的可能性大于预设阈值。
77.则，自动驾驶车辆200通过启动电子转向装置205来使方向盘难以操作或使方向盘发生振动，从而使自动驾驶车辆200的驾驶员感知到危险情况。并且，自动驾驶车辆200可以通过启动自动驾驶系统206来中断自动驾驶车辆200向双轮车方向变更车道，从而防止交通事故。另外，自动驾驶车辆200可以通过启动警报装置207，利用光或声音等来向自动驾驶车辆的驾驶员及双轮车的骑手发出警报，从而防止交通事故。
78.在上述说明中，盲区监控装置监控双轮车盲区的过程及将骑手盲区信息发送至附近车辆或附近智能头盔的过程被描述为同时执行，但与此不同，可以仅执行盲区监控装置将骑手盲区信息发送至附近车辆或附近智能头盔的步骤。
79.即，若从骑手佩戴的智能头盔上安装的gps传感器、加速传感器及地磁传感器中的至少一部分中获取传感器信息，则盲区监控装置可以通过参照出自智能头盔的传感器信息来获取双轮车位置、双轮车行驶方向及双轮车行驶速度的过程。之后，盲区监控装置将(i)通过参照佩戴智能头盔的骑手的视角和智能头盔上安装的照相机或雷达传感器的感测角来获取的骑手盲区信息，以及(ii)双轮车位置、双轮车行驶方向及双轮车行驶速度发送至与附近车辆及附近双轮车相对应的附近智能头盔，从而执行以下步骤中的至少一个，(1)指示附近车辆中位于骑手盲区中的特定附近车辆通过参照(i)双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断特定附近车辆与双轮车之间发生交通事故的可能性，从而(1-b)向特定附近车辆的特定附近驾驶员发出警报；以及(2)指示与附近智能头盔中位于骑手盲区中的至少一个特定附近双轮车相对应的特定附近智能头盔通过参照(i)双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附件双轮车行驶速度来(2-a)判断特定附近双轮车与双轮车之间发生交通事故的可能性，从而(2-b)向与特定附近双轮车相对应的特定附近骑手发出警报。
80.此时，当位于骑手盲区的特定附近车辆的特定附近驾驶员通过参照(i)双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来操作特定附近车辆的方向盘以向双轮车的附近前方区域移动时，盲区监控装置100指示位于骑手盲区的特定附近车辆停止方向盘旋转或使方向盘振动，以向特定附近驾驶员发出警报。
81.另外，当位于骑手盲区的特定附近车辆为自动驾驶车辆时，通过参照(i)双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从自动驾驶车辆的传感器信息中获取的自动驾驶车辆位置、自动驾驶车辆行驶方向及自动驾驶车辆行驶速度来判断出自动驾驶车辆的行驶计划为向双轮车的附近前方位置移动时，盲区监控装置100指示位于骑手盲区的
自动驾驶车辆停止因行驶计划而导致的自动驾驶车辆的车道变更。
82.如上所述，本技术通过参照智能头盔上安装的照相机或出自激光传感器的传感器信息来检测盲区，并以生成的头盔方向为基准来获取盲区检测结果后，利用人的识别状态来监控驾驶员的状态从而确认智能头盔方向，参照智能头盔方向和双轮车行驶方向，以头盔方向为基准，将基于从盲区检测结果变换的双轮车行驶方向的盲区检测结果发送至双轮车骑手，从而确认从智能头盔上安装的照相机或激光传感器的感测角和佩戴智能头盔的激光雷达的视角中的任一项都无法确认的激光雷达盲区后，通过v2x通信将确认的激光雷达盲区发送至附近车辆或附近双轮车，从而使附近车辆或附近双轮车可以参照骑手盲区来安全行驶。
83.并且，本技术的技术方案的目的或对现有技术做出贡献的部分可以通过各种计算机手段以可执行程序命令的形式来实现，并且可以被记录到计算机可读记录介质中。计算机可读介质可以单独地或组合地包括程序命令，数据文件和数据结构。记录到介质的程序命令可以是为本技术内容专门设计的组件，或者可以是计算机软件领域的技术人员可以使用的。计算机可读记录介质包括磁性介质(例如硬盘，软盘和磁带)，光学介质(例如cd-rom和dvd)，磁光介质(例如软盘)和硬件设备(例如rom，ram和闪存)设计用于存储和执行程序。程序命令不仅包括由编译器进行的机器语言代码，而且包括可由计算机执行的解释器等可以使用的高级代码。前述硬件设备可以起软件模块的作用，以执行本技术的动作，并且它们可以在相反的情况下进行相同的操作。硬件设备可以与诸如rom和ram之类的存储器组合以存储程序命令，并且可以包括诸如cpu或gpu之类的处理器，以执行存储在存储器中的命令，并且还包括用于与外部设备发送和接收信号的通信部分。
84.如上所述，已经通过诸如详细的部件，受限的实施例和附图的特定事项解释了本技术。尽管已经通过优选实施例描述了本技术，但是，本领域技术人员将理解，本技术的保护范围可以在不脱离本发明的精神和范围的情况下进行各种改变和修改。
85.因此，本技术的思想一定不限于所解释的实施例，并且以下专利权利要求以及包括与专利权利要求等同或等同的变型在内的所有内容都属于本技术的思想的范畴。

技术特征：

1.一种利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区的方法，其中，包括以下步骤：(a)若从骑手佩戴的所述智能头盔上安装的全球定位系统传感器、加速传感器及地磁传感器中的至少一部分中获取到传感器信息，则盲区监控装置通过参照所述传感器信息来获取双轮车位置、双轮车行驶方向及双轮车行驶速度；以及(b)所述盲区监控装置将(i)通过参照佩戴所述智能头盔的所述骑手的视角和所述智能头盔上安装的照相机或雷达传感器的至少一个感测角来获取的骑手盲区信息、以及(ii)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度发送至与至少一个附近车辆及至少一个附近双轮车相对应的至少一个附近智能头盔，从而执行以下过程中的至少一个：(1)指示所述附近车辆中的至少一个位于骑手盲区的至少一个特定附近车辆参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断所述特定附近车辆与所述双轮车之间发生交通事故的可能性，从而(1-b)向所述特定附近车辆的至少一个特定附近驾驶员发出警报；以及(2)指示与所述附近智能头盔中的位于所述骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附近双轮车行驶速度来(2-a)判断所述特定附近双轮车与所述双轮车之间发生交通事故的可能性，从而(2-b)向与所述特定附近双轮车相对应的至少一个特定附近骑手发出警报。2.如权利要求1所述的方法，其中，在所述步骤(b)中，当位于所述骑手盲区的所述特定附近车辆的所述特定附近驾驶员参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的所述车辆位置、所述车辆行驶方向及所述车辆行驶速度来操作所述特定附近车辆的方向盘以向所述双轮车的附近前方区域移动时，所述盲区监控装置指示位于所述骑手盲区的所述特定附近车辆停止所述方向盘的旋转或使所述方向盘振动，从而向所述特定附近驾驶员发出警报。3.如权利要求1所述的方法，其中，当位于所述骑手盲区的所述特定附近车辆为自动驾驶车辆时，通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述自动驾驶车辆的传感器信息中获取的自动驾驶车辆的位置、自动驾驶车辆的行驶方向及自动驾驶车辆行驶速度来判断出所述自动驾驶车辆的行驶计划为向所述双轮车的所述附近前方区域移动时，所述盲区监控装置指示位于所述骑手盲区的所述自动驾驶车辆停止因所述行驶计划而导致的所述自动驾驶车辆的车道变更。

技术总结

本申请公开了一种利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区的方法，所述方法包括以下步骤：(a)若从所述智能头盔上安装的传感器中获取到传感器信息，则盲区监控装置通过参照所述传感器信息来获取双轮车位置、双轮车行驶方向及双轮车行驶速度；以及(b)所述盲区监控装置将(i)通过参照佩戴所述智能头盔的所述骑手的视角和所述智能头盔上安装的照相机或雷达传感器的至少一个感测角来获取的骑手盲区信息、以及(ii)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度发送至与至少一个附近车辆及至少一个附近双轮车相对应的至少一个附近智能头盔，从而执行多个过程中的至少一个。过程中的至少一个。过程中的至少一个。