(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010449640.6
(22)申请日 2020.05.25
(71)申请人 齐鲁工业大学
地址 250353 山东省济南市长清区大学路
3501号
(72)发明人 张友梅 李彬 张瑜
(74)专利代理机构 济南圣达知识产权代理有限
公司 37221
代理人 闫伟姣
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/46(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称
(57)摘要
本发明公开了一种人密度图估计方法及
系统，所述方法包括以下步骤：
获取场景图像，对场景图像进行预处理，生成人密度标签图；对 场景图像和人密度标签图进行数据增广，得到
多个场景图像及相应人密度标签图；根据所述
多个场景图像及相应人密度标签图，训练人
密度图估计模型；接收场景图像，基于训练好的
人密度图估计模型进行人密度估计。本发明
针对复杂背景下人头尺寸差异问题，利用多尺度
由粗到细的策略进行人密度图估计。权利要求书2页 说明书7页 附图3页CN 111626184 A 2020.09.04
C N 111626184
A
1.一种人密度图估计方法，其特征在于，包括以下步骤：
获取场景图像，对场景图像进行预处理，生成人密度标签图；
对场景图像和人密度标签图进行数据增广，得到多个场景图像及相应人密度标签图；
根据所述多个场景图像及相应人密度标签图，训练人密度图估计模型；
接收场景图像，基于训练好的人密度图估计模型进行人密度估计。
2.如权利要求1所述的一种人密度图估计方法，其特征在于，所述人密度标签图的生成方法包括：
对场景图像进行人区域识别和人头识别；
基于最近邻算法对各个人区域的人头密度进行估计，生成人密度标签图。
3.如权利要求1所述的一种人密度图估计方法，其特征在于，所述数据增广包括：首先对场景图像和密度标签图进行随机截取，并进行水平翻转得到图像块；然后针对场景图像和密度标签图的图像块进行缩放，得到多对场景图像和密度标签图。
4.如权利要求1所述的一种人密度图估计方法，其特征在于，所述人密度图估计模型包括特征提取模块、多个串联的多尺度模块和特征强化模块；其中，所述特征提取模块包括卷积层和池化层；所述多尺度模块包括多个并行的空洞卷积层；所述特征强化模块包括并行的一路池化层、激活层和全连接层，以及一路卷积层。
5.如权利要求4所述的一种人密度图估计方法，其特征在于，所述人密度图估计模型采用双密度图生成机制，包括两个生成密度图的分支；一个分支包括特征提取模块、多个串联的多尺度模块和特征强化模块，另一个分支包括特征提取模块和卷积网络，两路分别生成精度不同的人密度估计图。
6.如权利要求4或5所述的一种人密度图估计方法，其特征在于，所述多尺度模块包括串联的空洞卷积单元及人头定位单元，所述空洞卷积单元包括三个分支，分别执行卷积核大小相同、空洞率不同的空洞卷积操作，且设置填充项，使三个分支得到的特征图大小一致，最后将三个分支得到的特征图相加；所述人头定位单元包括两个分支，一路执行3x3卷积得到单张人头概率图，另一路由1x1的卷积进一步提取特征，最终计算两个分支的哈达玛积，得到人头位置的强化特征。
7.如权利要求4或5所述的一种人密度图估计方法，其特征在于，所述特征强化模块包括两个分支，一个分支包括串联的全局池化层、全连接层、激活层、全连接层和Sigmoid操作；另一个分支包括卷积层；最后将两个分支的结果相乘。
8.一种人密度图估计系统，其特征在于，包括：
图像采集模块，获取场景图像；
标签图生成模块，对场景图像进行预处理，生成人密度标签图；
数据增广模块，对场景图像和人密度标签图进行数据增广，得到多个场景图像及相应人密度标签图；
模块训练模块，根据所述多个场景图像及相应人密度标签图，训练人密度图估计模型；
密度估计模块，接收场景图像，基于训练好的人密度图估计模型进行人密度估计。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算
机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述人密度图估计方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述人密度图估计方法。
一种人密度估计方法及系统
技术领域
[0001]本发明属于计算机视觉技术领域，尤其涉及一种人密度估计方法及系统。
背景技术
[0002]本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
[0003]人密度图估计是指针对给定图像或视频，估计该图像或视频中人分布，并以密度图的形式展示。进一步地，根据密度图的像素值可统计其中的人人数。作为智能人行为分析技术的一个子任务，近年来该技术已成为学术界及工业界的研究热点，其应用也较为广泛，如车站等地的人流量监控及景区的人分布等。实时监控场所中的人密度及人数可提供给监控后台参照信息，防止因人密度过大或人数太多所带来的潜在危机，如踩踏事故等。
[0004]目前的人密度估计方法多采用卷积神经网络，避免了传统机器学习中复杂的手动特征提取的任务，但其应对多尺度目标及复杂背景的能力较弱。
发明内容
[0005]为克服上述现有技术的不足，本发明提供了一种人密度图估计方法及系统，针对复杂背景下人头尺寸差异问题，利用多尺度模块和特征强化单元特征提取有效特征，实现了由粗到细的策略进行人密度图估计。
[0006]为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
[0007]一种人密度图估计方法，包括以下步骤：
[0008]获取场景图像，对场景图像进行预处理，生成人密度标签图；
[0009]对场景图像和人密度标签图进行数据增广，得到多个场景图像及相应人密度标签图；
[0010]根据所述多个场景图像及相应人密度标签图，训练人密度图估计模型；[0011]接收场景图像，基于训练好的人密度图估计模型进行人密度估计。[0012]进一步地，所述人密度标签图的生成方法包括：
[0013]对场景图像进行人区域识别和人头识别；
[0014]基于最近邻算法对各个人区域的人头密度进行估计，生成人密度标签图。[0015]进一步地，所述数据增广包括：首先对场景图像和密度标签图进行随机截取，并进行水平翻转得到图像块；然后针对场景图像和密度标签图的图像块进行缩放，得到多对场景图像和密度标签图。
[0016]进一步地，所述人密度图估计模型包括特征提取模块、多个串联的多尺度模块和特征强化模块；其中，所述特征提取模块包括卷积层和池化层；所述多尺度模块包括多个并行的空洞卷积层；所述特征强化模块包括并行的一路池化层、激活层和全连接层，以及一路卷积层。
[0017]进一步地，所述人密度图估计模型采用双密度图生成机制，包括两个生成密度图的分支；一个分支包括特征提取模块、多个串联的多尺度模块和特征强化模块，另一个分支包括特征提取模块和卷积网络，两路分别生成精度不同的人密度估计图。
[0018]进一步地，所述多尺度模块包括串联的空洞卷积单元及人头定位单元，所述空洞卷积单元包括三个分支，分别执行卷积核大小相同、空洞率不同的空洞卷积操作，且设置填充项，使三个分支得到的特征图大小一致，最后将三个分支得到的特征图相加；所述人头定位单元包括两个分支，一路执行3x3卷积得到单张人头概率图，另一路由1x1的卷积进一步提取特征，最终计算两个分支的哈达玛积，得到人头位置的强化特征。
[0019]进一步地，所述特征强化模块包括两个分支，一个分支包括串联的全局池化层、全连接层、激活层、全连接层和Sigmoid操作；另一个分支包括卷积层；最后将两个分支的结果相乘。
[0020]一个或多个实施例提供了一种人密度图估计系统，包括：
[0021]图像采集模块，获取场景图像；
[0022]标签图生成模块，对场景图像进行预处理，生成人密度标签图；
[0023]数据增广模块，对场景图像和人密度标签图进行数据增广，得到多个场景图像及相应人密度标签图；
[0024]模块训练模块，根据所述多个场景图像及相应人密度标签图，训练人密度图估计模型；
[0025]密度估计模块，接收场景图像，基于训练好的人密度图估计模型进行人密度估计。
[0026]一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述人密度图估计方法。
[0027]一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述人密度图估计方法。
[0028]以上一个或多个技术方案存在以下有益效果：
[0029]本发明的密度标签图根据图像中的人头位置生成，并且通过数据增广方式得到大量训练用的场景图和密度标签图对，训练数据获取效率高，且保证了后续模型的泛化能力；[0030]本发明通过最近邻方法进行密度标签图的计算，首先利用最近邻算法估算图像中人头大小尺寸；然后根据人头大小生成对应高斯核并覆盖到密度图对应位置，得到密度图标签；
[0031]本发明采用双密度图生成机制，能够同时得到两个不同精度的密度图，实现了由粗到细的策略进行人密度图估计；其中粗略的人密度图估计可在特征提取过程中指导网络进行一次有监督学习，加快特征提取模块的训练，精细的密度图估计则借助特征提取进一步地生成更准确的密度图并作为人密度估计结果；
[0032]本发明引入多尺度模块和特征强化模块，能够强化目标所在位置特征以及对有效特征进行自适应加强，提高了估计精度。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议