人群计数方法、装置、终端设备以及存储介质与流程

1.本发明涉及公共安全技术领域，尤其涉及一种人群计数方法、装置、终端设备以及存储介质。


背景技术：

2.随着群体聚集行为的增加，需要通过人群计数对人群聚集行为进行有效的管理和控制，以避免人群拥堵甚至踩踏事故的发生。
3.现有技术中通常采用基于视频帧信息，构建人群计数模型的技术方案，通过将摄像头获取的视频帧输入到人群计数模型中，能够实时判断该段时间内人群数量；如果人群数量超过设定的阈值，那么可以立即采取措施对人群进行疏导引流，保证人民群众生命财产安全。
4.在构思及实现本技术过程中，发明人发现至少存在如下问题：上述方法在现实的背景之下，人群计数模型的检测计数精度不高，主要原因包括：第一，视频是摄像头拍摄，画质较为模糊，人群数量多的情况下，人头攒动，相互遮挡，模型提取有效特征难度较大；第二，靠近摄像头的地方人群特征清晰，远离摄像头的地方人群特征不明显，不同人的尺度不同导致计数难度提高；第三，现有的基于数值预测和基于密度图预测的精度较低。由此导致人群计数的准确度较低。
5.因此，有必要提出一种提高人群计数的准确度的解决方案。
6.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

7.本发明的主要目的在于提供一种人群计数方法、装置、终端设备以及存储介质，旨在提高人群计数的准确度。
8.为实现上述目的，本发明提供一种人群计数方法，所述人群计数方法包括：
9.获取目标图片；
10.通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值；
11.对所述密度图预测值及人头数值预测值进行加权计算，得到人群数量计数值。
12.可选地，所述人群计数模型包括多尺度权重分支模块及全连接分支模块，所述通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值的步骤之前还包括：
13.获取预先采集的样本数据，其中，所述样本数据包括样本图像及对应的真实标签；
14.通过自适应转换模块对所述样本图像进行增强，得到样本特征图；
15.通过所述多尺度权重分支模块对所述样本特征图进行处理，得到样本密度图预测值；
16.将所述样本密度图预测值输入所述全连接分支模块进行计算，得到样本人头数值预测值；
17.基于多目标损失函数框架，根据所述样本密度图预测值、样本人头数值预测值及对应的真实标签训练所述人群计数模型。
18.可选地，所述通过自适应转换模块对所述样本图像进行增强，得到样本特征图的步骤包括：
19.对所述样本图像进行分割及纵向组合，得到纵向组合图像；
20.将所述纵向组合图像经过主干网络处理，得到变换尺度特征图；
21.对所述变换尺度特征图进行上采样，得到原始尺度特征图；
22.通过所述自适应转换模块对所述原始尺度特征图进行信息整合及位置恢复，得到所述样本特征图。
23.可选地，所述样本特征图包括第一尺寸特征图、第二尺寸特征图及第三尺寸特征图，所述样本密度图预测值包括第一密度图、第二密度图及第三密度图，所述通过所述多尺度权重分支模块对所述样本特征图进行处理，得到样本密度图预测值的步骤包括：
24.分别对所述第一尺寸特征图、第二尺寸特征图及第三尺寸特征图进行上采样，得到第一权重矩阵、第二权重矩阵及第三权重矩阵；
25.将所述第一权重矩阵、第二权重矩阵及第三权重矩阵进行拼接，得到权重三维数组，并对所述权重三维数组进行归一化处理，得到第四权重矩阵、第五权重矩阵及第六权重矩阵；
26.分别对所述第一尺寸特征图、第二尺寸特征图及第三尺寸特征图进行下采样处理，得到第四尺寸特征图、第五尺寸特征图及第六尺寸特征图；
27.将第四权重矩阵与第四尺寸特征图、第五权重矩阵与第五尺寸特征图、第六权重矩阵与第六尺寸特征图分别进行点乘，得到所述第一密度图、第二密度图及第三密度图。
28.可选地，所述真实标签包括密度图标签及人群数量标签，所述基于多目标损失函数框架，根据所述样本密度图预测值、样本人头数值预测值及对应的真实标签训练所述人群计数模型的步骤包括：
29.根据所述样本密度图预测值及密度图标签计算密度图损失函数；
30.根据所述样本人头数值预测值及人群数量标签计算人群数量损失函数；
31.将所述密度图损失函数及人群数量损失函数带入所述多目标损失函数框架，计算得到多目标损失函数；
32.将所述多目标损失函数回传至所述人群计数模型，对所述人群计数模型的网络参数进行更新，并返回执行通过所述多尺度权重分支模块对所述样本特征图进行处理，得到样本密度图预测值的步骤及后续步骤，以此循环，进行参数迭代，直到所述人群计数模型收敛，终止训练，得到训练后的人群计数模型。
33.可选地，所述根据所述样本密度图预测值及密度图标签计算密度图损失函数的步骤包括：
34.根据所述第一密度图、第二密度图、第三密度图及对应的密度图标签，计算各密度图损失权重及密度图误差比值项；
35.基于所述各密度图损失权重及密度图误差比值项计算得到所述密度图损失函数。
36.可选地，所述根据所述样本人头数值预测值及人群数量标签计算人群数量损失函数的步骤包括：
37.根据所述样本人头数值预测值及人群数量标签计算得到均方误差及人群数量误差比值项；
38.基于所述均方误差及人群数量误差比值项计算得到所述人群数量损失函数。
39.此外，为实现上述目的，本发明还提供一种人群计数装置，所述人群计数装置包括：
40.获取模块，用于获取目标图片；
41.预测模块，用于通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值；
42.加权模块，用于对所述密度图预测值及人头数值预测值进行加权计算，得到人群数量计数值。
43.此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人群计数程序，所述人群计数程序被所述处理器执行时实现如上所述的人群计数方法的步骤。
44.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人群计数程序，所述人群计数程序被处理器执行时实现如上所述的人群计数方法的步骤。
45.本发明实施例提出的一种人群计数方法、装置、终端设备以及存储介质，通过获取目标图片；通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值；对所述密度图预测值及人头数值预测值进行加权计算，得到人群数量计数值，通过将人头数值预测值作为辅助结果与密度图预测值进行加权，提升了所得人群数量计数值的准确性，从而提高了人群计数的准确度。
附图说明
46.图1为本发明人群计数装置所属终端设备的功能模块示意图；
47.图2为本发明人群计数方法一示例性实施例的流程示意图；
48.图3为本发明人群计数方法另一示例性实施例的流程示意图；
49.图4为本发明实施例中进行图片增强的流程示意图；
50.图5为图3实施例中步骤s003的具体流程示意图；
51.图6为本发明实施例中的模型分支框架示意图；
52.图7为图3实施例中步骤s005的具体流程示意图；
53.图8为本发明实施例中的整体流程示意图。
54.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
55.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
56.本发明实施例的主要解决方案是：通过获取目标图片；通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值；对所述密度图预测
值及人头数值预测值进行加权计算，得到人群数量计数值，通过将人头数值预测值作为辅助结果与密度图预测值进行加权，提升了所得人群数量计数值的准确性，从而提高了人群计数的准确度。
57.现有技术中通常基于视频帧信息，构建人群计数模型，将摄像头获取的视频帧输入到人群计数模型中，能够实时判断该段时间内人群数量；如果人群数量超过设定的阈值，那么可以立即采取措施对人群进行疏导引流，保证人民群众生命财产安全。但在现实的背景之下，人群计数模型的检测计数精度不高。主要原因有：第一，视频是摄像头拍摄，画质较为模糊，人群数量多的情况下，人头攒动，相互遮挡，模型提取有效特征难度较大；第二，靠近摄像头的地方人群特征清晰，远离摄像头的地方人群特征不明显，不同人的尺度不同导致计数难度提高；第三，现有的基于数值预测和基于密度图预测的精度都不是很高。
58.本发明技术方案就人群计数过程中，预测不准的问题，提供一种基于darknet53框架，采用图片自适应transformer增强、添加多尺度权重和全连接分支模块、重构多目标损失函数三种方式构建人群计数模型，从而对新输入的图片进行人群计数，提升人群计数的准确度，为后续下游任务提供基础判断。
59.具体地，参照图1，图1为本发明人群计数装置所属终端设备的功能模块示意图。该人群计数装置可以为独立于终端设备的、能够进行人群计数的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
60.在本实施例中，该人群计数装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
61.存储器130中存储有操作系统以及人群计数程序，人群计数装置可以将获取的目标图片、通过预先训练的人群计数模型对所述目标图片进行预测，得到的密度图预测值及人头数值预测值，以及对所述密度图预测值及人头数值预测值进行加权计算，得到的人群数量计数值等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括wifi模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
62.其中，存储器130中的人群计数程序被处理器执行时实现以下步骤：
63.获取目标图片；
64.通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值；
65.对所述密度图预测值及人头数值预测值进行加权计算，得到人群数量计数值。
66.进一步地，存储器130中的人群计数程序被处理器执行时还实现以下步骤：
67.获取预先采集的样本数据，其中，所述样本数据包括样本图像及对应的真实标签；
68.通过自适应转换模块对所述样本图像进行增强，得到样本特征图；
69.通过所述多尺度权重分支模块对所述样本特征图进行处理，得到样本密度图预测值；
70.将所述样本密度图预测值输入所述全连接分支模块进行计算，得到样本人头数值预测值；
71.基于多目标损失函数框架，根据所述样本密度图预测值、样本人头数值预测值及
对应的真实标签训练所述人群计数模型。
72.进一步地，存储器130中的人群计数程序被处理器执行时还实现以下步骤：
73.对所述样本图像进行分割及纵向组合，得到纵向组合图像；
74.将所述纵向组合图像经过主干网络处理，得到变换尺度特征图；
75.对所述变换尺度特征图进行上采样，得到原始尺度特征图；
76.通过所述自适应转换模块对所述原始尺度特征图进行信息整合及位置恢复，得到所述样本特征图。
77.进一步地，存储器130中的人群计数程序被处理器执行时还实现以下步骤：
78.分别对所述第一尺寸特征图、第二尺寸特征图及第三尺寸特征图进行上采样，得到第一权重矩阵、第二权重矩阵及第三权重矩阵；
79.将所述第一权重矩阵、第二权重矩阵及第三权重矩阵进行拼接，得到权重三维数组，并对所述权重三维数组进行归一化处理，得到第四权重矩阵、第五权重矩阵及第六权重矩阵；
80.分别对所述第一尺寸特征图、第二尺寸特征图及第三尺寸特征图进行下采样处理，得到第四尺寸特征图、第五尺寸特征图及第六尺寸特征图；
81.将第四权重矩阵与第四尺寸特征图、第五权重矩阵与第五尺寸特征图、第六权重矩阵与第六尺寸特征图分别进行点乘，得到所述第一密度图、第二密度图及第三密度图。
82.进一步地，存储器130中的人群计数程序被处理器执行时还实现以下步骤：
83.根据所述样本密度图预测值及密度图标签计算密度图损失函数；
84.根据所述样本人头数值预测值及人群数量标签计算人群数量损失函数；
85.将所述密度图损失函数及人群数量损失函数带入所述多目标损失函数框架，计算得到多目标损失函数；
86.将所述多目标损失函数回传至所述人群计数模型，对所述人群计数模型的网络参数进行更新，并返回执行通过所述多尺度权重分支模块对所述样本特征图进行处理，得到样本密度图预测值的步骤及后续步骤，以此循环，进行参数迭代，直到所述人群计数模型收敛，终止训练，得到训练后的人群计数模型。
87.进一步地，存储器130中的人群计数程序被处理器执行时还实现以下步骤：
88.根据所述第一密度图、第二密度图、第三密度图及对应的密度图标签，计算各密度图损失权重及密度图误差比值项；
89.基于所述各密度图损失权重及密度图误差比值项计算得到所述密度图损失函数。
90.进一步地，存储器130中的人群计数程序被处理器执行时还实现以下步骤：
91.根据所述样本人头数值预测值及人群数量标签计算得到均方误差及人群数量误差比值项；
92.基于所述均方误差及人群数量误差比值项计算得到所述人群数量损失函数。
93.本实施例通过上述方案，具体通过获取目标图片；通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值；对所述密度图预测值及人头数值预测值进行加权计算，得到人群数量计数值，通过将人头数值预测值作为辅助结果与密度图预测值进行加权，提升了所得人群数量计数值的准确性，从而提高了人群计数的准确度。
94.基于上述终端设备架构但不限于上述架构，提出本发明方法实施例。
95.本实施例方法的执行主体可以为一种人群计数装置或终端设备等，本实施例以人群计数装置进行举例。
96.参照图2，图2为本发明人群计数方法一示例性实施例的流程示意图。所述人群计数方法包括：
97.步骤s10，获取目标图片；
98.具体地，在人群数量较多的情况下，由于拍摄的角度问题，靠近的人在图片中占据的比例较大，而离得较远的人在图片中占比较小，并且较为模糊；另外人与人之间的遮挡也会导致在后续提取的特征包含的信息较少，这会导致后续的人群计数精度不准。为了解决遮挡所导致的特征不明显的问题，需要对图片的局部信息进行增强。
99.可选地，获取目标图片的步骤包括：
100.获取原始图片；
101.通过自适应转换模块对原始图片进行增强，得到目标图片。
102.具体地，本发明实施例中，引入了自适应transformer模块，用于对原始图片进行局部信息增强。在通过自适应转换模块(即自适应transformer模块)对原始图片进行增强的过程中，先对原始图片进行分割及纵向组合，得到纵向组合图像，选择vgg16作为纵向组合图片的主干网络，经过主干网络backbone后，得到图片的特征图，对特征图进行上采样，目的是恢复图片大小和通道数。得到和原始图片尺寸和大小一致的提取特征后的图片，设计transformer模块。模块选择的是编码encoder模块，设计12层，从而保证每个图片都能整合其余三个图片的信息，将纵向组合的图片重新恢复到原始的位置，完成对图片的局部信息增强，得到目标图片，进而用于对目标图片进行预测。
103.步骤s20，通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值；
104.进一步地，获取到目标图片后，即可通过预先训练的人群计数模型对目标图片进行预测。可选地，本发明实施例中，在主干网络添加多尺度权重分支模块和全连接分支模块，以集成多尺度的优点。
105.可选地，通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值的步骤包括：
106.通过所述多尺度权重分支模块对所述目标图片进行处理，得到所述密度图预测值；
107.将所述密度图预测值输入所述全连接分支模块进行计算，得到所述人头数值预测值。
108.具体地，本发明实施例中设计了三种权重分支框架，分别选择主干网络中不同尺寸的特征图进行若干次上采样，将各尺寸特征图还原得到对应的权重矩阵。进而将各权重矩阵进行拼接，得到权重三维数组。按照通道进行softmax操作，将权重数组的值归一化到0-1之间，然后再按照通道对数组进行分解，得到各个新的权重矩阵，分别与对应的特征图进行点乘，即可得到相应的密度图预测值。可选地，将多尺度权重分支模块得到的密度图预测值输入到全连接分支模块，即可输出相应的人头数值预测值。
109.步骤s30，对所述密度图预测值及人头数值预测值进行加权计算，得到人群数量计
数值。
110.更进一步地，通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值后，即可对密度图预测值及人头数值预测值进行加权计算，得到人群数量计数值，在此过程中，可以根据实际情况对密度图预测值及人头数值预测值赋予相应的权重，本发明实施例中对此不作具体限定。
111.在本实施例中，通过获取目标图片；通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值；对所述密度图预测值及人头数值预测值进行加权计算，得到人群数量计数值，通过将人头数值预测值作为辅助结果与密度图预测值进行加权，提升了所得人群数量计数值的准确性，从而提高了人群计数的准确度。
112.参照图3，图3为本发明人群计数方法另一示例性实施例的流程示意图。基于上述图2所示的实施例，在本实施例中，在通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值的步骤之前，所述人群计数方法还包括：
113.步骤s00，训练得到所述人群计数模型。本实施例以步骤s00在步骤s10之前实施，在其他实施例中，步骤s00也可以在步骤s10与步骤s20之间实施。
114.相比上述图2所示的实施例，本实施例还包括训练得到所述人群计数模型的方案。
115.具体地，训练得到所述人群计数模型的步骤可以包括：
116.步骤s001，获取预先采集的样本数据，其中，所述样本数据包括样本图像及对应的真实标签；
117.具体地，在训练人群计数模型的过程中，可以采用预先采集的样本数据，其中包括不同尺寸的样本图像及各样本图像对应的真实标签，可选地，真实标签包括密度图标签及人群数量标签，用于计算相应的损失函数。
118.步骤s002，通过自适应转换模块对所述样本图像进行增强，得到样本特征图；
119.参照图4，图4为本发明实施例中进行图片增强的流程示意图，获取到样本图像后，将图片分成四份，分别标号为1、2、3和4。然后将四张图片纵向组合，如图4中的第二个模块，此时图片的通道数c＝3；选择vgg16作为纵向组合图片的主干网络，经过主干网络backbone后，得到图片的特征图，此时图片的通道数c＝1，尺寸缩小。对特征图进行上采样，目的是恢复图片大小和通道数。得到和原始图片尺寸和大小一致的提取特征后的图片，设计transformer模块。模块选择的是编码encoder模块，设计12层，从而保证每个图片都能整合其余三个图片的信息，将纵向组合的图片重新恢复到原始的位置，完成对图片的局部信息增强，得到样本特征图。
120.步骤s003，通过所述多尺度权重分支模块对所述样本特征图进行处理，得到样本密度图预测值；
121.原始的darknet53在进行目标检测时输出三种尺度的特征图，用来进行不同尺度目标检测。该方案硬性规定目标只能落在一个尺度上面，实际情况是，尺度的变换是多样的，因此需要将目标的检测分配到不同的尺度，对多个尺度的结果进行集成，从而适应各种细微尺度的变化。本发明实施例中人群计数的主干网络选择darknet53，因此为了集成多尺度的优点，在原始的darknet53网络中添加多尺度权重分支模块，这一模块生成每个尺度热图的权重，对热图进行加权平均，通过多尺度权重分支模块对样本特征图进行处理，得到样本密度图预测值，进而用于计算样本人头数值预测值。
122.步骤s004，将所述样本密度图预测值输入所述全连接分支模块进行计算，得到样本人头数值预测值；
123.进一步地，通过多尺度权重分支模块对样本特征图进行处理，得到包括各密度图的样本密度图预测值后，将各密度图输入至全连接分支模块，主干网络的最后一个特征图的语义信息丰富，因此全连接分支将主干网络的最后一个特征图拉平，然后结接节点数量分别是1024，512，256以及1的全连接层。其中节点为1的全连接层的输出为人群的数量。
124.步骤s005，基于多目标损失函数框架，根据所述样本密度图预测值、样本人头数值预测值及对应的真实标签训练所述人群计数模型。
125.更进一步地，通过所述多尺度权重分支模块及全连接分支模块分别得到样本密度图预测值及样本人头数值预测值后，则可以基于多目标损失函数总体框架，结合样本密度图预测值、样本人头数值预测值及其对应的真实标签对人群计数模型进行训练。
126.本实施例通过上述方案，具体通过获取预先采集的样本数据，其中，所述样本数据包括样本图像及对应的真实标签；通过自适应转换模块对所述样本图像进行增强，得到样本特征图；通过所述多尺度权重分支模块对所述样本特征图进行处理，得到样本密度图预测值；将所述样本密度图预测值输入所述全连接分支模块进行计算，得到样本人头数值预测值；基于多目标损失函数框架，根据所述样本密度图预测值、样本人头数值预测值及对应的真实标签训练所述人群计数模型，通过构建图片自适应transformer增强模块，强化图片局部信息，基于darknet53，添加权重和全连接分支，融合多尺度信息以及引入数值预测模块，通过多目标损失函数重构，提升人群计数模型的准确率。
127.参照图5，图5为图3实施例中步骤s003的具体流程示意图。本实施例基于上述图3所示的实施例，在本实施例中，上述步骤s003包括：
128.步骤s0031，分别对所述第一尺寸特征图、第二尺寸特征图及第三尺寸特征图进行上采样，得到第一权重矩阵、第二权重矩阵及第三权重矩阵；
129.步骤s0032，将所述第一权重矩阵、第二权重矩阵及第三权重矩阵进行拼接，得到权重三维数组，并对所述权重三维数组进行归一化处理，得到第四权重矩阵、第五权重矩阵及第六权重矩阵；
130.步骤s0033，分别对所述第一尺寸特征图、第二尺寸特征图及第三尺寸特征图进行下采样处理，得到第四尺寸特征图、第五尺寸特征图及第六尺寸特征图；
131.步骤s0034，将第四权重矩阵与第四尺寸特征图、第五权重矩阵与第五尺寸特征图、第六权重矩阵与第六尺寸特征图分别进行点乘，得到所述第一密度图、第二密度图及第三密度图。
132.参照图6，图6为本发明实施例中的模型分支框架示意图，如图6所示，本发明实施例中，设计三种权重分支框架，选择主干网络中特征图f1，尺寸大小为w/8*h/8*256，经过3次上采样，将该特征图还原成w/4*h/4*128、w/2*h/2*64、w*h*32以及w*h*1，得到权重矩阵w1。选择主干网络中特征图f2，尺寸大小为w/16*h/16*512，经过4次上采样，将该特征图还原成w/8*h/8*256、w/4*h/4*128、w/2*h/2*64、w*h*32以及w*h*1，得到权重矩阵w2。选择主干网络中特征图f3，尺寸大小为w/32*h/32*1024，经过5次上采样，将该特征图还原成w/16*h/16*512、w/8*h/8*256、w/4*h/4*128、w/2*h/2*64、w*h*32以及w*h*1，得到权重矩阵w3。
133.将w1,w2,w3进行拼接，得到权重三维数组。按照通道进行softmax操作，将权重数
组的值归一化到0-1之间，然后再按照通道对数组进行分解，得到权重矩阵w5，w6和w7。w5，w6和w7是w1，w2和w3的归一化结果，表示f5，f6以及f7的元素权重。
134.将w5和f5进行点乘，得到32倍下采样表示的密度图；将w6和f6进行点乘，得到16倍下采样表示的密度图；将w7和f7进行点乘，得到8倍下采样表示的密度图，即为多尺度权重分支模块输出的样本密度图预测值。
135.本实施例通过上述方案，具体通过分别对所述第一尺寸特征图、第二尺寸特征图及第三尺寸特征图进行上采样，得到第一权重矩阵、第二权重矩阵及第三权重矩阵；将所述第一权重矩阵、第二权重矩阵及第三权重矩阵进行拼接，得到权重三维数组，并对所述权重三维数组进行归一化处理，得到第四权重矩阵、第五权重矩阵及第六权重矩阵；分别对所述第一尺寸特征图、第二尺寸特征图及第三尺寸特征图进行下采样处理，得到第四尺寸特征图、第五尺寸特征图及第六尺寸特征图；将第四权重矩阵与第四尺寸特征图、第五权重矩阵与第五尺寸特征图、第六权重矩阵与第六尺寸特征图分别进行点乘，得到所述第一密度图、第二密度图及第三密度图，在原始的darknet53网络中添加多尺度权重分支模块，这一模块生成每个尺度热图的权重，对热图进行加权平均，集成了多尺度的优点，提高了人群计数模型预测的准确性。
136.参照图7，图7为图3实施例中步骤s005的具体流程示意图。本实施例基于上述任一实施例，在本实施例中，上述步骤s005包括：
137.步骤s0051，根据所述样本密度图预测值及密度图标签计算密度图损失函数；
138.步骤s0052，根据所述样本人头数值预测值及人群数量标签计算人群数量损失函数；
139.步骤s0053，将所述密度图损失函数及人群数量损失函数带入所述多目标损失函数框架，计算得到多目标损失函数；
140.步骤s0054，将所述多目标损失函数回传至所述人群计数模型，对所述人群计数模型的网络参数进行更新，并返回执行通过所述多尺度权重分支模块对所述样本特征图进行处理，得到样本密度图预测值的步骤及后续步骤，以此循环，进行参数迭代，直到所述人群计数模型收敛，终止训练，得到训练后的人群计数模型。
141.可选地，所述根据所述样本密度图预测值及密度图标签计算密度图损失函数的步骤包括：
142.根据所述第一密度图、第二密度图、第三密度图及对应的密度图标签，计算各密度图损失权重及密度图误差比值项；
143.基于所述各密度图损失权重及密度图误差比值项计算得到所述密度图损失函数。
144.可选地，所述根据所述样本人头数值预测值及人群数量标签计算人群数量损失函数的步骤包括：
145.根据所述样本人头数值预测值及人群数量标签计算得到均方误差及人群数量误差比值项；
146.基于所述均方误差及人群数量误差比值项计算得到所述人群数量损失函数。
147.对于其中一个样本i，样本数据可用(xi，y
i1
，y
i2
)表示，i表示样本编号，xi表示第i个样本图像，y
i1
表示第i个样本图像的人群数量标签，y
i1
表示第i个样本图像的密度图。2.2
小节网络输出三个密度图以及一个人群数量，预测的三个密度图可用以及表示；人群数量预测值可用表示。
148.由于现有的基于数值预测和基于密度图预测的精度都不是很高，因此考虑将基于数值的结果和基于密度图的结果集成，从而提升模型的预测精度。具体步骤如下所示。
149.步骤1设计多目标损失函数总体框架，如公式(1)所示：
150.loss
whole
＝α1*loss1+α2*loss
2 (1)
151.其中，loss1代表密度图损失，loss2代表人群数量损失。α1代表密度图损失的权重，α2代表人群数量损失的权重，α1+α2＝1。本文采用交叉验证，计算出α1＝0.7，α2＝0.3。
152.步骤2计算不同密度图的损失。密度图损失包含四项，以及y
i2
。在人群计数场景下，当人群尺度较大时，32倍下采样预测的密度图对损失函数的贡献较大；当人群尺度中等时，16倍下采样预测的密度图对损失函数的贡献较大；当人群尺度较小时，8倍下采样预测的密度图对损失函数的贡献较大；为了将这一信息纳入到损失函数中，计算不同尺度密度图损失权重，具体计算方式如下所示。
[0153][0154][0155][0156][0157]
其中，β1、β2以及β3是不同尺度密度图损失的权重。密度图的均方损失越大，表明该尺度下密度图预测越不精确，那么再赋予其权重应该较小。β1、β2以及β3的分子是其均方损失相反数的指数，随着损失越大，分子越小；分母是三个分子的求和，因此权重会随着损失的增大而变小。
[0158]
步骤3计算人群数量损失。人群数量损失包含两项，和y
i1
，采用均方误差，如公式(6)所示。
[0159][0160]
步骤4对两种损失添加误差比值项。网络的优化取决于损失函数的设定是否合理，现阶段的人群计数采用的是均方误差作为损失函数，虽然在数值优化角度是一种可行方案，但是这一方案也存在一些弊端。首先，均方误差是平方项，会将误差的绝对值扩大或减少；其次，均方误差只考虑数值的大小，没有考虑到损失的相对幅度。基于这两点，本文增加
误差比值项来作为权值来优化损失函数。修改的loss1如公式(7)所示：
[0161][0162]
修改后的loss2如公式(8)所示。
[0163][0164]
针对每个密度图，计算一个比值函数作为损失的权重可以从绝对数值和比值两个角度来优化模型参数，进一步提升模型的性能。
[0165]
此外，本发明实施例还提出一种人群计数装置，所述人群计数装置包括：
[0166]
获取模块，用于获取目标图片；
[0167]
预测模块，用于通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值；
[0168]
加权模块，用于对所述密度图预测值及人头数值预测值进行加权计算，得到人群数量计数值。
[0169]
参照图8，图8为本发明实施例中的整体流程示意图，如图8所示，本发明实施例中通过构建人群检测模型，构建图片自适应transformer增强模块，强化图片局部信息；基于darknet53，添加权重和全连接分支，融合多尺度信息以及引入数值预测模块；多目标损失函数重构，提升模型预测准确率。
[0170]
transformer增强模块引入后，局部图片融入周围部分的信息，增强其语义表征，从而提升模型的准确率，模型误差降低0.85％。
[0171]
原始darknet53的多尺度是多选一，将预测结果固定到一个尺寸之上，这无法保证新的尺度下模型的准确率，因此通过添加权重分支，对多尺度的结果进行加权，从而提升尺度的灵活性，提升模型的准确率，模型的误差降低2.3％。
[0172]
主流的预测方式是预测密度图，本发明实施例中添加全连接分支，生成人群数值预测作为辅助结果，和密度图结果进行集成，从而使得模型的误差降低0.32％。
[0173]
单目标损失函数预测结果不佳，因此重构多目标损失函数。首先制定多目标损失函数框架；其次，计算不同尺度密度图损失权重；最后，添加误差比值项丰富损失函数信息。多目标损失函数的构建使得模型的误差率降低4.4％。
[0174]
在本实施例中，通过引入transformer模块，增强图片局部信息，从而提升了特征的有效性；通过在主干网络添加权重分支，对多尺度的结果进行加权，从而提升尺度的灵活性，确保不同尺度的图片的预测效果更好；通过在主干网络添加全连接分支，计算人群数值，将其作为辅助预测，提升预测能力；通过制定多目标损失框架，为不同尺度密度图分配不同权重，添加误差比值项来提升模型的预测能力。
[0175]
本实施例实现人群计数的原理及实施过程，请参照上述各实施例，在此不再赘述。
[0176]
此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人群计数程序，所述人群计数程序被所述处理器执行时实现如上所述的人群计数方法的步骤。
[0177]
由于本人群计数程序被处理器执行时，采用了前述所有实施例的全部技术方案，
因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
[0178]
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有人群计数程序，所述人群计数程序被处理器执行时实现如上所述的人群计数方法的步骤。
[0179]
由于本人群计数程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
[0180]
相比现有技术，本发明实施例提出的人群计数方法、装置、终端设备以及存储介质，通过获取目标图片；通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值；对所述密度图预测值及人头数值预测值进行加权计算，得到人群数量计数值，通过将人头数值预测值作为辅助结果与密度图预测值进行加权，提升了所得人群数量计数值的准确性，从而提高了人群计数的准确度。
[0181]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0182]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0183]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本技术每个实施例的方法。
[0184]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种人群计数方法，其特征在于，所述人群计数方法包括以下步骤：获取目标图片；通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值；对所述密度图预测值及人头数值预测值进行加权计算，得到人群数量计数值。2.如权利要求1所述的人群计数方法，其特征在于，所述人群计数模型包括多尺度权重分支模块及全连接分支模块，所述通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值的步骤之前还包括：获取预先采集的样本数据，其中，所述样本数据包括样本图像及对应的真实标签；通过自适应转换模块对所述样本图像进行增强，得到样本特征图；通过所述多尺度权重分支模块对所述样本特征图进行处理，得到样本密度图预测值；将所述样本密度图预测值输入所述全连接分支模块进行计算，得到样本人头数值预测值；基于多目标损失函数框架，根据所述样本密度图预测值、样本人头数值预测值及对应的真实标签训练所述人群计数模型。3.如权利要求2所述的人群计数方法，其特征在于，所述通过自适应转换模块对所述样本图像进行增强，得到样本特征图的步骤包括：对所述样本图像进行分割及纵向组合，得到纵向组合图像；将所述纵向组合图像经过主干网络处理，得到变换尺度特征图；对所述变换尺度特征图进行上采样，得到原始尺度特征图；通过所述自适应转换模块对所述原始尺度特征图进行信息整合及位置恢复，得到所述样本特征图。4.如权利要求2所述的人群计数方法，其特征在于，所述样本特征图包括第一尺寸特征图、第二尺寸特征图及第三尺寸特征图，所述样本密度图预测值包括第一密度图、第二密度图及第三密度图，所述通过所述多尺度权重分支模块对所述样本特征图进行处理，得到样本密度图预测值的步骤包括：分别对所述第一尺寸特征图、第二尺寸特征图及第三尺寸特征图进行上采样，得到第一权重矩阵、第二权重矩阵及第三权重矩阵；将所述第一权重矩阵、第二权重矩阵及第三权重矩阵进行拼接，得到权重三维数组，并对所述权重三维数组进行归一化处理，得到第四权重矩阵、第五权重矩阵及第六权重矩阵；分别对所述第一尺寸特征图、第二尺寸特征图及第三尺寸特征图进行下采样处理，得到第四尺寸特征图、第五尺寸特征图及第六尺寸特征图；将第四权重矩阵与第四尺寸特征图、第五权重矩阵与第五尺寸特征图、第六权重矩阵与第六尺寸特征图分别进行点乘，得到所述第一密度图、第二密度图及第三密度图。5.如权利要求4所述的人群计数方法，其特征在于，所述真实标签包括密度图标签及人群数量标签，所述基于多目标损失函数框架，根据所述样本密度图预测值、样本人头数值预测值及对应的真实标签训练所述人群计数模型的步骤包括：根据所述样本密度图预测值及密度图标签计算密度图损失函数；根据所述样本人头数值预测值及人群数量标签计算人群数量损失函数；
将所述密度图损失函数及人群数量损失函数带入所述多目标损失函数框架，计算得到多目标损失函数；将所述多目标损失函数回传至所述人群计数模型，对所述人群计数模型的网络参数进行更新，并返回执行通过所述多尺度权重分支模块对所述样本特征图进行处理，得到样本密度图预测值的步骤及后续步骤，以此循环，进行参数迭代，直到所述人群计数模型收敛，终止训练，得到训练后的人群计数模型。6.如权利要求5所述的人群计数方法，其特征在于，所述根据所述样本密度图预测值及密度图标签计算密度图损失函数的步骤包括：根据所述第一密度图、第二密度图、第三密度图及对应的密度图标签，计算各密度图损失权重及密度图误差比值项；基于所述各密度图损失权重及密度图误差比值项计算得到所述密度图损失函数。7.如权利要求5所述的人群计数方法，其特征在于，所述根据所述样本人头数值预测值及人群数量标签计算人群数量损失函数的步骤包括：根据所述样本人头数值预测值及人群数量标签计算得到均方误差及人群数量误差比值项；基于所述均方误差及人群数量误差比值项计算得到所述人群数量损失函数。8.一种人群计数装置，其特征在于，所述人群计数装置包括：获取模块，用于获取目标图片；预测模块，用于通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值；加权模块，用于对所述密度图预测值及人头数值预测值进行加权计算，得到人群数量计数值。9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人群计数程序，所述人群计数程序被所述处理器执行时实现如权利要求1-7中任一项所述的人群计数方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人群计数程序，所述人群计数程序被处理器执行时实现如权利要求1-7中任一项所述的人群计数方法的步骤。

技术总结
本发明公开了一种人群计数方法、装置、终端设备以及存储介质，通过获取目标图片；通过预先训练的人群计数模型对所述目标图片进行预测，得到密度图预测值及人头数值预测值；对所述密度图预测值及人头数值预测值进行加权计算，得到人群数量计数值，通过将人头数值预测值作为辅助结果与密度图预测值进行加权，提升了所得人群数量计数值的准确性，从而提高了人群计数的准确度。人群计数的准确度。人群计数的准确度。


技术研发人员：孙健飞 王鑫 田国良
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2023.07.05
技术公布日：2023/10/15