一种低分辨率目标识别方法与流程

1.本发明涉及图像识别技术领域，特别涉及一种低分辨率目标识别方法。


背景技术：

2.目前传统的目标识别方法是基于相对静态清晰且稳定的视屏进行目标跟踪得到的，传统常用的目标跟踪检测算法包括yolo算法、r-cnn算法和fast-cnn算法等，其中yolo算法是基于网格分割的算法，将图像分割成不同的网格，并预测每个网格的类的概率和边框，而r-cnn算法和fast-cnn算法依旧是基于卷积神经网络cnn的优化算法。虽然上述目标检测算法具有较快响应速度，然而针对低分辨率的目标识别精度仍然较差，尤其是针对快速移动的人物目标识别，可能出现多个图像帧的模糊拖影问题，基于yolo算法的目标检测通常无法准确生成网格进行分割，并且也无法准确预测网络的类和边框。当人物快速穿越阻挡物时，非常容易出现包括目标跟踪丢失的问题。同理r-cnn算法和fast-cnn算法也会因为模糊拖影导致跟踪识别目标准确率降低的的问题。


技术实现要素：

3.本发明其中一个发明目的在于提供一种低分辨率目标识别方法和系统，所述方法和系统针对存在模糊拖影目标视频帧的低分辨率图像识别方法，利用成像图像结合光流算法，可以有效地识别模糊拖影视频帧的热力学趋势，根据热力学趋势结合传统图像帧判断模糊拖影对应目标的位置，从而有效准确识别低分辨率的目标。
4.本发明另一个发明目的在于提供一种低分辨率目标识别方法和系统，所述方法和系统利用所述热成像图像，可以针对包括但不仅限于人体目标的人体目标的快速移动有着准确的位置判断和趋势判断，克服了高动态视频下低分辨率视频帧的目标检测准确率的问题。
5.本发明另一个发明目的在于提供一种低分辨率目标识别方法和系统，所述方法和系统利用改进光流算法，采用基于区域匹配的光流算法对热成像形成的热量学图像进行目标区域跟踪，并在真实拍摄的rgb图像帧上对目标区域进行定位跟踪显示，所述基于区域匹配光流算法可以对高运动态的人体目标目标检测鲁棒性性更强。
6.本发明另一个发明目的在于提供一种低分辨率目标识别方法和系统，搜索方法和系统通过利用的变分光流算法寻找稠密光流用于光流算法的区域匹配，利用所述变分光流算法结合目标图像的热力学成像图像可以借助人体目标的体温特征快速确定稠密光流的匹配区域，从而实现高动态下人体目标的目标追踪准确性。
7.为了实现至少一个上述发明目的，本发明进一步提供一种低分辨率目标识别方法，所述方法包括：
8.获取包含人体目标的第一视频数据，同时获取和所述第一视频数据相同成像区域的热成像视频；
9.对所述热成像视频根据预设的温度梯度进行灰度级处理，得到第二视频数据；
10.采用区域匹配的光流算法对所述第二视频数据进行人体目标识别，获取第二视频数据下的人体目标在第二视频数据中的位置；
11.根据在所述人体目标在第二视频数据的区域绑定识别所述第一视频数据中区域。
12.根据本发明其中一个较佳实施例，对所述热成像视频的处理方法包括：设置从高度到低的温度梯度，识别所述热成像视频中每一像素点的温度值，针对每一温度梯度按照从高到低对每一像素点配置连续对应的灰度级，其中温度梯度从高到配置对应从高到低的灰度值。
13.根据本发明另一个较佳实施例，识别所述热成像视频中超出预设图像温度梯度区域像素点，将上述超出预设图像温度梯度像素点的灰度设置为0。
14.根据本发明另一个较佳实施例，在所述第二视频数据中的人体目标绑定所述第一视频数据的方法包括：根据光流算法识别人体目标区域坐标数据，获取所述人体目标区域的中心点坐标，并同步识别到所述第一视频数据中。
15.根据本发明另一个较佳实施例，所述区域匹配的光流算法识别人体目标的算法包括：从所述第一视频数据中获取人体目标的温度参数，将所述温度参数转换为所述第二视频数据中灰度级数据，根据所述灰度级数据在所述第二视频帧中初始帧的人体目标区域。
16.根据本发明另一个较佳实施例，所述区域匹配的光流算法识别人体目标的算法包括：在所述第二视频数据中确定第一帧图像的第一像素点，并以所述第一帧图像的第一像素点为中心，生成第一搜索区域，同时在所述第一帧图像相邻的第二帧图像中的相同位置确定第二像素点，并以所述第二像素点为中心形成和所述第一搜索区域相同形状和大小的第二搜索区域，进一步计算所述第一搜索区域和第二搜索区域的光流区域匹配项：
[0017][0018]
其中em为匹配项，为与数据项保持相同形式的非平方惩罚函数，其中(u,v)
t
为相邻的第一帧图像和第二帧图像的光流矢量，(u
i,j
,v
i,j
)
t
表示图像像素点(i,j)
t
邻域内的光流矢量，d为相关搜索区域，x为对应像素点坐标。
[0019]
根据本发明另一个较佳实施例，所述区域匹配的光流算法还包括：确定所述第一像素点x＝(x，y)的灰度值i(x)，并计算图像局部结构区域匹配的变分光流计能量函数ε：
[0020][0021]
其中w表示所述第一像素点或第二像素点跟踪移动的距离，ω表示图像大小，t表示图像的结构张量，表示平滑项系数，表示平滑项。
[0022]
为了实现至少一个上述发明目的，本发明进一步提供一种低分辨率目标识别系统，所述系统通过计算机程序执行上述一种低分辨率目标识别方法。
[0023]
本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述一种低分辨率目标识别方法。
附图说明
[0024]
图1显示的是本发明一种低分辨率目标识别方法的流程示意图。
[0025]
图2显示的是热成像图灰度分级处理后光流跟踪识别的示意图。
具体实施方式
[0026]
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
[0027]
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
[0028]
请结合图1和图2，本发明提供了一种低分辨率目标识别方法和系统。其中所述方法主要包括：在传统的rgb摄像头基础上，在rgb摄像头相同或邻近位置配置红外摄像头，所述rgb摄像头用于拍摄真实场景的彩色视频或图像，所述rgb摄像头拍摄得到的彩色视频数据为第一视频数据，所述红外摄像头采集到的图像为热成像图像，将所述热成像图像进行灰度分级处理后得到第二视频数据，本发明基于所述热成像的第二视频数据进行光流算法处理，可以有效识别跟踪包括但不仅限于人体目标的快速移动目标。
[0029]
由于上述人体目标的在快速穿越镜头时可能存在大量的目标图像拖影，该目标图像拖影几乎完全超出了传统rgb图像的分辨率识别的能力，会形成低分辨率的图像，而针对该低分辨率的图像由于自身存在图像缺陷，使得传统的目标识别算法识别效果大幅下降。本发明中所述人体目标是指温度在短时间内，比如1分钟内，保持相对稳定的状态，比如可以2-3度范围内变化的稳定状态。
[0030]
具体而言，本发明针对所述第一视频数据，计算所述第一视频数据每一像素点的位置信息，本发明配置的红外摄像头具有和所述rgb摄像头相同的视界。即具有相同的像素分辨率和相同的视觉角度，所述rgb摄像头和红外摄像头拍摄的图像成像区域可以认为是相同的。
[0031]
本发明的具体示例性操作如下：所述rgb摄像头和红外摄像头同时开启拍摄同一成像区域，所述成像区域的空间范围内具有快速移动的人体目标，比如飞鸟或跑步的运动员，基于人体目标的热成像区域通常会比较明确，且整体形态也符合真实场景下的目标形态，因此红外热成像的可以比较直接准确地反应人体目标的位置和状态，受到运动速度、姿态、角度和障碍物的影响较小，其中在所述成像区域内设有所述障碍物，所述人体目标可以从摄像头相对的障碍物背面进行快速移动，移动过程中所述人体目标会间断出现在两个摄像头成像区域内，由于所述人体目标的快速移动会在rgb摄像头上出现拖影，该拖影严重影响了对所述人体目标的识别效果。因此本发明针对所述红外摄像头拍摄的第二视频数据进行如下操作：预先配置灰度分级范围，举例来说，本发明可以配置灰度分级范围为55-255，将上述灰度范围以10个灰度值为宽度分成[255-55]/10＝20个灰度级：[55,65),[65,75)...。取每个灰度级的中间值为每一灰度级值，比如[55,65)的中间值可以被配置为(55+65)/2＝60，[55,65)灰度值范围内的灰度级值为60。进一步计算每个像素点的灰度值，其中
所述像素点灰度值在上述对应灰度值等级内，则将所述像素点灰度值取值为该灰度值级值，举例来说，当前像素点的灰度值为57，所述当前像素点的灰度值在[55,65)灰度级范围内，则将该当前像素灰度值定在60，并且将所述热成像视频数据中像素点不在所述灰度级范围内像素点灰度赋值为0。需要说明的是，上述灰度处理方法仅仅是举例说明，对于灰度级范围的设定可以根据实际图像和人体目标而设定，其中上述灰度值的范围设定本发明不再赘述，对每一第二视频数据像素点灰度数据的处理过程使得针对红外摄像头采集到热成像数据的灰度值变化范围更小，从而使得所述第二视频数据图像可以符合区域匹配的光流算法对亮度恒定的要求，使得本发明基于匹配区域的光流算法对本发明热成像区域内的搜索跟踪更加准确。
[0032]
值得一提的是，本发明在完成所述第二视频数据灰度数据处理后，进一步执行所述第二视频数据中人体目标的识别和跟踪，其中对所述第二视频数据的目标识别和跟踪方法包括：从所述第一视频数据中初步识别包括但不仅限于人体和动物的人体目标，识别方法可以采用现有的包括但不仅限于yolo算法和cnn算法，上述初步识别的视频帧为具备相对清晰人体目标的图像，因此传统的yolo和cnn算法都是可以实现的，进一步计算人体目标在第一视频中的中心点像素坐标，所述中心点像素坐标可以通过计算所述人体目标区域坐标均值的方式得到。当然本发明的其它一些较佳实施例中，可以直接对第一视频数据中的人体目标进行标记，从而得到对应的人体目标的中心点像素坐标。需要说明的是所述中心点像素坐标是一种用于标记人体目标的像素点，本发明对该技术属于含义进行重新界定。
[0033]
在完成上述人体目标中心点坐像素坐标的确定后，根据第一视频数据中的人体目标中心点像素坐标查找到所述第二视频数据中对应位置的像素点坐标，将该第二视频数据中第一帧图像对应位置像素点坐标作为第一像素点坐标。进一步查找所述第二视频数据中和所述第一帧图像相邻的第二帧图像的第二像素点坐标，其中所述第二帧图像的第二像素点坐标值和所述第一帧图像的第一像素点坐标值相同。定义所述第一帧图像的第一像素点坐标为x＝(x,y)
t
，以所述第一帧图像的第一像素点坐标(x,y)
t
为中心，在所述第一帧图像上取一个以(2n+1)*(2n+1)大小的第一搜索区域s1，定义第一帧图像和第二帧图像大小为s，同时以所述第二帧图像的第二像素点坐标(x2,y2)
t
为中心构建以(2n+1)*(2n+1)大小的第二搜索区域s2，其中x2＝x,y2＝y,所述第一搜索区域s1和第二搜索区域s2均小于所述第一帧图像和第二帧图像面积s。本发明中(2n+1)*(2n+1)为像素点的区域，即(2n+1)分别代表了横向和纵向的像素点个数。其中n为可变参量，当n取值较大时，可以生成较大的第一搜索区域s1和第二搜索区域s2,当n取值较小时，可以生成较小的第一搜索区域s1和第二搜索区域s2。
[0034]
本发明进一步定义像素点的灰度值i，其中所述第一像素点x＝(x,y)
t
的灰度值可以表示为i(x)，定义所述第一像素点x＝(x,y)
t
在相邻帧处移动了(u,v)的距离，定w＝(u,v)
t
为相邻两帧的光流矢量，因此所述第一像素点x移动后的灰度值为：i(x+w)，光流约束方程为：i(x+w)-i(x)＝0。其中上述公式中右上标t均为转置矩阵。
[0035]
本发明进一步计算上述第一像素点区域内的局部图像结构张量t：
[0036][0037]
其中i
x
和iy为局部图像沿着x轴和y轴的灰度梯度，g
σ
为高斯滤波函数，所述高斯滤
函数可以有效地减少噪音影响。上述结构张量的运算考虑了图像波
[0038]
像素点邻域内的局部结构信息，因此可以实现对灰度和光亮变化不敏感，符合光流算法灰度光亮稳定性要求。
[0039]
本发明进一步根据上述第一搜索区域和第二搜索区域进行基于光流的区域匹配项计算，计算方法具体包括：
[0040][0041]
其中em为匹配项，为与数据项保持相同形式的非平方惩罚函数，其中(u,v)
t
为相邻的第一帧图像和第二帧图像的光流矢量，(u
i,j
,v
i,j
)
t
表示图像像素点(i,j)
t
邻域内的光流矢量，d为相关搜索区域，x为对应像素点坐标。
[0042]
并计算图像局部结构区域匹配的变分光流计能量函数ε：
[0043][0044]
其中w表示所述第一像素点或第二像素点跟踪移动的距离，ω表示图像大小，t表示图像的结构张量，表示平滑项系数，表示平滑项。
[0045]
也就是说，本发明通过上述光流算法结合红外热成像技术，可以从第二视频数据中迅速识别跟踪对应的人体目标，进一步将第二视频数据中的人体目标坐标位置和所述第一视频数据中对应位置绑定并标记显示。因此上述技术方案可以有效识别跟踪高动态的人体目标。
[0046]
本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(cpu)执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线段、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线段的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机
可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线段、电线段、光缆、rf等等，或者上述的任意合适的组合。
[0047]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0048]
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

技术特征：
1.一种低分辨率目标识别方法，其特征在于，所述方法包括：获取包括低分辨率人体目标的第一视频数据，同时获取和所述第一视频数据相同成像区域的热成像视频；对所述热成像视频根据预设的温度梯度进行灰度级处理，得到第二视频数据；采用区域匹配的光流算法对所述第二视频数据进行人体目标识别，获取第二视频数据下的人体目标在第二视频数据中的位置；根据在所述人体目标在第二视频数据的区域绑定识别所述第一视频数据中区域。2.根据权利要求1所述的一种低分辨率目标识别方法，其特征在于，对所述热成像视频的处理方法包括：设置从高度到低的温度梯度，识别所述热成像视频中每一像素点的温度值，针对每一温度梯度按照从高到低对每一像素点配置连续对应的灰度级，其中温度梯度从高到配置对应从高到低的灰度值。3.根据权利要求1所述的一种低分辨率目标识别方法，其特征在于，识别所述热成像视频中超出预设图像温度梯度区域像素点，将上述超出预设图像温度梯度像素点的灰度设置为0。4.根据权利要求1所述的一种低分辨率目标识别方法，其特征在于，在所述第二视频数据中的人体目标绑定所述第一视频数据的方法包括：根据光流算法识别人体目标区域坐标数据，获取所述人体目标区域的中心点坐标，并同步识别到所述第一视频数据中。5.根据权利要求1所述的一种低分辨率目标识别方法，其特征在于，所述区域匹配的光流算法识别人体目标的算法包括：从所述第一视频数据中获取人体目标的温度参数，将所述温度参数转换为所述第二视频数据中灰度级数据，根据所述灰度级数据在所述第二视频帧中初始帧的人体目标区域。6.根据权利要求1所述的一种低分辨率目标识别方法，其特征在于，所述区域匹配的光流算法识别人体目标的算法包括：在所述第二视频数据中确定第一帧图像的第一像素点，并以所述第一帧图像的第一像素点为中心，生成第一搜索区域，同时在所述第一帧图像相邻的第二帧图像中的相同位置确定第二像素点，并以所述第二像素点为中心形成和所述第一搜索区域相同形状和大小的第二搜索区域，进一步计算所述第一搜索区域和第二搜索区域的光流区域匹配项：其中e
m
为匹配项，为与数据项保持相同形式的非平方惩罚函数，其中(u,v)
t
为相邻的第一帧图像和第二帧图像的光流矢量，(u
i,j
,v
i,j
)
t
表示图像像素点(i,j)
t
邻域内的光流矢量，d为相关搜索区域，x为对应像素点坐标。7.根据权利要求6所述的一种低分辨率目标识别方法，其特征在于，所述区域匹配的光流算法还包括：确定所述第一像素点x＝(x，y)的灰度值i(x)，并计算图像局部结构区域匹配的变分光流计能量函数ε：
其中w表示所述第一像素点或第二像素点跟踪移动的距离，ω表示图像大小，t表示图像的结构张量，表示平滑项系数，表示平滑项。8.一种低分辨率目标识别系统，其特征在于，所述系统通过计算机程序执行上权利要求1-7中任意一项所述的一种低分辨率目标识别方法。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-8中任意一项所述的一种低分辨率目标识别方法。

技术总结
本发明提供了一种低分辨率目标识别方法，包括：获取包含低分辨率人体目标的第一视频数据，同时获取和所述第一视频数据相同成像区域的热成像视频；对所述热成像视频根据预设的温度梯度进行灰度级处理，得到第二视频数据；采用区域匹配的光流算法对所述第二视频数据进行人体目标识别，获取第二视频数据下的人体目标在第二视频数据中的位置；根据在所述人体目标在第二视频数据的区域绑定识别所述第一视频数据中区域。所述方法和系统针对存在模糊拖影目标视频帧的低分辨率图像识别方法，利用成像图像结合光流算法，可以有效地识别模糊拖影视频帧的热力学趋势，根据热力学趋势结合传统图像帧判断模糊拖影对应目标的位置，从而有效准确识别低分辨率的目标。准确识别低分辨率的目标。准确识别低分辨率的目标。


技术研发人员：钱国良 陈超 龚利武 张嘉辉 邓子龙 黄勤斌 胡雷剑
受保护的技术使用者：国网浙江省电力有限公司嘉兴供电公司 国网浙江省电力有限公司 平湖市通用电气安装有限公司
技术研发日：2023.07.10
技术公布日：2023/10/15