一种图像质量提高方法、电子设备和存储介质与流程

1.本发明涉及但不限于视频监控领域，尤其涉及一种图像质量提高方法、电子设备和存储介质。


背景技术：

2.随着视频监控技术的普及，摄像机正朝着智能化、高性能化和多样化的方向发展，然而主打夜视功能的传统摄像机依然占据着很大一部分市场。传统夜视相机借助红外补光，呈现的图像更加清晰，细节更多。定焦摄像机一般在可见光下进行对焦，但因为可见光和红外光折射率不同，导致摄像机切换到红外之后，清晰点发生偏移，严重降低了夜视图像效果。近些年，随着镜头制造技术的提升，以及其他诸如滤光片等方案的普及，大部分镜头已经能够做到日夜共焦，但还是有一些镜头，因为种种原因无法做到日夜共焦，只能通过添加不等厚滤光片解决日夜不共焦的问题。这种方案通过改变红外透射滤片的厚度改变一次红外光路，使其清晰成像在传感器上，但同时也改变了可见光的光路。所以，这种方案只能保证纯红外场景或者红外成分较多的场景图像没有问题，一旦场景中存在可见光，就会导致可见光部分成像模糊，即依然无法避免红外和可见光共存情况下的局部虚焦问题。


技术实现要素：

3.本公开实施例提供一种图像质量提高方法、电子设备和存储介质，有效改善了日夜不共焦镜头在红外模式下遇到混合光源时出现的局部虚焦问题，提升了成像质量。
4.一方面，本公开实施例提供一种图像质量提高方法，包括：
5.获取摄像机在第三拍摄场景下的拍摄图像，记为第三图像；
6.获取所述摄像机在第三拍摄场景下红外图像的虚焦区域；
7.获取已存的第一拍摄场景下的黑白图像，记为第一图像；
8.根据所述虚焦区域，确定对应在所述第三图像中的待增强区域；
9.根据所述虚焦区域，确定对应在所述第一图像中的增强区域；
10.根据所述待增强区域的虚焦程度，分别确定所述增强区域和所述待增强区域的融合系数，按照所述融合系数对所述增强区域和所述待增强区域进行融合处理，得到处理后的第三图像；
11.其中，所述第三拍摄场景为摄像机的夜间模式双滤光片切换后有红外补光的拍摄场景，第一拍摄场景为摄像机的最近一次夜间模式双滤光片切换前的拍摄场景。
12.另一方面，本公开实施例还提供一种电子设备，包括：
13.一个或多个处理器；
14.存储装置，用于存储一个或多个程序，
15.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开任一实施例所述的图像质量提高方法。
16.另一方面，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程
序，该程序被处理器执行时实现如本公开任一实施例所述的图像质量提高方法。
17.在阅读并理解了附图和详细描述后，可以明白其他方面。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
19.图1是本发明实施例提供的一种图像质量提高方法的流程图；
20.图2是本发明实施例提供的另一种图像质量提高方法的流程图；
21.图3是本发明实施例提供的另一种图像质量提高方法的流程图。
22.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
25.另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
26.在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
27.另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
28.视频监控领域的相关方案中，对于日夜不共焦的相机，在日夜切换时，会进行双滤光片切换(icr)。采用双滤光片切换方案，能够实现白天截止红外光，夜间透过红外光。同时，在夜间模式下，开启红外补光灯，以提升夜间成像质量。可以看到，在夜间模式下，一旦场景中存在可见光，会导致可见光部分成像模糊。因此，相关技术方案的夜间模式下，无法有效避免红外和可见光共存情况下的局部虚焦问题。
29.本公开实施例提供一种图像质量提高方案，通过图像融合的方案，利用日夜切换
前拍摄的可见光图像，对切换后拍摄的红外图像中的虚焦区域进行增强，能够解决夜间模式下红外图像的虚焦问题，有效改善了夜间模式下的成像质量。
30.本公开实施例所记载的带双滤光切换icr的摄像机进行日夜切换的过程如下：
31.日间模式(双滤光片切换到红外滤光)—》夜间模式1(双滤光片切换到红外感光，无红外灯补光)—》夜间模式2(双滤光片切换到红外感光，有红外灯补光)。
32.本公开实施例提供一种图像质量提高方法，如图1所示，包括：
33.步骤110，获取摄像机在第三拍摄场景下的拍摄图像，记为第三图像；
34.步骤120，获取所述摄像机在第三拍摄场景下红外图像的虚焦区域；
35.步骤130，获取已存的第一拍摄场景下的黑白图像，记为第一图像；
36.步骤140，根据所述虚焦区域，确定对应在所述第三图像中的待增强区域；
37.步骤150，根据所述虚焦区域，确定对应在所述第一图像中的增强区域；
38.步骤160，根据所述待增强区域的虚焦程度，分别确定所述增强区域和所述待增强区域的融合系数，按照所述融合系数对所述增强区域和所述待增强区域进行融合处理，得到处理后的第三图像；
39.其中，所述第三拍摄场景为摄像机的夜间模式双滤光片切换后有红外补光的拍摄场景，第一拍摄场景为摄像机的最近一次夜间模式双滤光片切换前的拍摄场景。
40.需要说明的是，本技术部分实施例方案中还涉及第二拍摄场景，所述第二拍摄场景为摄像机的夜间模式双滤光片切换后无红外补光的拍摄场景。可以看到所述第一拍摄场景、第二拍摄场景、第三拍摄场景，对应的摄像机在进行日夜切换过程中的三种状态。相关的第一图像、第二图像、第三图像表示与不同拍摄场景对应的图像，不代表特定的处理顺序或优先级。其中，第一拍摄场景、第二拍摄场景都是指当前拍摄场景(第三拍摄场景)之前最临近的场景。场景无特殊说明的情况下，各场景下拍摄的图像均为对应场景下设备达到稳定状态时的拍摄图像。
41.可以看到，步骤110所获取的第三图像是夜间模式双滤光片切换后有红外补光的场景下的拍摄画面，即摄像机工作在icr切换到夜间模式且有红外补光的场景下拍摄的图像。
42.一些示例性实施例中，所述摄像机在第三拍摄场景下红外图像的虚焦区域根据以下方法确定：
43.步骤120110，按照相同的划分规则，将已存的第一拍摄场景下的黑白图像、已存的第二拍摄场景下的无红外图像和已存的第三拍摄场景下的红外图像，分别进行分块划分，得到对应的多个黑白图像分块、多个无红外图像分块和多个红外图像分块；
44.步骤120120，根据每一个相同分块位置对应的黑白图像分块、无红外图像分块和红外图像分块，计算每一个分块位置的清晰度偏差比值；确定清晰度偏差比值大于设定偏差阈值的分块位置为虚焦分块位置；
45.步骤120130，全部虚焦分块位置对应的红外图像分块，构成所述虚焦区域。
46.一些示例性实施例中，已存的第一拍摄场景下的黑白图像，为摄像机在确定进行本次夜间模式切换前，在日间模式(双滤光片切换到红外滤光)下拍摄并保存的黑白图像。
47.一些示例性实施例中，已存的第二拍摄场景下的无红外图像，为摄像机在确定进行本次夜间模式切换过程中，在夜间模式1(双滤光片切换到红外感光，无红外灯补光)下拍
摄并保存的图像。
48.一些示例性实施例中，已存的第三拍摄场景下的红外图像，为摄像机在确定进行本次夜间模式切换完毕后，夜间模式2(双滤光片切换到红外感光，有红外灯补光)下拍摄并保存的图像。
49.需要说明的是，步骤120中用于确定红外图像虚焦区域的已存的红外图像，可以是步骤110中的第三图像，即刚切换完成后，进行第三图像处理时，采用当前获取的第三图像(红外图像)进行虚焦区域判断。也可以是，切换完成后，本次拍摄第三图像之前的其他红外图像，即考虑到业务场景的变化相对缓慢，无需根据每次拍摄获得的第三图像(红外图像)都要进行虚焦区域确定，可以利用先前短时间内(设定的有效时长内)已确定的虚焦区域进行后续处理。不限于特定的方式，根据业务场景特征以及系统处理能力灵活选定。
50.可以理解，在切换到夜间模式并开启红外补光后，如果一次获取第三图像(红外图像)后根据步骤120确定了存在虚焦区域，则根据该虚焦区域执行后续步骤，对虚焦区域进行融合处理，得到质量提升后的第三图像；还可以根据本次确定的虚焦区域，对后续多次的第三图像(红外图像)中对应虚焦区域进行融合处理，以输出图像质量提升后的第三图像。
51.一些示例性实施例中，所述摄像机在第三拍摄场景下红外图像的虚焦区域根据以下方法确定：
52.步骤120210，按照相同的划分规则，将已存的第一拍摄场景下的黑白图像、第二拍摄场景下的无红外图像和第三拍摄场景下的红外图像，分别进行分块划分，得到对应的多个黑白图像分块、多个无红外图像分块和多个红外图像分块；
53.步骤120220，根据每一个相同分块位置对应的黑白图像分块、无红外图像分块和红外图像分块，分别计算每一个分块位置的清晰度偏差比值，确定清晰度偏差比值大于设定偏差阈值的分块位置为疑似虚焦分块位置；
54.步骤120230，分别计算每一个疑似虚焦分块位置对应的红外图像分块的红分量增益，确定红分量增益小于设定的红分量增益阈值的疑似虚焦分块位置为虚焦分块位置；
55.步骤120240，全部虚焦分块位置对应的红外图像分块，构成所述虚焦区域。
56.可以看到，一些实施例中，清晰度评价值会因为设备本身硬件问题，或者场景细节少而不太准确，所以除了用清晰度来检测图像是否存在局部虚焦之外，根据日夜虚焦原理，进一步借助图像传感器(sensor)提供的rgb分量来判断画面是否虚焦。相比于前述实施例，本实施例中根据每一个分块位置的清晰度偏差比值，先确定了疑似虚焦分块位置，再进一步根据分块的红分量增益确定虚焦分块，可以进一步提升虚焦区域判定的准确性。
57.一些示例性实施例中，所述划分规则为：划分为m*n个分块；即各图像都按照相同的划分规则划分为各自的m*n个分块，例如，都划分为6*8个分块，即将图像划分为6行8列共48个分块。根据图像处理精度和系统处理能力，可以灵活确定划分数量和规则。在不进行特别说明的情况下，本公开实施方案中涉及图像划分的方面，均采用一致的划分规则，以保证各图像的分块能在分块位置上一一对应。
58.根据以下方法计算每一个分块位置的清晰度偏差比值：
59.60.其中，δfv
mn
为第m行第n列分块位置的清晰度偏差比值，fv
amn
为第m行第n列分块位置的黑白图像分块的清晰度评价值，fv
bmn
为第m行第n列分块位置的无红外图像分块的清晰度评价值，fv
cmn
为第m行第n列分块位置的红外图像分块的清晰度评价值；
61.m和n均为大于1的整数，m＝1,
…
,m，n＝1,
…
,n。
62.其中，每个图像分块的清晰度评价值根据本领域相关方案或相关清晰度评价函数确定即可，具体方面不在本技术方案中讨论。
63.一些示例性实施例中，每一个分块位置对应图像分块的红分量增益为该图像分块所包含像素的红分量增益的平均值；
64.其中，每个像素的红分量增益r表示红分量灰度值，g表示绿分量灰度值。
65.一些示例性实施例中，所述红外图像的虚焦区域，在夜间模式完全切换后，即夜间模式双滤光片切换后有红外补光的拍摄场景下，按照预设的周期t，重新获取并更新所述红外图像，并根据最新的红外图像进行步骤120110-120130或120210-120240的步骤，更新所述第三拍摄场景下红外图像的虚焦区域。
66.一些示例性实施例中，步骤140所确定的第三图像中的待增强区域包括所述第三图像中与全部虚焦分块位置对应的红外图像分块；步骤150所确定的所述第一图像中的增强区域包括所述第一图像中与全部虚焦分块位置对应的黑白图像分块。
67.本领域技术人员可以理解，根据依据一致的划分规则，各图像被划分为分块位置一一对应的分块，步骤120中所获取的虚焦区域指示了一个或多个分块位置，根据这些分块位置可以对应到各图像中，以得到对应的图像分块，进而构成所需区域；其中，对应到第一图像即得到增强区域，对应到第三图像中即得到待增强区域。
68.一些示例性实施例中，步骤140所确定的第三图像中的待增强区域包括所述第三图像中与全部虚焦分块位置对应的红外图像分块，步骤150所确定的所述第一图像中的增强区域包括所述第一图像中与全部虚焦分块位置对应的黑白图像分块，相应地，步骤160中每一个黑白图像分块对应一个黑白图像分块的融合系数a，相同分块位置的红外图像分块对应一个红外图像分块的融合系数b；其中，a和b均为小于或等于1，且大于或等于0的数；所述待增强区域的中该分块的虚焦程度越高a越大，b越小，所述待增强区域的中该分块的虚焦程度越低a越小，b越大。
69.一些示例性实施例中，一个黑白图像分块的融合系数a＝(1-κ)*λ，相同位置的红外图像分块的融合系数b＝κ*(1-λ)；
70.为该分块位置对应的清晰度偏差系数；
71.为红外分量增益占比，r
ga
为该分块位置对应在所述增强区域的黑白图像分块的红分量增益，r
gc
为该分块位置对应在所述待增强区域的红外图像分块的红分量增
益。
72.fv
amn
为第m行第n列分块位置的黑白图像分块的清晰度评价值，fv
bmn
为第m行第n列分块位置的无红外图像分块的清晰度评价值，fv
cmn
为第m行第n列分块位置的红外图像分块的清晰度评价值。
73.可以看到，红外图像分块越清楚(虚焦程度越低)，k越大，1-k越小，红外图像分块越不清楚(虚焦程度越高)，k越小，1-k越大。红外图像分块越清楚(虚焦程度越低)，λ越小，1-λ越大，红外图像分块越不清楚(虚焦程度越高)，λ越大，1-λ越小。或者，红外图像分块越清楚(虚焦程度越低)，κ*(1-λ)越大，(1-κ)*λ越小，红外图像分块越不清楚(虚焦程度越高)，κ*(1-λ)越小，(1-κ)*λ越大。
74.一些示例性实施例中，一个黑白图像分块的融合系数a＝1-k，相同位置的红外图像分块的融合系数b＝k。
75.一些示例性实施例中，一个黑白图像分块的融合系数a＝λ，相同位置的红外图像分块的融合系数b＝1-λ。
76.一些示例性实施例中，步骤160中按照所述融合比例系数对所述增强区域和所述待增强区域进行融合处理，得到处理后的第三图像，包括：
77.步骤160110，针对每一个虚焦分块位置，分别将该虚焦分块位置对应在所述增强区域的黑白图像分块和该虚焦分块位置对应在所述待增强区域的红外图像分块，按照如下方式融合：
78.fr(x,y)＝fc(x,y)*a+f
ir
(x,y)*b；
79.其中，fr(x,y)为该虚焦分块位置融合后的图像分块，fc(x,y)为该虚焦分块位置对应在所述增强区域的黑白图像分块，f
ir
(x,y)为该虚焦分块位置对应在所述待增强区域的红外图像分块；
80.步骤160120，将全部虚焦分块位置融合后的图像分块和所述第三图像中非待增强区域的图像分块合并，得到处理后的第三图像。
81.其中，a为该虚焦分块位置对应在所述增强区域的黑白图像分块的融合系数，b为该虚焦分块位置对应在所述待增强区域的红外图像分块的融合系数；其中，a和b均为小于或等于1，且大于或等于0的数；所述待增强区域中该虚焦分块的虚焦程度越高a越大，b越小，所述待增强区域中该虚焦分块的虚焦程度越低a越小，b越大。
82.一些示例性实施例中，不同分块位置的融合系数a，b根据各自对应分块虚焦程度确定，可以相同也可以不同。
83.一些示例性实施例中，a＝1，b＝0，即将第三图像中待增强区域的红外图像分块用第一图像中增强区域的黑白图像分块替换。
84.一些示例性实施例中，一个黑白图像分块的融合系数a＝1-k，相同位置的红外图像分块的融合系数b＝k；或者，a＝λ，b＝1-λ；或者，a＝(1-κ)*λ，b＝κ*(1-λ)。可以看到，对于待增强区域而言，其虚焦程度越高，进行分块图像融合时，增强区域中黑白图像分块所占的权重越高，待增强区域中对应位置的红外分块图像所占的权重越低；虚焦程度越低，进行分块图像融合时，增强区域中黑白图像分块所占的权重越低，待增强区域中对应位置的红外分块图像所占的权重越高。
85.可选地，本领域技术人员还可以采用其他的虚焦程度评价方法，并对应设置黑白
图像分块的融合系数和红外图像分块的融合系数，以执行图像融合得到融合后的图像分块。
86.一些示例性实施例中，步骤160中按照所述融合比例系数对所述增强区域和所述待增强区域进行融合处理，得到处理后的第三图像，包括：
87.步骤160210，针对每一个虚焦分块位置，分别将该虚焦分块位置对应在所述增强区域的黑白图像分块和该虚焦分块位置对应在所述待增强区域的红外图像分块，按照如下方式融合：
88.fr(x,y)＝fc(x,y)*(1-κ)*λ+f
ir
(x,y)*κ*(1-λ)；
89.其中，fr(x,y)为该虚焦分块位置融合后的图像分块，fc(x,y)为该虚焦分块位置对应在所述增强区域的黑白图像分块，f
ir
(x,y)为该虚焦分块位置对应在所述待增强区域的红外图像分块；(1-κ)*λ为该虚焦分块位置对应在所述增强区域的黑白图像分块的融合系数，κ*(1-λ)为该虚焦分块位置对应在所述待增强区域的红外图像分块的融合系数；
90.为该虚焦分块位置对应的清晰度偏差系数；
91.为红外分量增益占比，r
ga
为该虚焦分块位置对应在所述增强区域的黑白图像分块的红分量增益，r
gc
为该虚焦分块位置对应在所述待增强区域的红外图像分块的红分量增益；
92.步骤160220，将全部虚焦分块位置融合后的图像分块和所述第三图像中非待增强区域的图像分块合并，得到处理后的第三图像。
93.需要说明的是，步骤160210中虚焦分块位置对应的清晰度偏差系数κ和虚焦分块位置对应的红外分量增益占比λ，根据上述方法计算得到，其涉及的清晰度评价值、红分量增益与步骤120中所获取的虚焦区域确定过程所涉及的清晰度评价值、红分量增益采用相同的方法确定。参与确定虚焦分块位置对应的清晰度偏差系数κ的3种图像分块与步骤120中确定分块位置的清晰度偏差比值所采用的图像分块相同。
94.一些示例性实施例中，步骤130包括：获取已存的摄像机在最近一次夜间模式双滤光片切换前最后一次拍摄的黑白图像。
95.可选地，步骤130包括：根据所述第三图像的增益值，从已存的多个第一拍摄场景下的黑白图像中，选择增益值最接近的黑白图像。
96.其中，多个第一场景下的黑白图像包括第一场景下拍摄得到的不同增益的黑白图像。即在昼夜切换前拍摄得到的不同增益的黑白图像。
97.从原理出发，如果图像处于红外状态，不共焦镜头通常在可见光大于红外光的位置出现虚焦。红外灯，尤其是大角度红外灯补光距离有限，较远的位置一般补光不足，出现虚焦的概率更大，更需要做图像融合。除了虚焦外，可以认为这个位置(可见光成分大约红外)的红外图像跟可见光图像几乎无差别，即红外图像接近于切换前的可见光黑白图像，所以优先选择icr切换前的可见光黑白图像和稳定后的红外图像进行融合。为此，需要预先保存icr切换前的可见光黑白图像。
98.现在的摄像机都有比较好的低照度效果，因此昼夜切换的时间相对较晚，并且切换前后的环境基本上已稳定，即不会有明显的开关灯。但随着环境的逐渐变亮，红外图像与已存的可见光黑白图像会有较大的亮度差异，影响图像融合后的整体一致性，所以一些实施例中还需要预先存储昼夜切换前2-3个不同增益的可见光黑白图像，用作较亮环境下进行图像融合时可见光数据的来源。
99.需要说明的是，一般来说，只要环境的光照无明显变化的情况，都选择昼夜切换前一刻的拍摄的黑白图像，即在最近一次夜间模式双滤光片切换前最后一次拍摄的黑白图像。可选的，在进行图像融合前，获取当前红外图像(第三图像)的增益值，根据增益值选择与之匹配的已存储的icr切换前的可见光黑白图像(第一图像)，包括：将当前红外图像和已经缓存的多个可见光黑白图像做一次增益值匹配度检测，选择增益值最接近现有可见光黑白图像的作为另一融合图像。
100.一些示例性实施例中，针对第三图像(红外图像)中出现运动物体的情况，步骤160中包括：
101.用所述第三图像与所述第一图像做减法，分离得到所述第三图像中的运动部分，即前景部分；
102.利用所述第一图像中的增强区域对所述第三图像中的待增强区域进行融合处理，得到处理后的准第三图像；
103.将所述运动部分叠加到所述准第三图像，得到叠加处理后的第三图像。
104.一些示例性实施例中，所述方法还包括：
105.步骤100-1，在切换到夜间模式之前，获取并缓存一个或多个黑白图像；
106.步骤100-2，确定需要进行昼夜切换的情况下，执行双滤光片切换到夜间模式，不开启红外补光，获取并缓存无红外图像；
107.步骤100-3，开启红外补光灯。
108.其中，步骤100-1中获取并缓存的黑白图像，也称为可见光黑白图像，其对应的拍摄场景为第一拍摄场景，因此，也称为第一图像；步骤100-2中获取并缓存的无红外图像，对应的拍摄场景为第二拍摄场景，因此，也称为第二图像；步骤100-3完成了夜间切换，即双滤光片切换到夜间模式并启开了红外补光灯，这之后对应的拍摄场景为第三拍摄场景。
109.其中，是否需要进行夜间模式的切换，根据相关方案实施确定即可，在本技术中不讨论具体方面。
110.本公开实施例还提供一种图像质量提高方法，如图2所示，包括：
111.步骤210，昼夜切换前，获取并保存不同增益的黑白图像；
112.步骤220，判断是否满足昼夜切换条件，如果不满足，返回步骤210，如果满足，则执行步骤230；
113.步骤230，获取并保存切换前的最后一帧黑白图像；
114.步骤240，将双滤光片切换到夜间模式，不开启红外补光灯，获取并保存无红外图像；
115.步骤250，开启红外补光灯，获取红外图像；
116.步骤260，确定红外图像的虚焦区域；
117.步骤270，根据确定虚焦区域，进行图像融合，得到质量提升后的红外图像。
118.其中，步骤260包括：针对划分的每一个分块位置，分别执行以下步骤：
119.步骤26010，计算该分块位置的清晰度偏差比值；
120.步骤26020，判断清晰度偏差比值是否大于设定的偏差阈值，如果大于，则执行步骤26030，否则，执行步骤26060；
121.步骤26030，确定计算该分块位置对应的红外图像分块的红分量增益；
122.步骤26040，判断红分量增益是否小于设定的红分量增益阈值，如果小于，则执行步骤26050，否则，执行步骤26060；
123.步骤26050，确定该分块位置为虚焦分块位置；
124.步骤26060，确定该分块位置为非虚焦分块位置。
125.需要说明的是，icr切换到夜间模式之前，所拍摄的黑白图像因为只有可见光补光，因此是完全对焦清晰的，将其作为其中一帧融合图像(第一图像)，也用于计算清晰度偏差比值和红r分量增益值。icr切换后无红外补光的图像(无红外图像)，即只有可见光补光，但本身icr已经切换，即可见光已经不能清晰成像，所以是最大程度虚焦的图像，用于计算清晰度偏差比值，判断最终的红外图像是否存在局部虚焦。icr切换后有红外补光的稳定后的红外图像用于判断图像是否存在局部虚焦以及计算红r分量的增益值，作另一帧融合图像(第三图像)。最终根据所确定的虚焦区域进行第一图像和第三图像的融合处理，得到图像质量提升后的红外图像。
126.一些示例性实施例中，摄像机检测到需要切换为夜间模式时，保存一帧icr切换之前的可见光黑白图像，记为img1，昼夜切换完成后，保存一帧icr切换后但红外灯关闭的图像，记为img2，再保存一帧红外灯开启之后的图像，记为img3，img3需定时更新，用于判断图像是否存在局部虚焦。将图像分为m
×
n块，使用清晰度评价函数分别计算出img1、img2和img3的清晰度评价值，记为fva、fvb和fvc，并计算图像每块的清晰度评价值，记为fv
a11
、fv
a12
…
fv
amn
，fv
b11
、fv
b12
…
fv
bmn
,fv
c11
、fv
c12
…
fv
cmn
。
127.摄像机切换为红外模式后，如果场景比较小或者镜头焦距大，或是红外补光比较强，图像中红外光的成分会很高，此时画面应是清晰的。当场景中出现路灯等可见光，且距离摄像机较远时，如红外充足，能够覆盖大部分可见光，图像则无明显问题，若红外补光不足，则远处可见光辐射范围内，图像会出现虚焦。因此通过清晰度评价值和红外成分的占比来判断图像是否存在局部虚焦。
128.同一场景，img1、img2和img3的图像清晰度的大小应满足fva＞fvc＞fvb。预先设定一个清晰度阈值，记为fv
thr
，用于判断图像是否存在明显虚焦。计算图像分块清晰度偏差比值当img3某分块存在虚焦时，则fv
cmn
会比较小，无限接近fv
bmn
,那么δfv
mn
会比较大，超过设定的阈值fv
thr
，则认为存在明显虚焦。
129.计算一个系数当img3某分块存在虚焦时，fv
cmn-fv
bmn
会比较小，而|fv
amn-fv
bmn
|比较大，最终得出系数κ也会比较小，作为图像融合时红外成分的比例。
130.一些示例性实施例中，清晰度评价值会因为设备本身硬件问题，或者场景细节少而不太准确，所以除了用清晰度来检测图像是否存在局部虚焦之外，根据日夜虚焦原理，还需借助图像传感器(sensor)提供的rgb分量来判断画面是否虚焦，并且实时性更好。红外补光充足的地方一般不会虚焦，而红外补光充足的地方r分量都较大。当摄像机切换到红外后，如果画面中本身并没有可见光，后来一段时间突然增加了可见光，如路灯开启，则通过清晰度判断就不完全准确了，因为场景有了变化，此时加入红外分量的判断会更加准确。记像素的红r分量的增益为r表示红分量灰度值，g表示绿分量灰度值。记r
ga
为icr切换前可见光黑白图像对应分块的红分量增益值，r
gc
为当前图像对应分块的红分量增益值。其按照此方法，可以得到红外图像每一分块的平均分量增益，记为r
gmn
。当r
gmn
大于或等于预设的红分量增益阈值r
gth
，则认为红外分量较高，可见光少，不需要做图像处理；小于预设的红分量增益阈值r
gth
，则按规则进行图像融合。
131.根据步骤120或步骤260确定红外图像存在虚焦区域时，则需要进行图像融合处理，更新当前或后续输出的红外图像，以改善局部虚焦现象。
132.其中，步骤270中采用步骤160110-160120或160210-160220中一致的方式进行图像融合处理。
133.一些示例性实施例中，针对每一个虚焦分块位置，分别将该虚焦分块位置对应在所述增强区域的黑白图像分块和该虚焦分块位置对应在所述待增强区域的红外图像分块，按照如下方式融合：
134.fr(x,y)＝fc(x,y)*(1-κ)*λ+f
ir
(x,y)*κ*(1-λ)；
135.其中，fr(x,y)为该虚焦分块位置融合后的图像分块，fc(x,y)为该虚焦分块位置对应在所述增强区域的黑白图像分块，f
ir
(x,y)为该虚焦分块位置对应在所述待增强区域的红外图像分块；
136.为该虚焦分块位置对应的清晰度偏差系数；
137.为红外分量增益占比，r
ga
为该虚焦分块位置对应在所述增强区域的黑白图像分块的红分量增益，r
gc
为该虚焦分块位置对应在所述待增强区域的红外图像分块的红分量增益。
138.可以看到，计算出的清晰度偏差比值越大，红分量增益占比越小，则表示图像虚焦程度越大，融合图像中已存储的可见光黑白图像占最终融合图像的比例越大，甚至全部，反之当前红外图像占比越大。
139.本公开实施例还提供一种图像质量提高方法，在摄像机以切换到夜间模式2的情况下，如图3所示，包括：
140.步骤310，获取第三图像；
141.步骤320，获取红外图像的虚焦区域；
142.步骤330，判断虚焦区域是否为空，如果是，则执行340，如果不为空，则执行350；
143.步骤340，输出第三图像；
144.步骤350，获取第一图像；
145.步骤360，根据虚焦区域，确定对应在第三图像中的待增强区域；
146.步骤370，根据虚焦区域，确定对应在第一图像中的增强区域；
147.步骤380，利用所述增强区域对所述待增强区域进行融合处理，得到处理后的第三图像并输出。
148.一些示例性实施例中，步骤330所获取的虚焦区域是摄像机在完成夜间切换后，根据步骤260计算确定的。一些示例性实施例中，在完成夜间切换后，根据预设周期t更新红外图像，根据更新后的红外图像重新计算，更新所述虚焦区域。
149.本公开实施例还提供一种电子设备，包括：
150.一个或多个处理器；
151.存储装置，用于存储一个或多个程序，
152.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开任一实施例所述的图像质量提高方法。
153.本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器实现如本公开任一实施例所述的图像质量提高方法。
154.可以看到，基于本公开实施例提供的图像质量提高方案，依据缓存可见光黑白图像、红外不开灯图像和红外开灯图像之间的清晰度偏差值，以及红外图像各分块的红分量增益值，可判断icr切换为夜间模式后的红外图像是否存在局部日夜虚焦，并确定明确的虚焦区域，进而在夜间模式切换后根据清晰度偏差值和红分量增益占比，对缓存的可见光图像和当前红外图像进行一定规则的融合，输出一帧清晰度提升后的图像，显著改善了局部日夜虚焦问题。
155.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
156.以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

技术特征：
1.一种图像质量提高方法，其特征在于，包括：获取摄像机在第三拍摄场景下的拍摄图像，记为第三图像；获取所述摄像机在第三拍摄场景下红外图像的虚焦区域；获取已存的第一拍摄场景下的黑白图像，记为第一图像；根据所述虚焦区域，确定对应在所述第三图像中的待增强区域；根据所述虚焦区域，确定对应在所述第一图像中的增强区域；根据所述待增强区域的虚焦程度，分别确定所述增强区域和所述待增强区域的融合系数，按照所述融合系数对所述增强区域和所述待增强区域进行融合处理，得到处理后的第三图像；其中，所述第三拍摄场景为摄像机的夜间模式双滤光片切换后有红外补光的拍摄场景，第一拍摄场景为摄像机的最近一次夜间模式双滤光片切换前的拍摄场景。2.如权利要求1所述的方法，其特征在于，所述摄像机在第三拍摄场景下红外图像的虚焦区域根据以下方法确定：按照相同的划分规则，将已存的第一拍摄场景下的黑白图像、第二拍摄场景下的无红外图像和第三拍摄场景下的红外图像，分别进行分块划分，得到对应的多个黑白图像分块、多个无红外图像分块和多个红外图像分块；根据每一个相同分块位置对应的黑白图像分块、无红外图像分块和红外图像分块，计算每一个分块位置的清晰度偏差比值；确定清晰度偏差比值大于设定偏差阈值的分块位置为虚焦分块位置；全部虚焦分块位置对应的红外图像分块，构成所述虚焦区域；其中，所述第二拍摄场景为摄像机的夜间模式双滤光片切换后无红外补光的拍摄场景。3.如权利要求1所述的方法，其特征在于，所述摄像机在第三拍摄场景下红外图像的虚焦区域根据以下方法确定：按照相同的划分规则，将已存的第一拍摄场景下的黑白图像、第二拍摄场景下的无红外图像和第三拍摄场景下的红外图像，分别进行分块划分，得到对应的多个黑白图像分块、多个无红外图像分块和多个红外图像分块；根据每一个相同分块位置对应的黑白图像分块、无红外图像分块和红外图像分块，分别计算每一个分块位置的清晰度偏差比值，确定清晰度偏差比值大于设定的偏差阈值的分块位置为疑似虚焦分块位置；分别计算每一个疑似虚焦分块位置对应的红外图像分块的红分量增益，确定红分量增益小于设定的红分量增益阈值的疑似虚焦分块位置为虚焦分块位置；全部虚焦分块位置对应的红外图像分块，构成所述虚焦区域；其中，所述第二拍摄场景为摄像机的夜间模式双滤光片切换后无红外补光的拍摄场景。4.如权利要求2或3所述的方法，其特征在于，所述划分规则为：划分为m*n个分块；根据以下方法计算每一个分块位置的清晰度偏差比值：
其中，δfv
mn
为第m行第n列分块位置的清晰度偏差比值，fv
amn
为第m行第n列分块位置的黑白图像分块的清晰度评价值，fv
bmn
为第m行第n列分块位置的无红外图像分块的清晰度评价值，fv
cmn
为第m行第n列分块位置的红外图像分块的清晰度评价值；m和n均为大于1的整数，m＝1,
…
,m，n＝1,
…
,n。5.如权利要求3所述的方法，其特征在于，每一个分块位置对应图像分块的红分量增益为该图像分块所包含像素的红分量增益的平均值；其中，每个像素的红分量增益r表示红分量灰度值，g表示绿分量灰度值。6.如权利要求1所述的方法，其特征在于，所述获取已存的第一拍摄场景下的黑白图像，包括：获取已存的摄像机在最近一次夜间模式双滤光片切换前最后一次拍摄的黑白图像；或者，根据所述第三图像的增益值，从已存的多个第一拍摄场景下的黑白图像中，选择增益值最接近的黑白图像。7.如权利要求2或3所述的方法，其特征在于，所述待增强区域包括所述第三图像中与全部虚焦分块位置对应的红外图像分块；所述增强区域包括所述第一图像中与全部虚焦分块位置对应的黑白图像分块；所述按照所述融合比例系数对所述增强区域和所述待增强区域进行融合处理，得到处理后的第三图像，包括：针对每一个虚焦分块位置，分别将该虚焦分块位置对应在所述增强区域的黑白图像分块和该虚焦分块位置对应在所述待增强区域的红外图像分块，按照如下方式融合：f
r
(x,y)＝f
c
(x,y)*a+f
ir
(x,y)*b；其中，f
r
(x,y)为该虚焦分块位置融合后的图像分块，f
c
(x,y)为该虚焦分块位置对应在所述增强区域的黑白图像分块，f
ir
(x,y)为该虚焦分块位置对应在所述待增强区域的红外图像分块；a为该虚焦分块位置对应在所述增强区域的黑白图像分块的融合系数，b为该虚焦分块位置对应在所述待增强区域的红外图像分块的融合系数；其中，a和b均为小于或等于1，且大于或等于0的数；所述待增强区域中该虚焦分块的虚焦程度越高a越大，b越小，所述待增强区域中该虚焦分块的虚焦程度越低a越小，b越大；将全部虚焦分块位置融合后的图像分块和所述第三图像中非待增强区域的图像分块合并，得到处理后的第三图像。8.如权利要求4所述的方法，其特征在于，所述待增强区域包括所述第三图像中与全部虚焦分块位置对应的红外图像分块；所述增强区域包括所述第一图像中与全部虚焦分块位置对应的黑白图像分块；所述按照所述融合比例系数对所述增强区域和所述待增强区域进行融合处理，得到处
理后的第三图像，包括：针对每一个虚焦分块位置，分别将该虚焦分块位置对应在所述增强区域的黑白图像分块和该虚焦分块位置对应在所述待增强区域的红外图像分块，按照如下方式融合：f
r
(x,y)＝f
c
(x,y)*(1-κ)*λ+f
ir
(x,y)*κ*(1-λ)；其中，f
r
(x,y)为该虚焦分块位置融合后的图像分块，f
c
(x,y)为该虚焦分块位置对应在所述增强区域的黑白图像分块，f
ir
(x,y)为该虚焦分块位置对应在所述待增强区域的红外图像分块；(1-κ)*λ为该虚焦分块位置对应在所述增强区域的黑白图像分块的融合系数，κ*(1-λ)为该虚焦分块位置对应在所述待增强区域的红外图像分块的融合系数；为该虚焦分块位置对应的清晰度偏差系数；为该虚焦分块位置对应的红外分量增益占比，r
ga
为该虚焦分块位置对应在所述增强区域的黑白图像分块的红分量增益，r
gc
为该虚焦分块位置对应在所述待增强区域的红外图像分块的红分量增益；将全部虚焦分块位置融合后的图像分块和所述第三图像中非待增强区域的图像分块合并，得到处理后的第三图像。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一项所述的图像质量提高方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一项所述的图像质量提高方法。

技术总结
本发明实施例公开了一种图像质量提高方法、电子设备和存储介质。其中，所述方法包括：获取摄像机在第三拍摄场景下的拍摄图像，记为第三图像；获取摄像机在第三拍摄场景下红外图像的虚焦区域；获取已存的第一拍摄场景下的黑白图像，记为第一图像；根据虚焦区域，确定对应在第三图像中的待增强区域；根据虚焦区域，确定对应在第一图像中的增强区域；根据待增强区域的虚焦程度，分别确定增强区域和待增强区域的融合系数，按照融合系数对增强区域和待增强区域进行融合处理，得到处理后的第三图像。根据本公开实施例提供的图像质量提高方案，有效提升了日夜不共焦摄像机的在夜间模式下的图像质量。像质量。像质量。


技术研发人员：赵健
受保护的技术使用者：浙江宇视科技有限公司
技术研发日：2021.12.28
技术公布日：2023/7/13