一种多场景图的图像增强方法、系统、设备和存储介质与流程

1.本发明涉及图像处理技术领域，具体为一种多场景图的图像增强方法、系统、设备和存储介质。


背景技术：

2.随着现代科技的飞速发展，图像处理技术在各个领域中扮演着日益重要的角色。从工业制造到医学影像，从安防监控到自动驾驶，图像处理广泛应用于人们的日常生活和工作中。
3.其中，图像增强作为一项重要的图像处理技术，其目的是通过增强图像的视觉效果、提高图像质量、增加图像细节，使图像更适合人眼观察和计算机分析。
4.在多场景图像的处理过程中，以车间图像为例，常使用传统的图像增强方法，将整个图像视为一个整体进行处理，无法针对车间图像中不同场景和不同区域中的细节特征进行灵活处理，容易导致过度增强或欠增强等问题。另外，还需要手动设置增强参数（例如对比度），无法满足不同多场景车间图像中不同增强效果的需求，缺乏智能化和自适应性。


技术实现要素：

5.本发明的目的是提供了一种多场景图的图像增强方法、系统、设备和存储介质。
6.本发明技术方案如下：一种多场景图的图像增强方法，包括如下操作：s1、获取多场景图像，所述多场景图像经场景分类和标记处理，得到场景标记图；s2、所述场景标记图经分割处理，得到单场景区域图集；s3、获取所述单场景区域图集的像素值，得到像素值分布图集；基于所述像素值分布图集和标准像素分布图集，得到残差值分布图集；判断所述残差值分布图集中每个位置的邻域残差均值是否处于标准残差范围内；若处于，获取所述像素值分布图集和标准像素分布图集的映射关系，基于所述映射关系，所述单场景区域图集经特征映射处理，得到均衡区域图集；若不处于，所述单场景区域图集经直方图均衡处理，得到均衡区域图集；s4、所述均衡区域图集经融合处理，得到多场景增强图像。
7.如上所述的图像增强方法，所述s1中场景分类和标记处理的操作具体为：所述多场景图像经特征提取处理，得到关键特征信息；所述关键特征信息与多场景图数据库进行匹配，得到场景分类结果；基于所述场景分类结果，标记处理所述多场景图像，得到所述场景标记图。
8.如上所述的图像增强方法，所述s2中分割处理的操作具体为：遍历所述场景标记图中每个位置的像素值，得到像素变化幅度图；若所述像素变化幅度图中，当前位置的像素变化幅度处于预设阈值范围内，且所述当前位置处于场景标记图中相邻场景之间，所述当前位置为边缘位置点；基于所有边缘位置点，得到边缘曲线，沿所述边缘曲线裁剪场景标记图，得到若干个单场景区域图，得到所述单场景区域图集。
9.如上所述的图像增强方法，所述s3的操作之后，还包括第一平滑处理所述均衡区域图集，具体为：获取所述均衡区域图集中，每个均衡区域图中每个位置的权重值，得到权重值集；基于所述权重值集，所述每个均衡区域图中对应位置的像素值经加权平均处理，得到第一平滑区域图集；所述第一平滑区域图集执行所述s4的操作。
10.如上所述的图像增强方法，所述s4中融合处理的操作具体为：获取所述均衡区域图集中，每个均衡区域图的中心点的坐标值，得到坐标值集；基于所述坐标值集，将所述每个均衡区域图进行拼接处理，得到拼接多场景图像；所述拼接多场景图像经线性插值处理，得到所述多场景增强图像。
11.如上所述的图像增强方法，所述s1中场景分类和标记处理的操作之前，包括预处理所述多场景图像，所述预处理的操作包括：去噪、尺寸调整和色彩空间转换。
12.如上所述的图像增强方法，所述s1的操作之后，还包括灰度化处理所述场景标记图，得到灰度场景图；所述灰度场景图执行所述s2的操作。
13.一种多场景图的图像增强系统，包括：场景标记图生成模块，用于获取多场景图像，所述多场景图像经场景分类和标记处理，得到场景标记图；单场景区域图集生产模块，用于所述场景标记图经分割处理，得到单场景区域图集；均衡区域图集生成模块，获取所述单场景区域图集的像素值，得到像素值分布图集；基于所述像素值分布图集和标准像素分布图集，得到残差值分布图集；判断所述残差值分布图集中每个位置的邻域残差均值是否处于标准残差范围内；若处于，获取所述像素值分布图集和标准像素分布图集的映射关系，基于所述映射关系，所述单场景区域图集经特征映射处理，得到均衡区域图集；若不处于，所述单场景区域图集经直方图均衡处理，得到均衡区域图集；多场景增强图像生成模块，用于所述均衡区域图集经融合处理，得到多场景增强图像。
14.一种多场景图的图像增强设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如上述的多场景图的图像增强方法。
15.一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的多场景图的图像增强方法。
16.本发明的有益效果在于：本发明提供了一种多场景图的图像增强方法，针对多场景图像中多场景、多增强需求的问题，对多场景图像进行场景分类、标记、分割处理，得到由若干个单场景区域图；接着，根据每个单场景区域图的残差值分布特点，来判断每个单场景区域图的像素值分布情况；若每个位置的邻域残差均值不处于标准残差范围内，则整体图像偏亮或偏暗，使用直方图均衡方法进行全局处理；若每个位置的邻域残差均值处于标准残差范围内，计算与对应标准像素分布图的映射关系，基于该映射关系，特征映射处理每个单场景区域图，自适应调整每个单场景区域图的区域对比度；最后，将得到的若干个均衡区域图进行融合处理，最终得到高质量的多场景增强图像，可有效避免传统方法中的过度增强或欠增强等问题，使得图像增强方法更具有灵活性和针对性，适用于多场景下的图像处理需求。
具体实施方式
17.本实施例提供一种多场景图的图像增强方法，包括如下操作：s1、获取多场景图像，所述多场景图像经场景分类和标记处理，得到场景标记图；s2、所述场景标记图经分割处理，得到单场景区域图集；s3、获取所述单场景区域图集的像素值，得到像素值分布图集；基于所述像素值分布图集和标准像素分布图集，得到残差值分布图集；判断所述残差值分布图集中每个位置的邻域残差均值是否处于标准残差范围内；若处于，获取所述像素值分布图集和标准像素分布图集的映射关系，基于所述映射关系，所述单场景区域图集经特征映射处理，得到均衡区域图集；若不处于，所述单场景区域图集经直方图均衡处理，得到均衡区域图集；s4、所述均衡区域图集经融合处理，得到多场景图像增强。
18.s1、获取多场景图像，多场景图像经场景分类和标记处理，得到场景标记图。
19.多场景图像是指一张图像中包含多个不同场景的图像。以车间图像为例，从某工厂零件制造车间中获取车间图像时，通过监控摄像头、工业相机或其他图像采集设备拍摄整个车间，确保拍摄得到的图像涵盖了不同的角度、光照条件和各零部件制造过程中的各种情况，得到的车间图像中包括物料场景、加工场景、组装场景等多场景。
20.场景分类和标记处理的操作之前，包括预处理多场景图像，预处理包括：去噪、尺寸调整和色彩空间转换。
21.去噪的操作为：将多场景图像进行高斯噪声剔除处理，得到去噪多场景图像。上述去噪的过程可通过dncnn网络（denoising convolutional neural network，去噪卷积神经网络）实现。具体为，将多场景图像输入到dncnn网络中，通过在训练过程中学习以往图像高斯噪声模式，从而能够有效地去除多场景图像中的噪声，提高图像质量。
22.尺寸调整的操作为：将去噪后的多场景图像进行双线性插值算法处理，从而实现对图像的尺寸调整，确保去噪后的多场景图像大小适合后续处理，并减少计算复杂度，提高计算效率。
23.色彩空间转换的操作为：将尺寸调整后的多场景图像从rgb色彩空间转换为hsv色彩空间，便于减少计算量，提高计算效率。
24.为进一步提高计算效率，s1的操作之后，包括灰度化处理场景标记图，得到灰度场景图，灰度场景图执行s2的操作。
25.场景分类和标记处理的操作为：多场景图像或灰度场景图经特征提取处理，得到关键特征信息；关键特征信息与多场景图数据库进行匹配后，得到场景分类结果；基于场景分类结果，标记处理多场景图像或灰度场景图，得到场景标记图。
26.具体为，首先将带有标签的图像数据集（每个图像都对应一个场景类别标签）输入到卷积神经网络中，提取纹理、边缘、颜色和像素值等信息后，得到关键特征信息，将关键特征信息送入resnet模型（deep residual network, resnet）中进行分类训练，得到的分类结果组成多场景图数据库。训练完成后，对于一张新的多场景图像，将其输入到已训练好的卷积神经网络中，提取每个场景中的纹理、边缘、颜色和像素值等信息，得到关键特征信息。接着，将提取到的关键特征信息输入到resnet模型中进行多分类处理，将这些关键特征信息与多场景图数据库中对应场景的特征信息进行匹配，分类器输出多场景图像中每个场景
属于具体类别的概率分布，选取概率值最大的对应类别作为场景分类结果，从而将多场景图像中的若干个场景区分开来，根据这些若干个场景对应的类别，对多场景图像进行多个场景的划分标记，得到场景标记图。
27.s2、场景标记图经分割处理，得到单场景区域图集。
28.分割处理的操作为：遍历场景标记图中每个位置的像素值，得到像素变化幅度图；若像素变化幅度图中，当前位置的像素变化幅度超出阈值，且当前位置处于场景标记图中相邻场景之间，当前位置为边缘位置点；基于所有边缘位置点，得到边缘曲线，沿边缘曲线裁剪场景标记图，得到若干个单场景区域图，得到单场景区域图集。
29.具体为，以场景标记图的左侧边界为遍历起始方向，水平方向上，从左向右获取场景标记图中每个位置的像素值，当前位置的像素值与前一个位置的像素值的差值，为当前位置的像素变化幅度值，由此得到像素变化幅度图；如果当前位置的像素变化幅度超出阈值，则证明图像中该位置处出现新的场景，该位置为场景的边缘位置点；基于上述方式获得的所有边缘位置点，经曲线拟合处理，得到场景的边缘曲线，沿着边缘曲线去裁剪，可准确获得若干个单场景区域图，组成上述的单场景区域图集。
30.分割处理的操作还可以为：将场景标记图进行语义分割处理，得到单场景区域图集。语义分割处理可通过u-net语义分割网络实现，u-net语义分割网络基于像素级别的标签和语义信息进行图像分割，通过将图像分割成不同的局部区域，为每个像素分配特定的标签，从而实现对图像中不同物体和区域的精确分割，得到单场景区域图集。
31.s3、获取单场景区域图集的像素值，得到像素值分布图集；基于像素值分布图集和标准像素分布图集，得到残差值分布图集；判断残差值分布图集中每个位置的邻域残差均值是否处于标准残差范围内；若处于，获取像素值分布图集和标准像素分布图集的映射关系，基于映射关系，单场景区域图集经特征映射处理，得到均衡区域图集；若不处于，单场景区域图集经直方图均衡处理，得到均衡区域图集。
32.对于每个单场景区域图集中的单场景区域图，获取其像素值分布情况，得到对应像素值分布图；将像素值分布图与对应标准像素分布图作差处理，得到残差值分布图。
33.若残差值分布图中当前位置的邻域残差均值不处于标准残差范围内，则证明该单场景区域图整体偏暗或偏亮，因此需要使用直方图均衡处理进行全局像素调整，优选全局直方图均衡方法，因全局直方图均衡法为现有成熟技术，为节省篇幅，不在此过多论述。
34.若残差值分布图中当前位置的邻域残差均值处于标准残差范围内，则证明该单场景区域图整体像素特征与对应标准像素分布图较为接近，需要进行细小调整处理，因此需要获取像素值分布图中当前位置的第一邻域对比度，与对应位置处标准像素分布图的第二邻域对比度，由此得到对比度差，基于该对比度差，特征映射处理单场景区域图，将第一邻域对比度与对比度差相加，自适应调整单场景区域图中当前位置的邻域对比度，避免过度增强或欠增强，得到均衡区域图。单场景区域图集中每个单场景区域图重复上述操作，最终得到均衡区域图集。上述邻域范围可通过邻域半径确定，邻域半径可根据实际需要自行调整。
35.调整对比度后得到的均衡区域图集中，每个均衡区域图中有可能出现轮廓不连续的现象，为解决该技术问题，s3的操作之后，还包括第一平滑处理均衡区域图集，具体为：获取均衡区域图集中，每个均衡区域图中每个位置的权重值，得到权重值集；基于权重值集，
每个均衡区域图中对应位置的像素值经加权平均处理，得到第一平滑区域图集；第一平滑区域图集执行s4的操作。
36.每个均衡区域图中，每个位置的权重值反映了该位置在对应均衡区域图中的重要性，权重可以根据位置、像素大小和增强效果等因素来分配，较突出的位置可能被分配较高的权重，以确保它贡献能够显著影响对应的平滑区域图中。对于均衡区域图中每个位置的像素，按照对应位置的权重值进行加权平均。即每个位置的像素的最终值是该位置增强后的加权平均值。加权平均处理可确保单个均衡区域图中，不同位置的增强效果得到了合适的整合，这种方法在图像中实现了平滑过渡，避免了明显的不连贯性，同时保留了局部细节和整体一致性。
37.s4、均衡区域图集经融合处理，得到增强多场景图像。
38.融合处理的操作为：获取均衡区域图集中，每个均衡区域图的中心点的坐标值，得到坐标值集；基于坐标值集，将每个均衡区域图进行拼接处理，得到拼接多场景图像；拼接多场景图像经线性插值处理，得到多场景增强图像。
39.拼接多场景图像经线性插值处理的操作之前，还包括第二平滑处理拼接多场景图像，具体为：获取拼接多场景图像中每个均衡区域图的权重值，得到拼接权重值集；基于拼接权重值集，每个均衡区域图的像素平均值经加权平均处理后，经线性插值处理，得到多场景增强图像。
40.在融合过程中为考虑不同均衡区域图的重要性，计算拼接多场景图像中每个区域（每个均衡区域图所在区域）的权重，这些权重可以根据图的内容、特征、以及场景类别等因素进行分配，通过这些权重，能够确定各个均衡区域图在整个拼接多场景图像中的贡献程度。对于拼接多场景图像的每个像素，从不同均衡区域图中提取对应像素平均值，并根据权重进行加权平均，这个过程实现图像平滑的过渡和整体一致性。
41.为避免产生明显区域边界，影响图像的视觉效果，在相邻均衡区域图所在区域之间实施第二平滑处理，第二平滑处理可通过线性插值方法或高斯加权平均方法实现，以逐渐将一个区域的增强效果过渡到另一个区域，产生边界自然平滑的效果。
42.本实施例提供一种多场景图的图像增强系统，包括：场景标记图生成模块，用于获取多场景图像，多场景图像经场景分类和标记处理，得到场景标记图；单场景区域图集生产模块，用于场景标记图经分割处理，得到单场景区域图集；均衡区域图集生成模块，获取单场景区域图集的像素值，得到像素值分布图集；基于像素值分布图集和标准像素分布图集，得到残差值分布图集；判断残差值分布图集中每个位置的邻域残差均值是否处于标准残差范围内；若处于，获取像素值分布图集和标准像素分布图集的映射关系，基于映射关系，单场景区域图集经特征映射处理，得到均衡区域图集；若不处于，单场景区域图集经直方图均衡处理，得到均衡区域图集；多场景增强图像生成模块，用于均衡区域图集经融合处理，得到多场景增强图像。
43.本实施例提供一种多场景图的图像增强设备，包括处理器和存储器，其中，处理器执行存储器中保存的计算机程序时实现如上述的多场景图的图像增强方法。
44.本实施例提供一种计算机可读存储介质，用于存储计算机程序，其中，计算机程序被处理器执行时实现上述的多场景图的图像增强方法。
45.本实施例提供的一种多场景图的图像增强方法，针对多场景图像中多场景、多增强需求的问题，对多场景图像进行场景分类、标记、分割处理，得到由若干个单场景区域图；接着，根据每个单场景区域图的残差值分布特点，来判断每个单场景区域图的像素值分布情况；若每个位置的邻域残差均值不处于标准残差范围内，则整体图像偏亮或偏暗，使用直方图均衡进行全局处理；若每个位置的邻域残差均值处于标准残差范围内，计算与对应标准像素分布图的映射关系，基于该映射关系，特征映射处理每个单场景区域图，自适应调整每个单场景区域图的区域对比度；最后，将得到的若干个均衡区域图进行融合处理，最终得到高质量的多场景增强图像，可有效避免传统方法中的过度增强或欠增强等问题，使得图像增强方法更具有灵活性和针对性，适用于多场景下的图像处理需求。

技术特征：
1.一种多场景图的图像增强方法，其特征在于，包括如下操作：s1、获取多场景图像，所述多场景图像经场景分类和标记处理，得到场景标记图；s2、所述场景标记图经分割处理，得到单场景区域图集；s3、获取所述单场景区域图集的像素值，得到像素值分布图集；基于所述像素值分布图集和标准像素分布图集，得到残差值分布图集；判断所述残差值分布图集中每个位置的邻域残差均值是否处于标准残差范围内；若处于，获取所述像素值分布图集和标准像素分布图集的映射关系，基于所述映射关系，所述单场景区域图集经特征映射处理，得到均衡区域图集；若不处于，所述单场景区域图集经直方图均衡处理，得到均衡区域图集；s4、所述均衡区域图集经融合处理，得到多场景增强图像。2.根据权利要求1所述的图像增强方法，其特征在于，所述s1中场景分类和标记处理的操作具体为：所述多场景图像经特征提取处理，得到关键特征信息；所述关键特征信息与多场景图数据库进行匹配，得到场景分类结果；基于所述场景分类结果，标记处理所述多场景图像，得到所述场景标记图。3.根据权利要求1所述的图像增强方法，其特征在于，所述s2中分割处理的操作具体为：遍历所述场景标记图中每个位置的像素值，得到像素变化幅度图；若所述像素变化幅度图中，当前位置的像素变化幅度处于预设阈值范围内，且所述当前位置处于场景标记图中相邻场景之间，所述当前位置为边缘位置点；基于所有边缘位置点，得到边缘曲线，沿所述边缘曲线裁剪场景标记图，得到若干个单场景区域图，得到所述单场景区域图集。4.根据权利要求1所述的图像增强方法，其特征在于，所述s3的操作之后，还包括第一平滑处理所述均衡区域图集，具体为：获取所述均衡区域图集中，每个均衡区域图中每个位置的权重值，得到权重值集；基于所述权重值集，所述每个均衡区域图中对应位置的像素值经加权平均处理，得到第一平滑区域图集；所述第一平滑区域图集执行所述s4的操作。5.根据权利要求1所述的图像增强方法，其特征在于，所述s4中融合处理的操作具体为：获取所述均衡区域图集中，每个均衡区域图的中心点的坐标值，得到坐标值集；基于所述坐标值集，将所述每个均衡区域图进行拼接处理，得到拼接多场景图像；所述拼接多场景图像经线性插值处理，得到所述多场景增强图像。6.根据权利要求1所述的图像增强方法，其特征在于，所述s1中场景分类和标记处理的操作之前，包括预处理所述多场景图像，所述预处理的操作包括：去噪、尺寸调整和色彩空间转换。7.根据权利要求1所述的图像增强方法，其特征在于，所述s1的操作之后，还包括灰度化处理所述场景标记图，得到灰度场景图；所述灰度场景图执行所述s2的操作。8.一种多场景图的图像增强系统，其特征在于，包括：
场景标记图生成模块，用于获取多场景图像，所述多场景图像经场景分类和标记处理，得到场景标记图；单场景区域图集生产模块，用于所述场景标记图经分割处理，得到单场景区域图集；均衡区域图集生成模块，获取所述单场景区域图集的像素值，得到像素值分布图集；基于所述像素值分布图集和标准像素分布图集，得到残差值分布图集；判断所述残差值分布图集中每个位置的邻域残差均值是否处于标准残差范围内；若处于，获取所述像素值分布图集和标准像素分布图集的映射关系，基于所述映射关系，所述单场景区域图集经特征映射处理，得到均衡区域图集；若不处于，所述单场景区域图集经直方图均衡处理，得到均衡区域图集；多场景增强图像生成模块，用于所述均衡区域图集经融合处理，得到多场景增强图像。9.一种多场景图的图像增强设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-7任一项所述的多场景图的图像增强方法。10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的多场景图的图像增强方法。

技术总结
本发明涉及图像处理技术领域，具体为一种多场景图的图像增强方法、系统、设备和存储介质，该图像增强方法针对多场景图像中多场景、多增强需求的问题，对多场景图像进行场景分类、标记、分割处理，得到由若干个单场景区域图；接着，根据每个单场景区域图的残差值分布特点，来判断每个单场景区域图的像素值分布情况；并根据不同像素值分布情况，进行对应的均衡处理方法，最后将得到的若干个均衡区域图进行融合处理，最终得到高质量的多场景增强图像，可有效避免传统方法中的过度增强或欠增强等问题，使得图像增强方法更具有灵活性和针对性，适用于多场景下的图像处理需求。适用于多场景下的图像处理需求。


技术研发人员：李腾 李广磊 李传彬
受保护的技术使用者：山东捷瑞数字科技股份有限公司
技术研发日：2023.08.30
技术公布日：2023/10/8