一种基于深度学习的自动颜色校正方法和系统与流程

1.本发明涉及显微计算成像领域，具体涉及一种基于深度学习的显微成像自动颜色校正方法和系统。


背景技术：

2.显微手术通常使用高分辨率显微镜观察手术过程，数字化成像可以帮助医生更好地观察手术区域并作出更准确的判断。在数字化成像过程中精准的术野颜色呈现对于手术质量至关重要，显微手术过程中光源的变化、手术器械材料和颜色以及患者的皮肤状态都可能会影响如果数字化显微图像中颜色不准确或者失真，可能会导致误判或者误解术野情况，对患者的手术结果产生负面影响，需要进行颜色校正处理。
3.现有技术中，医生术中通过使用相机的自动白平衡功能来实现术野颜色的校正，现有自动白平衡算法包括灰度世界法、完美反射法以及动态阈值调整法，但仍存在处理不稳定的问题，难以适应复杂的术野变化和干扰；另术中的仅使用白平衡调整不能完全消除所有因素(相机设置、照明等)导致的色彩偏差，还需要进行额外的色彩校正。


技术实现要素：

4.发明目的：为了克服现有技术显微术野数字化成像过程中的颜色校正处理往往仅依赖于相机内置的自动白平衡算法，该方法一方面难以适应复杂的术野场景变化和干扰，另一方面未考虑引起颜色偏差的其他因素(相机设置、照明等)，难以满足复杂术野场景下高稳定性的自动颜色校正需求，本发明提供一种准确性高、稳定性强的基于深度学习的自动颜色校正方法和系统。
5.技术方案：为实现上述目的，本发明采用的技术方案为：
6.一种基于深度学习的自动颜色校正方法，包括以下步骤：
7.步骤1，获取图像传感器传回的显微术野raw图像。
8.步骤2，将显微术野raw图像依次经过黑电平补偿、自动白平衡、色彩校正和gamma变换处理，得到显微术野srgb图像。
9.步骤3，根据设定的间隔n，每隔n帧调用颜色校正模型对srgb图像进行处理，输出一组颜色校正参数，颜色校正参数包括白平衡增益校正参数(r
gain
,g
gain
,b
gain
)和色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])。
[0010]
步骤4，根据白平衡增益校正参数(r
gain
,r
gain
,b
gain
)和色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])更新白平衡增益和色彩校正矩阵，根据校正更新后的白平衡增益和色彩校正矩阵完成自动白平衡和色彩校正，输出校正后的显微术野srgb图像。
[0011]
优选的：步骤3中颜色校正模型的建立方法：
[0012]
步骤31，颜色校正数据集构建：颜色校正数据集的构建包括颜色校正数据采集和数据增强。
[0013]
步骤32，颜色校正模型包括颜色校正网络、网络输出、第一损失函数和第二损失函数，颜色校正网络使用类unet架构。
[0014]
网络输出有两个输出头：一个是编码器输出头用来预测颜色校正参数()。另一个是编码器输出头用来预测无色差srgb图像i
pred
。
[0015]
第一损失函数预测颜色校正参数与颜色校正参数标签的损失函数l1，第二损失函数是预测无色差srgb图像与标准无色差srgb图像的损失函数l2，损失函数l2是额外用标准无色差srgb图像来约束编码器的颜色特征编码，
[0016]
通过对单个任务损失函数加权实现，最终的损失函数l＝l1+λl2，其中l1和l2均采用l2范数损失函数，λ表示损失权重系数。
[0017]
步骤33，通过颜色校正数据集对颜色校正模型进行训练，直至损失函数收敛，得到训练好的颜色校正模型。
[0018]
优选的：步骤31中颜色校正数据采集的方法：采集不同场景下的标准无色差srgb图像，以及不同色温、相机设置和照明情况下的偏色srgb图像，利用标准色卡来计算出每张偏色srgb图像校正至标准无色差srgb图像的白平衡增益和色彩校正矩阵()作为后续监督训练的标签。
[0019]
色彩校正矩阵进行白平衡约束，约束后的ccm矩阵满足条件：
[0020][0021]
色彩校正矩阵标签实际上为()；
[0022]
另偏色srgb图像对应的标准无色差srgb图像也作为后续训练网络中解码器训练的监督标签。
[0023]
优选的：步骤31中数据增强的方法：通过将标准无色差srgb图像转换成raw图像，渲染raw图像，以此来扩大偏色srgb图像的规模。另通过对采集图像进行随机进行m次大小为croph×
cropw块裁切，并应用几何增强进行额外的数据增强。
[0024]
优选的：步骤32中颜色校正网络包括编码器和解码器，在编码器和解码器之间具有多尺度跳跃连接，编码器和解码器使用卷积神经网络cnn和transformer模块组合实现，其中编码器负责输入图像的降采样，解码器负责将编码器的输出进行上采样，还原成与输入图像分辨率大小一致的输出。
[0025]
一种基于深度学习的自动颜色校正系统，采用上述基于深度学习的自动颜色校正方法，包括采集单元、黑电平补偿单元、自动白平衡单元、色彩校正单元、gamma变换单元、颜色校正模单元、输出单元，其中：
[0026]
所述采集单元用于获取图像传感器传回的显微术野raw图像。
[0027]
所述黑电平补偿单元用于对显微术野raw图像进行黑电平补偿。
[0028]
所述自动白平衡单元用于对黑电平补偿后的显微术野raw图像进行自动白平衡，得到自动白平衡显微术野raw图像。用于根据白平衡增益校正参数(r
gain
,g
gain
,b
gain
)更新白平衡增益，根据校正更新后的白平衡增益对黑电平补偿后的显微术野raw图像进行自动白平衡，得到校正更新后的自动白平衡显微术野raw图像。
[0029]
所述色彩校正单元用于对自动白平衡显微术野raw图像进行色彩校正，得到色彩校正的显微术野raw图像。用于根据校正更新后的色彩校正矩阵对校正更新后的自动白平衡显微术野raw图像进行色彩校正，得到校正更新后的色彩校正的显微术野raw图像。
[0030]
所述gamma变换单元用于对色彩校正后的显微术野raw图像进行gamma变换得到显微术野srgb图像。用于根据色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])更新色彩校正矩阵，对校正更新后的色彩校正的显微术野raw图像进行gamma变换得到校正更新后的显微术野srgb图像。
[0031]
所述颜色校正模单元用于每隔n帧对显微术野srgb图像进行处理，输出一组颜色校正参数，颜色校正参数包括白平衡增益校正参数(r
gain
,g
gain
,b
gain
)和色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])。
[0032]
所述输出单元用于输出校正更新后的色彩校正的显微术野raw图像。
[0033]
优选的：所述颜色校正模型包括颜色校正网络、网络输出、第一损失函数和第二损失函数，颜色校正网络使用类unet架构。网络输出有两个输出头：一个是编码器输出头用来预测颜色校正参数()。另一个是编码器输出头用来预测无色差srgb图像i
pred
。第一损失函数预测颜色校正参数与颜色校正参数标签的损失函数l1，第二损失函数是预测无色差srgb图像与标准无色差srgb图像的损失函数l2。通过对单个任务损失函数加权实现，最终的损失函数l＝l1+λl2，其中l1和l2均采用l2范数损失函数，λ表示损失权重系数。
[0034]
本发明相比现有技术，具有以下有益效果：
[0035]
本发明通过构建多任务训练策略，训练端到端的自动颜色校正模型，输入术中实时传回的术野图像，模型输出一组颜色校正参数(白平衡增益和色彩校正矩阵)，实时传回相机isp处理芯片，完成对捕捉术野图像的实时自动颜色校正。
附图说明
[0036]
图1为本发明的流程图。
[0037]
图2为颜色校正模型框图。
[0038]
图3为颜色校正模型流程图。
具体实施方式
[0039]
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
[0040]
一种基于深度学习的自动颜色校正方法，如图1-3所示，包括以下步骤：
[0041]
步骤1，获取图像传感器传回的显微术野raw图像。
[0042]
步骤2，将显微术野raw图像依次经过黑电平补偿、自动白平衡、色彩校正和gamma变换处理，得到显微术野srgb图像。
[0043]
步骤3，根据设定的间隔n，每隔n帧调用颜色校正模型对srgb图像进行处理，输出一组颜色校正参数，颜色校正参数包括白平衡增益校正参数(r
gain
,g
gain
,b
gain
)和色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])。
[0044]
如图2所示，颜色校正模型的建立方法：
[0045]
步骤31，颜色校正数据集构建：颜色校正数据集的构建包括颜色校正数据采集和数据增强。
[0046]
颜色校正数据采集的方法：采集不同场景下的标准无色差srgb图像，以及不同色温、相机设置和照明情况下的偏色srgb图像，利用标准色卡来计算出每张偏色srgb图像校正至标准无色差srgb图像的白平衡增益和色彩校正矩阵()作为后续监督训练的标签。
[0047]
由于色彩校正矩阵要保证自动白平衡之后的白色仍为白色，要进行白平衡约束，约束后的ccm矩阵满足条件：
[0048][0049]
色彩校正矩阵标签实际上为()；
[0050]
另偏色srgb图像对应的标准无色差srgb图像也作为后续训练网络中解码器训练的监督标签。
[0051]
数据增强的方法：通过将标准无色差srgb图像转换成raw图像，渲染raw图像，渲染后的图像具有随机色温、相机设置和照明等因素，以此来扩大偏色srgb图像的规模。另通过对采集图像进行随机进行m次大小为croph×
cropw块裁切，并应用几何增强进行额外的数据增强，以避免过度拟合。
[0052]
步骤32，如图3所示，颜色校正模型包括颜色校正网络、网络输出、第一损失函数和第二损失函数，颜色校正网络使用了类unet架构。
[0053]
颜色校正网络包括编码器和解码器，在编码器和解码器之间具有多尺度跳跃连接，编码器和解码器使用卷积神经网络cnn和transformer模块组合实现，其中编码器负责输入图像的降采样，解码器负责将编码器的输出进行上采样，还原成与输入图像分辨率大小一致的输出。
[0054]
网络输出有两个输出头：一个是编码器输出头用来预测颜色校正参数()。另一个是编码器输出头用来预测无色差srgb图像i
pred
。
[0055]
损失函数包括两部分：第一损失函数预测颜色校正参数与颜色校正参数标签的损失函数l1，第二损失函数是预测无色差srgb图像与标准无色差srgb图像的损失函数l2，损失函数l2是额外用标准无色差srgb图像来约束编码器的颜色特征编码，因为单一的损失函数l1监督训练难以有效约束编码器对颜色特征编码的性能。为了平衡不同任务之间的损失权重，我们通过对单个任务损失函数加权实现，最终的损失函数l＝l1+λl2，其中l1和l2均采用l2范数损失函数，λ表示损失权重系数。
[0056]
步骤33，设定训练参数(学习率、训练batchsize,最大迭代次数、优化器等)迭代训练网络模型，通过颜色校正数据集对颜色校正模型进行训练，直至损失函数收敛，得到训练好的颜色校正模型。
[0057]
步骤4，根据白平衡增益校正参数(r
gain
,g
gain
,b
gain
)和色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])更新白平衡增益和色彩校正矩阵，根据校正更
新后的白平衡增益和色彩校正矩阵完成自动白平衡和色彩校正，输出校正后的显微术野srgb图像。
[0058]
一种基于深度学习的自动颜色校正系统，采用上述基于深度学习的自动颜色校正方法，包括采集单元、黑电平补偿单元、自动白平衡单元、色彩校正单元、gamma变换单元、颜色校正模单元、输出单元，其中：
[0059]
所述采集单元用于获取图像传感器传回的显微术野raw图像。
[0060]
所述黑电平补偿单元用于对显微术野raw图像进行黑电平补偿。
[0061]
所述自动白平衡单元用于对黑电平补偿后的显微术野raw图像进行自动白平衡，得到自动白平衡显微术野raw图像。用于根据白平衡增益校正参数(r
gain
,g
gain
,b
gain
)更新白平衡增益，根据校正更新后的白平衡增益对黑电平补偿后的显微术野raw图像进行自动白平衡，得到校正更新后的自动白平衡显微术野raw图像。
[0062]
所述色彩校正单元用于对自动白平衡显微术野raw图像进行色彩校正，得到色彩校正的显微术野raw图像。用于根据校正更新后的色彩校正矩阵对校正更新后的自动白平衡显微术野raw图像进行色彩校正，得到校正更新后的色彩校正的显微术野raw图像。
[0063]
所述gamma变换单元用于对色彩校正后的显微术野raw图像进行gamma变换得到显微术野srgb图像。用于根据色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])更新色彩校正矩阵，对校正更新后的色彩校正的显微术野raw图像进行gamma变换得到校正更新后的显微术野srgb图像。
[0064]
所述颜色校正模单元用于每隔n帧对显微术野srgb图像进行处理，输出一组颜色校正参数，颜色校正参数包括白平衡增益校正参数(r
gain
,g
gain
,b
gain
)和色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])。
[0065]
所述输出单元用于输出校正更新后的色彩校正的显微术野raw图像。
[0066]
模型部署是根据系统要求完成，在实施例的自动颜色校正系统中，只需将模型的编码器输出头部分部署到系统中，根据系统的硬件限制以及实时性等需求，进行适当的模型轻量化处理(蒸馏、剪枝等)，完成颜色校正模型部署，实现基于深度学习的自动化颜色校正。。
[0067]
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种基于深度学习的自动颜色校正方法，其特征在于，包括以下步骤：步骤1，获取图像传感器传回的显微术野raw图像；步骤2，将显微术野raw图像依次经过黑电平补偿、自动白平衡、色彩校正和gamma变换处理，得到显微术野srgb图像；步骤3，根据设定的间隔n，每隔n帧调用颜色校正模型对srgb图像进行处理，输出一组颜色校正参数，颜色校正参数包括白平衡增益校正参数(r
gain
,g
gain
,b
gain
)和色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])；步骤4，根据白平衡增益校正参数(r
gain
,g
gain
,b
gain
)和色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])更新白平衡增益和色彩校正矩阵，根据校正更新后的白平衡增益和色彩校正矩阵完成自动白平衡和色彩校正，输出校正后的显微术野srgb图像。2.根据权利要求1所述基于深度学习的自动颜色校正方法，其特征在于：步骤3中颜色校正模型的建立方法：步骤31，颜色校正数据集构建：颜色校正数据集的构建包括颜色校正数据采集和数据增强；步骤32，颜色校正模型包括颜色校正网络、网络输出、第一损失函数和第二损失函数，颜色校正网络使用类unet架构；网络输出有两个输出头：一个是编码器输出头用来预测颜色校正参数另一个是编码器输出头用来预测无色差srgb图像i
pred
；第一损失函数预测颜色校正参数与颜色校正参数标签的损失函数l1，第二损失函数是预测无色差srgb图像与标准无色差srgb图像的损失函数l2，损失函数l2是额外用标准无色差srgb图像来约束编码器的颜色特征编码；通过对单个任务损失函数加权实现，最终的损失函数l＝l1+λl2，其中l1和l2均采用l2范数损失函数，λ表示损失权重系数；步骤33，通过颜色校正数据集对颜色校正模型进行训练，直至损失函数收敛，得到训练好的颜色校正模型。3.根据权利要求2所述基于深度学习的自动颜色校正方法，其特征在于：步骤31中颜色校正数据采集的方法：采集不同场景下的标准无色差srgb图像，以及不同色温、相机设置和照明情况下的偏色srgb图像，利用标准色卡来计算出每张偏色srgb图像校正至标准无色差srgb图像的白平衡增益和色彩校正矩阵作为后续监督训练的标签；色彩校正矩阵进行白平衡约束，约束后的ccm矩阵满足条件：色彩校正矩阵标签实际上为另偏色srgb图像对应的标准无色差srgb图像也作为后续训练网络中解码器训练的监督标签。
4.根据权利要求3所述基于深度学习的自动颜色校正方法，其特征在于：步骤31中数据增强的方法：通过将标准无色差srgb图像转换成raw图像，渲染raw图像，以此来扩大偏色srgb图像的规模；另通过对采集图像进行随机进行m次大小为crop
h
×
crop
w
块裁切，并应用几何增强进行额外的数据增强。5.根据权利要求4所述基于深度学习的自动颜色校正方法，其特征在于：步骤32中颜色校正网络包括编码器和解码器，在编码器和解码器之间具有多尺度跳跃连接，编码器和解码器使用卷积神经网络cnn和transformer模块组合实现，其中编码器负责输入图像的降采样，解码器负责将编码器的输出进行上采样，还原成与输入图像分辨率大小一致的输出。6.一种基于深度学习的自动颜色校正系统，其特征在于：采用利要求1所述基于深度学习的自动颜色校正方法，包括采集单元、黑电平补偿单元、自动白平衡单元、色彩校正单元、gamma变换单元、颜色校正模单元、输出单元，其中：所述采集单元用于获取图像传感器传回的显微术野raw图像；所述黑电平补偿单元用于对显微术野raw图像进行黑电平补偿；所述自动白平衡单元用于对黑电平补偿后的显微术野raw图像进行自动白平衡，得到自动白平衡显微术野raw图像；用于根据白平衡增益校正参数(r
gain
,g
gain
,b
gain
)更新白平衡增益，根据校正更新后的白平衡增益对黑电平补偿后的显微术野raw图像进行自动白平衡，得到校正更新后的自动白平衡显微术野raw图像；所述色彩校正单元用于对自动白平衡显微术野raw图像进行色彩校正，得到色彩校正的显微术野raw图像；用于根据校正更新后的色彩校正矩阵对校正更新后的自动白平衡显微术野raw图像进行色彩校正，得到校正更新后的色彩校正的显微术野raw图像；所述gamma变换单元用于对色彩校正后的显微术野raw图像进行gamma变换得到显微术野srgb图像；用于根据色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])更新色彩校正矩阵，对校正更新后的色彩校正的显微术野raw图像进行gamma变换得到校正更新后的显微术野srgb图像；所述颜色校正模单元用于每隔n帧对显微术野srgb图像进行处理，输出一组颜色校正参数，颜色校正参数包括白平衡增益校正参数(r
gain
,g
gain
,b
gain
)和色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])；所述输出单元用于输出校正更新后的色彩校正的显微术野raw图像。7.根据权利要求6所述基于深度学习的自动颜色校正系统，其特征在于：所述颜色校正模型包括颜色校正网络、网络输出、第一损失函数和第二损失函数，颜色校正网络使用类unet架构；网络输出有两个输出头：一个是编码器输出头用来预测颜色校正参数另一个是编码器输出头用来预测无色差srgb图像i
pred
；第一损失函数预测颜色校正参数与颜色校正参数标签的损失函数l1，第二损失函数是预测无色差srgb图像与标准无色差srgb图像的损失函数l2；通过对单个任务损失函数加权实现，最终的损失函数l＝l1+λl2，其中l1和l2均采用l2范数损失函数，λ表示损失权重系数。

技术总结
本发明公开了一种基于深度学习的自动颜色校正方法和系统，包括采集单元、黑电平补偿单元、自动白平衡单元、色彩校正单元、Gamma变换单元、颜色校正模单元、输出单元，将显微术野RAW图像依次经过黑电平补偿、自动白平衡、色彩校正和Gamma变换处理，得到显微术野sRGB图像；调用颜色校正模型对sRGB图像进行处理，输出一组颜色校正参数，更新白平衡增益和色彩校正矩阵，根据校正更新后的白平衡增益和色彩校正矩阵完成自动白平衡和色彩校正，输出校正后的显微术野sRGB图像。本发明不仅准确性高，而且稳定性强。定性强。定性强。


技术研发人员：张新
受保护的技术使用者：嘉兴智瞳科技有限公司
技术研发日：2023.06.15
技术公布日：2023/10/11