影像校正方法及影像校正设备与流程

影像校正方法及影像校正设备
1.相关申请的交叉引用
2.本技术要求在2022年01月27日提交美国专利局、申请号为17/585,596、申请名称为“image calibration method and image calibration apparatus”的美国专利申请的优先权，其全部内容通过引用结合在本技术中。
技术领域
3.本发明提供一种影像校正方法及影像校正设备，尤指一种可用来校正广角影像的影像校正方法及影像校正设备。


背景技术：

4.随着科技的进步，能够撷取广角度影像的影像撷取模块已广泛应用在各种领域以获取较大的可视范围，例如在智能型手机的应用领域，为了能够在短距离的情况下完整撷取所需要的场景，能够拍摄广角度影像的影像撷取模块大规模的被安装在智能型手机中。然而，广角度影像撷取模块所撷取的广角影像在角落区域会有明显扭曲失真，传统解决方案是针对广角影像的角落区域进行畸变校正，但此解决方案会造成角落区域的行人或建筑物等对象产生不自然的扭曲。另一种传统解决方案则是先将广角影像的角落区域分割出背景部分与前景部分，先将背景部分如建筑物轮廓和道路标线的线条修正为直线，再对前景部分如行人执行畸变校正，以使行人的脸型与体型较为自然；然而，背景部分邻近前景部分的部分区块会产生不自然的线条扭曲，仍无法得到让人满意的畸变校正结果。


技术实现要素：

5.本发明提供一种可用来校正广角影像的影像校正方法及影像校正设备，以解决上述问题。
6.本发明的申请专利范围提供一种影像校正方法，应用于一广角影像。该影像校正方法包含有在该广角影像执行第一畸变校正以产生一校准影像，以及将一前景影像从该校准影像分割出来以生成一背景影像。该前景影像涵盖关联于一预定对象的多个特征像素，该背景影像具有相对于该前景影像的多个未占用像素。该影像校正方法进一步包含有在基于该预定对象的该前景影像执行第二畸变校正以产生一校正后前景影像，合并该背景影像与该校正后前景影像以生成一拼接影像，在该拼接影像内侦测没有与该校正后前景影像重叠的至少一剩余未占用像素，以及利用机器学习算法延伸该背景影像去填补该拼接影像内的该至少一剩余未占用像素以提供一输出影像。
7.可选地，该影像校正方法另包含有利用该机器学习算法在该校准影像内侦测关联于该预定对象的该多个特征像素。
8.可选地，合并该背景影像与该校正后前景影像以生成该拼接影像另包含有：判断该背景影像关联于该前景影像的该多个未占用像素的一背景中心，判断该前景影像内关联于该预定对象的一几何中心，以及将该背景中心对齐该几何中心以合并该背景影像与该校
正后前景影像。
9.可选地，在基于该预定对象的该前景影像执行该第二畸变校正以产生该校正后前景影像另包含有：将该前景影像内关联于该预定对象的该多个特征像素以基于该预定对象方式进行变形而产生一变形后前景影像，以及移动且缩放该变形后前景影像以产生该校正后前景影像。
10.可选地，将该前景影像内关联于该预定对象的该多个特征像素以基于该预定对象方式进行变形而产生该变形后前景影像另包含有：在关联于该预定对象的该多个特征像素内侦测对应于一顶端特征的多个顶端像素、对应于一本体特征的多个本体像素、和对应于一底端特征的多个底端像素，以及利用该预定对象的该顶端特征、该本体特征与该底端特征的多个参数分别将该多个顶端像素、该多个本体像素和该多个底端像素进行变形以产生该变形后前景影像。
11.可选地，将该前景影像内关联于该预定对象的该多个特征像素以基于该预定对象方式进行变形而产生该变形后前景影像另包含有：依照该多个顶端像素、该多个本体像素和该多个底端像素的几何中心对该多个顶端像素、该多个本体像素和该多个底端像素进行变形以产生该变形后前景影像。
12.可选地，将该前景影像内关联于该预定对象的该多个特征像素以基于该预定对象方式进行变形而产生该变形后前景影像另包含有：判断该预定对象是否为一行人，以及若该预定对象为该行人，设定顶端特征、该本体特征与该底端特征分别为该行人的一面部、一躯体以及一脚部。
13.可选地，利用该机器学习算法延伸该背景影像去填补该拼接影像内的该至少一剩余未占用像素以提供该输出影像另包含有：使用该背景影像邻近该多个未占用像素的多个像素去填补该拼接影像内的该至少一剩余未占用像素。
14.可选地，利用该机器学习算法延伸该背景影像去填补该拼接影像内的该至少一剩余未占用像素以提供该输出影像另包含有：根据该背景影像的一几何特征分布趋势去填补该拼接影像内的该至少一剩余未占用像素。
15.可选地，移动且缩放该变形后前景影像以产生该校正后前景影像另包含有：将该至少一剩余未占用像素的一尺寸相比于一预设门坎，以及若该至少一剩余未占用像素的该尺寸大于该预设门坎，对该变形后前景影像进行缩放调整。
16.本发明另提供一种影像校正设备，其包含有一广角影像侦测器以及一运算处理器。该广角影像侦测器用来提供一广角影像。该运算处理器电连接该广角影像侦测器。该运算处理器系在该广角影像执行第一畸变校正以产生一校准影像，将一前景影像从该校准影像分割出来以生成一背景影像，在基于该预定对象的该前景影像执行第二畸变校正以产生一校正后前景影像，合并该背景影像与该校正后前景影像以生成一拼接影像，在该拼接影像内侦测没有与该校正后前景影像重叠的至少一剩余未占用像素，以及利用机器学习引擎延伸该背景影像去填补该拼接影像内的该至少一剩余未占用像素以提供一输出影像。该前景影像涵盖关联于一预定对象的多个特征像素，该背景影像具有相对于该前景影像的多个未占用像素。
17.本发明的影像校正方法及影像校正设备用来校正广角影像，以将影像内原具有扭曲外型的预定对象校正回正确外型，且预定对象之外的背景也没有扭曲变形的现象。影像
校正方法首先会对广角影像执行第一畸变校正来得到校准影像。校准影像的背景部分通常能呈现正确线条，但是前景部分仍会有异常形变的现象，故影像校正方法再将校准影像分割为前景影像与背景影像，并对前景影像执行第二畸变校正以修正其异常形变。接着，校正后前景影像可合并于背景影像以得到拼接影像，并会因为前景影像执行了第二畸变校正，而在拼接影像中出现剩余未占用像素。因此，本发明可再利用机器学习技术分析背景影像，估算出可用于填补拼接影像内剩余未占用像素的数据，生成前景与背景皆无扭曲变形的输出影像。
附图说明
18.图1为本发明实施例的影像校正设备的功能方块图；
19.图2为本发明实施例的影像校正设备的应用示意图；
20.图3为本发明实施例的影像校正方法的流程图；
21.图4至图11为本发明实施例侦测影像在不同影像校正阶段的示意图。
22.图标：10:影像校正设备
23.12:广角影像侦测器
24.14:运算处理器
25.o:预定物件
26.m:屏蔽
27.g1:顶端特征的几何中心
28.g2:本体特征的几何中心
29.g3:底端特征的几何中心
30.c1:预定对象的几何中心
31.c2:未占用像素的背景中心
32.i1:广角影像
33.i2:校准影像
34.i3:前景影像
35.i4:背景影像
36.i5:校正后前景影像
37.i5’:变形后前景影像
38.i6:拼接影像
39.i7:输出影像
40.s100、s102、s104、s106、s108、s110：步骤
具体实施方式
41.请参阅图1与图2，图1为本发明实施例的影像校正设备10的功能方块图，图2为本发明实施例的影像校正设备10的应用示意图。影像校正设备10可以应用在室内或室外空间，用来侦测行人、车辆、或是任意的移动对象或静止对象。影像校正设备10可包含广角影像侦测器12以及运算处理器14。广角影像侦测器12提供侦测影像，用来侦测广角影像侦测器12的监控范围内的移动对象与静止对象。一般来说，侦测影像内角落区域的预定对象o会
因广角影像侦测器12的特性而略有变形，然实际应用不限于此，例如侦测影像接近中央的区域也可能因其它因素会有影像扭曲现象。运算处理器14电连接于广角影像侦测器12，用来分析且校正侦测影像内预定对象o的变形。运算处理器14除了对预定对象o执行畸变校正以修正预定对象o的扭曲变形，还会相应修正预定对象o之外的背景，以使影像校正设备10能提供前景与背景皆无扭曲变形的输出影像。
42.请参阅图3至图11，图3为本发明实施例的影像校正方法的流程图，图4至图11为本发明实施例的侦测影像在不同影像校正阶段的示意图。广角影像侦测器12所提供的初始侦测影像为广角影像i1，如图4所示。广角影像i1内角落区域的部分线条相比于其真实线条略带有扭曲变形，例如预定对象o的外型、楼梯、门窗皆与真实外型明显不同。因此，影像校正方法首先可执行步骤s100，在广角影像i1执行第一畸变校正以产生校准影像i2，如图5所示，此时楼梯与门窗的扭曲轮廓已修正为直线线条，但是位于角落区域的预定对象o的外型仍有些许变形，例如预定对象o的头部被挤压而朝向右上方发生形变，预定对象o的身躯和四肢亦带有形变而与真实形状具有差异。
43.接着，执行步骤s102，将校准影像i2分割为前景影像i3与背景影像i4。如图6所示，前景影像i3系可涵盖关联于预定对象o的多个特征像素，预定对象o以外的区块则以格纹表示。如图7所示，背景影像i4可具有相对于前景影像i3的多个未占用像素，该些未占用像素可形成屏蔽m。再接着，执行步骤s104，在基于预定对象o所生成的前景影像i3执行第二畸变校正以产生校正后前景影像i5，如图8所示。比较预定对象o在图6与图8之间的变化，可看出预定对象o的头部、身躯和四肢经第二畸变校正后可呈现正常的形状。
44.接下来，执行步骤s106与步骤s108，合并背景影像i4与校正后前景影像i5以生成拼接影像i6，并且在拼接影像i6内侦测没有与校正后前景影像i5重叠的剩余未占用像素。如图9所示，屏蔽m的形状不同于校正后前景影像i5内的预定对象o的形状，故屏蔽m尚有剩余未占用像素，须待本发明的影像校正方法进行填补；剩余未占用像素的数量与分布依实际情况而定，于此不再对其它可能变化另行说明。最后，执行步骤s110，利用机器学习引擎执行相应的机器学习算法去延伸背景影像i4，从而填补拼接影像i6或屏蔽m内的剩余未占用像素以生成输出影像i7。如图10所示，输出影像i7内的预定对象o的各部位可呈现真实比例，且楼梯与门窗的扭曲轮廓已修正为直线线条，既能维持前景内预定对象o的正常形状，同时背景也没有线条异常扭曲的现象。
45.步骤s102中，运算处理器14可利用机器学习引擎在校准影像i2内侦测出关联于预定对象o的多个特征像素，从而在校准影像i2分割出前景影像i3与背景影像i4。本发明所述的机器学习引擎可套用各种类型的预测模型来达成前述机器学习算法所需的运算结果。本发明的机器学习引擎和机器学习算法不限于特定预测模型，其变化端视设计需求而定，故此不再详加说明。步骤s104中，影像校正方法还可选择性先将前景影像i3内关联于预定对象o的多个特征像素以基于预定对象o的方式进行矫正，从而产生变形后前景影像i5’，如图11所示；变形后前景影像i5’可再依据背景影像i4进行移动和/或缩放调整，从而生成图8所示的校正后前景影像i5。
46.本发明所述的基于预定对象o的方式，是指影像校正方法可从前景影像i3内关联于预定对象o的多个特征像素，侦测出对应于预定对象o的顶端特征的顶端像素、对应于预定对象o的本体特征的本体像素、和对应于预定对象o的底端特征的底端像素。此实施例中，
预定物件o可为行人，故顶端特征、本体特征与底端特征可分别为行人的面部、躯体以及脚部；然实际应用不限于此，若预定对象o为车辆或其它生物，顶端特征、本体特征与底端特征则分别为车辆或其它生物的各相应部位。
47.侦测出预定对象o的顶端特征、本体特征与底端特征的相应像素后，影像校正方法可利用预定对象o的顶端特征、本体特征与底端特征各自的参数分别将顶端像素、本体像素和底端像素进行校正变形，来产生变形后前景影像i5’。换句话说，行人的面部、躯体以及脚部会具有各自的外型特征，例如面部偏向圆形、脚部偏向长条型、躯体偏向方型且大于面部与脚部，故前述参数可能是顶端特征、本体特征与底端特征各自的外形特征、或是彼此之间的比例特征、或是其它可应用特征。步骤s104可根据预定对象o的已知特性及其参数，先找出顶端特征的几何中心g1、本体特征的几何中心g2与底端特征的几何中心g3，再依照几何中心g1、g2以及g3分别针对预定对象o的顶端像素、本体像素和底端像素进行校正变形，从而生成变形后前景影像i5’，且使变形后前景影像i5’内的预定对象o能呈现较佳比例的形状以贴近真实样貌。
48.步骤s106与步骤s108中，影像校正方法可判断前景影像i3内关联于预定对象o的几何中心c1，以及判断背景影像i4的关联于前景影像i3的未占用像素的背景中心c2，再将几何中心c1对齐于背景中心c2以合并背景影像i4与校正后前景影像i5而生成拼接影像i6。如图6所示，拼接影像i6内会有没有与校正后前景影像i5重叠的剩余未占用像素。本发明中，影像校正方法还可选择性先将拼接影像i6内的剩余未占用像素所结合的轮廓尺寸相比于预设门坎；预设门坎的数值及其可能变化依设计需求而定，于此不再详加说明。若剩余未占用像素的尺寸小于或等于默认门坎，表示背景影像i4内的屏蔽m和校正后前景影像i5的预定对象o的形状差异甚微，此时可直接执行步骤s110。若剩余未占用像素的尺寸大于默认门坎，表示背景影像i4内的屏蔽m和校正后前景影像i5的预定对象o的形状差异过大，故可将变形后前景影像i5’或校正后前景影像i5进行移动和/或缩放调整，以使预定对象o能移动到较适当的位置，进一步避免步骤s110需填补过多的剩余未占用像素。
49.步骤s110中，影像校正方法可先找出背景影像i4内邻近多个未占用像素的多个像素，意即位于屏蔽m的外缘且关联于楼梯、墙壁与窗户的背景像素，再利用该些背景像素估算屏蔽m的内缘的可能像素值，以利用来自背景影像i4的估算像素去填补拼接影像i6内的剩余未占用像素。或者，影像校正方法也可以选择先分析背景影像i4内的几何特征分布趋势，例如楼梯的长度、墙壁的颜色、或窗户的轮廓，再依据几何特征分布趋势估算屏蔽m的内缘的可能像素值，从而填补拼接影像i6内的剩余未占用像素，以生成输出影像i7。
50.综上所述，本发明的影像校正方法及其影像校正设备用来校正广角影像，以将影像内原具有扭曲外型的预定对象校正回正确外型，且预定对象之外的背景也没有扭曲变形的现象。影像校正方法首先会对广角影像执行第一畸变校正来得到校准影像。校准影像的背景部分通常能呈现正确线条，但是前景部分仍会有异常形变的现象，故影像校正方法再将校准影像分割为前景影像与背景影像，并对前景影像执行第二畸变校正以修正其异常形变。接着，校正后前景影像可合并于背景影像以得到拼接影像，并会因为前景影像执行了第二畸变校正，而在拼接影像中出现剩余未占用像素。因此，本发明可再利用机器学习技术分析背景影像，估算出可用于填补拼接影像内剩余未占用像素的数据，生成前景与背景皆无扭曲变形的输出影像。
51.以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

技术特征：
1.一种影像校正方法，其特征在于，应用于一广角影像，该影像校正方法包含有：在该广角影像执行第一畸变校正以产生一校准影像；将一前景影像从该校准影像分割出来以生成一背景影像，其中，该前景影像涵盖关联于一预定对象的多个特征像素，该背景影像具有相对于该前景影像的多个未占用像素；在基于该预定对象的该前景影像执行第二畸变校正以产生一校正后前景影像；合并该背景影像与该校正后前景影像以生成一拼接影像；在该拼接影像内侦测没有与该校正后前景影像重叠的至少一剩余未占用像素；以及利用机器学习算法延伸该背景影像去填补该拼接影像内的该至少一剩余未占用像素以提供一输出影像。2.根据权利要求1所述的影像校正方法，其特征在于，另包含有：利用该机器学习算法在该校准影像内侦测关联于该预定对象的该多个特征像素。3.根据权利要求1所述的影像校正方法，其特征在于，合并该背景影像与该校正后前景影像以生成该拼接影像另包含有：判断该背景影像关联于该前景影像的该多个未占用像素的一背景中心；判断该前景影像内关联于该预定对象的一几何中心；以及将该背景中心对齐该几何中心以合并该背景影像与该校正后前景影像。4.根据权利要求3所述的影像校正方法，其特征在于，在基于该预定对象的该前景影像执行该第二畸变校正以产生该校正后前景影像另包含有：将该前景影像内关联于该预定对象的该多个特征像素以基于该预定对象方式进行变形而产生一变形后前景影像；以及移动且缩放该变形后前景影像以产生该校正后前景影像。5.根据权利要求4所述的影像校正方法，其特征在于，将该前景影像内关联于该预定对象的该多个特征像素以基于该预定对象方式进行变形而产生该变形后前景影像另包含有：在关联于该预定对象的该多个特征像素内侦测对应于一顶端特征的多个顶端像素、对应于一本体特征的多个本体像素、和对应于一底端特征的多个底端像素；以及利用该预定对象的该顶端特征、该本体特征与该底端特征的多个参数分别将该多个顶端像素、该多个本体像素和该多个底端像素进行变形以产生该变形后前景影像。6.根据权利要求5所述的影像校正方法，其特征在于，将该前景影像内关联于该预定对象的该多个特征像素以基于该预定对象方式进行变形而产生该变形后前景影像另包含有：依照该多个顶端像素、该多个本体像素和该多个底端像素的几何中心对该多个顶端像素、该多个本体像素和该多个底端像素进行变形以产生该变形后前景影像。7.根据权利要求5所述的影像校正方法，其特征在于，将该前景影像内关联于该预定对象的该多个特征像素以基于该预定对象方式进行变形而产生该变形后前景影像另包含有：判断该预定对象是否为一行人；以及若该预定对象为该行人，设定顶端特征、该本体特征与该底端特征分别为该行人的一面部、一躯体以及一脚部。8.根据权利要求1所述的影像校正方法，其特征在于，利用该机器学习算法延伸该背景影像去填补该拼接影像内的该至少一剩余未占用像素以提供该输出影像另包含有：使用该背景影像邻近该多个未占用像素的多个像素去填补该拼接影像内的该至少一
剩余未占用像素。9.根据权利要求1所述的影像校正方法，其特征在于，利用该机器学习算法延伸该背景影像去填补该拼接影像内的该至少一剩余未占用像素以提供该输出影像另包含有：根据该背景影像的一几何特征分布趋势去填补该拼接影像内的该至少一剩余未占用像素。10.根据权利要求4所述的影像校正方法，其特征在于，移动且缩放该变形后前景影像以产生该校正后前景影像另包含有：将该至少一剩余未占用像素的一尺寸相比于一预设门坎；以及若该至少一剩余未占用像素的该尺寸大于该预设门坎，对该变形后前景影像进行缩放调整。11.一种影像校正设备，其特征在于，包含有：一广角影像侦测器，用来提供一广角影像；以及一运算处理器，电连接该广角影像侦测器，该运算处理器在该广角影像执行第一畸变校正以产生一校准影像，将一前景影像从该校准影像分割出来以生成一背景影像，在基于该预定对象的该前景影像执行第二畸变校正以产生一校正后前景影像，合并该背景影像与该校正后前景影像以生成一拼接影像，在该拼接影像内侦测没有与该校正后前景影像重叠的至少一剩余未占用像素，以及利用机器学习引擎延伸该背景影像去填补该拼接影像内的该至少一剩余未占用像素以提供一输出影像；其中该前景影像涵盖关联于一预定对象的多个特征像素，该背景影像具有相对于该前景影像的多个未占用像素。12.根据权利要求11所述的影像校正设备，其特征在于，该运算处理器进一步利用该机器学习引擎在该校准影像内侦测关联于该预定对象的该多个特征像素。13.根据权利要求11所述的影像校正设备，其特征在于，该运算处理器进一步判断该背景影像关联于该前景影像的该多个未占用像素的一背景中心，判断该前景影像内关联于该预定对象的一几何中心，以及将该背景中心对齐该几何中心以合并该背景影像与该校正后前景影像。14.根据权利要求13所述的影像校正设备，其特征在于，该运算处理器进一步将该前景影像内关联于该预定对象的该多个特征像素以基于该预定对象方式进行变形而产生一变形后前景影像，以及移动且缩放该变形后前景影像以产生该校正后前景影像。15.根据权利要求14所述的影像校正设备，其特征在于，该运算处理器进一步在关联于该预定对象的该多个特征像素内侦测对应于一顶端特征的多个顶端像素、对应于一本体特征的多个本体像素、和对应于一底端特征的多个底端像素，以及利用该预定对象的该顶端特征、该本体特征与该底端特征的多个参数分别将该多个顶端像素、该多个本体像素和该多个底端像素进行变形以产生该变形后前景影像。16.根据权利要求15所述的影像校正设备，其特征在于，该运算处理器进一步依照该多个顶端像素、该多个本体像素和该多个底端像素的几何中心对该多个顶端像素、该多个本体像素和该多个底端像素进行变形以产生该变形后前景影像。17.根据权利要求15所述的影像校正设备，其特征在于，该运算处理器进一步判断该预定对象是否为一行人，以及若该预定对象为该行人，设定顶端特征、该本体特征与该底端特
征分别为该行人的一面部、一躯体以及一脚部。18.根据权利要求11所述的影像校正设备，其特征在于，该运算处理器进一步使用该背景影像邻近该多个未占用像素的多个像素去填补该拼接影像内的该至少一剩余未占用像素。19.根据权利要求11所述的影像校正设备，其特征在于，该运算处理器进一步根据该背景影像的一几何特征分布趋势去填补该拼接影像内的该至少一剩余未占用像素。20.根据权利要求14所述的影像校正设备，其特征在于，该运算处理器进一步将该至少一剩余未占用像素的一尺寸相比于一预设门坎，以及若该至少一剩余未占用像素的该尺寸大于该预设门坎，对该变形后前景影像进行缩放调整。

技术总结
本发明涉及影像技术领域，公开了一种影像校正方法及影像校正设备，应用于广角影像。该影像校正方法包含有在该广角影像执行第一畸变校正以产生一校准影像，以及将一前景影像从该校准影像分割出来以生成一背景影像。该前景影像涵盖一预定对象的多个特征像素，该背景影像具有多个未占用像素。该影像校正方法包含有在该前景影像执行第二畸变校正以产生一校正后前景影像，合并该背景影像与该校正后前景影像以生成一拼接影像，在该拼接影像内侦测没有与该校正后前景影像重叠的剩余未占用像素，以及延伸该背景影像去填补该拼接影像内的该剩余未占用像素以提供一输出影像。余未占用像素以提供一输出影像。余未占用像素以提供一输出影像。


技术研发人员：郭育辰 林昱廷 陈国章
受保护的技术使用者：聚晶半导体股份有限公司
技术研发日：2022.05.10
技术公布日：2023/8/9