一种基于角点检测的投影图像畸变校正方法及投影系统

1.本发明属于投影显示技术领域，具体地说，是涉及一种基于角点检测的投影图像畸变校正方法及投影系统。


背景技术：

2.投影设备将投影图像投影至投影屏幕上，但投影屏幕可能因长时间使用或受到外力作用等外界因素发生物理形变，由最初平整的接收屏变为凹凸不平的接收屏；投影图像在平整接收屏上显示的图像是无畸变的，例如图1所示的在平整接收屏上显示的方格图样；在发生形变的接收屏上，原本平直的线条会发生弯曲；例如图2所示，标准的方格图样投影在凹凸不平的接收屏上变为了不规则的图样，凹凸幅度越严重的位置，投影图像畸变越严重，从而影响投影设备的显示效果。


技术实现要素：

3.本发明针对因屏幕形变造成投影图像畸变的问题，提出一种基于角点检测的投影图像畸变校正方法及投影系统，解决因投影屏幕形变造成的图像畸变问题，可实现在已经发生形变的投影屏幕上显示无畸变的投影，可继续使用已发生形变的投影屏幕而不影响用户观看体验。
4.本发明采用以下技术方案予以实现：
5.提出一种基于角点检测的投影图像畸变校正方法，应用于投影设备中，包括：
6.将棋盘格图像投影到有形变的投影屏幕上，并获取投影图像；
7.基于棋盘格数量从所述投影图像中计算出角点的基准坐标；
8.识别所述投影图像中除去棋盘格图像部分的背景明度，并结合背景明度将棋盘格图像转换为黑白两色的棋盘格图像得到第一投影图像；
9.基于所述第一投影图像判断投影屏幕边框，对投影屏幕边框内的图像进行膨胀腐蚀和透视变换处理得到第二投影图像；
10.识别所述第二投影图像的角点坐标，计算角点坐标与所述基准坐标的坐标差得到坐标差矩阵；
11.将所述坐标差矩阵中每一行的坐标差值按照高斯函数模型进行拟合得到校正坐标矩阵并输出；
12.基于所述校正坐标矩阵控制所述投影设备的投影显示。
13.在本发明一些实施例汇总，识别所述第二投影图像的角点坐标，包括；
14.寻找内部角点坐标：以棋盘格图像中的第一颜色为基准寻找所述第二投影图像内部的角点坐标，并在以第一颜色为基准未找全角点坐标时，以棋盘格图像中的第二图像为基准寻找并补全内部角点坐标；
15.补全顶点坐标：基于投影显示分辨率在角点坐标基础上补全四个顶点坐标；
16.反光处理：在分别以第一颜色和第二颜色为基准均未找全内部角点坐标时执行，
包括：将反光部位使用预存的棋盘格图像的相同部位实施替换并更新所述第二投影图像；返回寻找内部角点坐标步骤。
17.提出一种投影系统，包括投影设备、投影屏幕和拍摄终端；所述投影设备包括：
18.投影单元，用于将棋盘格图像投影到有形变的投影屏幕上；所述拍摄终端获取投影图像并将其发送给所述投影设备；
19.校正单元，用于基于棋盘格数量从所述投影图像中计算出控制点的基准坐标；识别所述投影图像中除去棋盘格图像部分的背景明度，并结合背景明度将棋盘格图像转换为黑白两色的棋盘格图像得到第一投影图像；基于所述第一投影图像判断投影屏幕边框，对投影屏幕边框内的图像进行膨胀腐蚀和透视变换处理得到第二投影图像；识别所述第二投影图像的角点坐标，计算角点坐标与所述基准坐标的坐标差得到坐标差矩阵；将所述坐标差矩阵中每一行的坐标差值按照高斯函数模型进行拟合得到校正坐标矩阵并输出；
20.所述投影单元，用于基于所述校正坐标矩阵控制所述投影设备的投影显示。
21.在本发明一些实施例中，所述校正单元在识别所述第二投影图像的角点坐标时，包括：
22.寻找内部角点坐标：以棋盘格图像中的第一颜色为基准寻找所述第二投影图像内部的角点坐标，并在以第一颜色为基准未找全角点坐标时，以棋盘格图像中的第二图像为基准寻找并补全内部角点坐标；
23.补全顶点坐标：基于投影显示分辨率在角点坐标基础上补全四个顶点坐标；
24.反光处理：在分别以第一颜色和第二颜色为基准均未找全内部角点坐标时执行，包括：将反光部位使用预存的棋盘格图像的相同部位实施替换并更新所述第二投影图像；返回寻找内部角点坐标步骤。
25.与现有技术相比，本发明的优点和积极效果是：本发明提出的基于角点检测的投影图像畸变校正方法及投影系统中，将设定的棋盘格图像投影于已经发生形变的投影屏幕上，拍摄投影图像，从投影图像中读取棋盘格图像并计算出控制点的基准坐标，判断投影图像所处环境是暗场或明场，提取出棋盘格颜色区域，经过膨胀腐蚀精确找出屏幕轮廓，再经过透视变换和去除反光步骤，找到角点坐标，计算出角点坐标与基准坐标的坐标差值，对坐标差矩阵中的每行坐标差值进行高斯函数拟合，保证校正后的两个角点之间的线条更平滑，最后输出校正后的校正坐标矩阵，将校正坐标写入系统芯片和显示控制芯片，使激光电视输出校正后的坐标，完成畸变校正；基于本发明的校正方法，用户只需使用拍摄终端拍摄得到投影到已发生形变的投影屏幕的棋盘格图像，就可完成对已发生形变的投影屏幕产生的畸变图像的校正，使投影设备可以在不平整的投影屏幕上显示未发生畸变的良好图像，并且用户无需更换全新的投影屏幕即可得到良好的观看效果，可以节约用户成本。
26.结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。
附图说明
27.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的
附图。
28.图1为在平整接收屏上显示的方格图样的示例；
29.图2为在发生形变的接收屏上显示的方格图样的示例；
30.图3为现有激光投影设备的组合结构示意；
31.图4为本发明提出的基于角点检测的投影图像畸变校正方法的步骤示意；
32.图5为本发明中重新定义投影图像4个顶点坐标使其铺满但不超过投影屏幕的校正示意；
33.图6为经本发明步骤s5提取得到的第一投影图像示意；
34.图7为经本发明步骤s6提取得到的屏幕轮廓示意；
35.图8为经本发明步骤s7处理后得到的投影图像示意；
36.图9为经本发明步骤s8识别得到的内部角点示意；
37.图10为本发明提出的投影系统的系统架构示意。
具体实施方式
38.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
40.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
41.术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
42.本发明提出的基于角点检测的投影图像畸变校正方法，通过读取投影屏幕的棋盘格图像计算出校正控制点的基准坐标以及角点坐标，通过计算二者的坐标差值得到投影图像角点的位置偏移量，从而得到校正控制点的位置偏移量，将校正后的坐标数据传输至控制系统内的处理器，再由控制系统控制dlp控制器，最后传输至dmd控制面板，形成矫正后无畸变的投影图像。
43.本发明以激光投影设备为例对提出的基于角点检测的投影图像畸变校正方法进行说明，包括但不限定于超短焦激光投影设备、长焦激光投影设备和普通投影机等投影设备；现有的激光投影设备结构如图3所示，主要由控制系统和投影系统构成，控制系统主要
负责控制画面显示，将显示的画面转化为视频信号和控制信号，并传输给投影系统；投影系统主要由dlp(digital light processing)组成，是一种使用微小的数字化开关控制激光光源的光学视频处理技术，其在激光投影设备中将激光光源的光线转化成数字信号，并控制dmd(digital micromirror device)偏转角度，从而形成高质量的图像。
44.如图4所示，畸变校正处理步骤包括：
45.s1：将棋盘格图像投影到有形变的投影屏幕上。
46.本发明校正方法中使用的棋盘格图像由两种不同颜色组成，选取原则为根据颜色在hsv空间中的色调值进行选取，并选择色调值相差大于阈值的颜色以便于识别，例如可选择红绿、蓝黄、黑白、黄紫等，也可以选取冷暖对比、色相对比、补色对比等对比色都可以用于畸变校正；棋盘格的取值范围根据投影显示大小设置，投影显示尺寸较大时，投影图卡棋盘格数量多，投影显示尺寸较小时，可减少棋盘格数量。
47.s2：获取投影图像。
48.采用投影设备本身的摄像头获取投影至已发生形变的投影屏幕上的棋盘格图像照片，或通过用户终端拍照获取投影至已发生形变的投影屏幕上的棋盘格图像，并将拍摄的投影图像传输给激光投影设备。
49.s3：基于棋盘格数量从投影图像中计算出角点的基准坐标。
50.角点为棋盘格图像中的各个格子的交点，为本发明实施校正的控制点。
51.依据四个顶点识别出投影屏幕边框线段的距离，根据棋盘格数量，计算出每个部位控制点的间距，得到间距后即可推算出控制点的基准坐标，再补充起始点和末位点坐标，完整的投影图像棋盘格基准坐标就可以得到。
52.其中，若激光投影设备的投影图像铺满了整个投影屏幕，则无需重新定义投影图像的4个顶点坐标；若投影图像超过投影屏幕或未铺满投影屏幕，则需输入自定义坐标，对激光投影设备进行几何校正，使激光投影设备的投影图像铺满整个投影屏幕，如图5所示。
53.s4：识别投影图像中除去棋盘格图像部分的背景明度，基于背景明度识别明场或暗场。
54.去掉棋盘格两种颜色区域，识别去掉投影屏幕区域后的背景明度，当背景明度最大值小于等于78时(hsv颜色空间明度值，范围：0-255)，认定为暗场环境，当背景明度最大值大于78时，认定为明场环境。
55.s5：结合背景明度将棋盘格图像转换为黑白两色的棋盘格图像得到第一投影图像。
56.预先设定能够识别两种颜色的hsv(hue，saturation，value)取值范围，暗场和明场对应的两种颜色取值范围是不同的，只有在预设范围内的两种颜色才被识别为规定的两种颜色；以5x10的红绿棋盘格投影图像为例，当识别到红色时，将此颜色灰度值设为255(白色)，当识别到绿色时，将此颜色灰度值设为0(黑色)，白色和黑色方格的顶点即为角点，如图6所示的识别出存在畸变的黑白两色的棋盘格图像。
57.s6:基于第一投影图像确定投影屏幕边框。
58.对投影图像进行特征提取，提取投影屏幕轮廓边缘，找到中心点，考虑投影屏幕背景还存在其他边缘信息，采用循环判断提取到的每个轮廓和中心点的距离的方式，计算出包含中心的轮廓面积，将面积最小并包含中心点的轮廓确定为投影屏幕轮廓，识别到的投
影屏幕边框如图7所示。
59.s7:对投影屏幕边框内的图像进行膨胀腐蚀和透视变换得到第二投影图像。
60.对提取到的投影屏幕轮廓内的图像进行膨胀腐蚀和透视变换处理，如图8所示，经过膨胀腐蚀，投影图像识别到的棋盘格全部被白色填充，再经过透视变换将投影图像转化为一张设定大小的平铺图像，最后输出该图像，找到四个顶点坐标进行排序。
61.s8：识别第二投影图像的角点坐标。
62.去除屏幕轮廓四个顶点坐标，识别棋盘格并用实线画出轮廓位置，找出轮廓内部角点坐标，如图9所示(5x10棋盘格为例)，图中黑点处即为识别出的实际角点坐标。
63.接着用两种颜色中的一种颜色找角点坐标，若执行失败，未找到或未找到全部角点坐标，则更换另一种颜色重复，若仍然执行失败，则先执行s10的反光处理，然后再重复上述步骤识别轮廓内部角点坐标的步骤；最后补充好四个边框处角点坐标，顶点坐标依据投影显示分辨率四个顶点处坐标进行填充。
64.s9：反光处理。
65.当拍摄图像处于较量环境时，由于部分反光导致激光投影设备无法完整识别棋盘格角点坐标，则采用预先存储的棋盘格反光处理方法进行处理，当检测到局部反光严重时，将此位置图像使用预先存储的棋盘格图像代替反光严重位置图像，确保能够识别到此位置角点坐标。
66.s10：计算角点坐标与基准坐标的坐标差得到坐标差矩阵。
67.设基准坐标矩阵为：
68.基于第二投影图像识别的角点坐标矩阵为：
69.则坐标差矩阵为：
70.s11：将坐标差矩阵中每一行的坐标差之按照高斯函数模型进行拟合得到校正坐标矩阵并输出。
71.输出的校正坐标差为经识别到的角点坐标差值，因识别到的角点数远不如像素数量多，因此仅依靠角点检测计算出的坐标差值不能完全实现整个畸变平滑的校正，有可能会在两个角点之间显示细微线条时出现细微的锯齿状纹路，因此加入该高斯函数拟合步骤，将每一行计算出的坐标差值按照高斯函数模型进行拟合，使校正后的显示效果更加平滑，以免投影显示产生细微锯齿状畸变。
72.s12：基于校正坐标矩阵控制投影设备的投影显示。
73.最后输出s12得到的校正坐标矩阵作为畸变校正处理结果。
74.基于上述，本发明还提出一种投影系统，如图10所示，包括：
75.投影设备10、投影屏幕11和拍摄终端12，其中，投影设备10包括：
76.投影单元101，用于将棋盘格图像投影到有形变的投影屏幕11上；拍摄终端12获取投影图像并将其发送给投影设备10。
77.校正单元102，用于基于棋盘格数量从投影图像中计算出控制点的基准坐标；识别投影图像中除去棋盘格图像部分的背景明度，并结合背景明度将棋盘格图像转换为黑白两色的棋盘格图像得到第一投影图像；基于第一投影图像判断投影屏幕边框，对投影屏幕边框内的图像进行膨胀腐蚀和透视变换处理得到第二投影图像；识别第二投影图像的角点坐标，计算角点坐标与基准坐标的坐标差得到坐标差矩阵；将坐标差矩阵中每一行的坐标差值按照高斯函数模型进行拟合得到校正坐标矩阵并输出；
78.投影单元102则基于校正坐标矩阵控制投影设备的投影显示。
79.这其中，校正单元102在识别第二投影图像的角点坐标时，按照以下步骤实施：
80.1.寻找内部角点坐标：以棋盘格图像中的第一颜色为基准寻找第二投影图像内部的角点坐标，并在以第一颜色为基准未找全角点坐标时，以棋盘格图像中的第二图像为基准寻找并补全内部角点坐标；
81.2.补全顶点坐标：基于投影显示分辨率在角点坐标基础上补全四个顶点坐标；
82.3.反光处理：在分别以第一颜色和第二颜色为基准均未找全内部角点坐标时执行，包括：将反光部位使用预存的棋盘格图像的相同部位实施替换并更新第二投影图像；返回寻找内部角点坐标步骤。
83.具体该投影系统在已经发生形变的投影屏幕上显示良好画面的校正方法已经在上面给出的校正方法中详述，此处不予赘述。
84.上述本发明提出的基于角点检测的投影图像畸变校正方法及投影系统，可应用于家庭、影院、办公场所等激光投影设备的投影屏幕形变产生画面畸变的情况，仅投影一张棋盘格图像识别其角点坐标即可自动完成校正过程，角点的数量也可自行设置，对拍摄终端和拍摄距离也没有要求，校正流程操作简单适合推广。
85.需要说明的是，在具体实现过程中，上述的方法部分可以通过硬件形式的处理器执行存储器中存储的软件形式的计算机执行指令实现，此处不予赘述，而所执行的动作所对应的程序均可以以软件形式存储于系统的计算机可读存储介质中，以便于处理器调用执行以上各个模块对应的操作。
86.上文中的计算机可读存储介质可以包括易失性存储器，例如随机存取存储器；也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；还可以包括上述种类的存储器的组合。
87.上文所提到的处理器，也可以是多个处理元件的统称。例如，处理器可以为中央处理器，也可以为其他通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者可以是任何常规的处理器等等，还可以为专用处理器。
88.应该指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

技术特征：
1.一种基于角点检测的投影图像畸变校正方法，应用于投影设备中，其特征在于，包括：将棋盘格图像投影到有形变的投影屏幕上，并获取投影图像；基于棋盘格数量从所述投影图像中计算出角点的基准坐标；识别所述投影图像中除去棋盘格图像部分的背景明度，并结合背景明度将棋盘格图像转换为黑白两色的棋盘格图像得到第一投影图像；基于所述第一投影图像判断投影屏幕边框，对投影屏幕边框内的图像进行膨胀腐蚀和透视变换处理得到第二投影图像；识别所述第二投影图像的角点坐标，计算角点坐标与所述基准坐标的坐标差得到坐标差矩阵；将所述坐标差矩阵中每一行的坐标差值按照高斯函数模型进行拟合得到校正坐标矩阵并输出；基于所述校正坐标矩阵控制所述投影设备的投影显示。2.根据权利要求1所述的基于角点检测的投影图像畸变校正方法，其特征在于，识别所述第二投影图像的角点坐标，包括;寻找内部角点坐标：以棋盘格图像中的第一颜色为基准寻找所述第二投影图像内部的角点坐标，并在以第一颜色为基准未找全角点坐标时，以棋盘格图像中的第二图像为基准寻找并补全内部角点坐标；补全顶点坐标：基于投影显示分辨率在角点坐标基础上补全四个顶点坐标；反光处理：在分别以第一颜色和第二颜色为基准均未找全内部角点坐标时执行，包括：将反光部位使用预存的棋盘格图像的相同部位实施替换并更新所述第二投影图像；返回寻找内部角点坐标步骤。3.一种投影系统，包括投影设备、投影屏幕和拍摄终端，其特征在于，所述投影设备包括：投影单元，用于将棋盘格图像投影到有形变的投影屏幕上；所述拍摄终端获取投影图像并将其发送给所述投影设备；校正单元，用于基于棋盘格数量从所述投影图像中计算出控制点的基准坐标；识别所述投影图像中除去棋盘格图像部分的背景明度，并结合背景明度将棋盘格图像转换为黑白两色的棋盘格图像得到第一投影图像；基于所述第一投影图像判断投影屏幕边框，对投影屏幕边框内的图像进行膨胀腐蚀和透视变换处理得到第二投影图像；识别所述第二投影图像的角点坐标，计算角点坐标与所述基准坐标的坐标差得到坐标差矩阵；将所述坐标差矩阵中每一行的坐标差值按照高斯函数模型进行拟合得到校正坐标矩阵并输出；所述投影单元，基于所述校正坐标矩阵控制所述投影设备的投影显示。4.根据权利要求3所述的投影系统，其特征在于，所述校正单元在识别所述第二投影图像的角点坐标时，包括：寻找内部角点坐标：以棋盘格图像中的第一颜色为基准寻找所述第二投影图像内部的角点坐标，并在以第一颜色为基准未找全角点坐标时，以棋盘格图像中的第二图像为基准寻找并补全内部角点坐标；补全顶点坐标：基于投影显示分辨率在角点坐标基础上补全四个顶点坐标；
反光处理：在分别以第一颜色和第二颜色为基准均未找全内部角点坐标时执行，包括：将反光部位使用预存的棋盘格图像的相同部位实施替换并更新所述第二投影图像；返回寻找内部角点坐标步骤。

技术总结
本发明公开了一种基于角点检测的投影图像畸变校正方法及投影系统，将设定的棋盘格图像投影于已经发生形变的投影屏幕上，拍摄投影图像，从投影图像中读取棋盘格图像并计算出控制点的基准坐标，判断投影图像所处环境是暗场或明场，提取出棋盘格颜色区域，经过膨胀腐蚀精确找出屏幕轮廓，再经过透视变换和去除反光步骤，找到角点坐标，计算出角点坐标与基准坐标的坐标差值，对坐标差矩阵中的每行坐标差值进行高斯函数拟合得到校正坐标矩阵，将校正坐标写入系统芯片和显示控制芯片，使激光电视输出校正后的坐标，完成畸变校正；基于本发明的校正方法，投影设备可以在不平整的投影屏幕上显示未发生畸变的良好图像，用户无需更换全新的投影屏幕。的投影屏幕。的投影屏幕。


技术研发人员：郭大勃 于海鹏 吕福乐 乔俊鹏 元光
受保护的技术使用者：中国海洋大学
技术研发日：2023.06.21
技术公布日：2023/10/11