图像采集方法及三维重建方法与流程

1.本公开涉及三维视觉技术领域，本公开尤其涉及图像采集方法、三维重建方法、图像采集装置、图像采集系统、电子设备、存储介质及程序产品。


背景技术：

2.现有技术中，利用面阵相机和激光振镜的条纹结构光相机的常规控制方案是在投影开始时相机即开始全局曝光，直至投影结束。
3.由于投影条纹的生成是由激光线在相机视野内移动形成的，现有技术中的方案存在获得的图像中投影条纹的有效曝光时间远小于环境光实际曝光时间的问题，尤其是当环境光辐照度比较强的时候，会导致面阵全局曝光相机获取的条纹图像信噪比偏低，无法重建得到点云。


技术实现要素：

4.本公开在投影时间不变的情况下降低相机装置的曝光时间以提升信噪比。本公开提供了图像采集方法、三维重建方法、图像采集装置、图像采集系统、电子设备、存储介质及程序产品。
5.根据本公开的一个方面，提供一种图像采集方法，包括：
6.对目标区域进行第一轮扫描式投影，同步地以第一预设时间间隔序列进行第一轮多次曝光，以采集目标区域的第一曝光图像序列；
7.对所述目标区域进行第二轮扫描式投影，同步地以第二预设时间间隔序列进行第二轮多次曝光，以采集所述目标区域的第二曝光图像序列；
8.其中，所述第二轮多次曝光的曝光区域至少包括所述目标区域中第一轮多次曝光未曝光的区域，以用于在三维重建中基于所述第一曝光图像序列和所述第二曝光图像序列进行融合获得所述目标区域的完整曝光区域。
9.根据本公开的至少一个实施方式的图像采集方法，所述第一轮多次曝光中首次曝光的触发时刻为所述第一轮扫描式投影的起始时刻，所述第二轮多次曝光中首次曝光的触发时刻相对于所述第二轮扫描式投影的起始时刻具有预设延迟时长。
10.根据本公开的至少一个实施方式的图像采集方法，所述第一预设时间间隔序列为等时间间隔序列。
11.根据本公开的至少一个实施方式的图像采集方法，所述第二预设时间间隔序列为等时间间隔序列。
12.根据本公开的至少一个实施方式的图像采集方法，所述第一预设时间间隔序列中至少两个时间间隔不同。
13.根据本公开的至少一个实施方式的图像采集方法，所述第二预设时间间隔序列中至少两个时间间隔不同。
14.根据本公开的至少一个实施方式的图像采集方法，所述第一预设时间间隔序列的
时间间隔与所述第二预设时间间隔序列的时间间隔相同。
15.根据本公开的至少一个实施方式的图像采集方法，所述预设延迟时长大于或等于所述第一预设时间间隔。
16.根据本公开的至少一个实施方式的图像采集方法，所述预设延迟时长小于或等于第一轮多次曝光的首次曝光时长。
17.根据本公开的至少一个实施方式的图像采集方法，所述扫描式投影包括：
18.在预设时间长度输出预设格式图像并使得所述预设格式图像移动地照射所述目标区域以覆盖整个所述目标区域。
19.根据本公开的至少一个实施方式的图像采集方法，第一轮多次曝光的每次曝光具有相同的曝光时长。
20.根据本公开的至少一个实施方式的图像采集方法，第二轮多次曝光的每次曝光具有相同的曝光时长。
21.根据本公开的至少一个实施方式的图像采集方法，所述第一轮多次曝光中至少两次曝光的曝光时长不同。
22.根据本公开的至少一个实施方式的图像采集方法，所述第二轮多次曝光中至少两次曝光的曝光时长不同。
23.根据本公开的至少一个实施方式的图像采集方法，第一轮多次曝光的每次曝光的曝光时长与第二轮多次曝光的每次曝光时长相同。
24.根据本公开的至少一个实施方式的图像采集方法，所述第一轮多次曝光的曝光次数与所述第二轮多次曝光的曝光次数相同或不同。
25.根据本公开的至少一个实施方式的图像采集方法，融合所述第一曝光图像序列和所述第二曝光图像序列，包括：
26.基于第一轮多次曝光的各次曝光相对于所述第一轮扫描式投影的起始时刻的触发时间获取第一相对触发时间序列；
27.基于第二轮多次曝光的各次曝光相对于所述第二轮扫描式投影的起始时刻的触发时间获取第二相对触发时间序列；
28.基于所述第一相对触发时间序列和所述第二相对触发时间序列对所述第一曝光图像序列和所述第二曝光图像序列进行融合。
29.根据本公开的另一个方面，提供一种三维重建方法，基于本公开任一个实施方式的图像采集方法获取的目标区域的第一曝光图像序列和第二曝光图像序列进行三维重建。
30.根据本公开的至少一个实施方式的三维重建方法，包括：
31.基于所述第一曝光图像序列和所述第二曝光图像序列获取所述目标区域的完整曝光区域的完整曝光图像；
32.基于所述完整曝光图像获取所述目标区域的完整相位图；
33.基于所述完整相位图获取所述目标区域的完整深度信息；
34.基于所述完整深度信息获取所述目标区域的完整点云信息。
35.根据本公开的至少一个实施方式的三维重建方法，基于所述第一曝光图像序列和所述第二曝光图像序列获取所述目标区域的完整曝光区域的完整曝光图像，包括：
36.对第一曝光图像序列和所述第二曝光图像序列进行叠加和/或拼接操作以获取所
述完整曝光图像。
37.根据本公开的至少一个实施方式的三维重建方法，包括：
38.基于所述第一曝光图像序列获取第一相位图，基于所述第二曝光图像序列获取第二相位图；
39.基于所述第一相位图及所述第二相位图获取所述目标区域的完整相位图；
40.基于所述完整相位图获取所述目标区域的完整深度信息；
41.基于所述完整深度信息获取所述目标区域的完整点云信息。
42.根据本公开的至少一个实施方式的三维重建方法，基于所述第一相位图及所述第二相位图获取所述目标区域的完整相位图，包括：
43.对第一相位图和第二相位图进行叠加和/或拼接操作以获取所述完整相位图。
44.根据本公开的至少一个实施方式的三维重建方法，包括：
45.基于所述第一曝光图像序列获取第一相位图，基于所述第二曝光图像序列获取第二相位图；
46.基于所述第一相位图获取所述目标区域的第一深度信息，基于所述第二相位图获取所述目标区域的第二深度信息；
47.基于所述第一深度信息获取所述目标区域的第一点云信息，基于所述第二深度信息获取所述目标区域的第二点云信息；
48.对所述第一点云信息及所述第二点云信息进行融合获得所述目标区域的完整点云信息。
49.根据本公开的至少一个实施方式的三维重建方法，对所述第一点云信息及所述第二点云信息进行融合获得所述目标区域的完整点云信息，包括：
50.对第一点云信息和第二点云信息进行叠加和/或拼接操作以获得所述完整点云信息。
51.根据本公开的至少一个实施方式的三维重建方法，所述叠加包括对叠加区域的不同叠加对象进行平均加权处理，使得不同叠加对象的权重之和为1。
52.根据本公开的又一个方面，提供一种图像采集装置，包括：
53.投影控制指令生成模块，所述投影控制指令生成模块用于生成第一投影控制指令，以基于所述第一投影控制指令对目标区域进行第一轮扫描式投影，所述投影控制指令生成模块还用于生成第二投影控制指令，以基于所述第二投影控制指令对目标区域进行第二轮扫描式投影；
54.曝光控制指令生成模块，所述曝光控制指令生成模块用于生成第一曝光控制指令，以基于所述第一曝光控制指令同步地以第一预设时间间隔序列进行第一轮多次曝光，以采集目标区域的第一曝光图像序列，所述曝光控制指令生成模块还用于生成第二曝光控制指令，以基于所述第二曝光控制指令同步地以第二预设时间间隔序列进行第二轮多次曝光，以采集目标区域的第二曝光图像序列；
55.其中，所述第二轮多次曝光的曝光区域至少包括所述目标区域中第一轮多次曝光未曝光的区域，以用于在三维重建中基于所述第一曝光图像序列和所述第二曝光图像序列进行信息融合获得所述目标区域的完整曝光区域。
56.根据本公开的又一个方面，提供一种图像采集系统，包括：
57.投影装置；
58.相机装置；
59.投影控制指令生成模块，所述投影控制指令生成模块用于生成第一投影控制指令，以使得所述投影装置基于所述第一投影控制指令对目标区域进行第一轮扫描式投影，所述投影控制指令生成模块还用于生成第二投影控制指令，以使得所述投影装置基于所述第二投影控制指令对目标区域进行第二轮扫描式投影；
60.曝光控制指令生成模块，所述曝光控制指令生成模块用于生成第一曝光控制指令，以使得所述相机装置基于所述第一曝光控制指令同步地以第一预设时间间隔序列进行第一轮多次曝光，以采集目标区域的第一曝光图像序列，所述曝光控制指令生成模块还用于生成第二曝光控制指令，以使得所述相机装置基于所述第二曝光控制指令同步地以第二预设时间间隔序列进行第二轮多次曝光，以采集目标区域的第二曝光图像序列；
61.其中，所述第二轮多次曝光的曝光区域至少包括所述目标区域中第一轮多次曝光未曝光的区域，以用于在三维重建中基于所述第一曝光图像序列和所述第二曝光图像序列进行信息融合获得所述目标区域的完整曝光区域。
62.根据本公开的至少一个实施方式的图像采集系统，所述投影装置包括线光斑发射器及振镜。
63.根据本公开的至少一个实施方式的图像采集系统，所述相机装置包括一个相机或者包括多个相机。
64.根据本公开的又一个方面，提供一种电子设备，包括：
65.存储器，所述存储器存储执行指令；
66.处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行本公开任一个实施方式的图像采集方法和/或本公开任一个实施方式的三维重建方法。
67.根据本公开的又一个方面，提供一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现本公开任一个实施方式的图像采集方法和/或本公开任一个实施方式的三维重建方法。
68.根据本公开的再一个方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本公开任一个实施方式的图像采集方法和/或本公开任一个实施方式的三维重建方法。
69.本公开的图像采集方法将一个投影周期中的曝光时间设置为小于投影时间，在一次投影中进行分区域多次曝光，每个区域可以减少环境光的曝光时间，实现了降低噪声，提高信噪比。
70.本公开的一些技术方案，在每个单次曝光期间生成的图像，环境光曝光时间由原来的t(即全局曝光方法)降低为t/n(n即为每轮投影期间的曝光次数)，提升了条纹图像的信噪比，从而提高了最终图像的信噪比，提高了相机装置的抗环境光干扰的能力。
71.本公开的一些技术方案，对单张的曝光时间t进行设置，比如，设置t＞t/2n，解决两轮扫描式投影无法覆盖全部投影区域(即全部目标区域)的问题，设置t＜t/n且t/n＞(1/f)，f为相机帧率，解决相机会丢帧的问题。
附图说明
72.附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
73.图1是本公开的一个实施方式的图像采集方法的整体流程示意图。
74.图2示出了本公开的一个实施方式的图像采集方法中，两轮扫描式投影过程中的曝光触发信号的触发时刻、电荷输出周期。
75.图3示出了本公开的一个实施方式的图像采集方法中，两轮扫描式投影过程中曝光触发信号的时序。
76.图4是本公开的一个实施方式的三维重建方法的流程示意图。
77.图5示出了本公开的一个实施方式的图像融合方法的流程示意图。
78.图6是本公开的另一个实施方式的三维重建方法的流程示意图。
79.图7是本公开的又一个实施方式的三维重建方法的流程示意图。
80.图8是本公开的一个实施方式的采用处理系统的硬件实现方式的图像采集装置的结构示意框图。
81.图9是本公开的一个实施方式的图像采集系统的结构示意框图。
82.附图标记说明
83.100 图像采集系统
84.110 投影装置
85.120 相机装置
86.1000 图像采集装置
87.1002 投影控制指令生成模块
88.1004 曝光控制指令生成模块
89.1100 总线
90.1101 线光斑发射器
91.1102 振镜
92.1103 控制板
93.1200 处理器
94.1300 存储器
95.1400其他电路。
具体实施方式
96.下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
97.需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
98.除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则
在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
99.在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此，除非说明，否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外，在附图中，为了清楚和/或描述性的目的，可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时，可以以不同于所描述的顺序来执行具体的工艺顺序。例如，可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外，同样的附图标记表示同样的部件。
100.当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时，该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件，或者可以存在中间部件。然而，当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时，不存在中间部件。为此，术语“连接”可以指物理连接、电气连接等，并且具有或不具有中间部件。
101.本文使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
102.下文结合图1至图9对本公开的图像采集方法、三维重建方法、图像采集装置、图像采集系统等进行详细说明。
103.图1是本公开的一个实施方式的图像采集方法的整体流程示意图。
104.首先参考图1，在本公开的一些实施方式中，本公开的图像采集方法s100，包括：
105.s102、对目标区域进行第一轮扫描式投影，同步地以第一预设时间间隔序列进行第一轮多次曝光，以采集目标区域的第一曝光图像序列(第一曝光图像序列包括多个曝光图像)；
106.s104、对目标区域进行第二轮扫描式投影，同步地以第二预设时间间隔序列进行第二轮多次曝光，以采集目标区域的第二曝光图像序列(第二曝光图像序列包括多个曝光图像)；
107.其中，本公开描述的第二轮多次曝光的曝光区域至少包括目标区域中第一轮多次曝光未曝光的区域。
108.基于本公开的图像采集方法s100采集的第一曝光图像序列和第二曝光图像序列，可以获得目标区域的完整曝光区域，以用于三维重建获得目标区域的三维图像。
109.本公开的图像采集方法可以用于对诸如工业品表面(即目标区域)进行上文描述的第一曝光图像序列和第二曝光图像序列的采集。
110.本公开描述的扫描式投影可以是扫描式激光投影，可以通过包括线光斑发射器
(例如激光器)、振镜(例如激光振镜)和控制板(控制芯片或者控制电路板等)的投影装置执行扫描式激光投影，控制板可以输出所需的激光振镜位置信号，激光振镜同时反馈实时自身位置信号，控制板根据预设的格式图像(例如条纹格式图像)，在经过计算的振镜位置打开或关闭激光器，可以在预设的投影时间长度即投影周期(t)内输出预设的格式图像，如果投影时间长度等于相机装置的曝光时间长度，则相机装置可以拍摄到完整的格式图像(例如条纹格式图像)。
111.然而，由于采用的是扫描式投影，以扫描式激光投影为例，激光线在某一时刻只会出现在上文描述的目标区域的某一处，因此，投影时要保持曝光，但当相机装置(诸如2d相机)曝光时会引入环境光噪声，环境光噪声的大小与曝光时间成正比，在一个投影周期中，相机装置的曝光时间越长，引入的环境光噪声将越大。
112.因此，本公开考虑在投影时间不变的情况下降低相机装置的曝光时间以提升信噪比。
113.本公开将一个投影周期中的曝光时间设置为小于投影时间，在一次投影中进行分区域多次曝光，每个区域分别进行曝光可以减少环境光的曝光时间，以降低噪声，提高信噪比。
114.由于相机装置的硬件限制，在一个投影周期中进行的多次曝光中，第一次曝光结束和第二次曝光开始必须有一定时间间隔，以供电荷输出，在曝光期间图像传感器接收光照从而产生光电子，曝光结束需要将曝光产生的电荷及时输出才能开启下一次曝光，如果电荷没有完全排出会导致投影周期中有部分曝光图像缺失。
115.因此，本公开在一个投影周期中以预设时间间隔进行多次曝光。
116.考虑到在激光投影过程中，投影图案要扫过整个曝光区域(即整个目标区域)，即在拍摄过程(曝光过程)中投影图案是运动的，所以相机装置每次拍摄(曝光)的输出电荷期间会漏掉一部分投影图案的采集，即由于上述预设时间间隔的存在，会导致在一个投影周期中漏掉一部分投影图案的采集。
117.因此，本公开通过设置至少两轮扫描式投影，并将本公开描述的第二轮多次曝光的曝光区域设置为至少包括目标区域中第一轮多次曝光未曝光的区域，以覆盖全部投影区域(即全部目标区域)。为提高图像采集效率，本公开优选以两轮投影完成图像采集，但是在其他实施例中，通过设置多轮扫描投影，以实现覆盖第一轮投影中未曝光区域的曝光方案均在本公开保护范围内。
118.在本公开的一些实施方式中，本公开的图像采集方法s100中描述的第一轮多次曝光中首次曝光的触发时刻为第一轮扫描式投影的起始时刻，第二轮多次曝光中首次曝光的触发时刻相对于第二轮扫描式投影的起始时刻具有预设延迟时长。
119.第二轮投影首次曝光设置预设延迟时长的目的是进一步降低环境光曝光时长，提升图像采集信噪比。同时，为了保证实现第二轮投影的曝光区域覆盖第一轮投影中未曝光区域，在本公开的一些实施方式中，优选地，上文描述的预设延迟时长大于或等于第一轮首次曝光后的间隔时长。进一步为了防止相机丢帧，在本公开的一些实施方式中，优选地，上文描述的预设延迟时长小于或等于第一轮多次曝光的首次曝光时长。
120.在多轮投影中，通过设置曝光时刻以及曝光时长，以实现对整个目标区域的曝光。在此基础上，设置第一预设时间间隔序列、第二预设时间间隔序列、第一轮曝光时长、第二
轮曝光时长的设置和调整，均在本公开保护范围内。
121.例如，在本公开的一些实施方式中，第一预设时间间隔序列可以为等时间间隔序列，和/或第二预设时间间隔序列可以为等时间间隔序列。其中，每一个间隔时长不短于上一曝光周期内的电荷输出周期。
122.优选地，在本公开的图像采集方法中，第一预设时间间隔序列和第二预设时间间隔序列均为等时间间隔序列。
123.在本公开的另一些实施方式中，可以将第一预设时间间隔序列中至少两个时间间隔设置为不同，和/或将第二预设时间间隔序列中至少两个时间间隔设置为不同，即第一预设时间间隔序列、第二预设时间间隔序列可以为非等时间间隔序列。
124.本领域技术人员在本公开技术方案的启示下，对第一预设时间间隔序列、第二预设时间间隔序列的时间间隔进行调整，均落入本公开的保护范围之内。
125.优选地，在本公开的一些实施方式中，第一预设时间间隔序列和第二预设时间间隔序列均为等时间间隔序列，且两者的时间间隔相同。
126.本公开的图像采集方法通过上述设置能够实现对目标区域的完全覆盖。
127.图2示出了本公开的一个实施方式的图像采集方法中，两轮扫描式投影过程中的曝光触发信号的触发时刻、电荷输出周期。
128.图3示出了本公开的一个实施方式的图像采集方法中，两轮扫描式投影过程中曝光触发信号的时序。
129.参考图2和图3，本公开的图像采集方法包括两轮扫描式投影，即第一轮扫描式投影和第二轮扫描式投影，为了使得两轮扫描式投影的控制更容易，更利于扫描式投影过程中的曝光控制，两轮扫描式投影的投影周期可以设置为相同，例如均为t(即投影时间长度均为t，例如1秒)。在其他实施例中，投影周期也可以设置为不同。
130.本领域技术人员应当理解，第一轮扫描式投影与第二轮扫描式投影之间具有时间间隔。
131.例如，可以根据图像获取场景设定每轮投影的投影时间长度t、每轮曝光触发次数n、单张图曝光时间t。
132.在研发过程中，发明人经常发现还会存在一些问题，比如，投影无法覆盖全部投影区域，或者相机存在丢帧的情况。为了解决上述问题，本公开对单张的曝光时间t进行设置，比如，设置t＞t/2n，解决两轮扫描式投影无法覆盖全部投影区域(即全部目标区域)的问题，设置t＜t/n且t/n＞(1/f)，f为相机帧率，解决相机会丢帧的问题。
133.参考图2和图3，本公开的图像采集方法首先进行第一轮扫描式投影：
134.在第k
×
(t/n)(毫)秒时触发2d相机拍照(即触发2d相机开始曝光)，k∈[0，t/n)，k为整数；相当于将第一轮扫描式投影的周期t分为n段，每一段分别进行曝光，在每一段曝光期间，相机接收曝光触发信号开启曝光，曝光时间为t，完成曝光后，相机将产生的电荷进行输出(电荷输出周期)，然后等待曝光触发信号开启下一次的曝光。
[0135]
图2中示例性地示出了第一轮扫描式投影中基于四个曝光触发信号执行的四次曝光，第二轮扫描式投影中基于四个曝光触发信号执行的四次曝光。
[0136]
第一轮投影和曝光完成之后，进行第二轮扫描式投影：
[0137]
在第k
×
(t/n)+t/2n(毫)秒时触发2d相机拍照(即触发2d相机开始曝光)，k∈[0，
t/n)，k为整数；相当于将第二轮多次曝光中首次曝光的曝光触发信号相对于第二轮扫描式投影的起始时刻延时t/2n，以覆盖第一轮扫描式投影期间单次曝光段期间因电荷输出需要导致未曝光的期间。
[0138]
在本公开技术方案的启示下，本领域技术人员可以对触发延时进行调整，只要使得第二轮多次曝光能够覆盖第一轮扫描式投影期间单次曝光段期间因电荷输出需要导致未曝光的期间，均落入本公开的保护范围。
[0139]
通过上文描述可知，经过两轮投影后，将两轮投影期间相机的曝光区域相结合，可以获取整个曝光期间的目标区域的完整曝光区域。
[0140]
在本公开的一些实施方式中，基于第二轮扫描式投影期间获取的第二曝光图像序列获取对应第一轮扫描式投影期间电荷输出期间的图像数据，以与第一曝光图像序列进行整合，可以获取整个第一轮投影期间的整个图像。
[0141]
通过本公开的图像采集方法s100，在每个单次曝光期间生成的图像(条纹图像)，环境光曝光时间由原来的t(即全局曝光方法)降低为t/n(n即为每轮投影期间的曝光次数)，提升了条纹图像的信噪比，从而提高了最终图像的信噪比，提高了相机抗环境光干扰的能力。
[0142]
本公开的图像采集方法s100中，扫描式投影可以包括：
[0143]
在预设时间长度(t)输出预设格式图像(预设条纹图像)并使得预设格式图像移动地照射目标区域以覆盖整个目标区域。
[0144]
在本公开的一些实施方式中，本公开的图像采集方法s100中的第一轮多次曝光的每次曝光具有相同的曝光时间t，第二轮多次曝光的每次曝光具有相同的曝光时间t。
[0145]
在本公开的另一些实施方式中，可以将第一轮多次曝光的每次曝光的曝光时长设置为不相同，例如第一轮多次曝光中至少两次曝光的曝光时长不同，也可以将第二轮多次曝光的每次曝光的曝光时长设置为不相同，例如第二轮多次曝光中至少两次曝光的曝光时长不同。
[0146]
本领域技术人员在本公开技术方案的启示下，对第一轮多次曝光的每次曝光的曝光时长、第二轮多次曝光的每次曝光的曝光时长进行调整，均落入本公开的保护范围。
[0147]
本公开的图像采集方法s100中的第一轮多次曝光的曝光次数与第二轮多次曝光的曝光次数可以相同，也可以不同。
[0148]
在本公开的一些实施方式中，本公开的图像采集方法，包括：
[0149]
基于在预设时间长度t输出的预设格式图像(预设条纹图像)对目标区域进行第一轮扫描式投影以覆盖整个目标区域；
[0150]
同步于第一轮扫描式投影，对目标区域以第一预设时间间隔序列进行第一轮n次曝光以采集目标区域的曝光图像序列，其中，第一轮n次曝光中首次曝光的触发时刻为第一轮扫描式投影的起始时刻；
[0151]
基于在预设时间长度t输出的预设格式图像(预设条纹图像)对目标区域进行第二轮扫描式投影以覆盖整个目标区域；
[0152]
同步于第二轮扫描式投影，对目标区域以第二预设时间间隔序列进行第二轮n次曝光以采集目标区域的曝光图像序列，其中，第二轮n次曝光中首次曝光的触发时刻相对于第二轮扫描式投影的起始时刻具有预设延迟时长，预设延迟时长大于或等于第一预设时间
间隔；
[0153]
融合第一轮n次曝光采集的曝光图像序列及第二轮n次曝光采集的曝光图像序列即可获得目标区域的完整曝光图像。
[0154]
其中，n次曝光的单次曝光时间t满足t/2n＜t＜t/n，n≥2。
[0155]
其中，t/n＞1/f，f为采集曝光图像的相机的帧率。
[0156]
其中，本公开上文描述的相机优选为2d相机，例如ccd面阵相机，本公开对相机的结构/类型不做特别限定，本领域技术人员在本公开技术方案的启示下对相机的结构/类型进行选择/调整，均落入本公开的保护范围。
[0157]
本公开还提供了三维重建方法，基于本公开上文描述的任一个实施方式的图像采集方法获取的目标区域的第一曝光图像序列和第二曝光图像序列进行三维重建。
[0158]
图4是本公开的一个实施方式的三维重建方法的流程示意图。
[0159]
参考图4，本实施方式的三维重建方法s200，包括：
[0160]
s202、基于第一曝光图像序列和第二曝光图像序列获取目标区域的完整曝光区域的完整曝光图像；
[0161]
s204、基于完整曝光图像获取目标区域的完整相位图；
[0162]
s206、基于完整相位图获取目标区域的完整深度信息；
[0163]
s208、基于完整深度信息获取目标区域的完整点云信息。
[0164]
从而可以基于获取完整点云信息完成目标区域的三维重建。
[0165]
对于本公开的三维重建方法s200，上文描述的融合第一曝光图像序列和第二曝光图像序列，基于像素的匹配进行融合。例如可以通过逐像素比对并判断像素是否重合的方式，进行像素的叠加或者拼接以完成图像的融合。
[0166]
在其他实施例中，上述融合第一曝光图像序列和第二曝光图像序列还可以基于以下图像融合方法进行融合：
[0167]
s2022、基于第一轮多次曝光的各次曝光相对于第一轮扫描式投影的起始时刻的触发时间获取第一相对触发时间序列；
[0168]
s2024、基于第二轮多次曝光的各次曝光相对于第二轮扫描式投影的起始时刻的触发时间获取第二相对触发时间序列；
[0169]
s2026、基于第一相对触发时间序列和第二相对触发时间序列对第一曝光图像序列和第二曝光图像序列进行融合。
[0170]
图5示出了本公开的一个实施方式的图像融合方法的流程示意图。
[0171]
其中，在本公开的一些实施方式中，本公开上文描述的融合包括对曝光图像序列中的曝光图像进行叠加和/或拼接操作。
[0172]
在本公开的一些实施方式中，对图像进行叠加优选地包括对叠加区域的不同图像进行平均加权处理，使得不同图像的权重之和为1。
[0173]
图6是本公开的又一个实施方式的三维重建方法的流程示意图。
[0174]
参考图6，本实施方式的三维重建方法s300，包括：
[0175]
s302、基于第一曝光图像序列获取第一相位图，基于第二曝光图像序列获取第二相位图；
[0176]
s304、基于第一相位图及第二相位图获取目标区域的完整相位图；
[0177]
s306、基于完整相位图获取目标区域的完整深度信息；
[0178]
s308、基于完整深度信息获取目标区域的完整点云信息。
[0179]
从而可以基于获取完整点云信息完成目标区域的三维重建。
[0180]
在本公开的一些实施方式中，上文描述的基于第一相位图及第二相位图获取目标区域的完整相位图，包括：
[0181]
对第一相位图和第二相位图进行叠加和/或拼接操作以获取完整相位图。例如可以通过逐像素比对并判断像素是否重合的方式，进行像素的叠加或者拼接以完成相位图的融合。
[0182]
在本公开的一些实施方式中，对相位图进行叠加优选地包括对叠加区域的不同相位图进行平均加权处理，使得不同相位图的权重之和为1。
[0183]
图7是本公开的又一个实施方式的三维重建方法的流程示意图。
[0184]
参考图7，本实施方式的三维重建方法s400，包括：
[0185]
s402、基于第一曝光图像序列获取第一相位图，基于第二曝光图像序列获取第二相位图；
[0186]
s404、基于第一相位图获取目标区域的第一深度信息，基于第二相位图获取目标区域的第二深度信息；
[0187]
s406、基于第一深度信息获取目标区域的第一点云信息，基于第二深度信息获取目标区域的第二点云信息；
[0188]
s408、对第一点云信息及第二点云信息进行融合获得目标区域的完整点云信息。
[0189]
从而可以基于完整点云信息进行三维重建以获得目标区域的三维图像。
[0190]
在本公开的一些实施方式中，上文描述的对第一点云信息及第二点云信息进行融合获得目标区域的完整点云信息，包括：
[0191]
对第一点云信息和第二点云信息进行叠加和/或拼接操作以获得完整点云信息。
[0192]
本公开的上文描述的三维重建方法中，相位图的具体获取算法、深度信息的具体获取算法、点云信息的具体获取算法均可以采用现有的算法。本公开还提供了图像采集装置。
[0193]
在本公开的一些实施方式中，本公开的图像采集装置1000包括：
[0194]
投影控制指令生成模块1002，投影控制指令生成模块1002用于生成第一投影控制指令，以基于第一投影控制指令对目标区域进行第一轮扫描式投影，投影控制指令生成模块1002还用于生成第二投影控制指令，以基于第二投影控制指令对目标区域进行第二轮扫描式投影；
[0195]
曝光控制指令生成模块1004，曝光控制指令生成模块1004用于生成第一曝光控制指令，以基于第一曝光控制指令同步地以第一预设时间间隔序列进行第一轮多次曝光，以采集目标区域的第一曝光图像序列，曝光控制指令生成模块1004还用于生成第二曝光控制指令，以基于第二曝光控制指令同步地以第二预设时间间隔序列进行第二轮多次曝光，以采集目标区域的第一曝光图像序列；
[0196]
其中，第二轮多次曝光的曝光区域至少包括目标区域中第一轮多次曝光未曝光的区域，以用于在三维重建中基于第一曝光图像序列和第二曝光图像序列进行信息融合获得目标区域的完整曝光区域。
[0197]
在本公开的一些实施方式中，本公开的图像采集装置1000可以采用计算机软件架构的形式实现。在本公开的另一些实施方式中，本公开的图像采集装置1000可以基于具有处理系统的硬件架构实现，参考图8。
[0198]
图8是本公开的一个实施方式的采用处理系统的硬件实现方式的图像采集装置1000的结构示意框图。
[0199]
该图像采集装置1000可以包括执行上述流程图中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
[0200]
该硬件架构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其他电路1400连接。
[0201]
总线1100可以是工业标准体系结构(isa，industry standard architecture)总线、外部设备互连(pci，peripheral component)总线或扩展工业标准体系结构(eisa，extended industry standard component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。
[0202]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。
[0203]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
[0204]
就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式只读存储器(cdrom)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通
过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。
[0205]
应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0206]
本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。
[0207]
此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。
[0208]
本公开还提供了图像采集系统。图9示出了本公开的一个实施方式的图像采集系统100的结构示意框图。
[0209]
在本公开的一些实施方式中，本公开的图像采集系统100包括：
[0210]
投影装置110；
[0211]
相机装置120；
[0212]
投影控制指令生成模块1002，投影控制指令生成模块1002用于生成第一投影控制指令，以使得投影装置110基于第一投影控制指令对目标区域进行第一轮扫描式投影，投影控制指令生成模块1002还用于生成第二投影控制指令，以使得投影装置基于第二投影控制指令对目标区域进行第二轮扫描式投影；
[0213]
曝光控制指令生成模块1004，曝光控制指令生成模块1004用于生成第一曝光控制指令，以使得相机装置120基于第一曝光控制指令同步地以第一预设时间间隔序列进行第一轮多次曝光，以采集目标区域的第一曝光图像序列，曝光控制指令生成模块1004还用于生成第二曝光控制指令，以使得相机装置120基于第二曝光控制指令同步地以第二预设时间间隔序列进行第二轮多次曝光，以采集目标区域的第一曝光图像序列。
[0214]
其中，第二轮多次曝光的曝光区域至少包括目标区域中第一轮多次曝光未曝光的区域，以用于在三维重建中基于第一曝光图像序列和第二曝光图像序列进行信息融合获得目标区域的完整曝光区域。
[0215]
其中，本公开的图像采集系统100的投影装置110可以包括线光斑发射器1101(例如激光器)、振镜1102(例如激光振镜)、控制板1103等，线光斑发射器1101用于出射直线，结合振镜1102实现线扫描。
[0216]
激光振镜即激光扫描器，其可以由x-y光学扫描头、电子驱动放大器和光学反射镜片组成。本公开不对激光器及激光振镜的具体结构/类型等进行特别限定，本领域技术人员可以采用现有的激光器、激光振镜及控制板等，均落入本公开的保护范围。
[0217]
本公开的图像采集系统100，其相机装置120可以包括一个相机，也可以包括多个相机。
[0218]
根据本公开的又一个方面，提供一种电子设备，包括：存储器，存储器存储执行指令；处理器，处理器执行存储器存储的执行指令，使得处理器执行本公开任一个实施方式的图像采集方法和/或本公开任一个实施方式的三维重建方法。
[0219]
根据本公开的又一个方面，提供一种可读存储介质，可读存储介质中存储有执行指令，执行指令被处理器执行时用于实现本公开任一个实施方式的图像采集方法和/或本公开任一个实施方式的三维重建方法。
[0220]
根据本公开的再一个方面，提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现本公开任一个实施方式的图像采集方法和/或本公开任一个实施方式的三维重建方法。
[0221]
在本说明书的描述中，参考术语“一个实施方式/方式”、“一些实施方式/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式/方式或示例中。在本说明书中，对上述术语的示意性表述不必须的是相同的实施方式/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式/方式或示例以及不同实施方式/方式或示例的特征进行结合和组合。
[0222]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0223]
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

技术特征：
1.一种图像采集方法，其特征在于，包括：对目标区域进行第一轮扫描式投影，同步地以第一预设时间间隔序列进行第一轮多次曝光，以采集目标区域的第一曝光图像序列；对所述目标区域进行第二轮扫描式投影，同步地以第二预设时间间隔序列进行第二轮多次曝光，以采集所述目标区域的第二曝光图像序列；其中，所述第二轮多次曝光的曝光区域至少包括所述目标区域中第一轮多次曝光未曝光的区域，以用于在三维重建中基于所述第一曝光图像序列和所述第二曝光图像序列进行融合获得所述目标区域的完整曝光区域。2.根据权利要求1所述的图像采集方法，其特征在于，所述扫描式投影包括：在预设时间长度输出预设格式图像并使得所述预设格式图像移动地照射所述目标区域以覆盖整个所述目标区域。3.根据权利要求1所述的图像采集方法，其特征在于，第一轮多次曝光的每次曝光具有相同的曝光时长；可选地，第二轮多次曝光的每次曝光具有相同的曝光时长；可选地，所述第一轮多次曝光中至少两次曝光的曝光时长不同；可选地，所述第二轮多次曝光中至少两次曝光的曝光时长不同；可选地，第一轮多次曝光的每次曝光的曝光时长与第二轮多次曝光的每次曝光时长相同。4.根据权利要求1所述的图像采集方法，其特征在于，所述第一轮多次曝光的曝光次数与所述第二轮多次曝光的曝光次数相同或不同。5.一种三维重建方法，其特征在于，基于权利要求1至4中任一项所述的图像采集方法获取的目标区域的第一曝光图像序列和第二曝光图像序列进行三维重建；可选地，包括：基于所述第一曝光图像序列和所述第二曝光图像序列获取所述目标区域的完整曝光区域的完整曝光图像；基于所述完整曝光图像获取所述目标区域的完整相位图；基于所述完整相位图获取所述目标区域的完整深度信息；以及基于所述完整深度信息获取所述目标区域的完整点云信息；可选地，基于所述第一曝光图像序列和所述第二曝光图像序列获取所述目标区域的完整曝光区域的完整曝光图像，包括：对第一曝光图像序列和所述第二曝光图像序列进行叠加和/或拼接操作以获取所述完整曝光图像；可选地，包括：基于所述第一曝光图像序列获取第一相位图，基于所述第二曝光图像序列获取第二相位图；基于所述第一相位图及所述第二相位图获取所述目标区域的完整相位图；基于所述完整相位图获取所述目标区域的完整深度信息；以及基于所述完整深度信息获取所述目标区域的完整点云信息；可选地，基于所述第一相位图及所述第二相位图获取所述目标区域的完整相位图，包
括：对第一相位图和第二相位图进行叠加和/或拼接操作以获取所述完整相位图；可选地，包括：基于所述第一曝光图像序列获取第一相位图，基于所述第二曝光图像序列获取第二相位图；基于所述第一相位图获取所述目标区域的第一深度信息，基于所述第二相位图获取所述目标区域的第二深度信息；基于所述第一深度信息获取所述目标区域的第一点云信息，基于所述第二深度信息获取所述目标区域的第二点云信息；以及对所述第一点云信息及所述第二点云信息进行融合获得所述目标区域的完整点云信息；可选地，对所述第一点云信息及所述第二点云信息进行融合获得所述目标区域的完整点云信息，包括：对第一点云信息和第二点云信息进行叠加和/或拼接操作以获得所述完整点云信息；可选地，所述叠加包括对叠加区域的不同叠加对象进行平均加权处理，使得不同叠加对象的权重之和为1。6.一种图像采集装置，其特征在于，包括：投影控制指令生成模块，所述投影控制指令生成模块用于生成第一投影控制指令，以基于所述第一投影控制指令对目标区域进行第一轮扫描式投影，所述投影控制指令生成模块还用于生成第二投影控制指令，以基于所述第二投影控制指令对目标区域进行第二轮扫描式投影；以及曝光控制指令生成模块，所述曝光控制指令生成模块用于生成第一曝光控制指令，以基于所述第一曝光控制指令同步地以第一预设时间间隔序列进行第一轮多次曝光，以采集目标区域的第一曝光图像序列，所述曝光控制指令生成模块还用于生成第二曝光控制指令，以基于所述第二曝光控制指令同步地以第二预设时间间隔序列进行第二轮多次曝光，以采集目标区域的第二曝光图像序列；其中，所述第二轮多次曝光的曝光区域至少包括所述目标区域中第一轮多次曝光未曝光的区域，以用于在三维重建中基于所述第一曝光图像序列和所述第二曝光图像序列进行信息融合获得所述目标区域的完整曝光区域。7.一种图像采集系统，其特征在于，包括：投影装置；相机装置；投影控制指令生成模块，所述投影控制指令生成模块用于生成第一投影控制指令，以使得所述投影装置基于所述第一投影控制指令对目标区域进行第一轮扫描式投影，所述投影控制指令生成模块还用于生成第二投影控制指令，以使得所述投影装置基于所述第二投影控制指令对目标区域进行第二轮扫描式投影；以及曝光控制指令生成模块，所述曝光控制指令生成模块用于生成第一曝光控制指令，以使得所述相机装置基于所述第一曝光控制指令同步地以第一预设时间间隔序列进行第一轮多次曝光，以采集目标区域的第一曝光图像序列，所述曝光控制指令生成模块还用于生
成第二曝光控制指令，以使得所述相机装置基于所述第二曝光控制指令同步地以第二预设时间间隔序列进行第二轮多次曝光，以采集目标区域的第二曝光图像序列；其中，所述第二轮多次曝光的曝光区域至少包括所述目标区域中第一轮多次曝光未曝光的区域，以用于在三维重建中基于所述第一曝光图像序列和所述第二曝光图像序列进行信息融合获得所述目标区域的完整曝光区域；可选地，所述投影装置包括线光斑发射器及振镜；可选地，所述相机装置包括一个相机或者包括多个相机。8.一种电子设备，其特征在于，包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行权利要求1至4中任一项所述的图像采集方法和/或权利要求5所述的三维重建方法。9.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现权利要求1至4中任一项所述的图像采集方法和/或权利要求5所述的三维重建方法。10.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至4中任一项所述的图像采集方法和/或权利要求5所述的三维重建方法。

技术总结
本公开提供了图像采集方法，包括：对目标区域进行第一轮扫描式投影，同步地以第一预设时间间隔序列进行第一轮多次曝光，以采集目标区域的第一曝光图像序列；对目标区域进行第二轮扫描式投影，同步地以第二预设时间间隔序列进行第二轮多次曝光，以采集目标区域的第二曝光图像序列；其中，第二轮多次曝光的曝光区域至少包括目标区域中第一轮多次曝光未曝光的区域，以用于在三维重建中基于第一曝光图像序列和第二曝光图像序列进行融合获得目标区域的完整曝光区域。本公开还提供了三维重建方法、图像采集装置、图像采集系统、电子设备、可读存储介质及程序产品。读存储介质及程序产品。读存储介质及程序产品。


技术研发人员：吴朋林 王佳奇 邓小婷 李宏坤 樊钰
受保护的技术使用者：北京迁移科技有限公司
技术研发日：2022.11.22
技术公布日：2023/7/26