光场采集结构、装置和方法与流程

1.本发明涉及光学技术领域，尤其涉及一种光场采集结构、装置和方法。


背景技术：

2.随着人工智能和算力的发展，mr(mixed reality，混合现实)/ar(augmented reality，增强现实)技术已经应用到多种场景，例如，3d视频聊天，但现有的产品依然存在画面不够真实、对环境还原度不够的问题。2d图像采集已经不能满足这些场景的需要，4d光场采集会有更好的效果。
3.相关技术中，光场采集的装置类型可以包括相机阵列式、编码掩膜式、微透镜阵列式、编程光圈式、相机移动式等等。然而，相机阵列式可以在大范围内捕获较高分辨率的光场信息，但体积较大、成本较高，限制了其应用前景；编码掩膜式的信噪比较低且拍摄范围较小；微透镜阵列式的空间分辨率较低、成本较高且拍摄范围较小，相机移动式则无法进行单次拍摄。
4.因此，需要一种新的光场采集方案。


技术实现要素：

5.本发明的主要目的是提供一种光场采集结构、装置和方法，以获得较好的光场采集效果。
6.本发明提供一种光场采集结构，包括：透镜模组，设置于物侧与像侧之间，用于透过目标对象反射的光线；选通窗口，设置于所述透镜模组与像侧之间，用于对透过所述透镜模组的不同光线分别进行选通，得到目标对象的多个视点图像；编码掩膜，设置于所述选通窗口与像侧之间，用于对被选通的光线分别进行调制，得到多个调制后的图像；成像感测器，设置于像侧，用于感测所述多个调制后的图像，以能够在对所述多个调制后的图像分别进行解调后，得到目标对象的多视点图像。
7.在一实施例中，所述选通窗口包括：多个通光孔，用于对透过所述透镜模组的不同光线分别进行选通。
8.在一实施例中，所述通光孔的大小根据视点图像的预设信噪比而定，和/或，所述通光孔的数量根据视点图像的预设数量而定。
9.在一实施例中，所述选通窗口包括：第一液晶层，用于通过使其中的液晶偏转而形成所述通光孔。
10.在一实施例中，还包括：光圈，设置于所述透镜模组与所述选通窗口之间；所述选通窗口还用于，对通过所述光圈的不同光线分别进行选通。
11.在一实施例中，所述编码掩膜包括：第二液晶层，用于通过使其中的液晶偏转而形成掩膜图案，其中，所述掩膜图案用于对被选通的光线分别进行调制。
12.本发明提供一种光场采集装置，包括：上述的光场采集结构；控制器，用于对所述多个调制后的图像分别进行解调，得到目标对象的多视点图像。
13.在一实施例中，还包括：眼动追踪装置，用于获取目标人员对目标对象的注视位置；所述控制器还用于，根据目标人员对目标对象的注视位置，控制所述选通窗口对目标对象的被注视位置反射的光线进行选通。
14.在一实施例中，还包括：广角图像采集装置，用于采集包含所述目标对象的广角图像；所述控制器还用于，融合所述多视点图像和所述广角图像，以形成局部多视点的融合图像。
15.本发明提供一种光场采集方法，基于上述的光场采集装置，包括：获取目标对象的多个调制后的图像；对所述多个调制后的图像进行解调，得到目标对象的多视点图像；在所述光场采集装置包括广角图像采集装置的情况下，获取包含所述目标对象的广角图像，融合所述多视点图像和所述广角图像，以形成局部多视点的融合图像。
16.在一实施例中，在光场采集装置包括眼动追踪装置的情况下，根据目标人员对目标对象的注视位置，控制所述选通窗口对目标对象的被注视位置反射的光线进行选通。
17.本发明的光场采集结构，通过在编码掩膜与透镜模组之间设置选通窗口，可以根据需求选通不同视点的光线，形成多个视点图像，提高各视点图像的分辨率；通过编码掩膜对视点图像的调制以及后续解调，可以基于频域复用的方式进一步提升各视点图像的分辨率，从而可以得到角分辨率更高的多视点图像以及任一视点的与成像感测器相同分辨率的全分辨率图像。并且，本实施例的光场采集结构体积也更小。
附图说明
18.构成本技术的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，在附
19.图中：
20.图1为根据本技术一实施方式的光场采集结构示意图；
21.图2为根据本技术一实施例的光场采集装置的结构示意图；
22.图3为图2所示的光场采集装置的数据处理流程图；
23.图4为图2所示的光场采集装置在聊天场景下的数据传输流程图；
24.图5为根据本技术一实施例的光场采集装置的结构示意图；
25.图6为根据本技术一实施例的光场采集装置的结构示意图；
26.图7为图6所示的光场采集装置的数据处理流程图。
具体实施方式
27.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
28.参考图1，本实施例提供一种光场采集结构，可以包括：透镜模组140，设置于物侧a与像侧b之间，用于透过目标对象反射的光线；选通窗口130，设置于所述透镜模组140与像侧b之间，用于对透过所述透镜模组140的不同光线分别进行选通，得到目标对象的多个视点图像；编码掩膜120，设置于所述选通窗口130与像侧b之间，用于对被选通的光线分别进行调制，得到多个调制后的图像；成像感测器110，设置于像侧b，用于感测所述多个调制后的图像，以能够在对所述多个调制后的图像分别进行解调后，得到目标对象的多视点图像。
29.在本实施例中，透镜模组可以是定焦镜头或变焦镜头，透镜模组可以包括一个或多个透镜，透镜可以包括非平面光学镜片或平面光学镜片，其中，非平面光学镜片可以包括双凹透镜、双凸透镜、凹凸透镜、凸凹透镜、平凸透镜、平凹透镜及组合，等等。在一实施方式中，透镜模组可以包括一个透镜，例如可以是菲涅尔透镜，在另一实施方式中，透镜模组可以是标准镜头。
30.在本实施例中，选通窗口上用于选通光线的窗口可以是固定的，也可以是不固定的，例如，选通窗口的材料可以是绝对不透光材料，例如金属，其上用于选通光线的窗口可以是固定的，选通窗口的材料也可以是相对不透光材料，例如液晶层，从而可以根据控制信号控制选通光线的窗口的位置。无论是何种材料，只要能够使不同视点的光线分开通过即可，本技术对此不做具体限定。
31.在本实施例中，编码掩膜可以包括多个透光孔及位于透光孔之间的不透光区域，从而实现对被选通的不同视点光线的调制，调制后的图像可以由成像感测器接收，以在后续解调得到多视点图像。编码掩膜的材料可以包括液晶材料、通过图案打印的材料等。
32.在本实施例中，成像感测器可以包括电荷耦合元件影像感测器、互补式金属氧化物半导体影像感测器，等等。
33.本实施例的光场采集结构，通过在编码掩膜与透镜模组之间设置选通窗口，可以根据需求选通不同视点的光线，形成多个视点图像，提高各视点图像的分辨率；通过编码掩膜对视点图像的调制以及后续解调，可以基于频域复用的方式进一步提升各视点图像的分辨率，从而可以得到角分辨率更高的多视点图像以及任一视点的与成像感测器相同分辨率的全分辨率图像。并且，本实施例的光场采集结构体积也更小。
34.在一实施方式中，参考图1，所述选通窗口可以包括：多个通光孔131，用于对透过所述透镜模组的不同光线分别进行选通，从而可以得到多个不同的视点图像。
35.在本实施方式中，多个通光孔的位置可以是固定的，也可以是能够灵活调整的。通光孔的数量可以是两个以上，例如3个、8个等。
36.在实际应用中，可以在不同时刻循环打开不同的通光孔，也可以同时打开多个通光孔，以实现光场信息的采集。
37.在一实施方式中，所述通光孔的大小可以根据视点图像的预设信噪比而定，和/或，所述通光孔的数量根据视点图像的预设数量而定。
38.为了视点图像具有较高的信噪比和视点密度，可以选用相对较大的通光孔。
39.在一实施方式中，所述选通窗口可以包括：第一液晶层，用于通过使其中的液晶偏转而形成所述通光孔。
40.在本实施方式中，选通窗口可以包括第一液晶层，可以通过电信号控制第一液晶层中的液晶发生偏转，从而形成通光孔，可以形成一个或多个通光孔，具体根据需要而定。
41.本实施方式的第一液晶层的设置提高了通光孔的位置和数量的灵活性。
42.在一实施方式中，还可以包括：光圈(图中未示出)，设置于所述透镜模组与所述选通窗口之间；所述选通窗口还用于，对通过所述光圈的不同光线分别进行选通。
43.在光场采集结构包括光圈的情况下，选通窗口可以对通过光圈的不同视点的光线分别进行选通。
44.在一实施方式中，所述编码掩膜可以包括：第二液晶层，用于通过使其中的液晶偏
转而形成掩膜图案，其中，所述掩膜图案用于对被选通的光线分别进行调制。
45.在本实施方式中，编码掩膜可以包括第二液晶层，可以通过电信号控制第二液晶层中的液晶发生偏转，从而形成掩膜图案。在另一实施方式中，不同的电信号可以控制形成不同的掩膜图案，具体可以根据需要进行设定。
46.在本实施方式中，可以通过控制液晶偏转形成不同的掩膜图案，不同的掩膜图案可以具有不同的频谱，从而使得解调得到的多视点图像具有不同的角分辨率，具有更大的灵活性。
47.本实施例提供一种光场采集装置，包括：上述的光场采集结构；控制器，用于对所述多个调制后的图像分别进行解调，得到目标对象的多视点图像。
48.无论是传统的图像采集装置还是光场采集装置，在透镜模组上的不同位置其实已经采集到了光场信息，但由于透镜的聚焦作用，不同视点的光线信息又被融合到了一起。
49.本实施例的光场采集装置，增加了选通窗口，将不同视点的光线分开采集，从而能够得到多个不同的视点图像；通过设置选通窗口的通光孔的大小，可以使得视点图像具有较高的信噪比和分辨率；通过对视点图像的频域复用，可以进一步提高视点图像的分辨率
50.在一实施方式中，还可以包括：眼动追踪装置，用于获取目标人员对目标对象的注视位置；所述控制器还用于，根据目标人员对目标对象的注视位置，控制所述选通窗口对目标对象的被注视位置反射的光线进行选通。
51.在本实施方式中，眼动追踪装置可以设置在任何可以捕获目标人员的眼睛注视位置的位置。尤其在实时光场采集的场景中，眼动追踪装置可以实时获取目标人员对目标对象的注视位置，具体可以获取注视位置的坐标。选通窗口通过对目标对象的被注视位置反射的光线进行选通，可以形成被注视位置的视点图像，继而通过编码掩膜的频域复用，可以得到目标对象的被注视位置的更清晰的高分辨率图像。
52.本实施方式的方案可得到高空间分辨率的、密集视点的图像，配合根据注视位置确定的通光孔，达到光场采集装置直接采集人眼注视位置的视点图像的效果。
53.如果全图像均采用高分辨率，则会有很大的数据量。例如，按照人眼1角分的分辨力，120
°
fov(field of view，视场角)，相机分辨率达到7200*7200，则数据量大约为50m，造成cis(contact image sensor，接触式图像传感器)选型、采集困难，数据处理压力巨大。
54.在一实施方式中，还可以包括：广角图像采集装置，用于采集包含所述目标对象的广角图像；所述控制器还用于，融合所述多视点图像和所述广角图像，以形成局部多视点的融合图像。
55.在本实施方式中，广角图像采集装置可以采集包含目标对象的大视场角、低分辨率图像，随后再与目标对象的多视点图像进行融合，得到包含目标对象的局部多视点的融合图像。
56.人眼的分辨率在注视区域高，其余部分较低。采用在注视区保持高分辨率，非注视区低分辨率方法，在保证使用体验的前提下，该方法能明显降低系统的计算量，提高处理速度。
57.本实施例提供一种光场采集方法，基于上述的光场采集装置，可以包括：
58.s100：获取目标对象的多个调制后的图像。
59.s200：对所述多个调制后的图像进行解调，得到目标对象的多视点图像。
60.s300：在所述光场采集装置包括广角图像采集装置的情况下，获取包含所述目标对象的广角图像，融合所述多视点图像和所述广角图像，以形成局部多视点的融合图像。
61.在一实施方式中，在光场采集装置包括眼动追踪装置的情况下，根据目标人员对目标对象的注视位置，控制所述选通窗口对目标对象的被注视位置反射的光线进行选通。
62.参考图2，本实施例的光场采集装置应用于显示装置200的场景下。
63.在本实施例中，光场采集装置包括光场采集结构210和眼动追踪装置220，其中，光场采集结构210包括透镜模组211、选通窗口(图中未示出)、编码掩膜212和成像感测器213。其中，透镜模组211采用单透镜(普通透镜或菲涅尔透镜)或薄透镜组，单透镜或薄透镜组造成的像差可在后续的图像处理中进行修复，例如通过维纳滤波对像差进行修复，可以只修复目标人员的眼睛注视位置。选通窗口和编码掩膜212可以分别包含液晶层，液晶层可以由电信号控制，其中，多视点图像的角分辨率可以根据编码掩膜212的频率确定。
64.在3d视频聊天场景下，结合图3和图4，在观看端，眼动追踪装置获取目标人员的人眼在所显示的图像上的注视位置的坐标，并将该注视位置的坐标发送到采集端的光场采集装置。在采集端，光场采集装置根据注视位置的坐标选通通光孔，从而形成人眼注视位置的视点图像，编码掩膜对该视点图像进行调制，得到调制后的粗略视点图像，随后将粗略视点图像发送到观看端。最后，在观看端，对粗略视点图像进行解调处理，得到注视位置的多视点图像，并呈现给目标人员。
65.参考图5，本实施例的光场采集装置应用于vr眼镜300。
66.在本实施例中，光场采集装置包括光场采集结构310和眼动追踪装置320，其中，光场采集结构310包括透镜模组311、选通窗口312、编码掩膜313和成像感测器314。其中，透镜模组310采用标准镜头，能够矫正像差，得到高质量的图像。选通窗口312和编码掩膜313可以分别包含液晶层，液晶层可以由电信号控制，其中，多视点图像的角分辨率可以根据编码掩膜的频率确定。本实施例的vr眼镜包括两套光场采集装置，分别对应于左眼和右眼。
67.参考图6，在另一实施例中，vr眼镜中400的光场采集装置可以包括光场采集结构410和广角图像采集装置420，vr眼镜400的两套光场采集装置分别包括光场采集结构410和广角图像采集装置420。参考图7，通过广角图像采集装置可以采集大视场角、低分辨率的广角图像42，光场采集结构可以采集小视场角、低分辨率的多视点图像41，随后，可以根据眼动追踪装置获取的人眼注视位置，将广角图像和多视点图像进行融合，得到局部高分辨率的融合图像。通过这种方式得到的融合图像，有利于在保证图像观感的情况下，大幅降低对图像的处理运算量，提高系统运行速度。
68.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
69.需要说明的是，本技术的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换。
70.应当理解的是，本说明书中的示例性实施方式可以由多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施方式。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。提供这些实施方式
是为了使得本技术的公开彻底且完整，并且将这些示例性实施方式的构思充分传达给本领域普通技术人员，而不应当理解为对本发明的限制。
71.虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

技术特征：
1.一种光场采集结构，其特征在于，包括：透镜模组，设置于物侧与像侧之间，用于透过目标对象反射的光线；选通窗口，设置于所述透镜模组与像侧之间，用于对透过所述透镜模组的不同光线分别进行选通，得到目标对象的多个视点图像；编码掩膜，设置于所述选通窗口与像侧之间，用于对被选通的光线分别进行调制，得到多个调制后的图像；成像感测器，设置于像侧，用于感测所述多个调制后的图像，以能够在对所述多个调制后的图像分别进行解调后，得到目标对象的多视点图像。2.根据权利要求1所述的光场采集结构，其特征在于，所述选通窗口包括：多个通光孔，用于对透过所述透镜模组的不同光线分别进行选通。3.根据权利要求2所述的光场采集结构，其特征在于，所述通光孔的大小根据视点图像的预设信噪比而定，和/或，所述通光孔的数量根据视点图像的预设数量而定。4.根据权利要求2所述的光场采集结构，其特征在于，所述选通窗口包括：第一液晶层，用于通过使其中的液晶偏转而形成所述通光孔。5.根据权利要求1所述的光场采集结构，其特征在于，还包括：光圈，设置于所述透镜模组与所述选通窗口之间；所述选通窗口还用于，对通过所述光圈的不同光线分别进行选通。6.根据权利要求1所述的光场采集结构，其特征在于，所述编码掩膜包括：第二液晶层，用于通过使其中的液晶偏转而形成掩膜图案，其中，所述掩膜图案用于对被选通的光线分别进行调制。7.一种光场采集装置，其特征在于，包括：如权利要求1至6中任一项所述的光场采集结构；控制器，用于对所述多个调制后的图像分别进行解调，得到目标对象的多视点图像。8.根据权利要求7所述的光场采集装置，其特征在于，还包括：眼动追踪装置，用于获取目标人员对目标对象的注视位置；所述控制器还用于，根据目标人员对目标对象的注视位置，控制所述选通窗口对目标对象的被注视位置反射的光线进行选通。9.根据权利要求7或8所述的光场采集装置，其特征在于，还包括：广角图像采集装置，用于采集包含所述目标对象的广角图像；所述控制器还用于，融合所述多视点图像和所述广角图像，以形成局部多视点的融合图像。10.一种光场采集方法，其特征在于，基于如权利要求7至9中任一项所述的光场采集装置，包括：获取目标对象的多个调制后的图像；对所述多个调制后的图像进行解调，得到目标对象的多视点图像；在所述光场采集装置包括广角图像采集装置的情况下，获取包含所述目标对象的广角图像，融合所述多视点图像和所述广角图像，以形成局部多视点的融合图像。11.根据权利要求10所述的光场采集方法，其特征在于，在光场采集装置包括眼动追踪装置的情况下，根据目标人员对目标对象的注视位置，控制所述选通窗口对目标对象的被
注视位置反射的光线进行选通。

技术总结
本发明提供一种光场采集结构、装置和方法，该结构包括：透镜模组，设置于物侧与像侧之间，用于透过目标对象反射的光线；选通窗口，设置于所述透镜模组与像侧之间，用于对透过所述透镜模组的不同光线分别进行选通，得到目标对象的多个视点图像；编码掩膜，设置于所述选通窗口与像侧之间，用于对被选通的光线分别进行调制，得到多个调制后的图像；成像感测器，设置于像侧，用于感测所述多个调制后的图像，以能够在对所述多个调制后的图像分别进行解调后，得到目标对象的多视点图像。可以得到角分辨率更高的多视点图像以及任一视点的与成像感测器相同分辨率的全分辨率图像。器相同分辨率的全分辨率图像。器相同分辨率的全分辨率图像。


技术研发人员：胡飞涛 李亚鹏 谭丞鸣 李扬冰 赵方圆
受保护的技术使用者：北京京东方技术开发有限公司
技术研发日：2023.06.30
技术公布日：2023/10/8