载运工具地形捕获系统及3D数字图像和3D序列的显示的制作方法

载运工具地形捕获系统及3d数字图像和3d序列的显示
技术领域
1.本公开涉及来自载运工具的2d和3d模型图像捕获、图像处理、3d或多维图像序列的模拟显示以及查看3d或多维图像。


背景技术：

2.人类视觉系统(hvs)依靠二维图像来解释三维视场。通过利用具有hvs的机制，我们创建了与hvs兼容的图像/场景。
3.在观看3d图像时，在眼睛必须会聚的点与眼睛必须聚焦到的距离之间的不匹配会产生负面的后果。虽然3d影像已被证明在电影、数字广告方面很受欢迎且有用，但如果观看者能够在不佩戴专门的眼镜或头戴式耳机的情况下观看3d图像，许多其他的应用也可能被利用，这是众所周知的问题。在观看数字多维图像时，这些系统中的不对准会导致图像跳动、失焦或模糊的特征。观看这些图像会导致头疼和恶心。
4.在自然观看中，图像到达眼睛时有不同的双眼视差，因此当观看者从视觉场景中的一个点看向另一个点时，他们必须调整眼睛的辐辏(vergence，聚散)。视线相交处的距离就是辐辏距离。不能在这个距离上会聚会出现双重图像。观看者还为场景的固定部分适当地调整每只眼睛晶状体的焦度(即调节(accommodate))。眼睛必须聚焦到的距离就是调节距离。不能调节到这个距离会出现模糊的图像。辐辏和调节反应在大脑中是耦合的，具体地，辐辏的变化驱动调节的变化，调节的变化驱动辐辏的变化。这种耦合在自然观看中是有利的，因为辐辏距离和调节距离几乎总是相同的。
5.在3d图像中，图像具有不同的双眼视差，从而刺激了如自然观看中发生的辐辏变化。但调节距离仍然固定在与观看者的显示距离处，因此，辐辏距离和调节距离之间的自然相关性被破坏了，导致所谓的辐辏-调节冲突。该冲突导致了几个问题。首先，不同的视差和聚焦信息会导致感知上的深度失真。第二，观看者在同时融合(fuse)和聚焦于图像中的关键主体时遇到困难。最后，试图分别调整辐辏和调节会导致观看者的视觉不适和疲劳。
6.对深度的感知是基于各种线索的，双眼视差(binocular disparity)和运动视差(motion parallax)通常比图像线索提供更精确的深度信息。双眼视差和运动视差为深度感知提供了两个独立的定量线索。双眼视差指的是一个点在3d空间中的两个视网膜图像投影之间的位置差异。
7.传统的立体显示器迫使观看者试图将这些过程解耦，因为当他们必须动态地改变辐辏角以观看不同立体距离处的对象时，他们必须将调节保持在一个固定的距离，否则整个显示器将滑出焦点。在观看这种显示器时，这种解耦会产生眼睛疲劳，并损害图像质量。
8.最近，一部分摄影师正在利用诸如nimslo和nashika 35mm模拟胶片相机的20世纪80年代的相机或在多个点之间移动的数码相机来拍摄场景的多个帧，从模拟相机中冲洗多个帧的胶片，将图像上传到图像软件，诸如photoshop，并布置图像以创建摆动的gif效果。
9.因此，明显的是，对于可以被配置成用于解决以上讨论的问题的至少一些方面的具有2d数字图像和3d地形模型捕获系统、图像操纵应用、3d数字图像序列的显示/3d或数字
多维图像的显示的系统，存在着明显的未满足的需求。


技术实现要素：

10.简而言之，在示例实施方式中，本公开可以克服以上提及的缺点并且可以满足对于载运工具上的系统捕获地形(包括地形的二维数字源图像(rgb)地形等)的多个数据集的公认需求，该系统包括：智能装置，该智能装置具有用于存储指令的存储器装置；处理器，该处理器与存储器通信并且该处理器被配置成执行指令；与处理器通信的多个捕获装置，每个捕获装置被配置成捕获其地形的数据集，多个捕获装置固定到载运工具上，载运工具以指定图案穿越地形，处理步骤以配置数据集；以及被配置成显示模拟的多维数字图像序列和/或多维数字图像的显示器。
11.因此，系统和使用方法的特征是它能够利用位于载运工具上的至少一个位置的各种捕获装置来捕获地形的多个数据集。
12.因此，系统和使用方法的特征是它具有将输入的2d源图像转换成多维/多光谱图像序列的能力。输出的图像遵循“关键主体点”保持在最佳视差内的规则，以保持清晰明了的图像。
13.因此，系统和使用方法的特征是：将观看装置或其他观看功能集成到显示器中的能力，诸如在led或oled、lcd、oled及其组合或其他观看装置中具有集成lcd层的屏障屏幕(黑线)、双凸透镜、弧形、曲面、梯形、抛物线、叠加物、波导、黑线等。
14.基于数字多维图像平台的系统和使用方法的另一个特征是：产生数字多维图像的能力，这些数字多维图像可以在观看屏幕上观看而直接不需要3d眼镜或耳戴式耳机，观看屏幕诸如为移动电话和固定电话、智能手机(包括iphone)、平板电脑、电脑、笔记本电脑、监视器和其他显示器和/或特定输出装置。
15.在示例性实施方式中，一种用于模拟场景的地形的3d图像的系统，所述系统包括：载运工具，所述载运工具具有：地理编码检测器，所述地理编码检测器用于对载运工具的坐标参考数据进行识别，所述载运工具穿越地形；存储器装置，所述存储器装置用于存储指令；处理器，所述处理器与存储器装置通信，所述处理器被配置成执行指令；以及捕获模块，所述捕获模块与处理器通信并且连接到载运工具，所述捕获模块具有2d rgb数字相机和数字高程捕获装置，所述2d rgb数字相机用于利用所述坐标参考数据捕获地形的一系列2d数字图像，所述数字高程捕获装置用于利用所述坐标参考数据捕获一系列数字高程扫描以生成地形的数字高程模型，其中，所述处理器执行用于将地形的一系列2d数字图像叠加在地形的数字高程模型上同时保持坐标参考数据的指令，在地形的一系列2d数字图像和数字高程模型中对关键主体点进行识别，以及显示器，所述显示器与处理器通信，所述显示器被配置成显示多维数字图像序列或多维数字图像。
16.在根据场景的地形生成3d图像的方法的另一个示例性实施方式中，该方法包括下述步骤：提供载运工具，所述载运工具具有：地理编码检测器，所述地理编码检测器用于对载运工具的坐标参考数据进行识别，所述载运工具穿越地形；存储器装置，所述存储器装置用于存储指令；处理器，所述处理器与存储器装置通信，所述处理器被配置成执行所述指令；以及捕获模块，所述捕获模块与处理器通信并且连接到载运工具，所述捕获模块具有2d rgb数字相机和数字高程捕获装置，所述2d rgb数字相机用于利用所述坐标参考数据捕获
地形的2d数字图像数据集，所述数字高程捕获装置用于利用所述坐标参考数据捕获地形的数字高程模型，其中，所述处理器执行用于下述的指令：将地形的一系列2d数字图像叠加在地形的数字高程模型上同时保持坐标参考数据，在地形的一系列2d数字图像和数字高程模型中对关键主体点进行识别。
17.本公开的特征可以包括具有至少一个捕获装置诸如多个捕获装置的系统，所述捕获装置包括位于载运工具上的2d rgb高分辨率数字相机、lidar、ir、emf、图像或其他类似光谱格式等，所述系统捕获2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴的图像节段集)、lidar、ir、emf图像或其他类似的光谱格式、文件，标记并识别基于源捕获装置的地形的数据集连同载运工具相对于地形的坐标参考数据或地理编码信息。
18.本公开的特征可以包括安装到载运工具的3维成像lidar，它利用功率适中的khz速率激光器、阵列检测器、光子计数多通道定时接收器和具有发射器超前点校正的双楔光学扫描仪，以提供连续的高空间分辨率地表特征映射，包括地面、道路、水、人造物体、植被和载运工具的淹没表面。
19.本公开的特征可以包括满足多维地面视图的要求，以建立视线、对象的高度、目标接近等。
20.本公开的特征是下述能力：经由用于确定会聚点或关键主体点的另一个重要的参数来克服上述缺陷，因为观看没有与关键主体点对准的图像会对人类视觉系统造成混乱，导致图像模糊和双重图像。
21.本公开的特征是下述能力：在接近平面和远平面或后平面之间的感兴趣区域(aoi)内的任何地方选择会聚点或关键主体点，手动模式用户选择。
22.本公开的特征是下述能力：经由用于确定舒适圆(coc)的另一个重要的参数来克服上述缺陷，因为观看没有与舒适圆(coc)对准的图像会对人的视觉系统造成混乱，导致图像模糊和双重图像。
23.本公开的特征是下述能力：经由用于确定与双眼单视界弧或点和帕努姆区域相融合的舒适圆(coc)的另一个重要参数来克服上述缺陷，因为观看没有和与双眼单视界弧或点和帕努姆区域相融合的舒适圆(coc)对准的图像会对人的视觉系统造成混乱，导致图像模糊和双重图像。
24.本公开的特征是下述能力：经由用于确定灰度深度图的另一个重要参数来克服上述缺陷，该系统基于场景中的指定点(最近点、关键主主体点和最远点)来插值中间点，该系统为这些中间点分配值，并且将其总和渲染成灰度深度图，其中，可以选择自动模式关键主体点作为其中点。该灰度图使用分配给场景中的不同点(最近点、关键主体点和最远点)的值来生成体积视差。这种模式还允许将体积视差或圆角分配给场景中的单一对象。
25.本公开的特征是它具有下述能力：测量对象或对象元素的深度或z轴和/或基于场景中对象的已知大小进行比较。
26.本公开的特征是它具有下述能力：利用关键主体算法来在显示器上显示的场景的多个图像中手动地或自动地选择关键主体并且产生多维数字图像序列，以供在显示器上观看。
27.本公开的特征是它具有下述能力：利用图像对准、水平图像平移或编辑算法来手动地或自动地将场景的多个图像围绕关键主体水平地对准，以供显示。
28.本公开的特征是它具有下述能力：利用图像平移算法来对准地形的场景的两个图像的关键主体点，以供显示。
29.本公开的特征的特征是它具有下述能力：生成difys(差分图像格式)，difys是一种用于获得场景的多视图并创建在没有眼镜或任何其他观看辅助工具的情况下产生深度的一系列图像的特定的技术。该系统利用水平图像平移连同一种运动视差的形式来创建3d视图。difys是通过观察者的眼睛对单一场景的不同视图进行翻转而产生的。这些视图是通过图像捕获系统的运动或通过多个相机拍摄的场景来捕获的，其中阵列中的每个相机在不同的位置处观看。
30.根据本公开的第一方面，根据下述对3d图像或图像序列进行模拟：接收2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴或拼接的拼贴的图像节段集)，以及lidar云点数字高程模型、ir、em图像、文件或数据集，标记和识别基于源捕获装置的场景s的地形t的数据集连同坐标参考数据或地理编码信息，其中，在序列中的每个图像帧内对第一近端平面和第二远端平面进行识别，并且其中，每个观察点对于每个图像帧保持基本上相同的第一近端图像平面；对序列中每个图像帧内的第一近端平面和第二远端平面的深度估计进行确定，将序列中每个图像帧的第一近端平面对准，并且基于每个图像帧的第二远端平面的深度估计来对序列中每个后续图像帧的第二远端平面进行移位，以产生修改后的图像帧；以及显示修改后的图像帧或按顺序显示。
31.本公开改变了所显示的场景中不同平面处的对象的焦点，以匹配辐辏和立体视网膜视差的需求，以更好地模拟自然观看条件。通过调整场景中关键对象的焦点以匹配它们的立体视网膜视差，使用于眼球调节和辐辏的线索得到一致。如同在自然视觉中，观看者通过改变调节性使不同的对象成为焦点。由于调节和辐辏之间的不匹配减少了，自然观看条件得到了更好的模拟，并且眼睛的疲劳也减少了。
32.本公开可以用于对序列中每个图像帧的三个或更多个平面进行确定。
33.此外，优选的是，这些平面具有不同的深度估计。
34.此外，优选的是，每个各自的平面基于各自平面的深度估计和第一近端平面之间的差异进行移位。
35.优选地，对每个修改后的图像帧的第一近端平面进行对准，使得第一近端平面被定位在同一像素空间。
36.另外优选的是，第一平面包括关键主体点。
37.优选地，这些平面包括至少一个前景平面。
38.此外，优选的是，这些平面包括至少一个后景平面。
39.优选地，连续的观察点位于一条直线上。
40.根据本发明的第二方面，提供了一种存储指令的非暂态计算机可读存储介质，该指令在由处理器执行时使处理器执行根据本发明的第二方面的方法。
41.具有地形的2d数字图像和3d模型捕获系统的智能装置、图像操纵应用和模拟的3d数字图像序列或3d图像的显示的这些和其他特征，对于本领域的技术人员来说，根据鉴于附图或图解阅读的前面的摘要和下面的附图说明、具体实施方式以及权利要求书将变得更加明显。
附图说明
42.通过参照附图阅读优选的和选定的替选实施方式的详细描述，将更好地理解本公开，在附图中，类似的附图标记表示类似的结构，并且自始至终指代类似的元素，并且其中：
43.图1a示出了基于观察者相对于显示器的定向变化的图像的2d渲染；
44.图1b示出了由于左眼和右眼的水平分离视差(parallax)而产生的具有双眼视差(disparity)的图像的2d渲染；
45.图2a是人类眼球结构的截面图的图示；
46.图2b是关于视杆细胞和视锥细胞的密度与中央凹的位置的图；
47.图3是观察者视场的顶视图；
48.图4是对使用安装在载运工具上的捕获设备捕获的地形场景的平面进行识别的顶视图图示；
49.图5是对场景的平面以及按图4的比例的舒适圆进行识别的顶视图图示；
50.图6是本公开的计算机系统的框图；
51.图7是由图6中的计算机系统实现的通信系统的框图；
52.图8a是飞行器-卫星的示例性实施方式的图，其中在飞行器-卫星上定位有捕获装置用于捕获场景地形的图像、文件、数据集；
53.图8b是飞行器-无人机的示例性实施方式的图，其中在飞行器-无人机上定位有捕获装置用于捕获场景地形的图像、文件、数据集；
54.图8c是地面载运工具-汽车的示例性实施方式的图，其中在地面载运工具-汽车上定位有捕获装置用于捕获场景地形的图像、文件、数据集；
55.图8d是利用图8a至图8c中所示的捕获装置来捕获和修改场景地形的捕获图像、文件、数据集以作为多维图像序列和/或多维图像进行查看的方法的流程图的示例性实施方式；
56.图9是人眼间距眼内或瞳孔间距离宽度(即普通人的瞳孔之间的距离)的示例性实施方式的图；
57.图10是对成比例的场景的平面和舒适圆进行识别的顶视图图示，其中直角三角形限定了捕获装置在晶状体平面上的定位；
58.图10a是标识了用于计算图10的舒适圆半径的直角三角形的示例性实施方式的顶视图图示；
59.图10b是标识了用于计算捕获装置在图10的晶状体平面上的线性定位的直角三角形的示例性实施方式的顶视图图示；
60.图10c是标识了用于计算图10的背板的最佳距离的直角三角形的示例性实施方式的顶视图图示；
61.图11是诸如根据本公开的选定实施方式的图11a中的两个图像(帧)之间的点的几何移位的示例性实施方式的图示；
62.图11a是利用图8a至图8d中所示的捕获装置捕获的、并且关于关键主体点对准的场景的四个图像的示例性实施方式的前顶视图图示；
63.图11b是利用图8a至图8d中所示的捕获装置捕获的、并且关于关键主体点对准的场景的四个图像的示例性实施方式的正视图图示；
64.图12是生成利用图8a至图8c中所示的捕获装置捕获的多维图像/序列的方法的流程图的示例性实施方式；
65.图13是具有用于选择计算机系统的摄影选项的用户互动内容的显示器的示例性实施方式的顶视图图示；
66.图14a是识别利用图8a至图8f中所示的捕获装置捕获的两个帧的顶视图，其示出了如图11b中所示对准的关键主体和两个帧之间的近平面对象偏移；
67.图14b是经由图14a的两个帧之间的对象偏移的左眼和右眼虚拟深度的示例性实施方式的顶视图图示；
68.图15a是根据本公开的选定实施方式的显示器叠置件的示例性实施方式的截面图；
69.图15b是根据本公开的选定实施方式的弧形或曲线形透镜追踪穿过其中的rgb光的示例性实施方式的截面图；
70.图15c是根据本公开的选定实施方式的梯形透镜追踪穿过其中的rgb光的原型实施方式的截面图；
71.图15d是根据本公开的选定实施方式的圆顶形透镜追踪穿过其中的rgb光的示例性实施方式的截面图；
72.图16a是根据本公开的选定实施方式的诸如图8a中的图像(帧)的像素相间处理的示例性实施方式的图示；
73.图16b是运行应用的计算机系统的显示器的示例性实施方式的顶视图图示；以及
74.图17是观看显示器上的多维数字图像的示例性实施方式的顶视图图示，其中图像在舒适圆内、靠近双眼单视界弧或点、在帕努姆区域内并且从观看距离观看。
75.需要指出的是，所呈现的附图仅仅旨在出于说明的目的，因此，它们既不希望也不旨在将公开内容限制在所示出的任何或所有确切的构造细节上，除非它们可能被视为对所要求保护的公开内容至关重要。
具体实施方式
76.在描述本公开的示例性实施方式时，如图所示，为清晰起见，采用了特定的术语。然而，本公开并不旨在局限于如此选择的具体术语，应理解为每个具体元素包括以类似方式操作以完成类似功能的所有技术等同物。然而，所要求保护的发明可以以许多不同的形式体现出来，并且不应解释为仅限于本文所阐述的实施方式。本文所阐述的示例是非限制性示例，并且只是在其他可能的示例中的示例。
77.对深度的感知是基于各种线索的，双眼视差(binocular disparity)和运动视差(motion parallax)通常比图像线索提供更精确的深度信息。双眼视差和运动视差为深度感知提供了两个独立的定量线索。双眼视差指的是一个点在3d空间中的两个视网膜图像投影之间的位置差异。如图1a和图1b所示，在图像场景110中观看对象102时获得的鲁健的深度概念表明：大脑可以仅根据双眼视差线索来计算深度。在双眼视觉中，双眼单视界112是空间中与固定点114具有相同视差的点的位置。位于通过固定点114的水平线上的对象会产生单个图像，而距离此线一定距离的对象会产生两个图像116、118。
78.经典的运动视差取决于两个眼睛功能。一个是眼睛对运动的跟踪(眼球移动以将
运动固定在单个点上)，以及第二个是光滑的运动差异，导致视差或双眼视差。经典的运动视差是指观察者是静止的而观察者周围的场景是平移的情况，或者相反，场景是静止的而观察者在场景中平移的情况。
79.通过使用从略微不同的角度获得的同一对象102的两个图像116、118，可以以高度准确性三角测量与对象102的距离。每只眼睛观看由左眼104和右眼106看到的对象102的角度略有不同。这是因为眼睛的水平分离视差而发生的。如果一个对象很远，该图像110落在两个视网膜上的视差108会很小。如果对象很靠近或很接近，则该图像110落在两个视网膜上的视差108将很大。
80.运动视差120指的是由于观察者104的平移而导致的(在不同深度处的对象之间的)相对图像运动。与双眼深度线索和图画深度线索分开，运动视差120也可以提供精确的深度感知，条件是它伴随着指定眼睛方向相对于视觉场景110的变化的辅助信号。如图所示，随着眼睛方向104的变化，对象102相对于后景的明显相对运动给出了关于其相对距离的提示。如果对象102很远，对象102看起来是静止的。如果对象102很靠近或很接近，对象102看起来会更快地移动。
81.为了在近处看到对象102，并将两个视网膜上的图像融合成一个对象，两只眼睛104、106的光轴会聚在对象102上。改变眼睛晶状体的焦距以便将聚焦的图像放在视网膜的中央凹处的肌肉动作被称为调节。肌肉动作和相邻深度的不聚焦都为大脑提供了可以用于感知深度的额外的信息。图像清晰度是一个模糊的深度线索。然而，通过改变聚焦平面(看起来比对象102更近和/或更远)，可以解决模糊性问题。
82.图2a和图2b分别示出了眼睛200的解剖结构以及视杆细胞和视锥细胞的分布图的图形表示。中央凹202负责敏锐的中央视觉(也被称为中央凹视觉)，这在视觉细节是最重要的情况下是必要的。中央凹202是视网膜内表面205的凹陷部，约1.5mm宽，并且完全由专门用于最大视力的视锥细胞204组成。视杆细胞206是接收灰度信息的低强度受体，并且对周边视觉很重要，而视锥细胞204是接收色觉信息的高强度受体。参照图2b，可以更清楚地理解中央凹202的重要性，图2b示出了视锥细胞204和视杆细胞206在眼睛200中的分布。如图所示，提供最高视觉敏锐度的大部分视锥细胞204位于中央凹202中心周围1.5
°
的角度内。
83.参照图2b，可以更清楚地了解中央凹202的重要性，图2b示出了眼睛200中视锥细胞204和视杆细胞206的分布。如图所示，提供最高视觉敏锐度的大部分视锥细胞204位于围绕中央凹202中心的1.5
°
的角度内。
84.图3示出了人类视觉系统(hvs)的典型视场300。如图所示，中央凹202只看到视场302的中央1.5
°
(度)，其中优选的视场304位于中央凹202中心的
±
15
°
(度)之内。因此，将对象聚焦在中央凹上，取决于对象102的线性尺寸、观察角度和观察距离。在近处观看的大的对象102将有一个大的视角落在中央凹视觉之外，而在远处观看的小的对象102将有一个小的视角落在中央凹视觉之内。落在中央凹视觉内的对象102将在头脑中产生高的视觉锐度。然而，在自然观看条件下，观看者不只是被动地感知。相反，他们通过在不同观看距离处在对象之间移位眼睛的固定点和焦点来动态地扫描视觉场景110。在这样做的时候，眼球运动过程中的调节和辐辏(左眼104的视线和右眼106的视线之间的角度)必须同步移位，以将新的对象置于每个视网膜中心的清晰焦点上。因此，自然将调节和辐辏反射性地联系在一起，这样，一个过程的变化会自动地驱动另一个过程的相应变化。
85.图4示出了要由捕获装置诸如定位在载运工具400(400.1、400.2、400.3、400.4)上的捕获模块830捕获的地形t的场景s的视图。场景s可以包括四个平面，被限定为：(1)捕获装置框架被限定为通过定位在载运工具400上的记录装置中透镜或传感器(捕获模块830)的平面，记录装置诸如为相机2d rgb高分辨率数字相机、lidar(lidar是“光检测和测距(light detection and ranging)”的缩写，它有时被称为“激光扫描”或“维度扫描”，该技术使用激光束创建被测环境的维度表示/模型/点云)、ir(波长刚好大于可见光谱的红光一端的波长但小于微波的波长的红外电磁辐射。红外辐射的波长为约800nm至1mm)、em(电磁辐射是指电磁场的波，传播通过空间，携带电磁辐射能量。它包括无线电波、微波、红外线、光、紫外线、x射线和伽马射线。所有这些波形成电磁波谱等的一部分)，该系统捕获2drgb高分辨率数字相机(地形的宽幅图像或作为拼贴(tile)的图像节段集)、lidar、ir、em图像或其他像光谱格式文件或数据集，标记和识别基于源捕获装置的场景s的地形t的数据集以及载运工具相对于地形的坐标参考数据或地理编码信息，(2)关键主体平面ksp可以是在场景s的地形t内选择的任何平面(这里是城市ct、土地l、汽车a、道路rd、河流r、房屋h、山脉m的点或平面或者地形t内近平面np与远平面fp之间的任何点或平面，场景s的关键主体ks)，(3)近平面np可以是经过与图像捕获模块830最近的焦点的平面(这里的示例是前景中的云cl、城市ct的建筑物顶部、山脉mt)，以及(4)远平面fp，其是通过最远焦点的平面(这里的示例是后景中的海洋o、河流r、山谷v)。与图像捕获模块830的相对距离用n、ks、b表示。场景s的景深是由近平面np和远平面fp之间的距离定义的。
86.如上所述，立体图像的深度感根据捕获模块830与关键主体ks之间的距离—称为图像捕获距离或ks—而变化。深度感也受到辐辏角和相机捕获每个连续图像之间的距离的控制，这影响了双眼视差。
87.在摄影中，“弥散圆”定义了场景s中被捕获到的聚焦的区域。因此，近平面np、关键主体平面ksp和远平面fp都聚焦。这个圆外的区域是模糊的。
88.图5示出了按图4.1和图3.1的比例的舒适圆(coc)。将舒适圆(coc)定义为通过使圆的直径从透镜平面—图像捕获模块830—上的中心点沿关键主体平面ksp的垂直线(按图4的比例)通过(其中宽度由图3的30度径向决定)而形成的圆。(r是舒适圆(coc)的半径)。
89.传统的立体显示器迫使观看者试图将这些过程解耦，因为当他们必须动态地改变辐辏角以观看不同立体距离处的对象时，他们必须将调节保持在一个固定的距离，否则整个显示器将滑出焦点。在观看这种显示器时，这种解耦会产生眼睛疲劳，并损害图像质量。
90.为了理解本公开的内容，需要对某些变量进行定义。物场是指正在构成的整个图像。“关键主体点”被定义为场景会聚处的点，即景深中始终保持聚焦且在关键主体点上没有视差的点。前景点和后景点分别是距观看者的最近点和最远点。景深是在物场内创建的深度或距离(描绘的前景到后景的距离)。主轴是垂直于场景、通过关键主体点的线。视差或双眼视差是指在关键主体对准后任何点在第一张和最后一张图像中的位置差异。在数字构图中，帧之间的关键主体点与主轴的移位始终保持为与主轴的整数像素数。总视差是最近帧的关键主体点与主轴的移位的绝对值与最远帧的关键主体点与主轴的移位的绝对值之和。
91.此处在捕获图像时，申请人指的是景深或弥散圆，而在观看装置上观看图像时指的是舒适圆。
92.美国专利9,992,473、美国专利10,033,990和美国专利10,178,247的全部内容通过引用并入本文。
93.利用运动视差创建深度感知是已知的。然而，为了最大化深度，同时保持令人愉悦的观看体验，引入了一种系统方法。该系统将人类视觉系统的因素与图像捕获程序相结合，以在任何2d观看装置上产生真实的深度体验。
94.该技术引入了舒适圆(coc)，舒适圆规定了图像捕获系统相对于场景s的位置。舒适圆(coc)相对于关键主体ks(会聚点，焦点)设置了最佳的近平面np和远平面fp，即控制了场景s的视差。
95.该系统的开发使任何捕获装置，诸如iphone、相机或摄像机都可以用来捕获场景。类似地，捕获的图像可以在任何数字输出装置诸如智能手机、平板电脑、监视器、电视、笔记本电脑、电脑屏幕或其他类似显示器上进行组合和观看。
96.正如本领域的技术人员所理解的那样，本公开可以体现为一种方法、数据处理系统或计算机程序产品。因此，本公开的内容可以采取完全硬件的实施方式、完全软件的实施方式、或结合软件和硬件方面的实施方式。此外，本公开可以采取计算机可读存储介质上的计算机程序产品的形式，该计算机可读存储介质具有体现在该介质中的计算机可读程序代码装置。可以利用任何合适的计算机可读介质，包括硬盘、rom、ram、cd-rom、电、光、磁存储装置等。
97.下面参照根据本公开的实施方式的方法的流程图图示、设备(系统)和计算机程序产品来描述本公开。将理解的是，流程图图示中的每个块或步骤、以及流程图图示中的块或步骤的组合可以通过计算机程序指令或操作来实现。这些计算机程序指令或操作可以加载到通用计算机、专用计算机或其他可编程数据处理设备上，以生产一台机器，从而使在计算机或其他可编程数据处理设备上执行的指令或操作创建用于实现一个或更多个流程图块/步骤中规定功能的装置。
98.这些计算机程序指令或操作也可以存储在计算机可使用的存储器中，该存储器可以指导计算机或其他可编程数据处理设备以特定方式运行，从而使存储在计算机可使用的存储器中的指令或操作产生一个制造品，该制造品包括实现一个或更多个流程图块/步骤中指定的功能的指令装置。计算机程序指令或操作也可以加载到计算机或其他可编程数据处理设备(处理器)上，以使一系列操作步骤在计算机或其他可编程设备(处理器)上执行，以产生计算机实现的过程，从而使在计算机或其他可编程设备(处理器)上执行的指令或操作提供用于实现一个或更多个流程图块/步骤中指定的功能的步骤。
99.因此，流程图图示的块或步骤支持用于执行指定功能的装置的组合、用于执行指定功能的步骤的组合、以及用于执行指定功能的程序指令装置。还应理解的是，流程图图示中的每个块或步骤、以及流程图图示中的块或步骤的组合可以由基于专用硬件的计算机系统来实现，该系统执行指定的功能或步骤、或专用硬件和计算机指令或操作的组合。
100.用于实现本公开的计算机编程可以以各种编程语言、数据库语言等编写。然而，可以理解的是，在不背离本公开的精神和意图的情况下，可以利用其他源或面向对象的编程语言、以及其他常规编程语言。
101.现在参照图6，图6示出了计算机系统10的框图，计算机系统10提供了用于实现本公开的实施方式的合适的环境。图6中所示的计算机架构分为两部分—主板600和输入/输
出(i/o)装置620。主板600优选地包括通过总线10互连的下述各者：用于执行指令的子系统或处理器，诸如中央处理单元(cpu)602；诸如随机存取存储器(ram)604的存储器装置；输入/输出(i/o)控制器608；以及诸如只读存储器(rom)606的存储器装置，也被称为固件。基本输入输出系统(bios)包含有助于在计算机子系统内各元素之间传输信息的基本例程，基本输入输出系统(bios)优选地存储在rom 606中，或可操作地设置在ram 604中。计算机系统10还优选地包括：i/o装置620，诸如用于存储操作系统626并经由应用624执行指令的主存储装置634；以及用于视觉输出的显示器628；以及其他适当的i/o装置632。主存储装置634优选地通过连接到总线610的主存储控制器(表示为608)与cpu 602连接。网络适配器630允许计算机系统通过通信装置或任何其他能够通过通信链路传输和接收数据的网络适配器发送和接收数据，该通信链路可以是有线、光学或无线数据通路。在此认识到，中央处理单元(cpu)602执行存储在rom 606或ram 604中的指令、操作或命令。
102.在此设想，计算机系统10可以包括智能装置，诸如智能手机、iphone、安卓手机(谷歌、三星或其他制造商)、平板电脑、台式机、笔记本电脑、数字图像捕获装置以及其他具有两个或更多个数字图像捕获装置和/或3d显示器608的计算装置(智能装置)。
103.在此进一步设想，显示器608可以被配置成能够展开成更大的显示表面区域的可折叠显示器或可多次折叠显示器。
104.许多其他装置或子系统或其他i/o装置632可以以类似的方式连接，包括但不限于诸如麦克风、扬声器、闪存驱动器、cd-rom播放器、dvd播放器、打印机、主存储装置634诸如硬盘、和/或调制解调器等的装置，这些装置各自经由i/o适配器连接。另外，虽然是优选的，但不一定要存在图6中所示的所有装置才能实践本公开内容，如下文所讨论的。此外，这些装置和子系统可以以与图6中所示不同的配置互连，或者也可以基于光学或门阵列、或能够响应和执行指令或操作的这些元素的某种组合互连。如图6中所示的计算机系统的操作在本领域中是很容易知道的，并且在本技术中没有进一步详细讨论，以便不使本讨论过于复杂。
105.现在参照图7，图7示出了描绘了示例性通信系统700的图，其中可以实现与本公开一致的概念。图7的通信系统700内的每个元素的示例在以上参照图6进行了广泛描述。特别地，服务器系统760和用户系统720具有类似于图6的计算机系统10的属性，并且示出了计算机系统10的一种可能的实现方式。通信系统700优选地包括一个或更多个用户系统720、722、724(在此设想计算机系统10可以包括智能装置，诸如智能手机、iphone、安卓手机(谷歌、三星或其他制造商)、平板电脑、台式机、笔记本电脑、相机和其他具有显示器628的计算装置(智能装置))、一个或更多个服务器系统760和网络750，该网络可以是例如因特网、公共网络、私人网络或云。用户系统720至724均优选地包括耦接至处理器的计算机可读介质，诸如随机存取存储器。处理器—cpu 702—执行存储在存储器604、606中的程序指令或操作(应用软件624)。通信系统700通常包括一个或更多个用户系统720。例如，用户系统720可以包括一个或更多个通用计算机(例如，个人计算机)、一个或更多个专用计算机(例如，专门编程为彼此和/或与服务器系统760进行通信的装置)、工作站、服务器、装置、数字助理或“智能”移动电话或寻呼机、数字相机、部件、其他设备、或能够响应于并执行指令或操作的这些元素的一些组合。
106.与用户系统720类似，服务器系统760优选地包括耦接至处理器的计算机可读介
质，诸如随机存取存储器。该处理器执行存储在存储器中的程序指令。服务器系统760还可以包括许多附加的外部或内部装置，诸如但不限于，鼠标、cd-rom、键盘、显示器、存储装置和其他类似于图6的计算机系统10的特征。服务器系统760可以另外地包括二级存储元件，诸如用于存储数据和信息的数据库770。服务器系统760虽然被描述为单一的计算机系统，但其可以实现为计算机处理器的网络。服务器系统760中的存储器包含一个或更多个可执行的步骤、程序、算法或应用624(在图6中示出的)。例如，服务器系统760可以包括网络服务器、信息服务器、应用服务器、一个或更多个通用计算机(例如，个人计算机)、一个或更多个专用计算机(例如，专门编程为相互通信的装置)、工作站或其他设备、或能够响应于和执行指令或操作的这些元素的一些组合。
107.通信系统700能够通过通信链路740和/或网络750在用户系统720与服务器系统760之间传递和交换数据(包括三维3d图像文件)。通过用户系统720，用户可以优选地通过网络750与其他用户系统720、722、724，以及与其他系统和装置诸如服务器系统760传达数据，以以电子方式传输、存储、打印和/或查看多维数字主图像。通信链路740通常包括在用户系统720与服务器系统760之间进行直接或间接通信的网络750，而不考虑物理分离。网络750的示例包括因特网、云、模拟或数字有线和无线网络、无线电、电视、电缆、卫星和/或任何其他用于承载和/或传输数据或其他信息的传递机制，诸如以以电子方式传输、存储、打印和/或查看多维数字主图像。通信链路740可以包括，例如，有线、无线、电缆、光学或卫星通信系统或其他通路。
108.再次参照图2a、图5和图14b，为了达到最佳效果和简化数学，场景s的连续图像或帧的捕获之间的距离或角度的度数被固定为与人类左眼和右眼的平均分离相匹配，以保持恒定的双眼视差。此外，将与关键主体ks的距离选择成使得捕获的关键主体图像的大小落在观察者的中央凹视觉内，以产生关键主体的高视觉锐度，并保持一个等于或小于十五度(15
°
)优选的视角并且更具体地说是等于或小于一点五度(1.5
°
)的辐辏角。
109.图8a至图8d公开了载运工具400，载运工具400具有：地理编码检测器840，所述地理编码检测器840用于对载运工具400的坐标参考数据xyz位置进行识别；捕获模块830，所述捕获模块830被配置成：捕获图像和数据集，诸如2d rgb高分辨率数字相机(以捕获地形t的一系列2d图像、地形的宽幅图像或作为拼贴的图像节段集)、lidar、ir、em(以捕获数字高程模型或者地形t的深度或z轴，dem捕获装置)图像、文件或数据集；标记和识别基于源捕获装置的场景s的地形t的数据集以及载运工具400相对于场景s的地形t的坐标参考数据或地理编码信息，诸如图4。
110.现在参考图8a，通过示例而非限制的方式，示出了飞行器400，诸如卫星400.3(在称为低地球轨道的160公里至2,000公里之间的高度处绕地球运行的卫星或者在更高高度处行进的leo或卫星包括在本文中)，飞行器400具有捕获模块830，捕获模块830被配置成：捕获图像和数据集，诸如2d rgb高分辨率数字相机(以捕获地形t的一系列2d图像、地形的宽幅图像或作为拼贴的图像节段集)、lidar、ir、em图像或其他类似的光谱格式(以捕获数字高程模型或地形t的深度或z轴，dem捕获装置)图像、文件或数据集；标记和识别基于源捕获装置的场景s的地形t的数据集以及坐标参考数据或地理编码信息。捕获模块830可以包括计算机系统10并且可以包括一个或更多个传感器840，用于对捕获模块830与在卫星400.3沿地面跟踪弧gta横穿时的场景s的地形t中的选定深度之间的距离(深度)进行测量。
111.此外，载运工具400可以利用全球定位系统(gps)来识别载运工具400的坐标参考数据xyz位置。gps卫星携带有原子钟，该原子钟提供极其准确的时间。时间信息位于由卫星广播的代码/信号中。由于无线电波以恒定速度行进，因此接收器可以使用时间测量结果来对它距每颗卫星的距离进行计算。接收器(载运工具400)使用至少四颗卫星通过对信号从至少四颗卫星到达其位置所花费的时间进行测量，来对纬度、经度、高度和时间进行计算。
112.在此设想，图像捕获模块830可以包括一个或更多个传感器840，可以被配置为图像捕获装置830与传感器840的组合，被配置成其中传感器840控制图像捕获装置830的深度或对图像捕获装置830的深度进行设置的集成单元或模块，无论在场景s中的不同深度如何—诸如前景、和人p或对象、后景—诸如最接近点cp、关键主体点ks和最远点fp，在图4中所示出的。
113.在此设想，捕获装置830可以用于捕获lidar文件格式las，一种设计用于lidar点云数据850的交换和存档的文件格式(捕获装置830发射红外脉冲或激光并对对象的反射进行检测以映射或建模场景s的地形t)，并且识别基于源捕获装置的场景s的地形t的数据集以及经由gps的载运工具400相对于场景s的地形t的坐标参考数据或地理编码信息。它是美国摄影测量与遥感学会指定的一种开放的二进制格式。
114.在此进一步设想，捕获装置830可以用于捕获一系列或大片高分辨率2d图像并识别基于源捕获装置的场景s的地形t的数据集以及经由gps的载运工具400相对于场景s的地形t的坐标参考数据或地理编码信息。
115.现在参考图8b，通过示例而非限制的方式，示出了飞行器400，诸如无人机400.1(在几米至15公里之间的高度处穿越领空运行的无人机)，无人机400.1具有捕获模块830，捕获模块830被配置成：捕获图像和数据集，诸如2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴的图像节段集)、lidar、ir、em或其他类似的光谱格式图像、文件或数据集；标记和识别基于源捕获装置的场景s的地形t的数据集以及坐标参考数据或地理编码信息。捕获模块830可以包括计算机系统10并且可以包括一个或更多个传感器840，用于对捕获模块830与场景s的地形t中的选定深度(深度)之间的距离进行测量。
116.捕获模块830可以使用三轴xyz万向架860安装到载运工具400，诸如无人机400.1。
117.此外，载运工具400可以利用全球定位系统(gps)。gps卫星携带有原子钟，该原子钟提供极其准确的时间。时间信息位于由卫星广播的代码/信号中。由于无线电波以恒定速度行进，因此接收器可以使用时间测量结果来对它距每颗卫星的距离进行计算。接收器(载运工具400)使用至少四颗卫星通过对信号从至少四颗卫星到达其位置所花费的时间进行测量，来对纬度、经度、高度和时间进行计算。
118.在此设想，图像捕获模块830可以包括一个或更多个传感器840，可以被配置为图像捕获装置830与传感器840的组合，被配置成其中传感器840控制图像捕获装置830的深度或对图像捕获装置830的深度进行设置的集成单元或模块，无论在场景s中的不同深度如何—诸如前景、和人p或对象、后景—诸如最接近点cp、关键主体点ks和最远点fp，在图4中所示出的。
119.在此设想，捕获装置830可以用于捕获lidar文件格式las，一种设计用于lidar点云数据850的交换和存档的文件格式(捕获装置830发射红外脉冲或激光并对对象的反射进行检测以映射场景s的地形t)，并且识别基于源捕获装置的场景s的地形t的数据集以及经
由gps的载运工具400相对于场景s的地形t的坐标参考数据或地理编码信息。它是美国摄影测量与遥感学会指定的一种开放的二进制格式。
120.在此进一步设想，捕获装置830可以用于捕获一系列或大片高分辨率2d图像并识别基于源捕获装置的场景s的地形t的数据集以及经由gps的载运工具400相对于场景s的地形t的坐标参考数据或地理编码信息。
121.现在参考图8c，通过示例而非限制的方式，示出了空中、地面或海上载运工具400，诸如自主载运工具400.4(载运工具包括地面运输，包括客运、货运、仓储、农业、采矿、建筑和其他地面运输载运工具——海上载运工具运输，包括游艇、商业船只和其他水面和水下船只)，载运工具400具有捕获模块830，捕获模块830被配置成：捕获图像和数据集，诸如2drgb高分辨率数字相机(地形的宽幅图像或作为拼贴的图像节段集)、lidar、ir、em或其他类似的光谱格式图像、文件或数据集；标记和识别基于源捕获装置的场景s的地形t的数据集以及坐标参考数据或地理编码信息。捕获模块830可以包括计算机系统10并且可以包括一个或更多个传感器840，用于对捕获模块830与场景s的地形t中的选定深度(深度)之间的距离进行测量。
122.地面载运工具400的场景s的地形t可以包括：自主载运工具400.4可以穿越的路线rt及其与对象无关的等高线和高程变化；中心线cl，其将在车道交通(诸如另一载运工具、汽车oa)中的迎面而来的路上行驶的载运工具或对象(诸如另一载运工具、汽车oa或摩托车om)划分开；自主载运工具400.4的行进外边缘oe；以及与地面载运工具400的外边缘oe相邻的s侧区域中的对象(诸如行人op、灯杆ol、树木、农作物或货物)和其他类似对象和高程变化。
123.此外，载运工具400可以利用全球定位系统(gps)。gps卫星携带有原子钟，该原子钟提供极其准确的时间。时间信息位于由卫星广播的代码/信号中。由于无线电波以恒定速度行进，因此接收器可以使用时间测量结果来对它距每颗卫星的距离进行计算。接收器(载运工具400)使用至少四颗卫星通过对信号从至少四颗卫星到达其位置所花费的时间进行测量，来对纬度、经度、高度和时间进行计算。
124.在此设想，图像捕获模块830可以包括一个或更多个传感器840，可以被配置为图像捕获装置830与传感器840的组合，被配置成其中传感器840控制图像捕获装置830的深度或对图像捕获装置830的深度进行设置的集成单元或模块，无论在场景s中的不同深度如何—诸如前景、和人p或对象、后景—诸如最接近点cp、关键主体点ks和最远点fp，在图4中所示出的。
125.在此设想，捕获装置830可以用于捕获lidar文件格式las，一种设计用于lidar点云数据850的交换和存档的文件格式(捕获装置830发射红外脉冲或激光并对对象的反射进行检测以映射场景s的地形t)，并且识别基于源捕获装置的场景s的地形t的数据集以及经由gps的载运工具400相对于场景s的地形t的坐标参考数据或地理编码信息。它是美国摄影测量与遥感学会指定的一种开放的二进制格式。
126.在此进一步设想，捕获装置830可以用于捕获一系列或大片高分辨率2d图像并识别基于源捕获装置的场景s的地形t的数据集以及经由gps的载运工具400相对于场景s的地形t的坐标参考数据或地理编码信息。
127.现在参考图8d，示出了作为下述方法的流程图800的过程步骤，该方法包括：捕获
诸如2d rgb高分辨率数字相机(以捕获地形t的一系列2d图像、地形的宽幅图像或作为拼贴的图像节段集)、lidar、ir、em或其他类似的光谱格式(以捕获地形t的数字高程模型或深度或z轴，dem捕获装置)图像、文件或数据集；标记和识别基于源捕获装置的场景s的地形t的数据集连同载运工具400相对于基于源捕获装置的场景s的地形t的坐标参考数据或地理编码信息，连同坐标参考数据或地理编码信息；操纵、重新配置、处理、存储由计算机系统10执行的并可在显示器628上查看的数字多维图像序列和/或多维图像。注意在图13或图16b中，指定手动操作模式的一些步骤可以由用户u执行，其中用户在步骤中进行选择并向计算机系统10提供输入，而否则计算机系统10的操作是基于由应用624在自动模式下执行的步骤的。
128.在块或步骤810中，提供计算机系统10，该计算机系统具有如上文在图6至图7中所描述的捕获装置830、显示器628和应用624，其中，捕获模块830被配置成捕获图像和数据集，诸如2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴的图像节段集)、lidar、ir、em或其他类似的光谱格式图像或其他类似的光谱格式、文件或数据集，标记和识别基于源捕获装置的场景s的地形t的数据集连同坐标参考数据或地理编码信息。捕获模块830可以包括计算机系统10并且可以包括一个或更多个传感器840，用于对捕获模块830与场景s的地形t中的选定深度(深度)之间的距离进行测量。
129.在块或步骤815中，将选定的捕获模块830安装到诸如飞行器卫星400.3，诸如无人机400.1等的选定的载运工具400，或者诸如自主载运工具400.4等的地面或海上载运工具400，捕获模块830被配置成捕获图像和数据集诸如2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴的图像节段集)、lidar、ir、em或其他类似的光谱格式图像或其他类似的光谱格式等。
130.在块或步骤825中，对计算机系统10进行配置，所述计算机系统10具有如上文在图6至图7中所描述的捕获装置830、显示器628和应用624，其中，捕获模块830被配置成捕获图像和数据集，经由2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴的图像节段集)、lidar(用于建模或映射地形的数据集节段分)、ir、em图像、文件或数据集，标记和识别基于源捕获装置的场景s的地形t的数据集连同坐标参考数据或地理编码信息。
131.在块或步骤835中，围绕计划的轨迹来对诸如飞行器卫星400.3、诸如无人机400.1等的载运工具400或者诸如自主载运工具400.4等的地面或海上载运工具400进行操纵，该载运工具具有选定的捕获模块830，该捕获模块830被配置成捕获图像和数据集，诸如2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴的图像节段集)、lidar、ir、em或类似图像或其他类似的光谱格式。
132.例如，卫星400.3在指定轨道上，并且可以以指定间隔捕获图像、文件或数据集，经由地面跟踪弧和坐标参考数据或地理编码信息以及捕获装置830相对于卫星400.3或卫星400.3的地面跟踪弧的xyz位置或角度来标记和识别场景s的地形t的数据集。此外，无人机400.1可以按计划或手动引导在地形t上的飞行计划并且可以以指定间隔捕获图像、文件或数据集，经由坐标参考数据或地理编码信息诸如gps以及捕获装置830相对于无人机400.1或无人机400.1的地面跟踪弧的xyz位置或角度来标记和识别场景s的地形t的数据集。飞行计划可以包括具有重叠的折返图案，以实现对地形t的完全捕获，或者飞行计划可以遵循具有重叠的线性路径，以实现对线性特征诸如道路、河流/溪流或海岸线或不同角度的竖直特
征的捕获。此外，自主载运工具400.4可以按计划或手动引导计划穿越地形t并且可以以指定间隔捕获图像、文件或数据集或者连续地捕获图像、文件或数据集并经由坐标参考数据或地理编码信息诸如gps以及捕获装置830相对于无人机400.1的xyz位置或角度或者自主载运工具400.4的地面跟踪路径引导自主载运工具400.4穿越场景s的地形t。
133.在块或步骤845中，经由捕获装置830捕获图像、文件和数据集，诸如2d rgb高分辨率数字相机(以捕获地形t的一系列2d图像、地形的宽幅图像或作为拼贴的图像节段集)、lidar、ir、em图像或其他类似的光谱格式(以捕获数字高程模型或地形t的深度或z轴，dem捕获装置)图像、文件或数据集，标记和识别基于源捕获装置的场景s的地形t的数据集连同载运工具400相对于场景s的地形t的坐标参考数据或地理编码信息以获得图像、文件或数据集，并进一步标记和识别基于源捕获装置的场景s的地形t的数据集连同坐标参考数据或地理编码信息，诸如gps。
134.在块或步骤855中，经由计算机系统10诸如使用选定的2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴的图像节段集)、lidar(作为模型或地图地形的数据集节段)、ir、em来对来自捕获装置830的图像、文件和数据集进行修改，该计算机系统10具有如上文图6至图7中所描述的捕获装置830、显示器628和应用624。
135.此外，在块或步骤855中，对lidar(作为拼贴的数据集节段)进行修改。例如，计算机系统10具有如上文图6至图7中所描述的显示器628和应用624，其中，应用624可以包括称为lastools
–
lasmerge的程序，该程序可以用于将一系列2d数字图像或拼贴合并成单个2d数字图像数据集并且将lidar扫描(数字高程扫描)合并成lidar数据集(数字高程扫描)成数字高程模型或地图，步骤855a。一旦在单个数据集中，用户可以经由应用624诸如lasttools-lasclip在合并的图像、文件、拼贴或数据集的单个数据集内选择感兴趣区域(aoi)以针对特定aoi裁剪出lidar数据855b。注意，作为单个数据集的lidar(作为拼贴的数据集节段)包含所有lidar返回，包括但不限于裸露的地球(2类)、植被、建筑物等，它们可以经由应用624诸如lasttools-las2las基于lidar的类别编号被包括或删除或分段，以进入具有选定类别编号的lidar分段返回作为第二数据集855c。保存第二数据集855c aoi及其地理编码。
136.此外，在块或步骤855中，经由具有如上文图6至图7中所描述的显示器628和应用624的计算机系统10对2d rgb高分辨率数字相机图像底图层、多分辨率真彩色图像叠加进行修改，其中，应用624可以包括称为arcgis pro的程序。应用624诸如arcgis pro可以用于放大2d rgb高分辨率数字相机图像底图层内的感兴趣区域(aoi)作为第二图像集865b。保存第二图像集865b aoi及其地理编码。
137.在块或步骤870中，将合并的2d rgb高分辨率数字相机图像底图层、第二图像集865b作为第二图像集865b aoi及其在lidar合并分段的返回上具有选定的类别编号的地理编码图像、第二数据集855c作为第二数据集855c aoi及其地理编码叠加，并保存为叠加的2d rgb和lidar分段的aoi。保存叠加的2d rgb和lidar分段的aoi及其地理编码。
138.在此设想，在此调用的特定软件程序用于在原型数据集上进行工作，并且可以使用其他软件程序来执行那些工具执行的操作或开发更好的软件程序来执行那些工具执行的操作。
139.在块或步骤875中，从捕获装置830导出叠加的2d rgb和lidar(数据集)分段aoi数
据集。
140.现在参考图9，以流程图900示出了下述方法的过程步骤：所述方法包括经由具有如上文图6至图7中所描述的捕获装置830、显示器628和应用624的计算机系统10诸如使用选定的2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴的图像节段集)、lidar(作为拼贴的数据集节段)、ir、em对来自捕获装置830的场景s的地形t的图像、文件和数据集(dataset)连同坐标参考数据或地理编码信息诸如gps进行修改，获取数据集、操纵、生成帧、重新配置、处理、存储由计算机系统10执行并且可在显示器628上查看的数字多维图像序列和/或多维图像的过程。注意在图13和图16b中，指定手动操作模式的一些步骤可以由用户u执行，其中，用户在步骤中进行选择并向计算机系统10提供输入，而否则计算机系统10的操作是基于由应用624在自动模式下执行的步骤的。
141.在块或步骤1210中，提供计算机系统10，该计算机系统10具有如上文图6至图8中所描述的载运工具400、捕获装置830、显示器628和应用624，以能够经由载运工具400在运动的同时捕获场景s的地形t的多个图像、文件和数据集(dataset)。此外，数字图像在显示器628(dify或立体3d)上的显示，其中，对来自捕获装置830的图像、文件和数据集(dataset)连同坐标参考数据或地理编码信息诸如gps(n个装置)进行修改，用于在显示器628上可视化为数字多维图像序列(dify)或数字多维图像(立体3d)。
142.在块或步骤1215中，计算机系统10经由数据集捕获应用624(经由如图8所示的捕获系统)被配置成通过载运工具400经由安装在载运工具400上具有多个捕获装置830(n个装置)的捕获模块830等在运动的同时捕获场景s的地形t的多个图像、文件和数据集(dataset)并且可以利用集成i/o装置852与计算机系统10，i/o装置852可以包括与计算机系统10通信的一个或更多个传感器以对计算机系统10(捕获装置830)与场景s中的选定深度(深度)诸如关键主体ks、近平面np、n、远平面fp、b、以及它们之间的任何平面之间的距离进行测量，并且设定来自捕获装置830(n个装置)的一个或更多个数据集的焦点。
143.3d立体，用户u可以点击选择框812或与选择框812进行其他识别交互以选择或标识场景s的源图像、左图像1102和右图像1103中的关键主体ks，如图16所示。此外，在块或步骤1215中，利用计算机系统10、显示器628和应用程序206(经由图像捕获应用)的设置来例如通过触摸或拖动场景s的图像而在显示器628上显示的场景s的关键主体ks上对准或定位图标，诸如图16b的十字线814，或者将计算机系统10指向不同方向以在场景s的关键主体ks上对准图16的十字线814。在块或步骤1215中，获得或捕获聚焦于场景s的图像中的选定深度的或场景(深度)的场景s)的图像(n个图像)。
144.替代地，计算机系统10经由数据集捕获应用624和显示器628可以被配置成在自动模式下操作，其中，一个或更多个传感器852可以对计算机系统10(捕获装置830)与场景s中的选定深度(深度)诸如关键主体ks之间的距离进行测量。替代性地，在手动模式下，用户可以确定计算机系统10与场景s中的选定深度(深度)诸如关键主体ks之间的正确距离。
145.在此认识到，可以指示用户u：通过计算机系统10经由数据集捕获应用624和显示器628来捕获场景s的图像(n个)的最佳做法，例如对场景s进行取景以包括场景s中的关键主体ks，选择场景s的突出前景特征，以及场景s中的最远点fp，可以包括识别场景s中的关键主体ks、选择场景s中的最近点cp、场景s的突出后景特征等。此外，将场景s中的关键主体ks定位为距离与捕获装置830(n个装置)特定距离。此外，将载运工具400定位成距场景s中
的最近点cp或场景s中的关键主体ks特定距离。
146.例如，载运工具400的有利位置或关于载运工具的场景s的地形t的视点，其中，载运工具可以根据载运工具400的特定优势点根据捕获装置830(n个装置)进行配置。可以利用计算机系统10(第一处理器)经由图像捕获应用624和多个捕获装置830(n个装置)来从载运工具400周围的不同位置、尤其是自动驾驶载运工具、自主驾驶、农业、仓库、运输、船舶、艇、无人机等捕获场景s的地形t的多组多个图像、文件和数据集(dataset)。
147.替代地，在块或步骤1215中，用户u可以利用计算机系统10、显示器628和应用程序624诸如经由airdrop、drop ox或其他应用来输入场景s的地形t的多个图像、文件和数据集(dataset)。
148.此外，在块或步骤1215中，计算机系统10经由数据集捕获应用624(经由如图8所示的捕获的系统)被配置成通过载运工具400经由具有多个捕获装置830(n个装置)的捕获模块830在运动的同时捕获场景s的地形t的多个图像、文件和数据集(dataset)。载运工具400运动和定位可以包括飞行器400移动和捕获，包括：a)载运工具400在场景s的地形t上的折返飞行路径或其他覆盖飞行路径，以捕获多个图像、文件和数据集(dataset)作为场景s的地形t的拼贴，以经由lasttools-lasmerge拼接在一起以将拼贴合并成单个数据集，诸如2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴的图像节段集)、lidar以生成场景s的地形t的云点或数字高程模型、ir、em图像、文件或数据集，标记和识别基于源捕获装置的场景s的地形t的数据集连同坐标参考数据或地理编码信息；b)载运工具400在场景s的地形t上的弧形飞行路径以捕获图像、文件和数据集(dataset)作为场景s的地形t的拼贴，诸如(左和右)2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴图像节段集)，以及lidar云点数字高程模型、ir、em图像、文件或数据集，标记和识别基于源捕获装置的场景s的地形t的数据集连同坐标参考数据或地理编码信息，c)载运工具400在场景s的地形t上的弧形飞行路径以捕获一对(序列或一系列度数分隔，诸如1度分隔-5、-4、-3、-2、-1、0、1、2、3、4、5)图像、文件或数据集(dataset)作为场景s的地形t的拼贴，诸如(左和右)2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴图像节段集)，以及lidar云点数字高程模型、ir、em图像、文件或数据集，标记和识别基于源捕获装置的场景s的地形t的数据集连同坐标参考数据或地理编码信息(采集数据集)。注意，具有坐标参考数据或地理编码信息的2d rgb高分辨率图像可以是诸如(.tiff)或其他类似格式之类的格式，而具有坐标参考数据或地理编码信息的数字高程模型(dem)文件可以是诸如lidar文件格式las之类的格式。
149.此外，在块或步骤1215中，利用计算机系统10、显示器628和应用程序624(经由图像捕获应用程序)的设置来例如通过触摸或拖动场景s的数据集或者触摸和拖动关键主体ks而在显示器628上显示的场景s的关键主体ks上对准或定位图标，诸如图13或图16b的十字线814，或者将计算机系统10指向不同方向以在场景s的关键主体ks上对准图13或图16b的十字线1310。在块或步骤1215中，从多个捕获装置830(n个装置)获得或捕获聚焦于场景s的图像或场景中的选定深度(深度)上的场景s的地形t的数据集(dataset)。
150.此外，在块或步骤1215中，将i/o装置632与计算机系统10集成，i/o装置632可以包括与计算机系统10通信的一个或更多个传感器852，以对计算机系统10/捕获装置830(n个装置)与场景s中的选定深度(深度)诸如关键主体ks之间的距离进行测量，并且对载运工具400和捕获装置830的弧线或轨迹的焦点进行设置。在此设想，计算机系统10、显示器628和
应用程序624可以在自动模式下操作，其中，一个或更多个传感器840可以对捕获装置830与场景s中的选定深度(深度)诸如关键主体ks之间的距离进行测量，并且对载运工具400和捕获装置830的行进参数进行设置。替代性地，在手动模式下，用户可以对载运工具400与场景s中的选定深度(深度)诸如关键主体ks之间的正确距离进行确定。或者计算机系统10、显示器628可以利用一个或更多个传感器852来对载运工具400/捕获装置830与场景s中的选定深度(深度)诸如关键主体ks之间的距离进行测量，并且在屏幕上提供指示或消息(距离优选度)，以指示用户u将载运工具400移动得离关键主体ks或近平面np更近或更远，以优化捕获装置830和场景s的地形t的图像、文件和数据集(dataset)。
151.在块或步骤1220中，计算机系统10经由数据集操纵应用624被配置成接收2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴或拼接的拼贴的图像节段集)和lidar云点数字高程模型、ir、em图像、文件或数据集，标记和识别基于源捕获装置的场景s的地形t的数据集连同坐标参考数据或地理编码信息作为通过在块或步骤1215中的数据集采集应用的获取数据集(acquisition dataset)。
152.在一个实施方式中，可以利用数据集操纵应用624来将2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴或拼接的拼贴的图像节段集)转换为数字源图像，诸如jpeg、gif、tif格式。理想地，接收2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴或拼接的拼贴的图像节段集)包括许多可见对象、其中的主体或点，诸如与近平面np相关联的前景或最近点cp、远平面fp或与远平面fp相关联的最远点、以及与坐标参考数据或地理编码信息的关键主体ks。近平面np、远平面fp点是距载运工具400和捕获装置830的最近点和最远点。景深是在物场内形成的深度或距离(描绘的前景到后景之间的距离)。主轴是垂直于场景通过关键主体ks点的线，而视差是关键主体ks点从主轴的位移，参见图11。在数字合成中，与主轴的移位总是保持为整数个像素。
153.替代地，计算机系统10经由图像操纵应用和显示器624可以被配置成使得用户u能够选择或识别场景s的图像作为场景s的左图像1102和右图像1103。用户u可以点击选择框812或与选择框812进行其他识别交互以选择或识别场景s的源图像、左图像1102和右图像1103中的关键主体ks，如图16所示。
154.在块或步骤1220d中，可以利用计算机系统10经由数据集操纵应用624(云球算法)来从lidar数字高程模型或云点生成场景s的地形t的3d模型或网格表面(数字高程模型)。如果云点是由空洞组成的稀疏，数据集操纵应用624可以用来填充或重建缺失的数据点、空洞或表面，其中类似的数据点来自最近的已知平面或相切平面或空洞周围的数据点，以使用坐标参考数据或地理编码信息来生成或重建场景s的地形t的更完整的3d模型或网格表面。
155.此外，这两个数据集2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴或拼接的拼贴的图像节段集)——诸如300dpi的16位未压缩彩色rgb tiff文件格式和3d模型——或者来自lidar数字高程模型或云点的场景s的地形t的网格表面将需要匹配特征、点、表面，并且彼此可配准，其中各自具有坐标参考数据或地理编码信息。
156.在块或步骤1220b中，计算机系统10经由深度图应用程序624被配置成根据lidar数字高程模型或云点创建场景s的地形t的3d模型数据集(深度图灰度数据集，数字高程模型)或网格表面的深度图，并且利用坐标参考数据或地理编码信息制作2d rgb高分辨率数
字相机(地形的宽幅图像或作为拼贴或拼接的拼贴的图像节段集)的匹配灰度数字高程模型。深度图是图像或图像通道，其包含与场景s的地形t中的对象、表面或点距视点诸如载运工具400和捕获装置830的距离有关的信息。例如，这提供了更多的信息，因为体积、纹理和照明被更充分地定义。一旦生成了深度图1220b，那么位移和视差就可以得到严格的控制。
157.计算机系统10经由深度图应用程序624使用深度图灰度数据集可以识别前景、最近点、关键主体ks点和后景、最远点。此外，可以利用0-256灰阶自动选择关键主体ks点作为256或128之间的中点或其中场景s的地形t中最近点为白色并且最远点为黑色的附近。替代地在手动模式下，计算机系统10经由深度图应用程序624和显示器628可以被配置成使用户u能够选择或识别深度图灰度数据集中的关键主体ks点。用户u可以点击、移动光标或框或其他标识来选择或标识深度图灰度数据集1100中的关键主体ks，如图13所示。
158.在块或步骤1220c中，计算机系统10经由中间(插入中间的)应用程序624被配置成根据lidar数字高程模型在场景s的地形t的3d模型或网格表面上叠加2d rgb高分辨率数字相机(地形的宽幅图像或作为拼贴或拼接的拼贴的图像节段集)，以生成具有rgb高分辨率颜色的场景s的地形t的3d模型或网格表面(3d彩色网格数据集)。
159.在块或步骤1220a中，计算机系统10经由关键主体、应用程序624被配置成在3d彩色网格数据集中识别关键主体ks点。此外，计算机系统10经由关键主体、应用程序624被配置成至少部分地将3d彩色网格数据集中的像素、一组像素(显示器628上的手指点选择)识别为关键主体ks。
160.在块或步骤1225中，计算机系统10经由帧建立程序624被配置成创建或生成帧，记录来自虚拟相机移位、旋转或弧形位置的3d彩色网格数据集的图像，诸如帧之间0.5至1度的分离或移动，诸如-5、-4、-3、-2、-1、0、1、2、3、4、5；对于dify，表示为场景s的地形t的3d彩色网格数据集1101、1102、1103、1104(帧集1100)，生成视差；对于3d立体，表示为3d彩色网格数据集的左图像1102、右图像1103。计算机系统10经由关键主体、应用程序624可以建立移位的增量，例如视图之间总移位的一(1)度(通常在显示器628上移位10-70个像素)。这仅仅意味着围绕关键主体ks的360度完整传感器(捕获装置)旋转将具有360度视图，因此我们仅使用/需要视图1和视图2，用于3d立体，作为3d彩色网格数据集的左图像1102、右图像1103。假设旋转视差围绕关键主体(零视差点)盘旋，这为每个视图提供了1度的分离/视差。这将可能建立最小差异/视差，当传感器(图像捕获模块830)远离关键主体ks移动更远时，可以向上调整该最小差异/视差。
161.例如，可以在3d彩色网格数据集3d空间中识别关键主体ks点，并且虚拟相机围绕关键主体ks点在弧形方向上盘旋或移动以便以总距离或旋转度数生成场景s的地形t的3d彩色网格数据集的图像以生成场景s的地形t的3d彩色网格数据集的帧(帧集1100)。这在前景中的任何对象或与近平面np相关联的最近点cp与后景或远平面fp或与场景s的地形t的远平面fp相关联的最远点之间，相对于关键主体ks点产生视差。更靠近关键主体ks点的对象移动的幅度不如更远离关键主体ks点的对象移动的幅度大(因为虚拟相机围绕关键主体ks在弧形方向上盘旋或移动)。虚拟相机的分离度对应于人类视觉系统所对的角度，即瞳孔间距离(ipd)。
162.在块或步骤1225a中，计算机系统10经由帧建立程序624被配置成输入或上传从计算机系统10外部捕获的源图像。
163.在块或步骤1230中，计算机系统10经由水平图像平移(hit)程序624被配置成围绕关键主体ks点(数字像素)水平对准3d帧数据集(水平图像平移(hit)，如图11a和图11b所示，其中舒适圆关系内的关键主体ks点优化数字多维图像序列1010或用于人类视觉系统。
164.此外，在3d帧数据集1100中识别关键主体ks点，并且帧集1100中的每一个都与关键主体ks点对准，并且帧集1100中的所有其他点基于虚拟相机移位、旋转或弧形位置的间距移位。
165.现在参照图10，通过示例而非限制的方式，图示出了按图4和图3的比例的舒适圆(coc)的代表性图示。对于定义的平面，如果图像的很大一部分是在舒适圆(coc)内通过虚拟相机捕获的，那么在透镜平面上捕获的图像将是舒适的，并且与观看显示在显示器628上的最终图像的用户u的人类视觉系统兼容。当由虚拟相机(瞳孔间距离ipd)在舒适圆(coc)内捕获的任何对象—诸如近平面n、关键主体平面ksp和远平面fp—再现为可在显示器628上观看的数字多维图像序列时，对观看者来说其将处于焦点。后对象平面或远平面fp可以定义为关于15度径向线与视场中的垂直线的交点与30度线或r——舒适圆(coc)的半径得到的距离。此外，将舒适圆(coc)定义为通过使圆的直径沿关键主体ks平面(ksp)的垂直线通过而形成的圆，其中宽度由透镜平面—图像捕获模块830—上的中心点的30度径向确定。
166.可以利用虚拟相机(瞳孔间距离ipd)在刚好与舒适圆(coc)相切的30度线内的透镜平面上的线性定位或间隔，以在观看可在显示器628上观看的数字多维图像序列时在多个图像之间产生运动视差，这将是舒适的且与用户u的人类视觉系统兼容。
167.现在参照图10a、图10b、图10c和图11，通过示例而非限制的方式，示出了从图10得出的直角三角形。所有的定义都是基于在场景与图像捕获的关系内保持直角三角形。因此，知道了关键主体ks距离(会聚点)，我们可以计算出以下参数。
168.图6a用于计算舒适(coc)的半径r。
169.r/ks＝tan 30
°
170.r＝ks*tan 30
°
171.图6b用于计算虚拟相机之间的最佳距离(瞳孔间距离ipd)。
172.tr/ks＝tan 15
°
173.tr＝ks*tan 15
°
；并且ipd是2*tr
174.图6c计算最佳远平面fp
175.tan 15
°
＝r/b
176.b＝(ks*tan 30
°
)/tan 15
°
177.近平面np与远平面fp之比＝((ks/(ks 8tan 30
°
))*tan 15
°
178.为了理解tr的含义，在透镜平面的线性图像捕获线上的点，15度线击中/触及舒适(coc)。图像被布置成使得关键主体ks点在经由虚拟相机捕获的所有图像中都是相同的。
179.在我们的案例中，虚拟相机的用户构成场景s并移动虚拟相机，因此弥散圆表达(convey)场景s。由于虚拟相机正在捕获线性间隔或弧形的图像，因此在通过虚拟相机捕获的多个图像或帧之间存在双眼视差。这种视差可以通过改变虚拟相机设置或将关键主体ks移回或远离虚拟相机以减少视差或将关键主体ks移动得更靠近虚拟相机以增加视差来改变。我们的系统是模型上虚拟的线性或弧形移动。
180.可以在3d帧数据集1100的多个图像中均识别关键主体ks，对应于场景s的地形t的
相同关键主体ks，如图11a、图11b和图4所示。在此设想，计算机系统10、显示器628和应用程序624可以执行算法或一组步骤，以自动识别帧集1100中的主体ks。替代地，在块或步骤1220a中，利用计算机系统10(在手动模式下)、显示器628和应用程序624设置来至少部分地使用户u能够对帧集1100的像素、像素集(手指点选择)、关键主体ks点进行对准或编辑对准。
181.在此认识到，步骤1220，计算机系统10经由数据集捕获应用624、数据集操纵应用624、数据集显示应用624可以利用不同的和单独的计算机系统10诸如一个或更多个用户系统720、722、724和应用程序624来执行。例如，使用远离数据集捕获系统且远离数据集查看系统的数据集操纵系统，步骤1220可以经由计算机系统10(第三处理器)和在用户系统720、722、724和应用程序624之间通信的应用程序来远离场景s而执行。接下来，经由通信链路740和/或网络750、或5g计算机系统10(第三处理器)和应用程序624经由更多个用户系统720、722、724可以相对于关键主体ks点接收帧集1100，并且将经操纵后的场景s的多个数字多维图像序列(dify)和3d立体图像传输到计算机系统10(第一处理器)和应用程序624。
182.此外，在块或步骤1230中，计算机系统10经由水平图像平移(hit)程序通过将帧集1100的水平图像移位执行为3d hit图像来创建确定点、关键主体ks点，由此帧集1100在这一点重叠，如图13所示。这种图像移位做了两件事，首先它设定了图像的深度。关键主体ks点前面的所有点都更接近观察者，以及关键主体ks点后面的所有点都距离观察者更远。
183.此外，在自动模式下，计算机系统10经由图像操纵应用可以在步骤1220b中基于深度图数据集来识别关键主体ks。
184.水平图像平移(hit)将关键主体平面ksp设定为产生场景的屏幕平面(第一平面或近端平面)。这个步骤也设定了对象的运动，诸如近平面np(第三平面或近平面)和远平面fp(第二平面或远平面)相对于彼此的运动。关键主体ks或关键主体平面ksp前面的对象向一个方向移动(从左到右或从右到左)，而关键主体ks或关键主体平面ksp后面的对象则以与前面的对象的相反方向移动。在关键主体平面ksp后面的对象在给定的运动中会有较少的视差。
185.在图11、图11a和图11b的示例中，帧集1100的每个层1100包括场景s的输入文件图像的主要图像元素，诸如3d图像或帧1101、1102、1103和/或1104。水平图像平移(hit)程序624执行一个过程，以平移图像或帧1101、1102、1103和1104，图像或帧1101、1102、1103和1104是重叠的并且从主轴1112偏移了计算出的视差值，(水平图像平移(hit)。视差线1107表示关键主体ks点1109.1至1109.4(数字像素点)从主轴1112的线性位移。优选地视差线1107之间的δ1120代表视差1120的线性量，诸如前视差1120.2和后视差1120.1。
186.根据像素数、像素密度和帧数的函数、以及最近点和最远点和如美国专利9,992,473、美国专利10,033,990和美国专利10,178,247设定的其他参数来计算视差、最小视差和最大视差，这些专利通过引用全部并入本文。
187.在块或步骤1235中，利用计算机系统10经由水平和竖直帧dif平移应用624可以被配置成执行3d hit数据集到3d dif(维度图像格式(dif))图像的维度图像格式(dif)变换。dif变换是一种几何移位，它不改变在源图像d帧集1100中的每个点处获取的信息，但可以看作是源图像d帧集1100中所有其他点在笛卡尔空间中的移位(如图11所示)。作为全光函数，dif变换由以下方程表示：
[0188][0189]
其中δu,v＝δθ,φ
[0190]
在数字图像源的情况下，几何移位对应于包含全光信息的像素的几何移位，然后dif变换变成：
[0191]
(像素)
x，y
＝(像素)
x，y
+δ
x，y
[0192]
此外，计算机系统10经由水平和垂直帧dif平移应用624也可以使用dif变换对后景和或前景进行几何移位。后景和前景可以根据各自的深度相对于源图像帧集1100的深度图1220b识别的关键主体ks的深度进行几何移位。控制后景和前景相对于关键主体ks的几何移位控制了关键主体ks的运动视差。如所述的，关键主体ks相对后景或前景的明显相对运动为观察者提供了关于其相对距离的暗示。通过这种方式，运动视差被控制成聚焦所显示的场景中处于不同深度的对象，以匹配辐辏和立体视网膜的视差需求，从而更好地模拟自然观看条件。通过调整场景中关键主体ks的焦点以匹配其立体视网膜视差(眼内或瞳孔间距离宽度ipd(人类视觉系统的瞳孔之间的距离))，使用于眼球调节和辐辏的提示一致。
[0193]
再次参照图4，观看显示器628上的dify、多维图像序列1010需要用户u的两个不同的眼睛动作。首先是眼睛将追踪显示器628上的多维图像序列1010中最近的项、点或对象(近平面np)，由于图像或帧1101、1102、1103和1104是重叠的并且从主轴1112偏移了计算出的视差值(水平图像平移(hit))，因此该图像将来回线性平移到静止的关键主体平面ksp。这种跟踪是通过眼球移动跟随运动而发生的。其次，由于任何点或对象相对于关键主体平面ksp，更具体地说，相对于关键主体ks点的平滑运动变化，眼睛会感知到深度。因此，dify是由一个机械步骤和两个眼睛功能组成。
[0194]
一个机械步骤是平移帧，使关键主体ks点在所有帧上重叠。由于图像或帧1101、1102、1103和1104可以是重叠的并且从主轴1112偏移了计算出的视差值(水平图像平移(hit))，因此来回线性平移到静止的关键主体平面ksp。眼睛跟随近平面np对象的运动，相对于关键主体ks表现出最大的运动(眼睛旋转)。沿着关键主体平面ksp(平滑眼睛运动)的帧位置存在差异，这引入了双眼视差。关键主体ks以外的任何两点的比较也会产生深度(双眼视差)。关键主体平面ksp后面的点以与关键主体ks前面的点的相反方向移动。在关键主体ks平面前面或后面或跨越关键主体ks平面的两个点的比较显示深度。
[0195]
在块或步骤1235a中，计算机系统10经由回文应用626被配置成创建、生成或产生多维数字图像序列1010，从而以无缝回文循环顺序对准帧集1100的每个图像(顺序对准)，诸如按顺序显示第一数字图像、图像或帧1101，第二数字图像、图像或帧1102，第三数字图像、图像或帧1103，第四数字图像、图像或帧1104的循环。此外，替代顺序为第一数字图像、图像或帧1101，第二数字图像、图像或帧1102，第三数字图像、图像或帧1103，第四数字图像、图像或帧1104，第三数字图像、图像或帧1103，第二数字图像、图像或帧1102，第一数字图像、图像或帧1101——1、2、3、4、3、2、1(顺序对准)的循环。优选的顺序是遵循生成图像的相同顺序或次序，添加帧集1100和倒置或反向顺序以创建无缝回文循环。
[0196]
在此设想，也可以在此配置其他序列，包括但不限于1、2、3、4、4、3、2、1(按顺序对准)等。
[0197]
此处预期：水平和竖直对准第一近端平面，诸如每帧集1100的关键主体平面ksp并且移位第二远端平面，诸如前景平面、近平面np或后景平面，序列中每个后续图像帧的远平
面fp基于场景的一系列2d图像的第二远端平面的深度估计，以产生第二修改的2d图像序列。
[0198]
在块或步骤1235b中，计算机系统10经由相间应用626可以被配置成每帧集1100的像素列相间，具体为左图像1102和右图像1103，以生成与关键主体ks点对准且在计算出的视差范围内的多维数字图像。如图16a所示，相间应用626可以被配置成从左图像1102和右图像1103获取像素的节段、带、行或列，诸如场景s的地形t的源图像、左图像1102和右图像1103的列1602a，并在左图像1102-le的列1602a和右图像1103-re的列1602a之间交替对它们进行分层，并重新配置或将它们并排交错串联排列，诸如重复系列160a两列宽，并且对场景s的地形t的源图像、左图像1102和右图像1103的所有层重复该配置以生成多维图像1010，其中列1602a的尺寸设置成一个像素1550宽。
[0199]
在此设想，源图像、由捕获装置830捕获的场景s的多个图像与显示器628的尺寸和配置相匹配，与关键主体ks点对准并在计算出的视差范围内。
[0200]
在块或步骤1240中，计算机系统10经由数据集编辑应用624被配置成裁剪、缩放、对准、增强帧集1100或对其执行编辑。
[0201]
此外，计算机系统10和编辑应用程序624可以使用户u执行帧增强、层丰富、动画、羽化(平滑)、(photoshop或acorn照片或图像工具)，使图像(n个)平滑或填充在一起，或其他用于在显示器628上产生3d效果的软件技术。在此设想，计算机系统10(自动模式)、显示器628和应用程序624可以执行算法或一组步骤，以自动地或使自动执行关键主体ks点的像素、像素组的对准或编辑对准、裁剪、缩放、对准、增强或对帧集1100执行编辑或编辑多维数字图像或图像序列1010。
[0202]
替代地，在块或步骤1240中，利用计算机系统10(在手动模式下)、显示器628和编辑应用程序624的设置，以至少部分地使用户u对准或编辑关键主体ks点的像素、像素组的对准、裁剪、缩放、对准、增强或对帧集1100执行编辑或编辑多维数字图像或图像序列1010。
[0203]
此外dify，用户u经由显示器628和编辑应用程序624可以设置或选择每一帧的速度(查看时间)和一直查看周期的数量，如图13所示。时间间隔可以分配给多维数字图像序列1010中的每一帧。此外，可以在步骤1240对帧之间的时间间隔进行调整，以提供平滑的运动和多维数字图像序列1010的最佳3d视图。
[0204]
在此设想，计算机系统10、显示器628和应用程序624可以执行算法或一组步骤，以自动或手动编辑或应用效果到帧集1100。此外，计算机系统10和编辑应用程序206可以包括编辑，诸如帧增强、层丰富、羽化、(photoshop或acorn照片或图像工具)，以使图像(n个)平滑或填充在一起，以及用于产生3d效果以在显示器628上显示场景s的地形t的3d多维图像的其他软件技术。
[0205]
现在给定多维图像序列1010，我们转而观察装置的观看侧。此外，在块或步骤735中，计算机系统10经由输出应用730(206)可以被配置成经由通信链路240和/或网络250、或5g计算机系统10和应用程序206为一个或更多个用户系统220、222、224在显示器628上显示多维图像1010。
[0206]
对于3d立体，现在参照图15a，通过示例而非限制的方式示出了显示器628的部件的示例性叠置件的截面图。显示器628可以包括发射光的像素阵列或多个像素，诸如lcd面板部件叠置件1520，其具有电极(诸如前电极和后电极)、偏振器(诸如水平偏振器和竖直偏
振器)、漫射器(诸如灰色漫射器、白色漫射器)、以及发射红r光、绿g光和蓝b光的背光源。此外，显示器628可以包括其他标准lcd用户u交互部件，诸如顶部玻璃盖1510，其中，电容式触摸屏玻璃1512定位在顶部玻璃盖1510和lcd面板部件叠置件1520之间。在此设想，除了lcd之外，此处可以包括其他形式的显示器628，诸如led、eled、pdp、qled和其他类型的显示技术。此外，显示器628可以包括透镜阵列，诸如优选地定位在电容式触摸屏玻璃1512和lcd面板部件叠置件1520之间的双凸透镜1514，并且双凸透镜1514被配置成以如下方式弯曲或折射光：能够在显示器628上将一对交错的左右立体图像对显示为3d或多维数字图像1010，从而在显示器628上显示场景s的多维数字图像。透明粘合剂1530可以用于粘合叠置件中的元件，无论是用作水平粘合剂还是竖直粘合剂，以保持叠置件中的多个元件。例如，为了在显示器628上产生3d视图或产生多维数字图像，需要将经由多个像素的1920x1200像素图像分成两半，即960x1200，并且多个像素中的任一半都可以用于左图像和右图像。
[0207]
在此设想，透镜阵列可以包括用于使光弯曲或折射的其他技术，诸如屏障屏(黑线)、双凸、抛物线、叠加物、波导、黑线等能够分离成左图像和右图像的技术。
[0208]
在此进一步设想，当显示器628保持处于横向视图时双凸透镜514可以在竖直列中定向以在显示器628上产生多维数字图像。然而，当显示器628保持处于纵向视图时，3d效果不明显，从而能够使用同一显示器628进行2d和3d观看。
[0209]
在此进一步设想，平滑或其他图像降噪技术和前景主体聚焦可以用于柔化和增强显示器628上的3d视图或多维数字图像。
[0210]
现在参照图15b，通过示例而非限制的方式，示出了示例性折射元件诸如显示器628的双凸透镜1514的一个实施方式的代表性段或部段。双凸透镜1514的每个子元件是双凸透镜1514的弧形或弯曲或拱形段或部段1540(成形为弧)，双凸透镜1514的每个子元件可以被配置成具有重复的一系列梯形透镜段或多个子元件或折射元件。例如，每个弧形或弯曲或拱形段1540可以被配置成具有双凸透镜1540的透镜峰1541并且尺寸被设置成一个像素1550(发射红r光、绿g光和蓝b光)宽，诸如具有到透镜峰1541的分配的中心像素1550c。在此设想，中心像素1550c光作为中心光1560c穿过双凸透镜1540以向距像素1550或双凸透镜1514的梯形段或部段1540观看距离vd的左眼le和右眼re提供显示器628上的图像的2d观看。此外，每个弧形或弯曲段1540可以被配置成：具有成角度的部段，诸如透镜折射元件(诸如双凸透镜1540的透镜子元件1542(多个子元件))的透镜角a1，并且尺寸被设置成一个像素宽，诸如具有分配给左透镜、具有角度a1的左透镜子元件1542l和具有角度a1的右透镜子元件1542r的左像素1550l和右像素1550r，角度a1例如为分别用于折射穿过中心线cl的光的上倾角(incline angle)和下倾角(decline angle)。在此设想，像素1550l/1550r光穿过双凸透镜1540并且弯曲或折射以提供左图像和右图像，以实现显示器628上图像的3d观看；经由左像素1550l光通过左透镜角度1542l并且弯曲或折射，诸如进入左透镜角度1542l的光弯曲或折射，以穿过中心线cl到右r侧，左图像光1560l朝向左眼le，并且右像素1550r光通过右透镜角度1542r并且弯曲或折射，诸如进入右透镜角度1542r的光弯曲或折射，以穿过中心线cl到左侧l，右图像光1560r朝向右眼re，以在显示器628上产生多维数字图像。
[0211]
在此设想，左图像和右图像可以如美国专利9,992,473、美国专利10,033,990和美国专利10,178,247的图6.1至图6.3所阐述那样的产生，并且以电子方式传送至左像素550l和右像素550r。此外，2d图像可以以电子方式传送至中心像素550c。
[0212]
在该图中，每个透镜峰1541具有对应的成角度的左透镜和成角度的右透镜1542，诸如在透镜峰1541的任一侧并且各自分配一个像素的成角度的左透镜1542l和成角度的右透镜1542r，分别给其分配中心像素1550c、左像素1550l和右像素1550r。
[0213]
在该图中，观看角度a1是观看距离vd、显示器628的大小s的函数，其中a1＝2arctan(s/2vd)。
[0214]
在一个实施方式中，每个像素可以由一组子像素配置。例如，为了在显示器628上产生多维数字图像，每个像素可以配置为lcd面板部件叠置件1520的一个或两个3x3子像素，lcd面板部件叠置件1520发射穿过双凸透镜1540的段或部段以在显示器628上产生多维数字图像的一个或两个红色r光、一个或两个绿g光以及一个或两个蓝b光。红r光、绿g光和蓝b可以配置为三个水平子像素的竖直叠置件。
[0215]
在此认识到，梯形透镜1540使均匀地通过其中心c、左l侧和右r侧诸如成角度的左透镜1542l和成角度的右透镜1542r和透镜峰1541的光弯曲或折射。
[0216]
现在参照图15c，通过示例而非限制的方式示出了显示器628的示例性双凸透镜1514的一个实施方式的原型段或部段。作为双凸透镜1514的梯形段或部段1540的每个段或多个子元件或折射元件可以被配置成具有重复的一系列梯形透镜段。例如，每个梯形段1540可以被配置成具有双凸透镜1540的透镜峰1541和平坦或直透镜诸如透镜谷1543，透镜峰1541的尺寸被设置成一个或两个像素1550宽，平坦或直透镜诸如透镜谷1543的尺寸被设置成一个或两个像素1550宽(发射红r光、绿g光和蓝b光)。例如，透镜谷1543可以被分配中心像素1550c。在此设想，中心像素1550c光作为中心光1560c穿过双凸透镜1540以向距像素1550或双凸透镜1514的梯形段或部段1540观看距离vd的左眼le和右眼re提供显示器628上的图像的2d观看。此外，每个梯形段1540可以被配置成具有成角度的部分，例如双凸透镜1540的透镜角度1542并且尺寸被设置成一个或两个像素宽，诸如具有分别分配给左透镜角度1542l和右透镜角度1542r的左像素1550l和右像素1550r。在此设想，像素1550l/1550r光穿过双凸透镜1540并且弯曲以提供左图像和右图像以实现显示器628上图像的3d观看；经由左像素1550l光通过左透镜角度1542l并且弯曲或折射，诸如进入左透镜角度1542l的光弯曲或折射，以穿过中心线cl至右r侧，左图像光1560l朝向左眼le；并且右像素1550r光通过右透镜角度1542r并且弯曲或折射，诸如进入右透镜角度1542r的光弯曲或折射，以穿过中心线cl至左侧l，右图像光1560r朝向右眼re，以在显示器628上产生多维数字图像。
[0217]
在此设想，透镜角度1542的角度a1是像素1550大小、显示器628的部件的叠置件、双凸透镜514的折射特性以及左眼le和右眼re距像素1550的距离——观看距离vd的函数。
[0218]
在该图15c中，观看角度a1是观看距离vd、显示器628的大小s的函数，其中，a1＝2arctan(s/2vd)。
[0219]
现在参照图15d，通过示例而非限制的方式示出了显示器628的示例性双凸透镜1514的一个实施方式的代表性段或部段。作为双凸透镜1514的抛物面形或圆顶形段或部段1540a(抛物面透镜或圆顶透镜，圆顶形)的每个段或多个子元件或折射元件可以被配置成具有重复的一系列圆顶形、弯曲、半圆形透镜段。例如，每个圆顶段1540a可以被配置成具有双凸透镜540的透镜峰1541并且尺寸被设置成一个或两个像素1550(发射红r光、绿g光和蓝b光)宽，诸如具有到透镜峰1541的分配的中心像素1550c。在此设想，中心像素1550c光作为中心光560c穿过双凸透镜540以向距像素1550或双凸透镜1514的梯形段或部段1540观看距
离vd的左眼le和右眼re提供显示器628上的图像的2d观看。此外，每个梯形段1540可以被配置成具有成角度的部分，例如双凸透镜1540的透镜角度1542并且尺寸被设置成一个像素宽，诸如具有分别分配给左透镜角度1542l和右透镜角度1542r的左像素1550l和右像素1550r。在此设想，像素1550l/1550r光穿过双凸透镜1540并弯曲以提供左图像和右图像，以实现显示器628上图像的3d观看；经由左像素1550l光通过左透镜角度1542l并且弯曲或折射，诸如进入左透镜角度1542l的光弯曲或折射，以穿过中心线cl到右r侧，左图像光1560l朝向左眼le，并且右像素1550r光通过右透镜角度1542r并弯曲或折射，诸如进入右透镜角度1542r的光弯曲或折射，以穿过中心线cl到左侧l，右图像光1560r朝向右眼re，以在显示器628上产生多维数字图像。
[0220]
在此认识到，圆顶形透镜1540b使几乎均匀地通过其中心c、左l侧和右r侧的光弯曲或折射。
[0221]
在此认识到，示例性双凸透镜1514的一个实施方式的代表性段或部段可以被配置成多种其他形状和尺寸。
[0222]
此外，为了在同一显示器628上同时实现最高质量的二维(2d)图像观看和多维数字图像观看，可以在显示器628上的多维数字图像观看期间使用交替黑线或视差屏障(交替)的数字形式，而无需将双凸透镜1514添加到显示器628的叠置件，然后在显示器628上的二维(2d)图像观看期间可以禁用交替黑线或视差屏障(交替)的数字形式的数字形式。
[0223]
视差屏障是放置在图像源诸如液晶显示器前面的装置，以允许其显示立体或多视觉(multiscopic)图像，而无需观看者佩戴3d眼镜。放置在普通lcd的前面，它由具有一系列精确间隔的狭缝的不透明层组成，从而允许每只眼睛看到一组不同的像素，从而通过视差创造深度感。数字视差屏障是图像源诸如液晶显示器(像素)前面的一系列交替黑线，以允许其显示立体或多视觉图像。此外，面部跟踪软件功能可以用于根据用户眼睛的位置调整像素和屏障狭缝的相对位置，从而允许用户从广泛的位置体验3d。keehoonhong、soon-gi park、jisoo hong、byoungho lee的书籍design and implementation of autostereoscopic displays(自动立体显示器的设计与实现)通过引用并入本文。
[0224]
在此设想，视差和关键主体ks参考点计算可以针对如下项进行，以产生与观看装置或其他观看功能诸如屏障屏幕(黑线)、双凸透镜、抛物线、叠加物、波导、黑线等以及在led或oled、lcd、oled及其组合或其他观看装置中的集成的lcd层等相关的数字多维图像：虚拟相机位置之间的距离；相间间距；显示器628与用户u的距离；双凸透镜1514配置(透镜角度a1、1542、每毫米和毫米阵列深度的透镜)；作为显示器628的部件叠置件的函数的透镜角度1542；双凸透镜1514的折射特性；以及左眼le和右眼re距像素1550的距离；观看距离vd；虚拟相机之间的距离位置(瞳孔间距ipd)等。
[0225]
通过引用并入本文的是jason geng的名称为three-dimensional display technology(三维显示技术)，第1-80页的论文，可以用于产生显示器628的其他显示技术也通过引用并入。
[0226]
在此设想，双凸透镜514的每毫米或每英寸透镜数量由显示器628的每英寸像素数确定。
[0227]
在此设想，在此设想其他角度a1；像素1550c、1550l、1550r距透镜1540的距离(大约0.5mm)；以及用户u从用户的眼睛距智能装置显示器628的观看距离(大约十五(15)英
寸))，并且人眼之间的平均人瞳孔间间距(大约2.5英寸)可以被分解或计算以产生数字多维图像。角度和间距的控制规则确保显示器628上的观看图像在观看装置的舒适区内，以产生数字多维图像，参见下面的图5、图6、图11。
[0228]
在此认识到，可以基于用户u眼——左眼le和右眼re——与像素550诸如像素1550c、1550l、1550r之间的观看距离vd来计算和设置透镜1541的角度a1，该观看距离是保持显示器628距用户u眼睛诸如十(10)英寸到手臂/手腕的长度、或者更优选地在大约十五(15)英寸至二十四(24)英寸之间、并且最优选地在大约十五(15)英寸的舒适距离。
[0229]
在使用中，用户u将显示器628朝向用户的眼睛和远离用户的眼睛进行移动，直到数字多维图像出现在用户面前，该移动考虑到用户的u实际瞳孔间距离ipd间距，并匹配用户的视觉系统(近方差异和远方差异)、作为来自虚拟相机位置(瞳孔间距离ipd)之间的距离的左右交错图像的宽度位置的函数、场景s的数字图像(n个)中的每个数字图像中关键主体ks深度(关键主体ks算法)、两个图像(左图像和右图像)的关于关键主体ks的水平图像平移算法、两个图像(左图像和右图像)的关于关键对体ks的相间算法、角度a1、像素1550距透镜1540的距离(像素-透镜距离(pld)大约为0.5mm))、以及透镜阵列诸如梯形透镜1540的折射特性，所有这些都被考虑以产生数字多维图像供用户u观看显示器628。首先已知的元素是像素数1550和图像数、两个图像、虚拟相机位置之间的距离或(瞳孔间距离ipd)。在瞳孔间距离ipd处或附近捕获的图像与人类视觉系统相匹配，这简化了数学运算，最大限度地减少了两个图像之间的串扰、模糊性、图像移动，以产生可在显示器628上观看的数字多维图像。
[0230]
在此进一步设想，梯形透镜1540可以由聚苯乙烯、聚碳酸酯或其他透明材料或类似材料形成，因为这些材料提供多种形式和形状，可以制造成不同的形状和大小，并且提供重量降低的强度；然而，可以使用其他合适的材料等，只要这种材料具有透明性并且可机加工或可成型，以满足本文所述的目的以产生左右立体图像和指定的折射率。在此进一步设想，梯形透镜1541可以配置有每毫米4.5个双凸透镜和大约0.33mm的深度。
[0231]
dify，在块或步骤1250中，计算机系统10经由图像显示应用624被配置成使场景s的地形t的帧集1100对于不同尺寸的显示器628通过顺序回文循环在显示器628上显示多维数字图像序列1010。同样，场景s的多维数字图像序列1010、产生的3d图像序列可以作为dif序列或.mpo文件输出到显示器628。在此设想，计算机系统10、显示器628和应用程序624可以是响应性的，即计算机系统10可以执行指令以将场景s的每个图像(n个)的尺寸设定为适合给定显示器628的尺寸。
[0232]
在块或步骤1250中，显示器628上的多维图像序列1010利用来自帧集1100的场景s的图像(n个)中的每个图像中的对象相对于关键主体平面ksp的位置差异，该差异在序列中的图像之间引入视差，以在显示器628上显示多维图像序列1010，以使用户u在块或步骤1250中查看显示器628上的多维图像序列1010。
[0233]
此外，在块或步骤1250中，计算机系统10经由输出应用624可以被配置为经由通信链路740和/或网络750、或5g计算机系统10和应用程序624为一个更多个用户系统720、722、724在显示器628上显示多维图像序列1010。
[0234]
3d立体，在块或步骤1250中，计算机系统10经由输出应用624可以被配置成在显示器628上显示多维图像1010。多维图像1010可以经由左像素1102l和右像素1103r显示，光通
过双凸透镜1540并且弯曲或折射，以在显示器628上向距像素1550观看距离vd的左眼le和右眼re提供多维图像1010的3d观看。
[0235]
在块或步骤1250中，利用计算机系统10、显示器628和应用程序624设置来配置来自场景s的地形t的帧集1100的场景s的每个图像(n个)(l&r段)，同时关键主体针对双眼视差在图像之间对准，用于在显示器628上显示/观看/保存多维数字图像1010，其中，来自虚拟相机的场景s的每个图像(n个)相对于关键主体ks平面的位置差异引入(左和右)双眼视差以在显示器628上显示多维数字图像1010，以使用户u能够在块或步骤1250中在显示器208上观看多维数字图像。
[0236]
此外，用户u可以选择返回到块或步骤1220，以在每个源图像、场景s的地形t的帧集1100中选择新的关键主体ks，并进行到步骤1220至1250，以经由创建新的或第二顺序循环，在显示器628上查看新的关键主体ks的场景s的多维数字图像序列1010。
[0237]
显示器628可以包括显示装置(例如，无论是在智能手机、pda、监视器、电视、平板电脑或能够投射像素格式的信息的其他观看装置上实现的观看屏幕)或打印机(例如，消费者打印机、商店亭、专用打印机或其他硬拷贝装置)，以在例如双凸透镜或其他物理观看材料上打印多维数字主图像。
[0238]
在此认识到，步骤1220至1240可以由计算机系统10经由图像操纵应用626利用不同的和单独定位的计算机系统10，诸如一个或更多个用户系统720、722、724和应用程序626执行此处的步骤。例如，使用远离图像捕获系统并且远离图像观看系统的图像处理系统，可以经由计算机系统10或服务器760和应用程序624远离场景s执行步骤1220至1240，并且经由通信链路740和/或网络750或者经由无线网络例如5g计算机系统10和应用程序626经由更多个用户系统720、722、724在用户系统720、722、724与应用程序626之间进行通信。在此，计算机系统10经由图像操纵应用624可以操纵24个设置以配置来自虚拟相机的场景s的场景s的每个图像(n个)(l&r段)以生成与关键主体ks点对准的多维数字图像序列1010并且经由通信链路740和/或网络750或经由无线网络诸如5g计算机系统10或服务器760和应用程序624向一个或更多个用户系统720、722、724传输以显示多维数字图像/序列1010。
[0239]
此外，在此认识到，步骤1220至1240可以由计算机系统10经由图像操纵应用程序624利用定位在载运工具上的不同的和单独定位的计算机系统10来执行。例如，使用远离图像捕获系统的图像处理系统，经由计算机系统10和应用程序624来执行步骤1220至1240，计算机系统10可以操纵24个设置来配置来自捕获装置830的场景s的场景s的每个图像(n个)(l&r段)图像，以生成与关键主体ks点对准的多维数字图像/序列1010。在此，计算机系统10经由图像操纵应用626可以利用多维图像/序列1010来导航载运工具v通过场景s的地形t。替代地，计算机系统10经由图像操纵应用626可以使远离载运工具v的用户u利用多维图像/序列1010来导航载运工具v通过场景s的地形t。
[0240]
在此设想，计算机系统10经由输出应用624可以被配置为使多维图像序列1010在显示器628上显示，以使多个用户u在块或步骤1250中查看显示器628上的多维图像序列1010直播或作为重播/转播。
[0241]
在此认识到，步骤1250可以由计算机系统10经由输出应用624利用不同的和单独定位的计算机系统10来执行，诸如一个或更多个用户系统720、722、724和应用程序624执行此处的步骤。例如，使用远离场景s的输出或图像查看系统经由计算机系统10和应用程序
624并且经由通信链路740和/或网络750或者经由无线网络例如5g计算机系统10和应用程序624经由更多个用户系统720、722、724在用户系统720、722、724与应用程序626之间进行通信。此处，计算机系统10经由输出应用624可以接收多个经操纵的场景s的两个数字图像，并且经由通信链路740和/或网络750、或经由无线网络诸如5g计算机系统10和应用程序624向一个更多个用户系统720、722、724显示多维图像序列1010。
[0242]
此外，经由通信链路740和/或网络750、无线诸如5g第二计算机系统10和应用程序624可以将相对于关键主体平面ksp配置的场景s的图像集(n个)作为多维图像序列1010传输到显示器628上，以使多个用户u在块或步骤1250中查看显示器628上的多维图像序列1010直播或作为重播/转播。
[0243]
现在参照图13，通过示例而非限制的方式，示出了触摸屏显示器628，使用户u能够选择计算机系统10的摄影选项。第一示例性选项可以是dify捕获，其中，用户u可以指定或选择数字图像速度设置1302，其中，用户u可以增加或减少数字图像在显示器628的多维图像/序列1010上的顺序显示的回放速度或帧(图像)/秒。此外，用户u可以指定或选择数字图像的循环数或重复数1304，以设置场景s的多个2d图像1000的图像(n个)的循环数，其中，场景s的多个2d图像1000中的图像(n个)以顺序显示在显示器628上，与图11类似。仍然进一步地，用户u可以指定或选择用于回放数字图像序列或回文序列的回放顺序1306，以设置场景s的多维图像/序列1010的图像(n个)的显示顺序。图像的定时顺序显示通过运动追逐比效应产生适当的双眼视差。在此设想，计算机系统10和应用程序624可以利用在此的默认或自动设置。
[0244]
dify，参照图14a和图14b，通过示例而非限制的方式，示出了以设定的序列捕获的帧，这些帧以设定的序列回放给眼睛，以及人眼观看显示器628上的dify时感知到的表示。解释dify及其几何形状以产生运动视差。运动视差是指一个点相对于一个静止点的角度变化。(运动追逐)。请注意，因为我们已经设置了关键主体ks点，所以前景中的所有点都会向右移动，而后景中的所有点都会向左移动。在图像反向的回文中，运动是相反的。在不同的视图中，任何点相对于关键主体的角度变化都会产生运动视差。
[0245]
dify是以设定的序列捕获的一系列帧，以设定的序列作为循环回放给眼睛。例如，图14a中描绘了两个帧(假设是第一帧和最后一帧，如帧1101和1104)的回放情况。图14a表示对象的位置，如图4中的近平面np对象在近平面np上的位置及其与关键主体ks点在帧1101和1104中的关系，其中，关键主体ks点由于施加在帧—帧1101、1102、1103和1104—上的图像平移而恒定。图11a和图11b中的帧—帧1101、1102、1103和1104—可以是重叠的，并且从主轴1112偏移了计算出的视差值(水平图像平移(hit))，并且通过虚拟相机的间距进行预设。图14b，通过示例而非限制的方式，示出人眼从观看图14a中在显示器628上描绘的两帧(假定第一帧和最后一帧，例如帧1101和1104，其在近平面np中的帧1为点1401，在近平面np中的帧2为点1402)所感知到的情况，其中，图像平面或屏幕平面与关键主体ks点和关键主体平面ksp相同，并且观看显示器628的用户u在显示器628前面或在显示器628与用户u眼睛—左眼le和右眼re—之间观看虚拟深度近平面np 1410。虚拟深度近平面np 1410是近平面np，因为它表示近平面np中的帧1作为近平面点1401的对象，以及近平面np中的帧2作为近平面点1402的对象，这是用户u眼—左眼le和右眼re—在显示器628上观看多维图像序列1010时看到的最近的点。
[0246]
虚拟深度近平面np 1410将关键主体ks与近平面点1401中的对象和近平面点1402中的对象之间的视觉深度模拟为虚拟深度1420，即近平面np与关键主体平面ksp之间的深度。这个深度是由于对同一个点(近平面点1401中的对象和近平面点1402中的对象)的两个视图之间的双眼视差产生的。近平面点1401中的对象和近平面点1402中的对象优选地是由于双眼视差而在时间上排序的不同的视图处的场景s中的相同点。此外，外射线1430和更具体的用户u眼睛—左眼le和右眼re—的视角1440优选地与视网膜或眼轴成约二十七(27)度。(类似于利用显示器628的手机或平板电脑的景深)。这种描绘有助于定义场景s的组成的界限，近平面点1401和近平面点1402优选地位于景深内，外射线1430内，而近平面np必须在外射线1430的内交叉位置1450之外。
[0247]
从x1到x2的运动是用户u眼睛—左眼le和右眼re—将跟踪的运动。xn是眼睛晶状体、左眼le或右眼re到虚拟近像平面1410上的图像点1411、1412的距离。x'n是从xn的直角三角形到从眼球晶状体、左眼le或右眼re到虚拟近像平面1410上的图像点1411、1412到图像平面628、ks、ksp形成的路线(leg)的距离。平滑运动是在用户u眼睛—左眼le和右眼re—观察到的点中的每个点处相对于关键主体ks的偏移引起的双眼视差。
[0248]
对于每只眼睛，左眼le或右眼re，可以相对于眼睛中心cl和眼内间隔中心—瞳孔间距离宽度ipd的一半—1440建立坐标系。两个角度β和α是用来解释dify运动追求的角度。β是当一条线从眼球晶状体—左眼le和右眼re—通过虚拟近平面1410到图像平面628、ks、ksp上的图像所形成的角度。θ是β2-β1。而α是图像平面628、ks、ksp上两帧1101、1104的固定关键主体ks到虚拟近图像平面1410上的点1411、1412的角度。α的变化代表眼睛的追逐。眼球旋转的运动跟随虚拟近平面上的点的位置变化。而β是在对左眼和右眼进行比较时负责平稳运动或双眼视差的角度。从眼球晶状体、左眼le和右眼re发出的连接到1440点的外射线1430代表景深或图像的边缘，即图像的一半。该线会随着虚拟相机景深的变化而变化。
[0249][0250]
如果我们将追逐运动定义为沿虚拟近平面的点的位置差，那么通过利用切线，我们可以得出：
[0251]
x2-x1＝di/(tan
∝
1-tan
∝
2)
[0252]
这些公式说明，追逐运动，x
2-x1并不是视距的直接函数。随着视距的增加，感知到的深度di将变小，但由于角度差异小，运动将相对于图像的整个宽度保持大致相同。
[0253]
从数学上讲，视网膜运动与眼睛平滑追视率的比率决定了相对于人类视觉中心的固定点的深度。ksp的创建提供了创建深度所需的固定点。从数学上讲，所有的点都会以与任何其他点不同的方式移动，因为参考点在所有情况下都是相同的。
[0254]
现在参照图17，通过示例而非限制的方式，示出了与双眼单视界(horopter)弧或点和帕努姆区融合的舒适圆(coc)的代表性图示。双眼单视界是空间中与注视点、双眼单视界弧或点具有相同视差的点的轨迹。场景中落在双眼单视界弧或点附近的对象是清晰的图像，而那些在双眼单视界弧或点之外(在前面或后面)的对象是模糊的或不清楚的。帕努姆是空间区域，帕努姆区1720，围绕双眼单视界以实现给定的眼部会聚度，内部界限1721，外部界限1722，其中投射到左眼和右眼le/re的不同点导致双眼融合，从而产生视觉深度的感觉，而位于该区域之外的点会导致复视——双重图像。此外，对于落在帕努姆区内的对象，
包括靠近双眼单视界的对象，融合左眼和右眼的图像，用户u将看到单个清晰图像。在帕努姆区之外，无论是在前面还是在后面，用户u都会看到双重图像。
[0255]
在此认识到，计算机系统10经由图像捕获应用624、图像操纵应用624、图像显示应用624可以利用不同的和单独定位的计算机系统10诸如一个或更多个用户系统220、222、224和应用程序206来执行。接下来，经由通信链路240和/或网络250、无线诸如5g，第二计算机系统10和应用程序206可以将场景s的图像集(n个)相对于关键主体平面传输，引入(左和右)双眼视差以在显示器628上显示多维数字图像，以使多个用户u在块或步骤1250中在显示器208上观看多维数字图像直播或作为重播/转播。
[0256]
此外，图17示出了经由左像素1550l和右像素1550r在显示器628上显示和观看多维图像1010，多维图像1010的光通过双凸透镜1540并且弯曲或折射以在显示器628上向距像素1550的观看距离vd的左眼le和右眼re提供多维图像1010的3d观看，其中近对象、关键主体ks和远对象在舒适圆coc内，并且舒适圆coc是近侧双眼单视界弧或点并且在帕努姆区1720内以实现在显示器628上的多维图像1010的与用户u的人类视觉系统舒适且兼容的清晰的单图像3d观看。
[0257]
关于上述描述，应该认识到，最佳的尺寸关系，包括大小、材料、形状、形式、位置、移动机构、功能和操作方式、装配和使用的变化，都旨在是本公开所要涵盖的。
[0258]
前述描述和附图包括例例示性实施方式。在这样描述了示例性实施方式之后，本领域的技术人员应该注意到，本公开仅是示例性的，并且可以在本公开的范围内进行各种其他替代、调整和修改。仅仅按照一定的顺序列出或编号方法的步骤并不构成对该方法的步骤顺序的任何限制。本公开所属领域的技术人员在受益于前述描述和相关附图中所呈现的教导后，将想到许多修改和其他实施方式。尽管此处可以采用特定术语，但它们仅在一般和描述性意义上使用，而不是出于限制的目的。此外，已经详细描述了本公开，应当理解，在不脱离所附权利要求所限定的本公开的精神和范围的情况下，可以对其进行各种更改、替换和改变。因此，本公开不限于本文所示的具体实施方式，而是仅受所附权利要求的限制。

技术特征：
1.一种用于模拟场景的地形的3d图像的系统，所述系统包括：载运工具，所述载运工具具有：地理编码检测器，所述地理编码检测器用于对所述载运工具的坐标参考数据进行识别，所述载运工具穿越所述地形；存储器装置，所述存储器装置用于存储指令；处理器，所述处理器与所述存储器装置通信，所述处理器被配置成执行所述指令；以及捕获模块，所述捕获模块与所述处理器通信并且连接到所述载运工具，所述捕获模块具有2d rgb数字相机和数字高程捕获装置，所述2d rgb数字相机用于利用所述坐标参考数据捕获所述地形的一系列2d数字图像，所述数字高程捕获装置用于利用所述坐标参考数据捕获一系列数字高程扫描以生成所述地形的数字高程模型；其中，所述处理器执行用于将所述地形的所述一系列2d数字图像叠加在所述地形的所述数字高程模型上同时保持所述坐标参考数据的指令；其中，所述处理器执行用于对所述数字高程模型的深度图进行确定的指令；以及其中，所述处理器执行用于在所述地形的所述2d数字图像和所述数字高程模型中对关键主体点进行识别的指令。2.根据权利要求1所述的系统，所述系统还包括显示器，所述显示器与所述处理器通信，所述显示器被配置成显示所述2d数字图像。3.根据权利要求2所述的系统，其中，所述处理器执行用于使用户能够经由来自所述显示器的输入来在所述场景的所述2d图像中选择关键主体点的指令。4.根据权利要求1所述的系统，其中，所述处理器执行用于利用所述坐标参考数据将所述一系列2d数字图像合并成所述地形的2d数字图像数据集的指令。5.根据权利要求4所述的系统，其中，所述处理器执行用于利用所述坐标参考数据将所述一系列数字高程扫描合并成所述地形的数字高程模型的指令。6.根据权利要求5所述的系统，其中，所述处理器执行下述指令：将所述地形的所述2d数字图像数据集叠加在所述地形的所述数字高程模型上同时保持所述坐标参考数据，作为3d彩色网格数据集。7.根据权利要求6所述的系统，其中，所述处理器执行用于对所述3d彩色网格数据集的深度图进行确定的指令。8.根据权利要求7所述的系统，其中，所述处理器执行用于在所述3d彩色网格数据集中对关键主体点进行识别的指令。9.根据权利要求8所述的系统，其中，所述处理器执行用于经由围绕所述关键主体点以弧线移动的虚拟相机生成所述3d彩色网格数据集图像的3d帧集的指令。10.根据权利要求9所述的系统，其中，所述处理器执行用于将所述3d帧集关于所述关键主体点水平地对准为3d hit图像集以在相对于所述关键主体点的近平面和远平面之间产生视差的指令。11.根据权利要求10所述的系统，其中，所述处理器执行用于执行所述3d hit图像到3ddif图像的维度图像格式变换的指令。12.根据权利要求9所述的系统，其中，所述处理器执行用于对3d帧内的第一近端平面和第二远端平面进行识别的指令。13.根据权利要求12所述的系统，其中，所述处理器执行用于对所述3d帧内的所述第一近端平面和所述第二远端平面的深度估计进行确定的指令。
14.根据权利要求11所述的系统，其中，所述处理器执行用于将所述3ddif图像以回文循环顺序地对准为多维数字图像序列的指令。15.根据权利要求14所述的系统，其中，所述处理器执行用于对所述多维数字图像序列进行编辑的指令。16.根据权利要求15所述的系统，其中，所述处理器执行用于在显示器上显示所述多维数字图像序列的指令。17.根据权利要求10所述的系统，其中，所述处理器执行用于将所述3ddif图像中的两个图像作为多维数字图像相对于所述关键主体点执行相间处理以在所述3ddif图像中的所述两个图像之间引入双眼视差的指令。18.根据权利要求17所述的系统，其中，所述处理器执行用于对所述多维数字图像进行编辑的指令。19.根据权利要求15所述的系统，其中，所述处理器执行用于在显示器上显示所述多维数字图像的指令。20.根据权利要求19所述的系统，其中，所述显示器被配置成经由屏障屏幕而具有交替的数字黑线。21.根据权利要求19所述的系统，其中，所述显示器被配置为多个像素，每个所述像素均具有与所述像素集成的折射元件。22.根据权利要求21所述的系统，其中，所述折射元件被配置成具有成形为弧的截面。23.根据权利要求21所述的系统，所述折射元件被配置成具有成形为圆顶的截面。24.根据权利要求21所述的系统，其中，所述折射元件被配置成具有成形为多个梯形部段的截面，所述多个梯形部段中的每个梯形部段均具有平坦部段、上倾角和下倾角。25.根据权利要求21所述的系统，其中，所述显示器被配置成利用选自下述各者中的至少一个层来显示所述多维数字图像：双凸透镜、屏障屏幕、抛物面透镜、叠加物、波导及其组合。26.一种根据场景的地形生成3d图像的方法，所述方法包括下述步骤：提供载运工具，所述载运工具具有：地理编码检测器，所述地理编码检测器用于对所述载运工具的坐标参考数据进行识别，所述载运工具穿越所述地形；存储器装置，所述存储器装置用于存储指令；处理器，所述处理器与所述存储器装置通信，所述处理器被配置成执行所述指令；以及捕获模块，所述捕获模块与所述处理器通信并且连接到所述载运工具，所述捕获模块具有2d rgb数字相机和数字高程捕获装置，所述2d rgb数字相机用于利用所述坐标参考数据捕获所述地形的2d数字图像数据集，所述数字高程捕获装置用于利用所述坐标参考数据捕获所述地形的数字高程模型；其中，所述处理器执行用于将所述地形的一系列2d数字图像叠加在所述地形的所述数字高程模型上同时保持所述坐标参考数据的指令；其中，所述处理器执行用于对所述数字高程模型的深度图进行确定的指令；以及其中，所述处理器执行用于在所述地形的所述2d数字图像和所述数字高程模型中对关键主体点进行识别的指令。27.根据权利要求26所述的方法，所述方法还包括下述步骤：将所述2d数字图像数据集叠加在所述地形的所述数字高程模型上同时保持所述坐标参考数据，作为3d彩色网格数据
集。28.根据权利要求27所述的方法，所述方法还包括下述步骤：在所述3d彩色网格数据集中选择关键主体点。29.根据权利要求27所述的方法，所述方法还包括下述步骤：围绕所述关键主体点对所述3d彩色网格数据集进行水平图像平移。30.根据权利要求29所述的方法，所述方法还包括下述步骤：根据所述3d彩色网格数据集生成深度图。31.根据权利要求30所述的方法，所述方法还包括下述步骤：将所述3d彩色网格数据集中每个图像帧的第一近端平面进行水平地对准和竖直地对准，并基于所述3d彩色网格数据集中每个后续图像帧的第二远端平面的深度估计对所述第二远端平面进行移位，来产生修改后的3d彩色网格数据集。32.根据权利要求31所述的方法，所述方法还包括下述步骤：将所述修改后的3d彩色网格数据集以回文循环顺序地对准为多维数字图像序列。33.根据权利要求32所述的方法，所述方法还包括下述步骤：对所述多维数字图像序列进行编辑。34.根据权利要求33所述的方法，所述方法还包括下述步骤：在显示器上显示所述多维数字图像序列。35.根据权利要求31所述的方法，所述方法还包括下述步骤：将所述修改后的3d彩色网格数据集作为多维数字图像进行相间处理。36.根据权利要求35所述的方法，所述方法还包括下述步骤：提供具有至少一个层的显示器，所述至少一个层选自双凸透镜、屏障屏幕、抛物面透镜、叠加物、波导及其组合。37.根据权利要求36所述的方法，所述方法还包括下述步骤：在所述显示器上显示所述多维数字图像。

技术总结
为了模拟地形的3D图像，包括：载运工具，所述载运工具具有地理编码检测器，所述地理编码检测器用于对坐标参考数据进行识别，载运工具穿越地形；存储器装置，所述存储器装置用于存储指令；以及捕获模块，所述捕获模块与处理器通信并且连接到载运工具，该捕获模块具有2D RGB数字相机和数字高程捕获装置，所述2D RGB数字相机用于利用所述坐标参考数据捕获所述地形的一系列2D数字图像，所述数字高程捕获装置用于：利用所述坐标参考数据捕获一系列数字高程扫描以生成地形的数字高程模型，将地形的一系列2D数字图像叠加在地形的数字高程模型上，同时保持坐标参考数据，在一系列2D数字图像中对关键主体点进行识别；以及显示器，所述显示器被配置成显示多维数字图像/序列。显示器被配置成显示多维数字图像/序列。显示器被配置成显示多维数字图像/序列。


技术研发人员：杰瑞
受保护的技术使用者：威廉
技术研发日：2021.08.27
技术公布日：2023/8/13