一种双目同步显示装置和方法与流程

1.本发明属于智能眼镜技术领域，具体涉及一种应用于mr混合现实可穿戴设备、头戴式显示装置的双目同步显示装置和方法。


背景技术：

2.extended reality (xr)扩展现实，是指通过计算机技术和可穿戴设备产生的一个真实与虚拟组合、可人机交互的环境，是ar、vr、mr等多种形式的统称。
3.由于透过ar增强现实眼镜可以看到周围真实环境，不会出现安全问题而深受用户喜欢，但是ar眼镜的视角很窄，只能叠加信息在眼镜中间一个小窗户(《fov50度)，总感觉是在通过一个小窗户看元宇宙世界，而且挡在眼睛正前方很不舒服。vr虚拟现实眼镜虽然可以大角度(》fov100度)沉浸式地看到元宇宙信息，但是无法透视看到周围真实环境，容易碰撞或摔倒存在安全问题。近几年出现的mixed reality (mr)混合现实眼镜使用vr眼镜的pancake/fresnel/pancharatnam-berry等大角度光学镜片实现沉浸感的同时，使用多个摄像头获取周围真实环境的视频，让使用者双眼看到的背景环境是video see trough (vst) 视频透视的，该背景环境是真实环境而且是双目的有深度的环境，这样不但安全而且不同于vr眼镜,不用浪费算力渲染背景三维环境。
4.然而双目透视需要解决左右视频流同步问题。一般手机或电脑都是一个摄像头，因此没有深度三维感觉。mr眼镜是通过双目（至少两个摄像头）采集的视频中的物体存在视觉差，因而可以呈现真实物体的深度感。因为是双目，所以有至少两个视频流需要处理。有些眼镜是通过小解析度摄像芯片拼接左右眼的两个大解析度视频流，不管如何拼接也等同于左右两个大解析度摄像头的两个单目视频流。
5.专利申请公布号为cn115167669a，申请公布日为2022年10月11日，发明名称为“一种智能眼镜、同步显示方法及介质”的在先申请，该智能眼镜中的第一处理单元经由第一 mipi-dsi接口连接到第一显示屏，第二处理单元经由第二mipi-dsi接口连接到第二显示屏。第一处理单元被配置为生成用于输出刷新的视频数据的定时的第一参考信号，根据第一参考信号经由第一mipi-dsi接口将刷新的视频数据传输给第一显示屏以供显示，并经由gpio接口向第二处理单元传输第一参考信号。其中，第二处理单元被配置为接收第一参考信号，基于第一参考信号生成用于输出刷新的视频数据的定时的第二参考信号，根据第二参考信号经由第二mipi-dsi接口将刷新的视频数据传输给第二显示屏以供显示，使得第一显示屏和第二显示屏以同步的帧起始时间来显示视频数据。所述智能眼镜左右设置的第一无线通信单元和第二无线通信单元分别接收来自另一设备的视频数据，接收到的视频数据被写入到第一处理单元、第二处理单元各自的帧图像缓存器中，以使得定时控制器能够在需要向显示器刷新视频数据时，方便的从帧图像缓存器中获取相应的视频数据。由此可见，第一无线通信单元和第二无线通信单元分别接收的左右视频流，若出现不对齐的情形，即使通过上述显示前的同步处理，依然无法将视频流调整对齐，会给眼镜佩戴者带来晕眩不适感。
6.假设mr眼镜只有两个对应左眼和右眼摄像头，眼镜的操作系统与电脑或手机的操作系统是一样的，一般都有抓取摄像头视频流的指令。电脑和手机每次都是抓取一个摄像头，然后将这个摄像头的视频流（有线或无线，在同个电路板或分体）传输给处理器做下一步的处理。这个有线或无线传输通路一般是单一或serial串联传输的方法。左右两个视频流的每帧图像（压缩或不压缩）都要排队传输给处理器，由于左右帧不一定是轮流排队传输，例如会出现左左右左右右右右左。。。的传输情形。处理器在接收时不能假设一定是有顺序的左右左右。这时候操作系统就要重新分边，看到左边的帧就发给左边屏幕的显示处理模块，看到右边的帧就发给右边屏幕的显示处理模块。左右两边显示处理模块分别叠加图像信息在视频流上，并将叠加后的视频帧传给显示驱动芯片给各自的屏幕显示。于是出现左右视频流显示不同步的问题：有时候左边多显示了好几帧右边才有一帧显示；有时候是右边显示了好几帧左边才有一帧显示。更严重的是，由于视频流显示左右帧不同步造成的视觉深度计算错误。因为左右帧不同步，经常左右两帧不是同一个时间的图像。那么处理器就会把不同时间的左右帧当作同一时间的图像，对这样的图像内不同物体的视觉差计算深度距离也就不正确了。当mr眼镜需要精准计算用户手指头的精准度到毫米甚至微米级别的时候，这个误差是致命的。由于无法做到次毫米级别的视觉计算，导致精准的虚拟键盘和虚拟触控就无法实现。


技术实现要素：

7.本发明的目的之一在于提供一种应用于mr混合现实可穿戴设备、头戴式显示装置的双目同步显示装置和方法，无需处理就能实现双目视频流的同步显示，确保需要高帧速的实时应用计算不会缺帧不会有延时，从而能支持次毫米级别的视觉计算，进而能支持精准的虚拟键盘和虚拟触控的进一步实现。
8.本发明的目的之二在于提供一种应用于mr混合现实可穿戴设备、头戴式显示装置的双目同步显示装置和方法，发送给设备处理器的已同步的双目视频流仅供视作计算，不进行信息叠加，减少回传数据对带宽的要求，且信息叠加于无延迟的双目视频流上，能减少合成混合现实视频流的延时，从而减少晕眩恶心的可能。
9.本发明一种双目同步显示装置，应用于具有双目摄像头的mr混合现实可穿戴设备/头戴式显示设备，包括至少一个与设备处理器实现信息交互的视频处理器，该视频处理器连接双目摄像头和左/右显示模组的驱动模块；该双目摄像头至少包括左单目摄像组和右单目摄像组，该单目摄像组由一个或多个摄像传感器构成，用以根据曝光指令产生图像帧；该视频处理器至少包括一同步拼接模块和一叠加信息模块；该设备处理器是mr混合现实可穿戴设备/头戴式显示设备的主处理器或用于视觉计算的相关处理器以及软件，用于对同步拼接模块上传的双目视频流进行实时视觉计算，将计算得到的待叠加的增强现实信息图像发送给叠加信息模块；该同步拼接模块，连接左单目摄像组和右单目摄像组，用于产生同一曝光指令给左和右单目摄像组，控制所有的摄像传感器产生若干具有相同时间的图像帧；接收该左和右单目摄像组中所有摄像传感器返回的具有相同时间的图像帧；依照左右不同来源缝制成一帧右单目视频帧和一帧右单目视频帧，再将具有相同时间的左/右单目视频帧合成一个双目vst视频帧；并将由多个双目vst视频帧构成的双目vst视频流发送给设备处理器和叠
加信息模块；该叠加信息模块，连接左/右显示模组的驱动模块，将设备处理器发送过来的待叠加的增强现实图像信息叠加到同步拼接模块传来的实时双目vst视频帧上，生成双目混合现实视频帧，并将该双目混合现实视频帧分离成左和右单目混合现实视频帧后，分别发送给左和右显示模组的驱动模组，驱动左右显示屏播放各自的单目混合现实视频流，实现视频混合现实模式。
10.一种双目同步显示方法，应用于具有双目摄像头的mr混合现实可穿戴设备/头戴式显示设备，包括至少一个与设备处理器实现信息交互的视频处理器，该视频处理器连接双目摄像头和左/右显示模组的驱动模块，该双目摄像头至少包括左和右单目摄像组，该单目摄像组由一个或多个摄像传感器构成；该视频处理器至少包括一同步拼接模块和一叠加信息模块，实现如下的双目同步显示步骤：步骤1、同步拼接连接左和右单目摄像组的同步拼接模块，产生同一曝光指令给左和右单目摄像组，控制所有的摄像传感器产生若干具有相同时间的图像帧；该同步拼接模块接收该左和右单目摄像组中所有摄像传感器返回的具有相同时间的图像帧，依照左右不同来源缝制成一帧左单目视频帧和一帧右单目视频帧，再将具有相同时间的左和右单目视频帧合成一个双目vst视频帧，并将由多个双目vst视频帧构成的双目vst视频流发送给设备处理器和叠加信息模块；步骤2、叠加信息叠加信息模块将设备处理器发送过来的待叠加的增强现实图像信息叠加到同步拼接模块传来的双目vst视频帧上，生成双目混合现实视频帧，将该双目混合现实视频帧分离成左和右单目混合现实视频帧后，分别发送给左和右显示模组的驱动模组，驱动左右显示屏播放对应的单目混合现实视频流，实现混合现实模式。
11.所述将具有相同时间的左和右单目视频帧合成一个双目视频帧，通过逻辑处理芯片结合存储空间来完成，在逻辑处理芯片里设置一个2mxn的存储空间，存储空间分为mxn的左存储子空间和mxn的右存储子空间；左单目摄像组的1帧mxn图像写入逻辑处理芯片中左储存子空间，右单目摄像组的1帧mxn图像写入逻辑处理芯片中右储存子空间，在填满整个2mxn的存储空间后，当作1帧2mxn的双目视频帧，以视频流的标准发送给设备处理器和叠加信息模块；左右单目摄像组接到下一个曝光指令所产生的左/右单目视频帧直接写入上述2mxn的存储空间覆盖掉前1帧2mxn的双目视频帧。
12.一种mr眼镜，包括所述的双目同步显示装置。
13.一种头戴式显示装置，包括所述的双目同步显示装置。
14.一种mr可穿戴设备，包括所述的双目同步显示装置。
15.一种双目同步显示芯片，该芯片包括内部封装的集成电路基片，所述集成电路基片用于执行上述的双目同步显示方法所描述的处理步骤。
16.一种透视眼镜，包括至少一个视频处理器，该视频处理器连接双目摄像头和左/右显示模组的驱动模块；该双目摄像头至少包括左单目摄像组和右单目摄像组，该单目摄像组由一个或多个摄像传感器构成，用以根据曝光指令产生图像帧；该视频处理器至少包括一同步拼接模块和一叠加信息模块；
该同步拼接模块，连接左单目摄像组和右单目摄像组，用于产生同一曝光指令给左和右单目摄像组，控制所有的摄像传感器产生若干具有相同时间的图像帧；接收该左和右单目摄像组中所有摄像传感器返回的具有相同时间的图像帧；依照左右不同来源缝制成一帧右单目视频帧和一帧右单目视频帧，再将具有相同时间的左/右单目视频帧合成一个双目vst视频帧；并将由多个双目vst视频帧构成的双目vst视频流发送给叠加信息模块；该叠加信息模块，连接左/右显示模组的驱动模块，将同步拼接模块发送过来的双目vst视频帧复制到叠加信息模块的存储空间，并将该双目vst视频帧分离成左和右单目vst视频帧后，分别发送给左和右显示模组的驱动模组，驱动左右显示屏播放各自的单目vst视频流，实现透视眼镜的功能。
17.本发明是在前端摄像曝光时就实现了双目视频流同步。本发明中已同步的视频流传输给设备处理器仅做相关的视觉计算，不进行叠加信息处理，在制作需要叠加的增强现实图像信息之后，传输此图像信息给叠加信息模块处理。虽然本发明设备处理器发送过来的待叠加的增强现实图像信息一定会有延时，但由于双目vst视频流是从同步拼接模块实时获取的，延时可以降低到叠加图像信息和传输的处理速度，因此眼镜用户就不会有晕眩恶心问题。且该回传的增强现实图像信息数据量远远少于视频流，减少了由于设备处理器端将叠加过图像信息的视频流回传带来的带宽需求，且增加了实时性。
18.本发明中发出同步曝光指令、将多个左右视频流合成单帧视频帧并传输给设备处理器，对设备处理器回传的待叠加的图像信息进行叠加处理、并将已叠加了图像信息的视频帧传输给左右显示模组的这些功能既可以在一个功能单元上通过多个功能模块/芯片共同协作实现，也可以将上述功能集成在一个功能模块/芯片上实现，使得处理过程更为高效和稳定。
附图说明
19.图1为本发明工作原理图;图2为本发明中同步拼接模块的工作原理图；图3为本发明中叠加信息模块的工作原理图。
具体实施方式
20.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
21.传统计算机（含电脑、平板、手机、智能眼镜等设备）调用任何传感器的逻辑都是单独调用然后通过有线或无线传输通路将所调用的信息发送给处理器处理。包括本世纪非常成熟的多应用同步执行，也是通过多线程轮流或随意执行。由于速度快用户感觉不到其是轮流执行的。双目摄像头所采集的两路视频流若是按照传统的随意排队方式传输给处理器，该处理器为了要保证左右眼视频的每一帧都能对齐，那么处理器必须有一个很大的临时储存容量，把进来的左右视频流依照每帧的时间戳进行对齐操作。意味着找不到相同时间戳的视频帧将通过临时储存强迫等待，直到具有相同时间戳的视频帧都到达后才开始进
行对齐操作，如果另一只眼的视频帧迟迟不来，则等待时间就会很长，而且之后时间戳的视频流会被全部堵塞在临时储存空间等待，不仅会造成延时，更可能带来丢帧问题。如果在传输过程中左右眼视频流有丢帧的话，那么另一只眼将永远等不到对齐的图帧。解决这个问题的做法是在临时储存空间快满的时候，直接跳到最新帧显示，也就是扔掉所有或者按照顺序抽帧来确保没有太大的延时以及随时跳到最新双目视频流。对于需要左右眼视频流每帧计算的应用，这种做法会造成每秒不够帧数的视频流无法得到实时的有效计算。由此可见，通过多线程轮流或随意执行传输的方式有延时和少帧的问题，这对于需要每秒足够帧数计算的实时应用来说是致命的。
22.摄像传感器（ccd电荷耦合器件）芯片的操作方法很简单。一般来说就是由处理器发布曝光时间命令给摄像传感器，该摄像传感器曝光后的矩阵图像是根据软/硬程序设定的曝光速度产生图形的感光矩阵形成。连续曝光就会产生连续的矩阵图像，从而实现视频流。根据芯片感光尺寸的设计可以有不同的速度和像素矩阵的比例。比如每秒30帧（30fps）速度低的时候，每帧像素可以达到非常高的172mp（mp=百万像素）。目前的xr眼镜开始要求视频流速度高达120fps，因此每帧像素会降到6.55mp，每帧像素矩阵=2560x2560像素（俗称2.5k像素）。若左右双目摄像头拍摄的视频流都是120fps速度和6.55mp的像素尺寸，两眼加起来就是13mp@120fps的视频流。这么高速度和像素的图片传输如果要进行后期处理的话，是非常容易损伤或丢帧的。2024年的mr眼镜将这个标准再度提升到单目摄像每帧达到3840x3000像素（俗称4k像素）。由于像素太大速度太快，苹果眼镜和meta眼镜都是使用多个摄像头拍摄后再缝补成为一帧图片。meta眼镜的左眼两颗摄像芯片缝成一帧左眼图，右眼两颗摄像芯片缝成一帧右眼图。苹果眼镜则将通过单目4颗摄像头，也就是四张图缝成一张单目图。依据测试，人类眼睛可以看到单目8k的像素，也就是说xr眼镜还需要进步四倍，人才无法分辨真实与虚拟的场景。
23.混合现实mr眼镜是用虚拟现实vr眼镜，通过摄像头拍摄的视频流直接显示在vr眼镜的环境背景，通过透视效果的vst (video see-through )视频透视技术实时看到周围无渲染的真实环境，同时可以看到叠加在vst周围环境上的增强现实ar图像信息。传统的做法是把双目视频流传输给设备处理器，设备处理器做实时视觉计算之后制作需要叠加的增强现实图像信息，之后设备处理器将双目视频流和该增强现实图像信息叠加在一起合成双目混合现实视频流。该双目混合现实视频流再传输给显示模块，分割成左右单目混合现实视频流发送给左右显示驱动模块和对应的显示屏。由于传输超大解析度图像的延时，视觉计算延时、制作增强现实ar图像信息再叠加合成的延时、和传输回来显示模块的延时，这些都会造成显示端双目混合现实视频流产生超过100毫秒的延时。为了减轻眼镜重量，许多产品不是一体机，而是分体机。分体机的眼镜端通过usb/hdmi等链接到手机/电脑/主机的设备处理器做视觉计算和叠加的处理。分体机的延时超过200毫秒。眼镜的使用者因为他所看到的vst背景与他实际的眼睛移动不匹配，会造成严重的晕眩恶心感觉。本发明就是为了减少混合现实视频流延时从而减少晕眩恶心的可能。
24.实施例一如图1所示，本发明实施例一提供一种双目同步显示装置，可应用于具有双目摄像头的mr混合现实可穿戴设备/头戴式显示设备，包括至少一个与设备处理器实现信息交互的视频处理器，该视频处理器连接双目摄像头和左/右显示模组的驱动模块；该双目摄像头
至少包括左单目摄像组和右单目摄像组，该单目摄像组可以由一个或多个摄像传感器构成，用以根据曝光指令产生图像帧；该视频处理器至少包括一同步拼接模块和一叠加信息模块；该设备处理器是mr混合现实可穿戴设备/头戴式显示设备的主处理器或用于视觉计算的相关处理器以及软件，用于对同步拼接模块上传的双目视频流进行实时视觉计算，将计算得到的待叠加的增强现实图像信息发送给叠加信息模块；该同步拼接模块，如图2所示，连接左单目摄像组和右单目摄像组，用于：（1）产生同一曝光指令给左和右单目摄像组，控制所有的摄像传感器产生若干具有相同时间戳的图像帧；（2）接收该左和右单目摄像组中所有摄像传感器返回的具有相同时间戳的图像帧；（3）依照左右不同来源缝制成一帧左单目视频帧和一帧右单目视频帧，再将具有相同时间戳的左/右单目视频帧合成一个双目视频帧；所述双目视频帧是由左单目摄像组和右单目摄像组同步拍摄得到的三维视频帧，每帧的左半边是左单目视频帧、右半边是右单目视频帧，则宽m长n的左和右单目视频帧能合成宽2m长n解析度的像素矩阵（双目视频帧/三维视频帧），并将由多个双目视频帧构成的双目视频流发送给设备处理器和叠加信息模块；该叠加信息模块，如图3所示，将设备处理器发送过来的待叠加的增强现实图像信息叠加到同步拼接模块传来的实时双目vst视频帧上，生成双目混合现实视频帧，将该双目混合现实视频帧变成左右单目混合现实视频帧后，分别发送给左右显示模组的驱动模组，最后驱动左右显示屏播放各自的单目混合现实视频流，实现混合现实模式（即mr模式）；本发明中设备处理器发送过来的待叠加的增强现实图像信息一定会有延时，但由于该双目vst视频流是从同步拼接模块实时获取的，延时可以降低到叠加图像信息和传输的处理速度，因此眼镜用户就不会有晕眩恶心问题；上述单目摄像组产生的左/右单目视频帧，不能直接传输给设备处理器，否则就会产生排队和不同步的情形，必须将该具有相同时间戳的左/右单目视频帧缝制成一帧后再发送（如左右单目的2560x2560图像缝制成一帧5120x2560的图像），同步拼接模块将该双目视频帧按照顺序传输（有线或无线）给眼镜的主处理器（即设备处理器），免除了左右两帧排队传输错位的尴尬。
25.所述将具有相同时间戳的左和右单目视频帧合成一个双目视频帧，具体为：通过mcu、vpu、dlp或fpga等逻辑处理芯片结合存储空间来完成，在逻辑处理芯片里设置一个2mxn的存储空间，存储空间分为mxn的左存储子空间和mxn的右存储子空间；左单目摄像组的1帧mxn图像写入逻辑处理芯片中左储存子空间，右单目摄像组的1帧mxn图像写入逻辑处理芯片中右储存子空间，在填满整个2mxn的存储空间后，当作1帧2mxn的双目视频帧，以视频流的标准发送给设备处理器和叠加信息模块；左右单目摄像组接到下一个曝光指令所产生的左/右单目视频帧直接写入上述2mxn的存储空间覆盖掉前1帧2mxn的双目视频帧；由于每次同步曝光后产生的左/右单目视频帧是直接覆盖掉上一帧双目视频帧的，所以整个流程只有三步骤：同步摄像曝光、写入拼接、以单帧双目视频帧传输给设备处理器。
26.本发明的设备处理器接收到的每帧双目视频帧都有相同的时间保证，确保需要高帧速的实时视觉计算不会缺帧不会有延时。
27.所述缝制而成的单目视频帧，可以是通过硬件缝制而成，也可能是通过一种计算公式将多个角度的图像去除重叠的部分和摄像畸变以及比例的矫正所合成，本发明不做限制。
28.本发明的核心思路就是（1）在前端摄像曝光时就要实现双目视频流同步，而不是在显示前进行同步操作；（2）在已同步的双目视频流传输给设备处理器仅做视觉计算，制作得到待叠加的增强现实图像信息之后，不是在设备处理器端叠加此增强现实图像信息至双目vst视频流上生成双目混合现实视频流，而是传输此增强现实图像信息给本发明的叠加信息模块进行叠加处理，该回传的增强现实图像信息数据量少于双目vst视频流，减少了由于设备处理器端将双目vst视频流回传带来的带宽需求，且增加了实时性。
29.本发明同时曝光形成的具有相同时间的左右单目视频帧（不管是不是由多个图像帧缝制而成的）通过mcu、vpu、dlp、fpga等简易逻辑处理器写入储存空间形成一帧双目视频帧。该单帧的双目视频帧是通过本地硬件直接处理的，而不是排队传输到另一个地方处理。假设单目视频帧是由4个摄像传感器拍摄的具有相同时间戳的图像帧拼接制得，若每个摄像传感器产出每帧1920x1080图像，根据重叠影像和畸变调整后，单目视频帧最多是3840x2160,那么所述简易逻辑处理器就要准备一个最多7680x2160储存空间（减除重复像素和畸变比例调整后多余的像素）。当左右8个摄像传感器同时曝光产出8个具有相同时间的图像帧，用本地硬件直接连线的方式由简易逻辑处理器写入到7680x2160储存空间中，覆盖前一帧形成当前一帧7680x2160像素的双目视频帧，再将该单帧双目视频帧传输给设备处理器就不会出现排队错位、延时、丢帧等问题。未来单目8k眼镜双目16k眼镜可以有更多的摄像传感器（比如16颗摄像传感器），仍然是先缝制成左右单目视频帧，再同时写入简易逻辑处理器的储存卡直接缝制成一帧16k的双目视频帧。
30.本发明中发出同步曝光指令、将多个左右视频流合成单帧双目视频帧并传输给设备处理器，对设备处理器回传的待叠加的增强现实图像信息进行叠加处理、并将已叠加了图像信息的双目混合现实视频帧传输给左右显示模组的这些功能既可以在一个功能单元上通过多个功能模块/芯片共同协作实现，也可以将上述功能集成在一个功能模块/芯片上实现。
31.假定本实施例一的双目摄像头中左和右单目摄像组分别生成每帧是2560x2560图像，则同步拼接模块产生的双目视频流的解析度是1帧5120x2560图像。这个双目视频流就是mr眼镜的vst背景（周围真实环境的三维图像）。双目视频流传给设备处理器做视觉计算，设备处理器计算后制作待叠加的增强现实图像信息。这个信息图像的尺寸也是5120x2560。只有确实有图像的单个像素有具体颜色和透明度t%百分比信息，以外的像素没有信息或者是100%透明。设备处理器将此信息图像传输给本发明的叠加信息模块。这个图像信息虽然有延时（假设100毫秒），叠加信息模块仍然把这个信息图像叠加到同步拼接模块实时传出来的最新没有延时的双目视频帧。
32.上述叠加信息模块可以是mcu/vpu/dlp/fpga等逻辑处理器，或者与同步拼接模块是同一个处理器，该叠加信息模块设有5120x2560的存储矩阵，由2560x2560左和右子存储矩阵组成，该同步拼接模块传输过来的5120x2560矩阵直接复制到叠加信息模块的5120x2560的存储矩阵。设备处理器传输过来的5120x2560矩阵图像直接叠加到叠加信息模块的5120x2560的存储矩阵。也就是说：假设增强现实图像信息只有一个含颜色和透明度的
像素信息，假设某个像素的颜色是（红255绿0蓝0），位置在(100,1200)，透明度是50%，那么假设叠加信息模块的5120x2560的存储矩阵里的这个位置(100,1200)的原始像素颜色是（红0绿255蓝0）,则按照透明度50%的权重平均出来的新像素颜色就是（红127.5绿127.5蓝0）。100%透明或无信息的像素则不会改变实时的双目视频帧的同样位置。改完之后就是叠加完成的双目混合现实视频帧。叠加信息模块在叠加信息完成后，直接把左子存储矩阵的2560x2560像素传给左显示模组、把右子存储矩阵的2560x2560像素传给右显示模组，请参照图3。
33.实施例二本发明可以没有设备处理器。没有设备处理器就没有叠加的信息图像。这个时候眼镜会从同步拼接模块按照一个设定的或眼镜硬件/软件上可手动或自动调试的曝光速度和时长来获取双目vst视频流。这个双目vst视频流直接复制到叠加信息模块的存储空间，没有叠加信息，直接分割传给左右显示屏模组。这样就实现了透视眼镜的功能。通过光学硬件或软件放大/缩小功能，可以调整显示屏的显示图像放大缩小程度来达到可调望远镜的效果；或者在晚上增加曝光时间减少速度来达到夜视镜的效果。
34.本发明实施例二是一种透视眼镜，包括至少一个视频处理器，该视频处理器连接双目摄像头和左/右显示模组的驱动模块；该双目摄像头至少包括左单目摄像组和右单目摄像组，该单目摄像组由一个或多个摄像传感器构成，用以根据曝光指令产生图像帧；该视频处理器至少包括一同步拼接模块和一叠加信息模块；该同步拼接模块，连接左单目摄像组和右单目摄像组，用于产生同一曝光指令给左和右单目摄像组，控制所有的摄像传感器产生若干具有相同时间的图像帧；接收该左和右单目摄像组中所有摄像传感器返回的具有相同时间的图像帧；依照左右不同来源缝制成一帧右单目视频帧和一帧右单目视频帧，再将具有相同时间的左/右单目视频帧合成一个双目vst视频帧；并将由多个双目vst视频帧构成的双目vst视频流发送给叠加信息模块；该叠加信息模块，连接左/右显示模组的驱动模块，将同步拼接模块发送过来的双目vst视频帧复制到叠加信息模块的存储空间，并将该双目vst视频帧分离成左和右单目vst视频帧后，分别发送给左和右显示模组的驱动模组，驱动左右显示屏播放各自的单目vst视频流，实现透视眼镜的功能。
35.实施例三设备处理器可以是云端服务器。未来6g传输速度将是5g的25倍速度，本地端通过一个实体或虚拟sim卡/模块、卫星卡/模块、室内wifi等无线传输模块自动链接网络与位于云端的设备处理器实现信息交互，实现mr混合现实可穿戴设备/头戴式显示设备本地不设置设备处理器模式，属于本发明的权利保护范围。
36.实施例四本发明实施例四，提供一种双目同步显示方法，应用于具有双目摄像头的mr混合现实可穿戴设备/头戴式显示设备，包括至少一个与设备处理器实现信息交互的视频处理器，该视频处理器连接双目摄像头和左/右显示模组的驱动模块，该双目摄像头至少包括左和右单目摄像组，该单目摄像组由一个或多个摄像传感器构成；该视频处理器至少包括一同步拼接模块和一叠加信息模块； 实现如下的双目同步显示步骤：步骤1、同步拼接
连接左和右单目摄像组的同步拼接模块，产生同一曝光指令给左和右单目摄像组，控制所有的摄像传感器产生若干具有相同时间的图像帧；该同步拼接模块接收该左和右单目摄像组中所有摄像传感器返回的具有相同时间的图像帧，依照左右不同来源缝制成一帧左单目视频帧和一帧右单目视频帧，再将具有相同时间的左和右单目视频帧合成一个双目视频帧，并将由多个双目视频帧构成的双目视频流发送给设备处理器和叠加信息模块；所述双目视频帧是由左单目摄像组和右单目摄像组同步拍摄得到的三维视频帧，每帧的左半边是左单目视频帧、右半边是右单目视频帧，则宽m长n的左和右单目视频帧能合成宽2m长n解析度的像素矩阵（双目视频帧/三维视频帧）；所述缝制而成的单目视频帧，可以是通过硬件缝制而成，也可能是通过一种计算公式将多个角度的图像去除重叠的部分和摄像畸变以及比例的矫正所合成，本发明不做限制。
37.所述将具有相同时间的左和右单目视频帧合成一个双目视频帧，指的是：通过mcu、vpu、dlp或fpga等逻辑处理芯片结合存储空间来完成，在逻辑处理芯片里设置一个2mxn的存储空间（存储卡），存储空间分为mxn的左存储子空间和mxn的右存储子空间；左单目摄像组的1帧mxn图像写入逻辑处理芯片中左储存子空间，右单目摄像组的1帧mxn图像写入逻辑处理芯片中右储存子空间，在填满整个2mxn的存储空间后，当作1帧2mxn的双目视频帧，以视频流的标准发送给设备处理器和叠加信息模块；左右单目摄像组接到下一个曝光指令所产生的左/右单目视频帧直接写入上述2mxn的存储空间覆盖掉前1帧2mxn的双目视频帧；步骤2、叠加信息叠加信息模块将设备处理器发送过来的待叠加的增强现实图像信息叠加到同步拼接模块传来的双目vst视频帧上，生成双目混合现实视频帧，将该双目混合现实视频帧分离成左和右单目混合现实视频帧后，分别发送给左和右显示模组的驱动模组，驱动左右显示屏播放对应的单目混合视频流，实现混合现实模式。
38.实施例五本发明实施例五还提供一种mr眼镜，包括上述任意一项所述的双目同步显示装置。
39.实施例六本发明实施例六还提供一种头戴式显示装置，包括上述任意一项所述的双目同步显示装置。
40.实施例七本发明实施例七还提供一种mr可穿戴设备，包括上述任意一项所述的双目同步显示装置。
41.实施例八本发明实施例八还提供一种双目同步显示芯片，该芯片包括内部封装的集成电路基片，所述集成电路基片用于执行前述实施例四方法所描述的处理步骤。
42.专业人员应该还可以进一步意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步
骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
43.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种双目同步显示装置，应用于具有双目摄像头的mr混合现实可穿戴设备/头戴式显示设备，包括至少一个与设备处理器实现信息交互的视频处理器，该视频处理器连接双目摄像头和左/右显示模组的驱动模块；该双目摄像头至少包括左单目摄像组和右单目摄像组，该单目摄像组由一个或多个摄像传感器构成，用以根据曝光指令产生图像帧；其特征在于：该视频处理器至少包括一同步拼接模块和一叠加信息模块；该设备处理器是mr混合现实可穿戴设备/头戴式显示设备的主处理器或用于视觉计算的相关处理器以及软件，用于对同步拼接模块上传的双目视频流进行实时视觉计算，将计算得到的待叠加的增强现实信息图像发送给叠加信息模块；该同步拼接模块，连接左单目摄像组和右单目摄像组，用于产生同一曝光指令给左和右单目摄像组，控制所有的摄像传感器产生若干具有相同时间的图像帧；接收该左和右单目摄像组中所有摄像传感器返回的具有相同时间的图像帧；依照左右不同来源缝制成一帧右单目视频帧和一帧右单目视频帧，再将具有相同时间的左/右单目视频帧合成一个双目vst视频帧；并将由多个双目vst视频帧构成的双目vst视频流发送给设备处理器和叠加信息模块；该叠加信息模块，连接左/右显示模组的驱动模块，将设备处理器发送过来的待叠加的增强现实图像信息叠加到同步拼接模块传来的实时双目vst视频帧上，生成双目混合现实视频帧，并将该双目混合现实视频帧分离成左和右单目混合现实视频帧后，分别发送给左和右显示模组的驱动模组，驱动左右显示屏播放各自的单目混合现实视频流，实现视频混合现实模式。2.根据权利要求1所述的双目同步显示装置，其特征在于：所述将具有相同时间的左和右单目视频帧合成一个双目视频帧，通过逻辑处理芯片结合存储空间来完成，在逻辑处理芯片里设置一个2mxn的存储空间，存储空间分为mxn的左存储子空间和mxn的右存储子空间；左单目摄像组的1帧mxn图像写入逻辑处理芯片中左储存子空间，右单目摄像组的1帧mxn图像写入逻辑处理芯片中右储存子空间，在填满整个2mxn的存储空间后，当作1帧2mxn的双目视频帧，以视频流的标准发送给设备处理器和叠加信息模块；左右单目摄像组接到下一个曝光指令所产生的左/右单目视频帧直接写入上述2mxn的存储空间覆盖掉前1帧2mxn的双目视频帧。3.一种双目同步显示方法，应用于具有双目摄像头的mr混合现实可穿戴设备/头戴式显示设备，包括至少一个与设备处理器实现信息交互的视频处理器，该视频处理器连接双目摄像头和左/右显示模组的驱动模块，该双目摄像头至少包括左和右单目摄像组，该单目摄像组由一个或多个摄像传感器构成；其特征在于：该视频处理器至少包括一同步拼接模块和一叠加信息模块，实现如下的双目同步显示步骤：步骤1、同步拼接连接左和右单目摄像组的同步拼接模块，产生同一曝光指令给左和右单目摄像组，控制所有的摄像传感器产生若干具有相同时间的图像帧；该同步拼接模块接收该左和右单目摄像组中所有摄像传感器返回的具有相同时间的图像帧，依照左右不同来源缝制成一帧左单目视频帧和一帧右单目视频帧，再将具有相同时间的左和右单目视频帧合成一个双目vst视频帧，并将由多个双目vst视频帧构成的双目vst视频流发送给设备处理器和叠加信息模块；
步骤2、叠加信息叠加信息模块将设备处理器发送过来的待叠加的增强现实图像信息叠加到同步拼接模块传来的双目vst视频帧上，生成双目混合现实视频帧，将该双目混合现实视频帧分离成左和右单目混合现实视频帧后，分别发送给左和右显示模组的驱动模组，驱动左右显示屏播放对应的单目混合现实视频流，实现混合现实模式。4.根据权利要求3所述一种双目同步显示方法，其特征在于：所述将具有相同时间的左和右单目视频帧合成一个双目视频帧，通过逻辑处理芯片结合存储空间来完成，在逻辑处理芯片里设置一个2mxn的存储空间，存储空间分为mxn的左存储子空间和mxn的右存储子空间；左单目摄像组的1帧mxn图像写入逻辑处理芯片中左储存子空间，右单目摄像组的1帧mxn图像写入逻辑处理芯片中右储存子空间，在填满整个2mxn的存储空间后，当作1帧2mxn的双目视频帧，以视频流的标准发送给设备处理器和叠加信息模块；左右单目摄像组接到下一个曝光指令所产生的左/右单目视频帧直接写入上述2mxn的存储空间覆盖掉前1帧2mxn的双目视频帧。5.一种mr眼镜，其特征在于，包括权利要求1-2任意一项所述的双目同步显示装置。6.一种头戴式显示装置，其特征在于，包括权利要求1-2任意一项所述的双目同步显示装置。7.一种mr可穿戴设备，其特征在于，包括权利要求1-2任意一项所述的双目同步显示装置。8.一种双目同步显示芯片，该芯片包括内部封装的集成电路基片，其特征在于：所述集成电路基片用于执行权利要求3-4任意一项所述的双目同步显示方法所描述的处理步骤。9.一种透视眼镜，包括至少一个视频处理器，该视频处理器连接双目摄像头和左/右显示模组的驱动模块；该双目摄像头至少包括左单目摄像组和右单目摄像组，该单目摄像组由一个或多个摄像传感器构成，用以根据曝光指令产生图像帧；其特征在于：该视频处理器至少包括一同步拼接模块和一叠加信息模块；该同步拼接模块，连接左单目摄像组和右单目摄像组，用于产生同一曝光指令给左和右单目摄像组，控制所有的摄像传感器产生若干具有相同时间的图像帧；接收该左和右单目摄像组中所有摄像传感器返回的具有相同时间的图像帧；依照左右不同来源缝制成一帧右单目视频帧和一帧右单目视频帧，再将具有相同时间的左/右单目视频帧合成一个双目vst视频帧；并将由多个双目vst视频帧构成的双目vst视频流发送给叠加信息模块；该叠加信息模块，连接左/右显示模组的驱动模块，将同步拼接模块发送过来的双目vst视频帧复制到叠加信息模块的存储空间，并将该双目vst视频帧分离成左和右单目vst视频帧后，分别发送给左和右显示模组的驱动模组，驱动左右显示屏播放各自的单目vst视频流，实现透视眼镜的功能。

技术总结
本发明一种应用于MR混合现实可穿戴设备、头戴式显示装置的双目同步显示装置和方法，包括同步拼接模块和叠加信息模块，在前端摄像曝光时就实现了双目视频流同步，且已同步的视频流传输给设备处理器仅做相关的视觉计算，不进行信息叠加处理，在制作需要叠加的增强现实图像信息之后，将该图像信息传输给叠加信息模块处理。虽然本发明设备处理器发送过来的待叠加的增强现实图像信息一定会有延时，但由于双目VST视频流是从同步拼接模块实时获取的，延时可以降低到叠加图像信息和传输的处理速度，因此眼镜用户就不会有晕眩恶心问题。且该回传的增强现实图像信息数据量远远少于视频流，减少了由于设备处理器端将叠加过图像信息的视频流回传带来的带宽需求，且增加了实时性。且增加了实时性。且增加了实时性。


技术研发人员：潘仲光
受保护的技术使用者：灯影科技有限公司
技术研发日：2023.07.12
技术公布日：2023/9/14