多屏显示音频播放方法、装置、头戴显示设备及存储介质与流程

1.本发明涉及智能头戴显示技术领域，尤其涉及一种多屏显示音频播放方法、装置、头戴显示设备及计算机可读存储介质。


背景技术：

2.近几年包括ar(augmented reality，增强现实)眼镜、vr(virtual reality，虚拟现实)眼镜等在内智能头戴显示设备受到了越来越多的用户的追捧和选择。目前很多智能头戴显示设备都支持了多屏显示的功能，也即用户在同一台智能头戴显示设备上可以观看到多个同时显示的虚拟屏幕，用户在佩戴智能头戴显示设备时可以通过转身或者转头与各个虚拟屏幕进行交互，从而确定观看哪一虚拟屏幕的显示内容。
3.就目前的技术来看，用户可以在智能头戴显示设备上创建多个虚拟显示屏幕进行显示，但用户只能选择其中一个虚拟显示屏幕进行观看，而多个虚拟显示屏幕在同时显示播放时，用户往往会听到来自多个虚拟显示屏幕播放的音频，从而导致音频之间互相干扰，严重影响用户的观看效果，用户体验比较差。


技术实现要素：

4.本发明的主要目的在于提供一种多屏显示音频播放方法、装置、头戴显示设备及计算机可读存储介质，旨在解决头戴显示设备多屏显示时多个音频互相干扰，导致用户观看效果较差的技术问题。
5.为实现上述目的，本发明提供一种多屏显示音频播放方法，所述多屏显示音频播放方法应用于头戴显示设备，所述头戴显示设备包括镜片；所述方法包括以下步骤：
6.在所述头戴显示设备进行多屏显示时，确定所述镜片的物理目标点，根据所述物理目标点确定对应的目标射线；
7.确定所述头戴显示设备中显示的与所述目标射线相交的目标虚拟屏幕；
8.播放所述目标虚拟屏幕的目标音频并屏蔽所述头戴显示设备中显示的非目标虚拟屏幕的干扰音频。
9.可选地，所述根据所述物理目标点确定对应的目标射线的步骤，包括：
10.以所述物理目标点为端点，与所述镜片的镜面垂直并根据佩戴所述头戴显示设备的用户的视线方向确定对应的目标射线。
11.可选地，所述确定所述头戴显示设备中显示的与所述目标射线相交的目标虚拟屏幕的步骤，包括：
12.确定所述头戴显示设备中显示的各个虚拟屏幕的平面位置信息；其中，所述平面位置信息表征由所述虚拟屏幕的任一角点以及以所述角点为端点的长边向量和宽边向量组成的信息集合；
13.根据所述平面位置信息和所述目标射线，确定与所述目标射线相交的目标虚拟屏幕。
14.可选地，所述根据所述平面位置信息和所述目标射线，确定与所述目标射线相交的目标虚拟屏幕的步骤，包括：
15.根据所述平面位置信息对应的单位平面法向量、所述角点和所述目标射线的射线单位向量、所述物体目标点，得到所述目标射线分别与各个所述虚拟屏幕若相交时的各个待确认交点；
16.根据所述角点与所述待确认交点形成的线段，确定所述线段分别沿对应的所述长边向量的长边投影和对应的所述宽边向量的宽边投影；
17.根据所述长边投影的第一长度值和所述宽边投影的第二长度值，确定各个所述待确认交点中的实际交点；
18.确定所述实际交点所对应的虚拟屏幕为与所述目标射线相交的目标虚拟屏幕。
19.可选地，所述根据所述长边投影的第一长度值和所述宽边投影的第二长度值，确定各个所述待确认交点中的实际交点的步骤，包括：
20.判断所述长边投影的第一长度值是否小于或等于所述长边向量对应的第三长度值；
21.若所述第一长度值小于或等于所述第三长度值，则判断所述宽边投影的第二长度值是否小于或等于所述宽边向量对应的第四长度值；
22.若所述第二长度值小于或等于所述第四长度值，则确定所述长边投影和宽边投影共同对应的待确认交点为各个所述待确认交点中的实际交点。
23.可选地，在所述根据所述平面位置信息对应的单位平面法向量、所述角点和所述目标射线的射线单位向量、所述物体目标点，得到所述目标射线分别与各个所述虚拟屏幕若相交时的各个待确认交点的步骤之前，所述方法还包括：
24.判断所述平面位置信息对应的单位平面法向量和所述目标射线的射线单位向量之间形成的角度是否为零；
25.若不为零，则判断所述角度是否为钝角；
26.若为钝角，则执行所述根据所述平面位置信息对应的单位平面法向量、所述角点和所述目标射线的射线单位向量、所述物体目标点，得到所述目标射线分别与各个所述虚拟屏幕若相交时的各个待确认交点的步骤。
27.可选地，在所述播放所述目标虚拟屏幕的目标音频并屏蔽所述头戴显示设备中显示的非目标虚拟屏幕的干扰音频的步骤之后，所述方法还包括：
28.获取所述目标虚拟屏幕的目标音频的播放时长；
29.若所述播放时长大于预设时长，则控制各个所述非目标虚拟屏幕进入待机状态。
30.此外，为实现上述目的，本发明还提供一种多屏显示音频播放装置，所述多屏显示音频播放装置，包括：
31.射线生成模块，用于在头戴显示设备进行多屏显示时，确定镜片的物理目标点，根据所述物理目标点确定对应的目标射线；
32.视线捕捉模块，用于确定所述头戴显示设备中显示的与所述目标射线相交的目标虚拟屏幕；
33.音频管理模块，用于播放所述目标虚拟屏幕的目标音频并屏蔽所述头戴显示设备中显示的非目标虚拟屏幕的干扰音频。
34.此外，为实现上述目的，本发明还提供一种头戴显示设备，包括处理器、存储单元、以及存储在所述存储单元上的可被所述处理器执行的多屏显示音频播放程序，其中，所述多屏显示音频播放程序被所述处理器执行时，实现如上所述的多屏显示音频播放方法的步骤。
35.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多屏显示音频播放程序，其中，所述多屏显示音频播放程序被处理器执行时，实现如上所述的多屏显示音频播放方法的步骤。
36.本发明技术方案中的多屏显示音频播放方法，通过在所述头戴显示设备进行多屏显示时，确定所述镜片的物理目标点，根据所述物理目标点确定对应的目标射线，从而得到与模拟用户视线与用户视线保持一致的目标射线；通过确定所述头戴显示设备中显示的与所述目标射线相交的目标虚拟屏幕，从而确定用户在多屏幕使用时所实际关注的虚拟屏幕。进而通过播放所述目标虚拟屏幕的目标音频并屏蔽所述头戴显示设备中显示的非目标虚拟屏幕的干扰音频，使得头戴显示设备多屏显示时仅播放用户所实际关注的目标虚拟屏幕的目标音频，而屏蔽其他音频，从而确保各个同时播放的音频之间不会互相干扰，以及满足了用户实际的观影需求，提升了用户的观影效果和使用头戴显示设备的用户体验。
附图说明
37.图1为本发明实施例方案涉及的头戴显示设备的硬件运行环境的终端结构示意图；
38.图2为本发明多屏显示音频播放方法第一实施例的流程示意图；
39.图3为本发明多屏显示音频播放方法一实施例涉及的步骤s20的细化流程图；
40.图4为本发明多屏显示音频播放方法一实施例涉及的步骤s22的细化流程示意图；
41.图5为本发明多屏显示音频播放方法第一实施例涉及的步骤s220之前的流程示意图；
42.图6为本发明多屏显示音频播放方法第一实施例涉及的步骤s30之后的流程示意图；
43.图7为本发明多屏显示音频播放方法涉及的多屏显示示意图；
44.图8为本发明多屏显示音频播放装置的框架结构示意图。
45.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
46.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
47.本发明实施例提出一种头戴显示设备。头戴显示设备可以为混合现实(mixed reality)—mr设备(例如mr眼镜或者mr头盔)、增强现实(augmented reality)—ar设备(例如ar眼镜或者ar头盔)、虚拟现实-(virtual reality)—vr设备(例如vr眼镜或者vr头盔)、扩展现实(extended reality)—xr设备或其某种组合等智能头戴显示设备，在此不做限制。
48.如图1所示，图1是本发明实施例方案涉及的头戴显示设备的硬件运行环境的结构示意图。
49.如图1所示，该头戴显示设备可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储单元1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示器(display)、输入单元比如控制面板，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wifi接口)。存储单元1005可以是高速ram存储单元，也可以是稳定的存储单元(non-volatile memory)，例如磁盘存储单元。存储单元1005可选的还可以是独立于前述处理器1001的存储装置。作为一种计算机存储介质的存储单元1005中可以包括多屏显示音频播放程序。
50.本领域技术人员可以理解，图1中示出的硬件结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
51.继续参照图1，图1中作为一种计算机可读存储介质的存储单元1005可以包括操作系统、用户接口模块、网络通信模块以及多屏显示音频播放程序。
52.在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储单元1005中存储的多屏显示音频播放程序，并执行以下操作：
53.在所述头戴显示设备进行多屏显示时，确定所述镜片的物理目标点，根据所述物理目标点确定对应的目标射线；
54.确定所述头戴显示设备中显示的与所述目标射线相交的目标虚拟屏幕；
55.播放所述目标虚拟屏幕的目标音频并屏蔽所述头戴显示设备中显示的非目标虚拟屏幕的干扰音频。
56.进一步地，处理器1001可以调用存储器1005中存储的多屏显示音频播放程序，还执行以下操作：
57.以所述物理目标点为端点，与所述镜片的镜面垂直并根据佩戴所述头戴显示设备的用户的视线方向确定对应的目标射线。
58.进一步地，处理器1001可以调用存储器1005中存储的多屏显示音频播放程序，还执行以下操作：
59.确定所述头戴显示设备中显示的各个虚拟屏幕的平面位置信息；其中，所述平面位置信息表征由所述虚拟屏幕的任一角点以及以所述角点为端点的长边向量和宽边向量组成的信息集合；
60.根据所述平面位置信息和所述目标射线，确定与所述目标射线相交的目标虚拟屏幕。
61.进一步地，处理器1001可以调用存储器1005中存储的多屏显示音频播放程序，还执行以下操作：
62.根据所述平面位置信息对应的单位平面法向量、所述角点和所述目标射线的射线单位向量、所述物体目标点，得到所述目标射线分别与各个所述虚拟屏幕若相交时的各个待确认交点；
63.根据所述角点与所述待确认交点形成的线段，确定所述线段分别沿对应的所述长边向量的长边投影和对应的所述宽边向量的宽边投影；
64.根据所述长边投影的第一长度值和所述宽边投影的第二长度值，确定各个所述待确认交点中的实际交点；
65.确定所述实际交点所对应的虚拟屏幕为与所述目标射线相交的目标虚拟屏幕。
66.进一步地，处理器1001可以调用存储器1005中存储的多屏显示音频播放程序，还执行以下操作：
67.判断所述长边投影的第一长度值是否小于或等于所述长边向量对应的第三长度值；
68.若所述第一长度值小于或等于所述第三长度值，则判断所述宽边投影的第二长度值是否小于或等于所述宽边向量对应的第四长度值；
69.若所述第二长度值小于或等于所述第四长度值，则确定所述长边投影和宽边投影共同对应的待确认交点为各个所述待确认交点中的实际交点。
70.进一步地，处理器1001可以调用存储器1005中存储的多屏显示音频播放程序，还执行以下操作：
71.判断所述平面位置信息对应的单位平面法向量和所述目标射线的射线单位向量之间形成的角度是否为零；
72.若不为零，则判断所述角度是否为钝角；
73.若为钝角，则执行所述根据所述平面位置信息对应的单位平面法向量、所述角点和所述目标射线的射线单位向量、所述物体目标点，得到所述目标射线分别与各个所述虚拟屏幕若相交时的各个待确认交点的步骤。
74.进一步地，处理器1001可以调用存储器1005中存储的多屏显示音频播放程序，还执行以下操作：
75.获取所述目标虚拟屏幕的目标音频的播放时长；
76.若所述播放时长大于预设时长，则控制各个所述非目标虚拟屏幕进入待机状态。
77.基于上述控制器的硬件结构，提出本发明多屏显示音频播放方法的各个实施例。
78.为了便于理解以下本发明的各个实施例，在此对本发明技术方案中的实施例按照方案整体进行简要概括：
79.本发明主要通过以虚拟的目标射线模拟用户实际的瞳孔视线，通过判断头戴显示设备中显示的各个虚拟屏幕中与目标射线相交的目标虚拟屏幕，进而确定用户正在关注的虚拟屏幕，从而只播放该用户正在关注的目标虚拟屏幕提供的音频，防止各个虚拟屏幕的音频同时播放对用户造成听觉上的干扰，以此提高用户的观影效果。
80.本发明实施例提供一种多屏显示音频播放方法。
81.请参照图2，图2为本发明多屏显示音频播放方法第一实施例的流程示意图；在本发明第一实施例中，所述多屏显示音频播放方法应用于头戴显示设备，所述方法包括以下步骤：
82.步骤s10，在所述头戴显示设备进行多屏显示时，确定所述镜片的物理目标点，根据所述物理目标点确定对应的目标射线；
83.在本实施例中，头戴显示设备如上述所言，可以为ar设备、vr设备、mr设备、xr设备等智能头戴显示设备，在此不做限制，头戴显示设备中设置有眼镜镜片，具有通过眼镜镜片和相关投影技术实现用户观影的功能，这里的用户观影指的是用户可以通过头戴显示设备实现包括观看电影、电视节目、直播，游戏、购物等可视化娱乐、工作、生活的需求。
84.在所述头戴显示设备进行多屏显示时，可以根据预设的采集周期周期性地确定头
戴显示设备的眼镜镜片的物理目标点，其中的采集周期可以根据实际需要设定，在此不做限制。该物理目标点可以与用户的瞳孔位置相对应，即瞳孔位置的正前方为该物理目标点，该物理目标点可以为镜片镜面的物理中心点，需要说明的是，严格意义上的物理中心点的预设范围的任意一点都可以作为本实施例中的物理中心点，比如以严格意义上的物理中心点为圆心，根据预设半径得到所述预设范围，其中该预设半径可以为(0-10mm)，在此不做限制，考虑到用户的瞳孔在关注事物时有一定的偏下倾向，即用户的眼睛在正视一事物时瞳孔的视线往往并不是正对该事物的，而是视线在该事物的下方一定位置，所以该物理目标点所在的位置也可以与为镜片镜面的物理中心点相隔预设距离的正下方位置，该预设距离可以根据实际需要进行设置，比如0.5mm、1mm等，在此不做限制。
85.在确定了所述物理目标点后，以该物理目标点为待生成的目标射线的射线端点，从而模拟用户实际的瞳孔视线得到与用户瞳孔视线基本一致的虚拟的目标射线。
86.步骤s20，确定所述头戴显示设备中显示的与所述目标射线相交的目标虚拟屏幕；
87.在头戴显示设备中可以根据用户需要以及其实际的性能，创建一个或多个虚拟屏幕，请参照图7，图7为本发明多屏显示音频播放方法涉及的多屏显示示意图。如图7所示，头戴显示设备中创建了包括了屏幕1、屏幕2、屏幕3以及屏幕4在内的这四块虚拟屏幕，四块虚拟屏幕环绕在用户的周围。当然该图6仅做示例以便于理解，在实际的使用场景中，可以不限于4块虚拟屏幕，也不限于各个虚拟屏幕所在的位置。
88.用户在佩戴上头戴显示设备进行观影时，用户所看到的即为头戴显示设备提供的各个显示区域，也即各个虚拟屏幕。由于多个虚拟屏幕都处于同时播放的状态，而用户的注意力有限，用户在同一时间只需要关注其中一块虚拟屏幕的播放内容，所以需要确定用户实际正在关注的虚拟屏幕，即目标虚拟屏幕。在本实施例就可以通过确定头戴显示设备中显示的各个虚拟屏幕中与该目标射线相交的目标虚拟屏幕，实际上也就是确定与用户的瞳孔视线相交的目标虚拟屏幕，从而也就确定了用户正在实际所关注的虚拟屏幕，对于其他用户未关注的虚拟屏幕作为非目标虚拟屏幕。
89.步骤s30，播放所述目标虚拟屏幕的目标音频并屏蔽所述头戴显示设备中显示的非目标虚拟屏幕的干扰音频。
90.在确定了头戴显示设备中的各个虚拟屏幕中的目标虚拟屏幕和非目标虚拟屏幕之后，可以只播放目标虚拟屏幕提供的目标音频而屏蔽掉非目标虚拟屏幕的干扰音频，从而经过上述对音频的管理满足用户实际的观影需求，不会因多个音频同时播放给用户带来观影干扰。
91.再具体一点来说，屏幕非目标虚拟屏幕的干扰音频，既可以直接中止非目标虚拟屏幕的干扰音频的输出，也可以不中止干扰音频的输出，而是不将干扰音频传输给喇叭(扬声器)从而停止干扰音频的播放，对于目标虚拟屏幕的目标音频，则正常传输给喇叭进行播放。
92.本发明技术方案中的多屏显示音频播放方法，通过在所述头戴显示设备进行多屏显示时，确定所述镜片的物理目标点，根据所述物理目标点确定对应的目标射线，从而得到与模拟用户视线与用户视线保持一致的目标射线；通过确定所述头戴显示设备中显示的与所述目标射线相交的目标虚拟屏幕，从而确定用户在多屏幕使用时所实际关注的虚拟屏幕。进而通过播放所述目标虚拟屏幕的目标音频并屏蔽所述头戴显示设备中显示的非目标
虚拟屏幕的干扰音频，使得头戴显示设备多屏显示时仅播放用户所实际关注的目标虚拟屏幕的目标音频，而屏蔽其他音频，从而确保各个同时播放的音频之间不会互相干扰，以及满足了用户实际的观影需求，提升了用户的观影效果和使用头戴显示设备的用户体验。
93.基于上述第一实施例，在一实施例中，所述步骤s10，根据所述物理目标点确定对应的目标射线的步骤，包括：
94.步骤a，以所述物理目标点为端点，与所述镜片的镜面垂直并根据佩戴所述头戴显示设备的用户的视线方向确定对应的目标射线。
95.在该实施例中，将所述物理目标点作为目标射线的端点，该目标射线垂直于镜片的镜面，并且目标射线的方向与用户的视线方向保证一致，也即以用户为标准，该目标射线的方向是背向用户向外的。这样一来，就得到了与用户实际的瞳孔视线基本一致目标射线，通过目标射线反映用户的瞳孔视线，进而能够确定用户使用头戴显示设备观影时的关注点之所在。
96.基于上述各项实施例，请参照图3，在一实施例中，所述步骤s20，包括：
97.步骤s21，确定所述头戴显示设备中显示的各个虚拟屏幕的平面位置信息；其中，所述平面位置信息表征由所述虚拟屏幕的任一角点以及以所述角点为端点的长边向量和宽边向量组成的信息集合；
98.在该实施例中，头戴显示设备中显示的各个虚拟屏幕的平面位置信息指的是各个虚拟屏幕所在的由头戴显示设备提供的虚拟空间中的位置，由于虚拟屏幕为平面，所以即为平面位置信息，可以参照图6，可以看到各个虚拟屏幕环绕在用户的周围，处于不同的平面位置信息。
99.具体而言，为了能准确表示出各个虚拟屏幕的所在位置，可以由虚拟屏幕的任一角点p0(矩形角点)，和与该角点相交的两个边分别对应的向量：长边向量s1和宽边向量s2，也即虚拟屏幕的长对应的长边向量和宽对应的宽边向量，长边向量s1和宽边向量s2都以角点p0为向量的端点(起点)。每个虚拟屏幕都可以用一个角点和对应的长边向量以及宽边向量来表示其所处的显示区域，通过确定角点的坐标，也就确定了各个虚拟屏幕所在虚拟空间的平面位置信息。
100.步骤s22，根据所述平面位置信息和所述目标射线，确定与所述目标射线相交的目标虚拟屏幕。
101.目标射线如果与其中一个虚拟屏幕相交，那么必然存在目标射线的一点与相交的虚拟屏幕的平面位置信息存在重合，也就是说目标射线的这一点处于目标虚拟屏幕的平面位置信息内，也即目标射线与目标虚拟屏幕存在交点。
102.可以通过确定目标射线的交点落入到哪一虚拟屏幕的平面位置信息来确定与所述目标射线相交的目标虚拟屏幕，进而只播放该目标虚拟屏幕的音频。
103.基于上述各项实施例，请参照图4，在一实施例中，所述步骤s22，包括：
104.步骤s220，根据所述平面位置信息对应的单位平面法向量、所述角点和所述目标射线的射线单位向量、所述物体目标点，得到所述目标射线分别与各个所述虚拟屏幕若相交时的各个待确认交点；
105.平面位置信息对应的单位平面法向量即垂直于其虚拟屏幕表面的单位平面法向量n，该向量n等于长边向量s1和宽边向量s2之间的叉积的单位向量。其中目标射线的射线
单位向量d表示沿目标射线方向的单位向量，所述物体目标点可以表示为r0，也即目标射线的端点r0，这样目标射线可以表示为r0+t*d，其中t表示目标射线的向量长度。
106.由于此时还不知道目标射线与各个虚拟屏幕中哪一目标虚拟屏幕相交，所以可以假设目标射线与各个虚拟屏幕都分别相交，以其中一个虚拟屏幕为例，如果目标射线与该虚拟屏幕相交，相交时待确认交点(此时还不能确定该待确认交点为实际相交的实际交点)为交点p，由于该交点p在目标射线上，可以将p表示为p＝r0+a*d，a就是端点r0到交点p的向量长度，此时由于假设目标射线与该虚拟屏幕相交，那么向量p0p，也即角点p0到交点p的向量必然垂直于单位平面法向量n，可以表示为p0p
·
n＝0，经数学转化可以得到a＝((p
0-r0)
·
n)/(d
·
n)。从而也就是先确定所述角点p0与端点r0之间的差值，再确定所述差值与单位平面法向量n的乘积，将所述乘积除以射线单位向量d与单位平面法向量n之间的向量积从而得到a，进而根据上述的计算方式得到目标射线分别与各个所述虚拟屏幕若相交时的各个待确认交点。
107.步骤s221，根据所述角点与所述待确认交点形成的线段，确定所述线段分别沿对应的所述长边向量的长边投影和对应的所述宽边向量的宽边投影；
108.所述角点与所述待确认交点形成的线段也即向量p0p，为了判断待确认交点p是否位于对应的虚拟屏幕内，分别沿长边向量s1拍摄p0p的长边投影q1、沿s2拍摄p0p的宽边投影q2，得到长边投影q1和宽边投影q2的各自的长度值。
109.步骤s222，根据所述长边投影的第一长度值和所述宽边投影的第二长度值，确定各个所述待确认交点中的实际交点；
110.可以通过判断各个虚拟屏幕对应的长边投影的第一长度值是否满足第一预设条件以及判断对应的宽边投影的第二长度值是否满足第二预设条件，如果存在虚拟屏幕的第一长度值和第二长度值都分别同时满足第一预设条件和第二预设条件，则可以确定该虚拟屏幕对应的待确认交点为实际与目标射线相交的实际交点，该虚拟屏幕即为目标虚拟屏幕，如果不能同时满足第一预设条件和第二预设条件，包括满足其一条件或者都不满足条件，那么对应的虚拟屏幕就是非目标虚拟屏幕，当然如果已经确定了目标虚拟屏幕，其他的虚拟屏幕自然也就是非目标虚拟屏幕，此时不用再对非目标虚拟屏幕进行上述条件的判定，从而节省头戴显示设备的算力资源，提高确定目标虚拟屏幕的效率。需要说明的是，其中的第一预设条件可以为长边投影的第一长度值小于或等于所述长边向量对应的第三长度值，第二预设条件可以为宽边投影的第二长度值小于或等于所述宽边向量对应的第四长度值，第一预设条件和第二预设条件也可以为其他预设条件，在此不做限制。
111.步骤s223，确定所述实际交点所对应的虚拟屏幕为与所述目标射线相交的目标虚拟屏幕。
112.在确定了实际交点时，也就确定了实际交点所在的虚拟屏幕，该虚拟屏幕即为与所述目标射线相交的目标虚拟屏幕。该实施例将简单的数学和几何的相关原理应用到查找和确定目标虚拟屏幕中去，能够准确高效地确定用户正在关注的目标虚拟屏幕，从而及时对音频进行相应的播放管理，从而比较方便地提高了用户的观影效果。
113.基于上述各项实施例，在一实施例中，所述步骤s222，包括：
114.步骤b，判断所述长边投影的第一长度值是否小于或等于所述长边向量对应的第三长度值；
115.步骤c，若所述第一长度值小于或等于所述第三长度值，则判断所述宽边投影的第二长度值是否小于或等于所述宽边向量对应的第四长度值；
116.步骤d，若所述第二长度值小于或等于所述第四长度值，则确定所述长边投影和宽边投影共同对应的待确认交点为各个所述待确认交点中的实际交点。
117.可以先将所述长边投影的第一长度值length(q1)与所述长边向量s1对应的第三长度值length(s1)进行比较，在满足所述第一长度值小于或等于所述第三长度时，也即0《＝length(q1)《＝length(s1)时，可以进而继续判断所述宽边投影的第二长度值length(q2)是否小于或等于所述宽边向量对应的第四长度值length(s2)，在满足所述第二长度值小于或等于所述第四长度值时，也即0《＝length(q2)《＝length(s2)时，此时就能够确定待确认交点p在该长边投影和宽边投影共同对应的虚拟屏幕的平面位置信息之中，从而准确可靠地确定了该虚拟屏幕对应的待确认交点为各个所述待确认交点中的实际交点，该虚拟屏幕即为目标虚拟屏幕。
118.此外，如果所述第一长度值大于所述第三长度值，则判定对应的虚拟屏幕为非目标虚拟屏幕，可以标记该非目标虚拟屏幕，该非目标虚拟屏幕不需要进行接下来的判定过程。如果所述第二长度值大于所述第四长度值，则判定对应的虚拟屏幕为非目标虚拟屏幕，可以标记该非目标虚拟屏幕。如果在各个虚拟屏幕分别进行上述判断过程中确定了其中一块虚拟屏幕为目标虚拟屏幕，其他的虚拟屏幕自然也就是非目标虚拟屏幕，可以终止其他虚拟屏幕进行上述的判断过程，从而节省头戴显示设备的算力资源。
119.基于上述各项实施例，请参照图5，在一实施例中，所述步骤s220之前，所述方法还包括：
120.步骤s210，判断所述平面位置信息对应的单位平面法向量和所述目标射线的射线单位向量之间形成的角度是否为零；
121.步骤s211，若不为零，则判断所述角度是否为钝角；
122.步骤s212，若为钝角，则执行所述根据所述平面位置信息对应的单位平面法向量、所述角点和所述目标射线的射线单位向量、所述物体目标点，得到所述目标射线分别与各个所述虚拟屏幕若相交时的各个待确认交点的步骤。
123.在得到各个待确认交点之前，可以先排除一些不可能与目标射线相交的虚拟屏幕，从而提高确定目标虚拟屏幕的效率以及节省头戴显示设备的算力资源。
124.可以先判断所述平面位置信息对应的单位平面法向量n和所述目标射线的射线单位向量d之间所形成的角度是否为零，也即单位平面法向量n和射线单位向量d平行的情形，如果所述角度为零，那么就可以排除对应的虚拟屏幕，可以将其标注为非目标虚拟屏幕，不再进行接下来的判断过程。
125.如果所述角度不为零，可以进而判断所述角度是否为钝角，具体可以判断单位平面法向量n和射线单位向量d之间的向量积d
·
n《0是否满足，从而判断所述角度是否为钝角，如果d
·
n＞0，也即所述角度为锐角的情况下，说明对应的虚拟屏幕与目标射线不相交，可以将其标记为非目标虚拟屏幕。在所述角度为钝角的情况下，为了准确地确定目标虚拟屏幕，可以将没有被标注为非目标虚拟屏幕的其他虚拟屏幕进而执行所述根据所述平面位置信息对应的单位平面法向量、所述角点和所述目标射线的射线单位向量、所述物体目标点，得到所述目标射线分别与各个所述虚拟屏幕若相交时的各个待确认交点的步骤，从而
准确高效地确定出用户正在关注的目标虚拟屏幕。
126.基于上述各项实施例，请参照图6，在一实施例中，所述步骤s30之后，所述方法还包括：
127.步骤s40，获取所述目标虚拟屏幕的目标音频的播放时长；
128.步骤s50，若所述播放时长大于预设时长，则控制各个所述非目标虚拟屏幕进入待机状态。
129.在该实施例中，在播放目标虚拟屏幕的目标音频的过程中，可以同步记录该目标音频的播放时长，将该播放时长与预设时长(可以根据实际需要进行设定)进行比较，在播放时长大于或等于预设时长时，说明用户通过该目标虚拟屏幕进行观影的时间较久，为了节省能耗，提高头戴显示设备的续航，可以控制其他的各个非目标虚拟屏幕进入待机状态，在该待机状态下可以显示屏保，也可以只显示一段提示文字，比如“待机中”，在其他的非目标虚拟屏幕进入待机状态后，用户如果想使用其他的非目标虚拟屏幕，在用户经过转头或转向使得目标射线与对应的非目标虚拟屏幕相交时，该非目标虚拟屏幕也就变为了目标虚拟屏幕，从而退出待机状态进入正常显示状态，在该实施例中，即使各个所述非目标虚拟屏幕进入待机状态，但在用户需要使用到对应的非目标虚拟屏幕时，也能够基于待机状态快速响应用户的相关操作，保证用户的多屏显示的使用体验，真正感受到多屏显示的便利性和趣味性。
130.此外，参照图7，图7为本发明多屏显示音频播放装置的框架结构示意图。本发明还提出一种多屏显示音频播放装置装置，所述多屏显示音频播放装置包括：
131.射线生成模块a10，用于在头戴显示设备进行多屏显示时，确定镜片的物理目标点，根据所述物理目标点确定对应的目标射线；
132.视线捕捉模块a20，用于确定所述头戴显示设备中显示的与所述目标射线相交的目标虚拟屏幕；
133.音频管理模块a30，用于播放所述目标虚拟屏幕的目标音频并屏蔽所述头戴显示设备中显示的非目标虚拟屏幕的干扰音频。
134.可选地，所述射线生成模块a10，还用于：
135.以所述物理目标点为端点，与所述镜片的镜面垂直并根据佩戴所述头戴显示设备的用户的视线方向确定对应的目标射线。
136.可选地，所述视线捕捉模块a20，还用于：
137.确定所述头戴显示设备中显示的各个虚拟屏幕的平面位置信息；其中，所述平面位置信息表征由所述虚拟屏幕的任一角点以及以所述角点为端点的长边向量和宽边向量组成的信息集合；
138.根据所述平面位置信息和所述目标射线，确定与所述目标射线相交的目标虚拟屏幕。
139.可选地，所述视线捕捉模块a20，还用于：
140.根据所述平面位置信息对应的单位平面法向量、所述角点和所述目标射线的射线单位向量、所述物体目标点，得到所述目标射线分别与各个所述虚拟屏幕若相交时的各个待确认交点；
141.根据所述角点与所述待确认交点形成的线段，确定所述线段分别沿对应的所述长
边向量的长边投影和对应的所述宽边向量的宽边投影；
142.根据所述长边投影的第一长度值和所述宽边投影的第二长度值，确定各个所述待确认交点中的实际交点；
143.确定所述实际交点所对应的虚拟屏幕为与所述目标射线相交的目标虚拟屏幕。
144.可选地，所述视线捕捉模块a20，还用于：
145.判断所述长边投影的第一长度值是否小于或等于所述长边向量对应的第三长度值；
146.若所述第一长度值小于或等于所述第三长度值，则判断所述宽边投影的第二长度值是否小于或等于所述宽边向量对应的第四长度值；
147.若所述第二长度值小于或等于所述第四长度值，则确定所述长边投影和宽边投影共同对应的待确认交点为各个所述待确认交点中的实际交点。
148.可选地，所述视线捕捉模块a20，还用于：
149.判断所述平面位置信息对应的单位平面法向量和所述目标射线的射线单位向量之间形成的角度是否为零；
150.若不为零，则判断所述角度是否为钝角；
151.若为钝角，则执行所述根据所述平面位置信息对应的单位平面法向量、所述角点和所述目标射线的射线单位向量、所述物体目标点，得到所述目标射线分别与各个所述虚拟屏幕若相交时的各个待确认交点的步骤。
152.可选地，所述音频管理模块a30，还用于：
153.获取所述目标虚拟屏幕的目标音频的播放时长；
154.若所述播放时长大于预设时长，则控制各个所述非目标虚拟屏幕进入待机状态。
155.本发明的多屏显示音频播放装置具体实施方式与上述多屏显示音频播放方法各实施例基本相同，在此不再赘述。
156.此外，本发明还提供一种计算机可读存储介质。本发明计算机可读存储介质上存储有多屏显示音频播放程序，其中，多屏显示音频播放程序被处理器执行时，实现如上述的多屏显示音频播放方法的步骤。
157.其中，多屏显示音频播放程序被执行时所实现的方法可参照本发明多屏显示音频播放方法的各个实施例，此处不再赘述。
158.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
159.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
160.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储单元中，使得存储在该计算机可读存储单元中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
161.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
162.应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
163.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
164.以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

技术特征：
1.一种多屏显示音频播放方法，其特征在于，所述多屏显示音频播放方法应用于头戴显示设备，所述头戴显示设备包括镜片；所述方法包括以下步骤：在所述头戴显示设备进行多屏显示时，确定所述镜片的物理目标点，根据所述物理目标点确定对应的目标射线；确定所述头戴显示设备中显示的与所述目标射线相交的目标虚拟屏幕；播放所述目标虚拟屏幕的目标音频并屏蔽所述头戴显示设备中显示的非目标虚拟屏幕的干扰音频。2.如权利要求1所述的多屏显示音频播放方法，其特征在于，所述根据所述物理目标点确定对应的目标射线的步骤，包括：以所述物理目标点为端点，与所述镜片的镜面垂直并根据佩戴所述头戴显示设备的用户的视线方向确定对应的目标射线。3.如权利要求1所述的多屏显示音频播放方法，其特征在于，所述确定所述头戴显示设备中显示的与所述目标射线相交的目标虚拟屏幕的步骤，包括：确定所述头戴显示设备中显示的各个虚拟屏幕的平面位置信息；其中，所述平面位置信息表征由所述虚拟屏幕的任一角点以及以所述角点为端点的长边向量和宽边向量组成的信息集合；根据所述平面位置信息和所述目标射线，确定与所述目标射线相交的目标虚拟屏幕。4.如权利要求3所述的多屏显示音频播放方法，其特征在于，所述根据所述平面位置信息和所述目标射线，确定与所述目标射线相交的目标虚拟屏幕的步骤，包括：根据所述平面位置信息对应的单位平面法向量、所述角点和所述目标射线的射线单位向量、所述物体目标点，得到所述目标射线分别与各个所述虚拟屏幕若相交时的各个待确认交点；根据所述角点与所述待确认交点形成的线段，确定所述线段分别沿对应的所述长边向量的长边投影和对应的所述宽边向量的宽边投影；根据所述长边投影的第一长度值和所述宽边投影的第二长度值，确定各个所述待确认交点中的实际交点；确定所述实际交点所对应的虚拟屏幕为与所述目标射线相交的目标虚拟屏幕。5.如权利要求4所述的多屏显示音频播放方法，其特征在于，所述根据所述长边投影的第一长度值和所述宽边投影的第二长度值，确定各个所述待确认交点中的实际交点的步骤，包括：判断所述长边投影的第一长度值是否小于或等于所述长边向量对应的第三长度值；若所述第一长度值小于或等于所述第三长度值，则判断所述宽边投影的第二长度值是否小于或等于所述宽边向量对应的第四长度值；若所述第二长度值小于或等于所述第四长度值，则确定所述长边投影和宽边投影共同对应的待确认交点为各个所述待确认交点中的实际交点。6.如权利要求4所述的多屏显示音频播放方法，其特征在于，在所述根据所述平面位置信息对应的单位平面法向量、所述角点和所述目标射线的射线单位向量、所述物体目标点，得到所述目标射线分别与各个所述虚拟屏幕若相交时的各个待确认交点的步骤之前，所述方法还包括：
判断所述平面位置信息对应的单位平面法向量和所述目标射线的射线单位向量之间形成的角度是否为零；若不为零，则判断所述角度是否为钝角；若为钝角，则执行所述根据所述平面位置信息对应的单位平面法向量、所述角点和所述目标射线的射线单位向量、所述物体目标点，得到所述目标射线分别与各个所述虚拟屏幕若相交时的各个待确认交点的步骤。7.如权利要求1所述的多屏显示音频播放方法，其特征在于，在所述播放所述目标虚拟屏幕的目标音频并屏蔽所述头戴显示设备中显示的非目标虚拟屏幕的干扰音频的步骤之后，所述方法还包括：获取所述目标虚拟屏幕的目标音频的播放时长；若所述播放时长大于预设时长，则控制各个所述非目标虚拟屏幕进入待机状态。8.一种多屏显示音频播放装置，其特征在于，所述多屏显示音频播放装置，包括：射线生成模块，用于在头戴显示设备进行多屏显示时，确定镜片的物理目标点，根据所述物理目标点确定对应的目标射线；视线捕捉模块，用于确定所述头戴显示设备中显示的与所述目标射线相交的目标虚拟屏幕；音频管理模块，用于播放所述目标虚拟屏幕的目标音频并屏蔽所述头戴显示设备中显示的非目标虚拟屏幕的干扰音频。9.一种头戴显示设备，其特征在于，所述头戴显示设备包括处理器、存储单元、以及存储在所述存储单元上的可被所述处理器执行的多屏显示音频播放程序，其中，所述多屏显示音频播放程序被所述处理器执行时，实现如权利要求1至7中任一项所述的多屏显示音频播放方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多屏显示音频播放程序，其中，所述多屏显示音频播放程序被处理器执行时，实现如权利要求1至7中任一项所述的多屏显示音频播放方法的步骤。

技术总结
本发明公开了一种多屏显示音频播放方法、装置、头戴显示设备及计算机可读存储介质，所述方法包括：在所述头戴显示设备进行多屏显示时，确定所述镜片的物理目标点，根据所述物理目标点确定对应的目标射线；确定所述头戴显示设备中显示的与所述目标射线相交的目标虚拟屏幕；播放所述目标虚拟屏幕的目标音频并屏蔽所述头戴显示设备中显示的非目标虚拟屏幕的干扰音频。通过将本发明中的多屏显示音频播放方法应用于头戴显示设备，在头戴显示设备进行多屏显示时确保各个同时播放的音频之间不会互相干扰，提升了用户的观影效果和头戴显示设备的用户体验。备的用户体验。备的用户体验。


技术研发人员：徐灵飞 杨明明
受保护的技术使用者：歌尔股份有限公司
技术研发日：2023.02.24
技术公布日：2023/7/12