用于三维数据集的空间音频的制作方法

用于三维数据集的空间音频
1.本技术是中国国家申请号为201880030671.9、申请日为2018年4月21日、优先权日为2017年5月9日、发明名称为“用于三维数据集的空间音频”的发明专利申请的分案申请。


背景技术：

2.虚拟现实和增强现实平台使用户能够戴上头戴式设备并沉浸在广阔的虚拟或混合现实环境中。当沉浸在这种环境中时，用户有时可能难以处理用户可以感知的大量信息。结果，对于用户来说容易地标识并导航到感兴趣区域可能是有挑战性的。


技术实现要素：

3.为了解决上述问题，提供了一种头戴式显示设备，其包括显示器、被配置成检测用户的头部的位置(position)和定向(orientation)的传感器，以及一对近耳扬声器。头戴式显示器还包括处理器，该处理器被配置成：接收三维环境的地图数据；接收三维数据集；在三维环境内的一个位置(location)处，检测三维数据集中的预定义特征；将空间音频发射器锚放置在三维环境中的检测到该特征的位置中，空间音频发射器具有围绕该位置的发射器边界；基于来自传感器的信号来确定用户在虚拟环境中的当前位置；基于所确定的用户的当前位置，来显示具有三维数据集的图形表示的三维环境的地图数据；以及响应于确定用户的位置在边界之外，经由近耳扬声器以空间音频模式播放空间音频发射器。
4.提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步被描述。本发明内容不旨在标识所要求保护的主题内容的关键特征或必要特征，也不旨在被用来限制所要求保护的主题内容的范围。此外，所要求保护的主题内容不限于解决在本公开的任何部分中提到的任何或所有缺点的实现。
附图说明
5.图1是根据本公开的一种实现的包括服务器和客户端设备的计算系统的示意图。
6.图2是图1的计算系统的示例音频样本库的视图。
7.图3是描绘来自图2的示例音频样本库的音频样本的混合的图形。
8.图4是空间音频发射器以及围绕第一边界和第二边界以及交叉淡入淡出区域的示意图，其定义了如何回放空间音频发射器。
9.图5是由图1的计算系统的客户端设备显示的虚拟环境的视图，其示出了多个空间音频发射器的放置。
10.图6是可以用作图1的计算系统的客户端设备的增强现实hmd设备和虚拟现实hmd设备的视图。
11.图7是图示由图1的计算系统实现的用于播放空间音频发射器的方法的流程图。
12.图8继续图7的流程图。
13.图8a示出了图8的流程图的备选方法步骤。
14.图9是示例计算环境的示意图，在该示例计算环境中可以执行图1的计算系统。
具体实施方式
15.图1图示了计算系统10的示意图，计算系统10利用空间音频来帮助用户在虚拟现实环境中探索三维数据集。计算系统10包括服务器12，服务器12被配置成经由诸如因特网的网络16向客户端设备14提供虚拟现实环境。服务器12通常包括地图数据库18，其包含地图数据20。地图数据20可以包括各种类型的数据，诸如地形数据、植被数据、三维建筑物数据和道路数据。这些类型的数据在本文中将被称为静态地图数据，以与可以被叠加在静态地图数据上的动态三维数据22形成对比。动态三维数据22包括大气和海洋数据、交通数据、人群数据等。尽管静态地图数据也可以经受改变，但与动态三维数据22相比(在以几秒钟、几分钟或几小时的采样速率下，动态三维数据22实时可观察地改变)，改变的速率出现得较慢(诸如数月或数年)。在许多实例中，动态三维数据可以表示为矢量场，该矢量场例如图示了所测量现象的密度、速度、涡流强度或加速度。
16.动态三维数据22由定位在现实世界中的传感器24检测，该传感器24测量可观察的自然现象。对于大气和海洋数据，传感器可以采取温度传感器、气压计、湿度传感器、风速传感器、风向传感器、降雨传感器、波高传感器、洋流速度传感器、洋流方向传感器等形式。对于交通数据，传感器24可以包括用户携带的智能电话或其他电子设备中的gps传感器，这些gps传感器会将其位置(position)和速度中继回跟踪服务器，然后跟踪服务器计算来自交通工具的行进速度并滤除行进速度太慢的数据或在非道路区域中的数据。这种服务器可以使该交通数据可供其他用户使用。在人群数据的情况下，传感器也可以是智能电话或其他电子设备中的gps传感器，并进行适当的过滤以确定用户以人的步伐行进，以确保数据表示行人而不是表示在交通工具中行进的用户。
17.服务器12被配置成从传感器24接收数据，并经由数据处理程序26执行数据处理以生成三维数据集22。服务器12还被配置成执行仿真程序28，该仿真程序28被配置成读取地图数据20和三维数据集22，以及服务器到客户端设备14的数据，该服务器到客户端设备14的数据足以使客户端设备14显示虚拟环境，在该虚拟环境中显示地图数据20和三维数据集22。
18.客户端设备14可以是头戴式显示器(hmd)设备，并且在下文中将可互换地引用两者。hmd设备可以包括近眼显示器30和至少一对近耳扬声器32。术语“近耳扬声器”指代：一体地形成在客户端设备14中并且在用户穿戴hmd设备时，由客户端设备14将其定位在耳朵附近的扬声器，以及可以结合客户端设备14使用的耳罩式(over ear)、贴耳式(on ear)和入耳式(in ear)耳机。显示器通常包括针对左眼和右眼中的每个眼睛的子显示器，使用立体技术在其上显示图像，以使图像中的对象在用户看来定位在虚拟环境中的距用户一定距离处。显示器可以至少部分是透视的，以便实现增强现实体验，其中用户在他们通过透视显示器察看现实世界的同时，可以察看显示器上所显示的全息图。或者，显示器可能是完全不透明的，以向用户提供沉浸式的完整虚拟现实体验。
19.客户端设备14还可以包括位置传感器34，位置传感器34被配置成检测穿戴客户端设备14的用户的头部的位置和定向。位置传感器可以是例如包括加速度计和陀螺仪的惯性运动单元，其被配置成以6个自由度(x、y和z、俯仰、滚动和偏航)检测其位置和方向。位置和定向传感器34还可以包括指南针(例如，三轴磁力计)，以便可以测量其相对于南北子午线的方位。还可以在客户端设备上提供面向外部的相机36(包括可见光相机和深度相机)以捕
获现实环境的图像。可以对所捕获的图像执行图像处理以执行表面重建，从而生成现实环境的三维地图。连续捕获的图像中出现的特征(诸如边缘和角落)的观察可以增强位置感测，如下面所讨论的。
20.客户端设备14还可以包括经由总线40连接到非易失性存储器42和易失性存储器44的处理器38。用以执行本文所述的各种功能的软件指令可以被存储在非易失性存储器42中，并且在执行时，由处理器38使用易失性存储器44的各部分来执行。
21.处理器被配置成执行地图客户端程序46，其包括特征提取器47、空间音频发射器放置模块48、呈现和回放模块50，以及定位模块52，以及其他软件组件。特征提取器47被配置成接收三维数据集。如上所述，三维数据集表示诸如大气现象、海洋学现象、人群现象和交通现象的现象。特征提取器47还被配置成：通过将数据中的观察与多个预定义特征定义54进行匹配，来在由客户端设备呈现的三维环境56内的一个位置(location)处，检测三维数据集中的预定义特征。对于每个检测到的特征，空间音频发射器放置模块48被配置成将空间音频发射器58放置在三维环境中的检测到该特征的位置中。
22.如图4中所示，空间音频发射器56通常被放置在一个点位置，并且具有围绕其被放置的位置的发射器边界。为了易于图示，边界被图示为圆形，但它通常是三维的。在一个示例中，可以使用从陆地垂直延伸到天空的圆柱体，并且在另一示例中，可以使用球体作为边界的形状。
23.返回图1，由处理器执行的呈现和回放模块50被配置成从服务器12接收三维环境56的地图数据22，并且还被配置成从音频样本库60读取音频样本。根据该数据和三维数据集22，呈现和回放模块50被配置成：根据姿势估计期间由定位模块52确定的hmd设备的位置和定向(如下所述地那样执行)，来图形化地呈现虚拟环境56并回放虚拟环境56的声音。
24.由处理器38执行的定位模块52被配置成：基于来自位置传感器34的信号确定由用户穿戴的hmd设备在虚拟环境中的当前位置，并基于所确定的用户的当前位置和定向，利用三维数据集22的图形表示，在显示器30上显示三维环境56的地图数据。在一些实现中，来自相机36的数据可以被用来使用针对位置估计的预测性校正算法(其中相机数据作为算法中的反馈)，来改进所估计的用户的位置和定向的准确性。
25.响应于确定用户的位置在边界之外，由处理器执行的呈现和回放模块50被配置成经由近耳扬声器以空间音频模式播放空间音频发射器。以这种方式，当用户在图4中图示的第一边界之外时，播放空间音频发射器。这向用户提供了听觉提示，即三维数据集中的感兴趣区域位于在用户可以从听觉上确定的给定方向上的距用户一定距离处。通常，以空间音频模式播放空间音频发射器包括：在基于由传感器感测到的用户的头部的位置和定向，使用与头部有关的传递函数处理音频样本之后，经由近耳扬声器播放单声道音频样本。因此，当穿戴hmd设备的用户的头部实时地前后移动时，传感器会检测到定向的改变，并应用与头部有关的传递函数来处理单声道音频样本，并且经由该对扬声器32对其重放，使得用户将其感测为源自虚拟环境56中的音频发射器的位置。相比之下，在二维立体声模式中，通常在不应用任何与头部有关的传递函数的情况下回放立体声音频样本，使得特定发射器的回放声音不基于用户的头部的定向或位置而变化。
26.呈现和回放模块50可以被配置成调整由音频发射器播放的音频的特性。被调整的音频特性可以是例如回放的音频样本，在回放之前对该样本执行的音频处理等。仅作为几
个示例，被调整的音频处理可以是音量、混响、反馈、失真、衰减、速度、合唱、延迟、回声、回旋(flanging)、门限(gating)或它们的组合。
27.进一步地，现在将上面讨论的预定义特征称为第一预定义特征，呈现和回放模块50可以被配置成：在与第一数据集中的第一预定义特征的位置临近的位置处，检测对地图数据20中的第二预定义特征的观察；以及基于对第一预定义特征和第二预定义特征的检测，调整由音频发射器播放的音频的特性。例如，可以在地图数据20的地形数据、建筑物数据、植被数据或道路数据中检测第二预定义特征。在图5图示的示例中，基于地图数据20中的附近地形数据和植被数据，针对雨、风和雷来调整音频发射器的音频特性，并且基于交通和人群的位置(在本地道路还是高速公路上，以及在公园还是在体育场中，如根据地图数据22中的道路数据和建筑物数据所确定的)，来调整针对交通和人群的音频发射器的音频特性。
28.例如，处理器可以被配置成：通过基于对第一预定义特征和第二预定义特征的检测，而从多个音频样本中选择音频样本，来调整由音频发射器播放的音频的特性。在图5的示例中，基于从针对大气和海洋数据(雨、风、雷)、交通数据和人群数据的三维数据集检测到第一预定义特征，以及从地图数据22中的地形、道路、建筑物和植被数据检测到第二预定义特征，从音频样本库60选择不同的样本，如下面所讨论的。
29.图2图示了音频样本库的示例实现。所图示的音频样本库包含针对多个发射器类型(即风、雨、雷、交通和人群发射器)中的每种类型的样本。针对音频发射器的每种类型，保存多个样本。对于发射器的每种类型，在多个地图状况下并且对于三维空间音频再现和二维立体声再现中的每一个，针对重、中和轻状况中的每个状况保存相应的样本。对于风，样本1-3针对的是穿过森林覆盖区域的强、中、轻风(如从地图数据22中的植被数据检测到的)，而样本4-6针对的是没有植被的贫瘠区域的强、中、轻风(如从地图数据22中的植被数据检测到的)。类似地，在针对森林覆盖区域的样本7-9中提供了二维沉浸式立体声记录，而针对贫瘠区域提供了样本10-12。类似地，对于经由三维空间音频回放降雨样本，样本1-3是针对陆地(如从地图数据22中的地形数据检测到的)上的强、中、轻状况而提供的，而样本4-6是针对在诸如湖泊、河流或海洋的水体(如由地图数据22中的地形数据所确定的)上发生降雨的雨声。另外，降雨样本7-9是针对陆地上的降雨的二维沉浸式立体声回放而提供的，并且样本7-10是针对水上的降雨的这种回放而提供的。还提供了类似的雷的样本，其中针对高山或平原的地形状况，提供用于三维空间音频和二维沉浸式立体声回放两者的样本。风、雨和雷的位置和强度(强、中或轻)由特征提取器47通过对大气和海洋数据的特征提取来确定。可以用多种方式来计算强度。在风的情况下，例如，可以使用在预定义的地图象限内的多层大气模型中的表层处的风速的最大值。当风和云都存在时，系统可以通过取周围区域内的最大值来为每个发射器分配天气强度值。
30.类似地，对于如由地图数据22内的道路数据确定的本地道路或高速公路上的交通，以及如由地图数据22确定的体育场或公园中的人群，针对强、中和轻状况(在人群情况下的密度状况，在交通示例中的拥挤状况)保存音频样本，以用于三维空间音频回放和二维沉浸式立体声回放中的每一个。
31.将理解，可以出于计算效率而将彼此靠近的发射器组合。为了组合发射器，系统可以基于每个发射器的大小(即，半径)，取每个发射器的两个强度值的加权平均。组合的发射
器通常具有涵盖先前的两个发射器的大小，并且具有位于组合的发射器的点位置中心的点位置。为了准备组合的发射器的回放，可以基于针对每种特定发射器类型(风、雨、雷、交通、人群等)的预定的最大值，将强度值归一化在0-1的范围内。然后，如果期望跨强度值的较低范围(可能更普遍)进一步区分发射器声音，则可以使用重新映射功能。具体地，对于风强度，可以使用类似于对数曲线的重新映射函数，以便将风速的较低范围映射到音频声音的较大范围。
32.在一些场景中，由特征提取器47确定的天气状况强度可以在轻强度和中等强度之间，或者在中等强度和强强度之间。在其他场景中，所提取的特征可以具有多个位置特征和/或天气状况。例如，所提取的特征可以具有雨和风天气状况。在这些场景中，处理器可以在来自音频样本库的两个或更多个音频样本之间进行插值，以生成合适的音频样本。例如，处理器可以被配置成基于对第一预定义特征和第二预定义特征的检测，从多个音频样本中选择两个或更多个音频样本，并且基于所选择的两个或更多个音频样本之间的混合，来调整由音频发射器播放的音频的特性。因此，对于具有风和雨天气状况的所提取的特征，处理器可以从音频样本库60中选择风和雨音频样本，并且基于雨和风的音频样本的混合，来调整由音频发射器播放的音频的特性。对于具有在轻天气状况强度和中等天气状况强度之间的天气状况强度的所提取的特征，处理器可以针对特定天气特征选择轻强度和中等强度音频样本，并基于轻强度和中等强度音频样本的混合，来调整由音频发射器播放的音频的特性。
33.图3示出了描绘两个或更多个天气状况强度音频样本之间的混合的图形。在该示例中，由特征提取器47提取的天气状况强度值被归一化为从0到1的值。可以针对跨从0到1的归一化范围的连续强度值来调整由音频发射器播放的音频的特性。例如，如图3中所示，值1/3可以被认为是轻天气，值2/3可以被认为是中等天气，值1可以被认为是强天气。对于位于0、1/3、2/3和1之间的天气状况强度值，处理器可以在轻、中和强天气音频样本之间进行插值，如图3的图形中所示。如所示的，对于从0增加到1/3的天气状况强度值，可以以增加的音量播放轻天气音频样本。对于从1/3增加到2/3的天气状况强度值，可以以减小的音量播放轻天气音频样本，同时以增加的音量播放中等天气音频样本。对于从2/3增加到1的天气状况强度值，可以以减小的音量播放中等天气音频样本，同时以增加的音量播放强天气音频样本。例如，在1/2的天气状况强度值下，可以基于轻天气音频样本和中等天气音频样本之间的50-50混合来调整由音频发射器播放的音频的特性。尽管图3描绘了对天气状况强度进行插值的示例，但是将理解，可以使用类似的过程对多个位置和/或天气状况进行插值。
34.如图4中所示，每个音频发射器通常具有与其相关联的第一边界，该第一边界涵盖音频发射器的点位置。对于其hmd设备在虚拟环境56中的位置被确定为在第一边界之外的用户，音频发射器被配置成：使用来自音频样本库60的三维音频样本，以三维空间音频模式播放三维空间音频。因此，记录和回放模块50被配置成：响应于确定用户的位置在第一边界之外，经由近耳扬声器32以空间音频模式播放空间音频发射器。
35.对于其hmd设备形式的客户端设备14被确定为定位在虚拟环境56中的第一边界内的第一区域内的用户，音频发射器可以被配置成：使用从音频样本库60内的用于该音频发射器类型的二维音频样本选择的样本，以立体声模式播放二维沉浸式立体声。因此，随着客
户端设备14的位置被检测为从第二区域转变到第一区域，记录和回放模块50被配置成：响应于确定用户的当前位置在第一边界内，停止以空间音频模式播放空间音频发射器，并开始以二维沉浸式立体声模式播放空间音频发射器。如果需要，可以在第一边界处或周围提供交叉淡入淡出区域，并且可以通过在用户的hmd设备位置穿过交叉淡入淡出区域时，交叉淡入淡出两种类型的音频，来实现第一区域中的二维立体声和第二区域中的三维空间音频之间的转变。因此，根据在临近边界的交叉淡入淡出区域中执行的空间音频模式和立体声模式之间的交叉淡入淡出，可以逐渐完成上面讨论的回放的停止和开始。
36.每个音频发射器还可以具有第二边界，该第二边界涵盖第一边界并且在第一边界和第二边界之间限定第二区域，在该第二区域内播放三维空间音频，并且其中当用户的hmd设备在虚拟环境中的位置被确定为在第二边界之外时，发射器不播放音频。因此，响应于确定用户的hmd设备的当前位置在虚拟环境中的第二边界之外，记录和回放模块50将停止播放空间音频发射器。
37.现在转向图5，由图1的计算系统的客户端设备显示的虚拟环境56的一个示例被示出，其中多个空间音频发射器58被放置在各处。在该示例中示出了音频发射器58的五种类型：风音频发射器、雨音频发射器、闪电音频发射器、交通音频发射器和人群音频发射器。还示出了每个发射器的第一边界(即，二维立体声和三维空间音频回放之间的边界)。应当注意，对于人群发射器58a，边界较小，而对于雷发射器58b，边界较大。这是由于以下事实，即雷是即使在很远的距离处也会被用户无指向性地感知的声音，而与雷相比，人群的噪声通常音量较小并且相当具有指向性。另外，尽管音频发射器的其余第一边界通常具有类似的大小，但是将理解，第一边界相对于虚拟环境具有以诸如英尺或米为单位的大小。因此，由于透视的原因，相似大小的边界在远距离上看起来比近距离要小，尽管这种效果未在图5中很好地图示。从图5的视角来看，用户的当前位置在所描绘的音频发射器的所有第一边界的外部，因此对于所有音频发射器，用户应当听到三维空间音频。在图5的示例中未图示定义空间音频的回放的限制的第二边界。
38.现在将左侧的雷音频发射器58b1与右侧的雷音频发射器进行比较，左侧的雷音频发射器58b1定位在山脉附近，而右侧的雷音频发射器58b2定位在开阔平原附近。这些位置由空间音频发射器放置模块48确定，该模块在地图数据22内的大气和海洋数据中检测到右侧的中等雷击特征(第一预定特征)和左侧的轻雷击特征(另一第一预定特征)，并且将音频发射器58b1、58b2放置在雷击的位置。接下来，记录和回放模块50被配置成检测在左侧雷音频发射器58b1附近的山脉地形(第二预定特征)以及在右侧雷音频发射器58b2附近开阔平原地形(另一第二预定特征)。给定开阔平原地形中的中等雷击特征以及用户的位置在发射器58b2的第一边界之外，记录和回放模块50被配置成从被保存在音频样本库60中的雷的样本中选择样本5(如图2中以粗体所指示的)，并以空间音频模式回放该样本。类似地，给定空间音频发射器58b1在山脉地形中的轻雷击特征以及用户的位置在空间音频发射器58b1的第一边界之外，记录和回放模块50被配置成选择样本3(也在图2中以粗体指示)进行回放。如果用户在空间音频发射器58b1或58b2的第一边界内移动，则分别以二维沉浸式立体声回放雷样本9和11。
39.类似地，对于风音频发射器58c1、58c2，在检测到风速超过针对强风(在58c1的情况下)和轻风(在58c2的情况下)的预定的阈值之后，由空间音频发射器放置模块48放置这
些发射器。对于音频发射器58c2，记录和回放模块50将用户的当前位置识别为在这些发射器的边界之外，确定这些发射器是针对轻风，检查地图数据22内的植被数据，并且确定这些发射器定位在贫瘠陆地附近，并且相应地，针对贫瘠陆地上的轻风选择风样本6(在图2中以粗体指示)，以供音频发射器58c2回放。类似地，对于音频发射器58c1，记录和回放模块50确定这些音频发射器是针对强风并且在森林覆盖地形附近，并且相应地选择风样本1(也在图2中以粗体示出)以供发射器58c1回放。
40.在特征提取器47已经检测到与所示位置的大气和海洋数据内的中等雨的特征定义相匹配的数据值之后，由空间音频发射器模块48放置音频发射器58d1、58d2。记录和回放模块50确定针对中雨的音频发射器58d1位于陆地之上，而针对中雨的音频发射器58d2位于水之上。相应地，如图2中以粗体所示，分别选择雨样本2和雨样本3以供音频发射器58d1和58d2在空间音频模式下回放。
41.已经放置音频发射器58e以发射交通声音。在检测到地图数据22中道路的存在之后，并且在特征提取器47已经检测到满足虚拟环境56中描绘的道路上的中等交通的特征定义的数据之后，由空间音频发射器放置模块放置这些音频发射器。记录和回放模块50标识交通行驶的道路是本地道路，并且交通强度中等，并且因此选择样本2(图2中以粗体示出)以供音频发射器58e以空间音频模式回放。
42.在由特征提取器47检测到地图数据22的人群数据中的轻强度的人群之后，已经由空间音频发射器放置模块48放置了音频发射器58a。记录和回放模块50被配置成：在通过检查地图数据20中的建筑物数据和地形数据，确定音频发射器58a的位置在公园设定而不是体育场设定中时，选择样本6(在图2中以粗体示出)。
43.以上述方式，图5中的各种空间音频发射器可以经由诸如头戴式显示设备的客户端设备中的近耳扬声器向用户回放。当用户察看虚拟环境56时，将理解，用户的可视范围限于虚线内的视野。因此，空间音频发射器不仅用以向用户指示用户视野内的感兴趣区域的存在(诸如，人群音频发射器58a和交通音频发射器58e)，而且还用以指示视野外的感兴趣的区域的存在，诸如在音频发射器58b1、58b2、58c1、58c2、58d1和58d2的位置中存在。用户在听到雨落在水上、风沙沙地穿过树木以及雷在山上滚动的空间音频时，可以被提示探索图5的左手侧的区域；或者在听到雷在平原上滚动和风在贫瘠的陆地吹过的空间音频时，可以被提示探索图5的右手侧的区域。以这种方式，可以提高用户对用户的视野内外的状况的了解。
44.图6图示了可以用作客户端设备14的hmd设备的两个示例。hmd设备的两个示例包括：增强现实hmd设备112a，其包括至少部分透明的显示器；以及虚拟现实hmd设备112b，其包括不透明的非透视显示器。将理解，对传感器和系统的以下描述可以适用于增强现实hmd设备112a和虚拟现实hmd设备112b两者。
45.在图6的示例中，示例hmd设备中的每个hmd设备具有包括框架113的构造，框架113包裹在用户的头部周围以将显示器114定位在靠近用户的眼睛的位置。框架支撑增强现实hmd设备的附加组件，例如，诸如处理器116和输入设备118。处理器116包括逻辑和相关联的计算机存储器，其被配置成：向显示器114提供图像信号、从输入设备118接收感觉信号，以及执行本文所述的各种控制过程。虚拟现实hmd设备112b的框架包括刚性部分和弹性部分，而增强现实hmd设备112a的框架在其圆周附近基本上是刚性的。
46.可以使用各种合适的显示技术和配置来经由显示器114显示图像。例如，在虚拟现实hmd设备112b中，显示器114可以是不透明的显示器，诸如非透视发光二极管(led)显示器、液晶显示器(lcd)或任何其他合适类型的不透明或其他非透视显示器。在增强现实hmd设备112a中，显示器114可以是透明显示器，其被配置成使增强现实hmd设备112a的穿戴者能够通过显示虚拟对象表示的一个或多个部分透明的像素来察看物理环境中的物理现实世界的对象。例如，显示器114可以包括图像产生元件，例如，诸如透视有机发光二极管(oled)显示器。作为透明显示器的另一示例，增强现实hmd设备112a可以包括在显示器114的边缘上的光调制器。在该示例中，显示器114可以用作用于将光从光调制器递送到穿戴者的眼睛的光导。在其他示例中，显示器114可以利用硅上液晶(lcos)显示器。显示器114可以在立体显示配置中包括左l显示器和右r显示器。左l显示器和右r显示器均从用户的对应的眼睛的视角显示增强现实场景的可视范围。通过经过左l显示器和右r显示器察看增强现实场景，用户将感知虚拟对象位于现实世界中的特定深度。
47.输入设备118可以包括各种传感器和相关系统以向处理器116提供信息。这种传感器可以包括但不限于惯性测量单元(imu)118a、一个或多个图像传感器118b，以及一个或多个环境光传感器118c。一个或多个面向外部的图像传感器118b可以被配置成捕获和/或测量增强现实hmd设备110a所位于的物理环境的物理环境属性。在一个示例中，一个或多个图像传感器118b可以包括被配置成收集物理空间的可见光图像的可见光相机。
48.在包括具有透明显示器类型的显示器114的增强现实hmd设备112a的一个示例中，可以评估增强现实hmd设备112a相对于物理环境的位置和/或定向，以便增强现实图像可以以期望的定向准确地显示在期望的现实世界位置中。在增强现实hmd设备10a和虚拟现实hmd设备112b中，两个示例hmd设备的imu 118a可以被配置成将两个示例hmd设备的位置和/或定向数据提供给处理器116。从imu的传感器信号导出的定向可以用于经由显示器14显示具有现实且稳定的位置和定向的一个或多个全息图像。
49.处理器116可以包括逻辑处理器，并且两个示例hmd设备可以包括易失性存储器和非易失性存储装置(如下面关于图9的示例计算系统500更详细地讨论的)，其与显示器114和输入设备118的各种传感器通信。
50.将理解，服务器12上的仿真程序28可以被配置成向客户端设备分阶段发送地图数据，使得最初发送紧密围绕用户当前位置的区域的地图数据20，并且稍后发送周围区域的地图数据20。另外，可以分层发送地图数据20，使得最初仅发送地图数据20的某些地图层(例如，地形和道路)，而稍后发送其他层(例如，交通、植被和建筑物)。另外，可以以不同的分辨率程度来发送地图数据20，使得最初将低分辨率地图数据20从服务器发送到客户端并显示给用户，随后是高分辨率地图数据20。在这些场景的每个场景中，客户端设备14的特征提取器47可以被配置成首先在地图数据20的初始集合(诸如，最初接收的地图数据20)上运行特征提取，并且空间音频发射器放置模块48可以被配置成放置音频发射器的初始集合，以用于向用户回放。在稍后的合适时间，特征提取器47可以被配置成从地图数据20(诸如稍后接收的地图数据20，或者否则未被初始处理的地图数据20)提取第二组特征。使用适当的程序逻辑，特征提取器47可以提取针对华盛顿西雅图地区的特征，以在用户最初开始探索华盛顿西雅图地区时，使音频发射器被放置在该地区。然而，在一段时间过去后，程序逻辑可能会针对从附近热门的地区(诸如俄勒冈州波特兰)提取的特征放置音频发射器。以这种
方式，用户的注意力可能会被来自基于波特兰的发射器的听觉提示所吸引，并且用户可能会导航以探索波特兰地区。
51.另外，尽管在以上实施例中已经讨论了与空间音频发射器相关联的声音的回放，但是应当理解，基于程序逻辑、用户偏好设置等，也可以在每个空间音频发射器的位置处显示图形元素。在图5的所描绘的实现中，这种图形元素被示为针以及边界图形。尽管这些是为了便于在图5中进行说明，但应当理解，如果需要的话，它们也可以被可视地呈现。以这种方式，可以向用户提供关于感兴趣的附近区域的存在和位置的听觉和图形提示。最后，空间音频发射器不仅可以发出空间音频，而且可以通过与客户端设备相关联的触觉反馈机制(诸如，振动器、风扇、加热器/空气调节器、喷雾器等)来发出触觉反馈(例如，振动、风、热、雾等)，和/或发出非定向的音频声音(诸如极低频的声音)。以这种方式，还可以由空间音频发射器的发射来刺激用户的触摸感。
52.另外，尽管上述实施例被配置成经由客户端设备14的显示器来显示具有三维数据集的图形表示的三维环境的地图数据，但是应当理解，可以在不显示地图数据或图形表示的情况下，由客户端设备14执行与检测预定义特征、检测用户的位置以及放置和回放空间音频发射器有关的本文描述的过程和方法。在这种实现中，例如，客户端设备14可以是一组扬声器或一对耳机。
53.图7示出了图示示例方法600的流程图。方法600可以在计算设备的处理器处被实现，例如，计算设备诸如是本文描述的头戴式显示设备。在另一示例中，计算设备可以包括一个或多个外部输入设备、一个或多个外部输出设备，以及可通信地耦合到计算设备并且被配置成实现本文所述的方法600和过程的一个或多个外部显示设备。
54.在602处，方法600可以包括接收三维环境的地图数据。地图数据20可以包括各种类型的数据，诸如地形数据、植被数据、三维建筑物数据和道路数据。在另一示例中，地图数据20可以包括动态三维数据22，包括大气和海洋数据、交通数据、人群数据等。例如，在许多实例中，动态三维数据可以被表示为表示说明所测量的现象的密度、速度、涡流强度或加速度的矢量场。
55.在604处，方法600可以包括接收三维数据集。在一个示例中，三维数据集表示选自由大气现象、海洋现象、人群现象和交通现象组成的组中的现象。
56.在606处，方法600可以包括在三维环境内的一个位置处，检测三维数据集中的预定义特征。例如，作为几个非限制性示例，可以针对地图数据22中的大气和海洋数据(雨、风、雷)、交通数据和人群数据以及地形、道路、建筑物和植被数据检测预定义特征。
57.在608处，方法600可以包括将空间音频发射器锚放置在三维环境中的检测到特征的位置中，该空间音频发射器具有围绕该位置的发射器边界。空间音频发射器56通常被放置在一个点位置，并且具有围绕其被放置的位置的发射器边界。发射器边界通常可以涵盖三维区域，例如，从陆地垂直延伸到天空的圆柱体、从该点位置延伸的球体或另一三维形状。
58.在一个示例中，预定义特征是第一预定义特征，并且处理器可以被配置成检测多个预定义特征。在610处，方法600可以包括在与第一数据集中的第一预定义特征的位置临近的位置处，检测对地图数据中的第二预定义特征的观察。在该示例中，第二预定义特征可以由实现方法600的计算设备的处理器从地图数据中的地形数据、建筑物数据、植被数据或
道路数据中检测。
59.在612处，方法600可以包括基于对第一预定义特征和第二预定义特征的检测，来调整由音频发射器播放的音频的特性。在一个示例中，在612处，可以通过基于对第一预定义特征和第二预定义特征的检测，从多个音频样本中选择一个音频样本，来实现调节由音频发射器播放的音频的特性。例如，可以基于从针对大气和海洋数据(雨、风、雷)、交通数据和人群数据的三维数据集检测到第一预定义特征，以及从地图数据22中的地形、道路、建筑物和植被数据检测到第二预定义特征，从音频样本库60选择不同的样本。
60.在图8中继续方法600的流程图。在614处，方法600可以包括基于来自传感器的信号来确定用户在虚拟环境中的当前位置，该传感器被配置成检测用户的头部的位置和定向。位置传感器可以是例如包括加速度计和陀螺仪的惯性运动单元，其被配置成以6个自由度(x、y和z、俯仰、滚动和偏航)检测其位置和定向。位置和定向传感器34还可以包括指南针(例如，三轴磁力计)，以便可以测量其相对于南北子午线的方位。然而，将理解，可以使用其他类型的传感器来检测用户的头部的位置和定向。例如，传感器可以采取外部传感器的形式，该外部传感器不被包括在计算设备的头戴式显示设备配置中。外部传感器可以被配置成捕获用户的图像，并且处理器可以被配置成执行图像分析以检测用户的头部的位置和定向。
61.当用户移动穿过三维环境时，实现方法600的计算设备的处理器可以连续跟踪用户的当前位置，包括所检测的用户的头部的位置和定向。在616处，方法600可以包括：基于所确定的用户的当前位置，经由显示器，来显示具有三维数据集的图形表示的三维环境的地图数据。可以使用各种合适的显示器技术和配置来经由显示器114显示三维环境的地图数据和三维数据集的图形表示。例如，在虚拟现实hmd设备112b中，显示器114可以是不透明的显示器，诸如非透视的发光二极管(led)显示器、液晶显示器(lcd)或任何其他合适类型的不透明或其他非透视显示器。在增强现实hmd设备112a中，显示器114可以是透明显示器，其被配置成使增强现实hmd设备112a的穿戴者能够通过显示虚拟对象表示的一个或多个部分透明的像素来察看物理环境中的物理的现实世界的对象。在另一示例中，可以经由未被包括在计算设备的头戴式显示设备配置中的一个或多个显示器，来呈现三维环境的地图数据和三维数据集的图形表示。
62.当跟踪用户的位置以及用户的头部的位置和定向时，计算设备的处理器实现方法600可以包括：将用户的当前位置(包括所检测的用户的头部的位置和定向)与所放置的空间音频发射器的边界进行比较。在618处，方法600可以包括将用户的当前位置与用户的头部的位置和定向与所放置的空间音频发射器的边界进行比较，以及确定用户是在第一边界之外还是在第一边界之内。
63.在620处，方法600可以包括：响应于确定用户的位置在边界之外，经由一对近耳扬声器以空间音频模式播放空间音频发射器。在一个示例中，在方法600的620处，以空间音频模式播放空间音频发射器可以包括：在基于由传感器感测的用户的头部的位置和定向，使用与头部有关的传递函数处理音频样本之后，经由近耳扬声器回放单声道音频样本。因此，随着用户的头部实时地来回移动，实现方法600的计算设备的传感器检测定向的改变，并且计算设备的处理器可以应用与头部有关的传递函数来处理单声道音频样本，并且例如经由一对扬声器32对其进行回放，以便用户将其感知为源自虚拟环境56中音频发射器的位置。
在其他示例中，可以经由未被包括在计算设备的头戴式显示设备配置中的外部音频设备来播放空间音频发射器。例如，可以经由被配置成向用户输出空间音频的一个或多个扬声器来回放空间音频发射器。
64.另一方面，在622处，方法600可以包括：响应于确定用户的当前位置在边界内，停止以空间音频模式播放空间音频发射器，并开始以二维沉浸式立体声模式播放空间音频发射器。在一个示例中，可以在第一边界处或附近提供交叉淡入淡出区域，并且可以通过在用户的位置穿过交叉淡入淡出区域时，交叉淡入淡出两种类型的音频，来实现第一区域中的二维立体声和第二区域中的三维空间音频之间的转变。因此，根据在临近边界的交叉淡入淡出区域中执行的空间音频模式和立体声模式之间的交叉淡入淡出，可以逐渐完成上面讨论的回放的停止和开始。
65.在626处，方法600可以包括确定是否重新迭代步骤614至626。如图8所示的流程图中所图示的，方法600可以继续迭代步骤614至626，并且因此继续跟踪用户的当前位置以及用户的头部的位置和定向，基于用户的更新的位置来更新三维环境的所显示的地图数据和三维数据集的图形表示，将用户的更新的位置与放置在三维环境中的空间音频发射器的边界进行比较，以及确定是以空间音频模式还是二维沉浸式立体声模式播放附近的空间音频发射器，还是停止播放该空间音频发射器。
66.图8a示出了在步骤616和626之间的方法600的附加或备选步骤的流程图。如上所述，空间音频发射器具有围绕放置空间音频发射器的位置的发射器边界。在一个示例中，边界是第一边界，其限定涵盖音频发射器的第一区域，并且音频发射器还包括第二边界，其涵盖第一边界并且在第一边界和第二边界之间限定第二区域。因此，从步骤616前进到备选步骤618a，方法600可以包括：将用户的当前位置(包括所检测的用户的头部的位置和定向)与所放置的空间音频发射器的第一边界和第二边界进行比较，以及确定用户是在第一边界内、还是在第一边界与第二边界之间，还是在第二边界之外。
67.在备选步骤620a处，方法600可以包括：响应于确定用户的位置在第一边界和第二边界之间，经由一对近耳扬声器以空间音频模式播放空间音频发射器。
68.在备选步骤622a处，方法600可以包括：响应于确定用户的当前位置在第一边界内，停止以空间音频模式播放空间音频发射器，并开始以二维沉浸式立体声模式播放空间音频发射器。
69.在备选步骤624处，方法600可以包括：响应于确定用户的当前位置在第二边界之外，停止播放空间音频发射器。
70.如图8a中所图示的，所有这三个分支步骤都可以前进到图8中图示的步骤626。将理解，方法600可以前进到图8中所示的步骤和/或图8a中所示的备选步骤，这取决于所放置的空间音频发射器包括一个边界还是两个边界。
71.图9示意性地示出了可以执行上述方法和过程中的一个或多个的计算系统500的非限制性实施例。计算系统500以简化的形式示出。计算系统500可以实施上述两个示例hmd设备10。计算系统500可以采取以下形式：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备，以及可穿戴计算设备(诸如，智能手表和头戴式增强现实设备)。
72.计算系统500包括逻辑处理器502、易失性存储器504和非易失性存储设备506。计
算系统500可以可选地包括显示子系统508、输入子系统510、通信子系统512和/或图9中未示出的其他组件。
73.逻辑处理器502包括被配置成执行指令的一个或多个物理设备。例如，逻辑处理器可以被配置成执行作为一个或多个应用、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的指令。可以实现这种指令以执行任务、实现数据类型、变换一个或多个组件的状态、实现技术效果，或以其他方式达到期望的结果。
74.逻辑处理器可以包括被配置成执行软件指令的一个或多个物理处理器(硬件)。附加地或备选地，逻辑处理器可以包括被配置成执行硬件实现的逻辑或固件指令的一个或多个硬件逻辑电路或固件设备。逻辑处理器502的处理器可以是单核或多核，并且在其上执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑处理器的各个组件可选地可以分布在两个或更多个分离的设备中，这些设备可以被远程定位和/或配置成用于协同处理。逻辑处理器的各方面可以由在云计算配置中配置的远程可访问的联网的计算设备虚拟化和执行。将理解，在这种情况下，这些虚拟化方面在各种不同的机器的不同物理逻辑处理器上运行。
75.非易失性存储设备506包括一个或多个物理设备，其被配置成保持由逻辑处理器可执行的指令以实现本文所描述的方法和过程。当实现这种方法和过程时，可以变换非易失性存储设备504的状态例如以保持不同的数据。
76.非易失性存储设备506可以包括可移除和/或内置的物理设备。非易失性存储设备504可以包括光学存储器(例如，cd、dvd、hd-dvd、蓝光盘等)、半导体存储器(例如，rom、eprom、eeprom、flash存储器等)，和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、mram等)或其他大容量存储设备技术。非易失性存储设备506可以包括非易失性、动态、静态、读/写、只读、顺序访问、位置可寻址、文件可寻址和/或内容可寻址设备。应当理解，非易失性存储设备506被配置成即使在切断非易失性存储设备506的功率时也保持指令。
77.易失性存储器504可以包括物理设备，其包括随机存取存储器。逻辑处理器502通常利用易失性存储器504以在软件指令的处理期间临时存储信息。应当理解，当切断易失性存储器504的功率时，易失性存储器504通常不继续存储指令。
78.逻辑处理器502、易失性存储器504和非易失性存储设备506的各方面可以被集成在一起成为一个或多个硬件逻辑组件。例如，这种硬件逻辑组件可以包括现场可编程门阵列(fpga)、程序和应用专用集成电路(pasic/asic)、程序和应用专用标准产品(pssp/assp)、片上系统(soc)和复杂可编程逻辑器件(cpld)。
79.术语“模块”、“程序”和“引擎”可以被用来描述计算系统500的方面，通常由处理器以软件实现计算系统500的方面，以使用易失性存储器的各部分来执行特定功能，该功能涉及专门将处理器配置成执行该功能的变换性处理。因此，可以经由逻辑处理器502使用易失性存储器504的各部分执行由非易失性存储设备506保持的指令，来实例化模块、程序或引擎。应当理解，可以从相同的应用、服务、代码块、对象、库、例程、api、功能等来实例化不同的模块、程序和/或引擎。同样，可以由不同的应用、服务、代码块、对象、例程、api、功能等来实例化相同的模块、程序和/或引擎。术语“模块”、“程序”和“引擎”可以涵盖单独的或各组可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
80.当被包括时，显示子系统508可以被用来呈现由非易失性存储设备506保持的数据
的视觉表示。视觉表示可以采取图形用户界面(gui)的形式。由于本文所描述的方法和过程改变由非易失性存储设备保持的数据，并因此变换非易失性存储设备的状态，所以显示子系统508的状态同样可以被变换以在视觉上表示在基础数据中的改变。显示子系统508可以包括利用几乎任何类型的技术的一个或多个显示设备。这种显示设备可以在共享封装中与逻辑处理器502、易失性存储器504和/或非易失性存储设备506组合，或者这种显示设备可以是外围显示设备。
81.当被包括时，输入子系统510可以包括一个或多个用户输入设备(诸如键盘、鼠标、触摸屏或游戏控制器)或与其接口连接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(nui)组件或与其接口连接。这种组件可以是集成的或外围的，并且输入动作的转换和/或处理可以在板上或板外被处理。示例nui组件可以包括用于讲话和/或语音识别的麦克风；用于机器视觉和/或姿势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪；以及用于评估大脑活动的电场感测组件；和/或任何其他合适的传感器。
82.当被包括时，通信子系统512可以被配置成将本文所描述的各种计算设备彼此通信地耦合，并与其他设备通信地耦合。通信子系统512可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置成用于经由无线电话网络，或有线或无线局域网或广域网(诸如，通过wi-fi的hdmi连接)的通信。在一些实施例中，通信子系统可以允许计算系统500经由诸如因特网的网络向其他设备发送消息和/或从其他设备接收消息。
83.以下段落为主题申请的权利要求提供了附加的支持。一个方面提供了一种头戴式显示设备，其包括显示器、被配置成检测用户的头部的位置和定向的传感器、一对近耳扬声器和处理器，该处理器被配置成：接收三维环境的地图数据；接收三维数据集；在三维环境内的一个位置处，检测三维数据集中的预定义特征；将空间音频发射器锚放置在三维环境中的检测到该特征的位置中，空间音频发射器具有围绕该位置的发射器边界；基于来自传感器的信号来确定用户在虚拟环境中的当前位置；基于所确定的用户的当前位置，来显示具有三维数据集的图形表示的三维环境的地图数据；以及响应于确定用户的位置在边界之外，经由近耳扬声器以空间音频模式播放空间音频发射器。在这个方面，附加地或备选地，以空间音频模式播放空间音频发射器可以包括：在基于由传感器感测的用户的头部的位置和定向，使用与头部有关的传递函数处理音频样本之后，经由近耳扬声器播放单声道音频样本。在这个方面，附加地或备选地，三维数据集可以表示选自由大气现象、海洋现象、人群现象和交通现象组成的组中的现象。在这个方面，附加地或备选地，处理器可以被配置成调整由音频发射器播放的音频的特性。在这个方面，附加地或备选地，预定义特征可以是第一预定义特征，并且处理器可以进一步被配置成：在与第一数据集中的第一预定义特征的位置临近的位置处，检测对地图数据中的第二预定义特征的观察；以及基于对第一预定义特征和第二预定义特征的检测，调整由音频发射器播放的音频的特性。在这方面，附加地或备选地，可以从地图数据中的地形数据、建筑物数据、植被数据或道路数据中检测第二预定义特征。在这个方面，附加地或备选地，处理器可以被配置成：通过基于对第一预定义特征和第二预定义特征的检测而从多个音频样本中选择音频样本，来调整由音频发射器播放的音频的特性。在这个方面，附加地或备选地，处理器可以被配置成：基于对第一预定义特征和
第二预定义特征的检测，而从多个音频样本中选择两个或更多个音频样本，并且基于所选择的两个或更多个音频样本之间的混合，来调整由音频发射器播放的音频的特性。在这个方面，附加地或备选地，边界可以是第一边界，该第一边界限定涵盖音频发射器的第一区域，并且音频发射器还可以包括第二边界，第二边界涵盖第一边界并且在第一边界与第二边界之间限定第二区域，并且处理器可以进一步被配置成响应于确定用户的当前位置在第二边界之外，停止播放空间音频发射器。在这个方面，附加地或备选地，处理器可以进一步被配置成：响应于确定用户的当前位置在边界内，停止以空间音频模式播放空间音频发射器，并且开始以二维沉浸式立体声模式播放空间音频发射器。在这个方面，附加地或备选地，可以根据空间音频模式与立体声模式之间的交叉淡入淡出来完成该停止和开始，在临近边界的淡入淡出区域中执行交叉淡入淡出。
84.另一方面提供了一种方法，包括在计算设备的处理器处：接收三维环境的地图数据；接收三维数据集；在三维环境内的一个位置处，检测三维数据集中的预定义特征；将空间音频发射器锚放置在三维环境中的检测到该特征的位置中，空间音频发射器具有围绕该位置的发射器边界；基于来自传感器的信号来确定用户在虚拟环境中的当前位置，传感器被配置成检测用户的头部的位置和定向；经由显示器，基于所确定的用户的当前位置，来显示具有三维数据集的图形表示的三维环境的地图数据；以及响应于确定用户的位置在边界之外，经由一对近耳扬声器以空间音频模式播放空间音频发射器。在这个方面，附加地或备选地，以空间音频模式播放空间音频发射器包括：在基于由传感器感测的用户的头部的位置和定向，使用与头部有关的传递函数处理音频样本之后，经由近耳扬声器播放单声道音频样本。在这个方面，附加地或备选地，三维数据集可以表示选自由大气现象、海洋现象、人群现象和交通现象组成的组中的现象。在这个方面，附加地或备选地，方法可以进一步包括调整由音频发射器播放的音频的特性。在这个方面，附加地或备选地，预定义特征可以是第一预定义特征，并且该方法可以进一步包括：在与第一数据集中的第一预定义特征的位置临近的位置处，检测对地图数据中的第二预定义特征的观察；以及基于对第一预定义特征和第二预定义特征的检测，调整由音频发射器播放的音频的特性。在这方面，附加地或备选地，可以从地图数据中的地形数据、建筑物数据、植被数据或道路数据中检测第二预定义特征。在这个方面，附加地或备选地，该方法可以进一步包括：基于对第一预定义特征和第二预定义特征的检测，而从多个音频样本中选择音频样本，来调整由音频发射器播放的音频的特性。在这个方面，附加地或备选地，边界可以是第一边界，第一边界限定涵盖音频发射器的第一区域，并且音频发射器还包括第二边界，第二边界涵盖第一边界并且在第一边界与第二边界之间限定第二区域，并且方法可以进一步包括：响应于确定用户的当前位置在第二边界之外，停止播放空间音频发射器。在这个方面，附加地或备选地，方法可以进一步包括：响应于确定用户的当前位置在边界内，停止以空间音频模式播放空间音频发射器，并且开始以二维沉浸式立体声模式播放空间音频发射器。
85.另一方面提供了一种计算设备，该计算设备包括：传感器，被配置成检测用户的头部的位置和定向；一对近耳扬声器；以及处理器，被配置成：接收三维环境的地图数据；接收三维数据集；在三维环境内的一个位置处，检测三维数据集中的预定义特征；将空间音频发射器锚放置在三维环境中的检测到该特征的位置中，空间音频发射器具有围绕该位置的发射器边界；基于来自传感器的信号确定用户在三维环境中的当前位置；以及响应于确定用
户的位置在边界之外，经由近耳扬声器以空间音频模式播放空间音频发射器。
86.将理解，本文描述的配置和/或方法在本质上是示例性的，并且这些特定的实施例或示例不应当被视为具有限制意义，因为许多变型是可能的。本文描述的特定例程或方法可以表示任何数目的处理策略中的一个或多个处理策略。如此，所图示和/或描述的各种动作可以以所图示和/或描述的顺序、以其他顺序、并行地来执行或省略。同样，可以改变上述过程的次序。
87.本公开的主题内容包括本文公开的各种过程、系统和配置的所有新颖且非明显的组合和子组合以及其他特征、功能、动作和/或性质及其所有等价物。

技术特征：
1.一种头戴式显示设备，包括：显示器；一个或多个传感器，所述一个或多个传感器被配置成检测用户的头部的定位和定向；一对近耳扬声器；以及处理器，被配置成：接收三维环境的地图数据；接收三维数据集；在所述三维环境内的位置处，检测所述三维数据集中的第一特征，所述第一特征与在所述位置处的空间音频发射器锚相关联；在所述三维数据集中的所述第一特征的所述位置临近的位置处，检测对所述地图数据中的第二特征的观察；基于对所述第一特征和所述第二特征的所述检测，调整由所述音频发射器播放的音频的特性；基于来自所述一个或多个传感器的信号，确定所述用户的所述头部在所述三维环境中的当前的定位和定向；基于所确定的所述用户的所述头部的所述当前的定位和定向，显示具有所述三维数据集的图形表示的所述三维环境的所述地图数据；以及基于所述用户的所述头部的所述当前的定位和定向相对于所述空间音频发射器锚的所述位置，经由所述近耳扬声器播放所述空间音频发射器。2.根据权利要求1所述的头戴式显示设备，其中所述三维数据集表示选自由大气现象、海洋现象、人群现象和交通现象组成的组中的现象。3.根据权利要求1所述的头戴式显示设备，其中所述处理器被配置成：调整由所述音频发射器播放的音频的特性。4.根据权利要求1所述的头戴式显示设备，其中所述第二特征从所述地图数据中的地形数据、建筑物数据、植被数据或道路数据中被检测。5.根据权利要求1所述的头戴式显示设备，其中所述处理器被配置成：通过基于对所述第一特征和所述第二特征的所述检测从多个音频样本中选择音频样本，调整由所述音频发射器播放的所述音频的所述特性。6.根据权利要求5所述的头戴式显示设备，其中所述处理器被配置成：基于对所述第一特征和所述第二特征的所述检测，从所述多个音频样本中选择两个或更多个音频样本，并且基于所选择的所述两个或更多个音频样本之间的混合，调整由所述音频发射器播放的所述音频的所述特性。7.根据权利要求1所述的头戴式显示设备，其中所述空间音频发射器包括第一边界和第二边界，所述第一边界限定涵盖所述音频发射器的第一区域，所述第二边界涵盖所述第一边界并且限定在所述第一边界与所述第二边界之间的第二区域，并且其中所述处理器还被配置成：响应于确定所述用户的所述头部的所述当前的定位和方向在所述第一边界之外并且在所述第二边界之内，经由所述近耳扬声器以空间音频模式播放所述空间音频发射器；以及
响应于确定所述用户的所述头部的所述当前的定位和定向在所述第二边界之外，停止播放所述空间音频发射器。8.根据权利要求7所述的头戴式显示设备，其中以所述空间音频模式播放所述空间音频发射器包括：在基于由所述传感器感测的所述用户的所述头部的所述当前的定位和定向，使用与头部有关的传递函数处理单声道音频样本之后，经由所述近耳扬声器播放所述音频样本。9.根据权利要求7所述的头戴式显示设备，所述处理器还被配置成：响应于确定所述用户的所述头部的所述当前的定位和方向在所述第一边界内，停止以空间音频模式播放所述空间音频发射器，并且开始以二维沉浸式立体声模式播放所述空间音频发射器。10.根据权利要求9所述的头戴式显示设备，其中所述停止和所述开始是根据所述空间音频模式与所述立体声模式之间的交叉淡入淡出来完成的，所述交叉淡入淡出在临近所述第一边界的交叉淡入淡出区域中被执行。11.一种方法，包括：在计算设备的处理器处：接收三维环境的地图数据；接收三维数据集；在所述三维环境内的位置处，检测所述三维数据集中的第一特征，所述第一特征与在所述位置处的空间音频发射器锚相关联；在所述三维数据集中的所述第一特征的所述位置临近的位置处，检测对所述地图数据中的第二特征的观察；基于对所述第一特征和所述第二特征的所述检测，调整由所述音频发射器播放的音频的特性；基于来自一个或多个传感器的信号，确定所述用户的头部在所述三维环境中的当前的定位和定向；基于所确定的所述用户的所述头部的所述当前的定位和定向，显示具有所述三维数据集的图形表示的所述三维环境的所述地图数据；以及基于所述用户的所述头部的所述当前的定位和定向相对于所述空间音频发射器锚的所述位置，经由一对近耳扬声器播放所述空间音频发射器。12.根据权利要求11所述的方法，其中所述三维数据集表示选自由大气现象、海洋现象、人群现象和交通现象组成的组中的现象。13.根据权利要求11所述的方法，还包括调整由所述音频发射器播放的音频的特性。14.根据权利要求11所述的方法，其中所述第二特征从所述地图数据中的地形数据、建筑物数据、植被数据或道路数据中被检测。15.根据权利要求11所述的方法，其中所述方法还包括：通过基于对所述第一特征和所述第二特征的所述检测从多个音频样本中选择音频样本，调整由所述音频发射器播放的所述音频的所述特性。16.根据权利要求11所述的方法，其中所述空间音频发射器包括第一边界和第二边界，所述第一边界限定涵盖所述音频发射器的第一区域，所述第二边界涵盖所述第一边界并且
限定在所述第一边界与所述第二边界之间的第二区域，并且其中方法还包括：响应于确定所述用户的所述头部的所述当前的定位和方向在所述第一边界之外并且在所述第二边界之内，经由所述近耳扬声器以空间音频模式播放所述空间音频发射器；响应于确定所述用户的所述头部的所述当前的定位和定向在所述第二边界之外，停止播放所述空间音频发射器；以及响应于确定所述用户的所述头部的所述当前的定位和方向在所述第一边界内，停止以空间音频模式播放所述空间音频发射器，并且开始以二维沉浸式立体声模式播放所述空间音频发射器。17.根据权利要求16所述的方法，其中以所述空间音频模式播放所述空间音频发射器包括：在基于由所述传感器感测的所述用户的所述头部的所述当前的定位和定向，使用与头部有关的传递函数处理单声道音频样本之后，经由所述近耳扬声器播放所述音频样本。18.一种计算设备，包括：一个或多个传感器，所述一个或多个传感器被配置成检测用户的头部的定位和定向；一个或多个扬声器；以及处理器，被配置成：接收三维环境的地图数据；接收三维数据集；在所述三维环境内的位置处，检测所述三维数据集中的第一特征，所述第一特征与在所述位置处的空间音频发射器锚相关联；在所述三维数据集中的所述第一特征的所述位置临近的位置处，检测对所述地图数据中的第二特征的观察；基于对所述第一特征和所述第二特征的所述检测，调整由所述音频发射器播放的音频的特性；基于来自所述一个或多个传感器的信号，确定所述用户的所述头部在所述三维环境中的当前的定位和定向；以及基于所述用户的所述头部的所述当前的定位和定向相对于所述空间音频发射器锚的所述位置，经由所述一个或多个扬声器播放所述空间音频发射器。

技术总结
本公开的实施例涉及用于三维数据集的空间音频。提供了一种头戴式显示(HMD)设备，其包括显示器、位置和定向传感器以及扬声器。HMD设备包括处理器，该处理器被配置成：接收三维环境的地图数据；接收三维数据集；检测三维数据集中的预定义特征；将空间音频发射器锚放置在三维环境中的检测到该特征的位置中，空间音频发射器具有发射器边界；基于来自传感器的信号确定用户在虚拟环境中的当前位置；基于所确定的用户的当前位置，显示具有三维数据集的图形表示的三维环境的地图数据；以及响应于确定用户的位置在边界之外，经由近耳扬声器以空间音频模式播放空间音频发射器。频模式播放空间音频发射器。频模式播放空间音频发射器。


技术研发人员：D
受保护的技术使用者：微软技术许可有限责任公司
技术研发日：2018.04.21
技术公布日：2023/8/13