用于提供触觉反馈的方法和系统与流程

1.本发明涉及用于提供触觉反馈的方法和系统，并且具体地用于为视频游戏环境提供触觉反馈的方法和系统。


背景技术：

2.近年来的媒体内容正变得越来越多感官化。除了在显示器上显示的传统视觉图形和从扬声器输出的音频元素之外，还可以采用触觉反馈来提供对与电影、音乐和游戏的“接触”的能触知的感觉。
3.与用户进行物理通信的致动器可以被配置为向用户提供隆隆声、振动或其它能触知的物理反馈，这些反馈可以与视听媒体内容相结合以提供增强的沉浸式多媒体体验。这种“触觉”反馈尤其越来越多地用在视频游戏中，以不仅提供改进的沉浸感，而且还提供作为向用户传达游戏内事件和氛围的附加形式。
4.触觉技术的最新进展使得能够向用户提供更复杂的触觉反馈，致动器由经过微调的信号驱动，这些信号被设计成输出范围广泛的能触知的感觉。因此，近年来的媒体内容越来越多地包含被设计成通过高保真致动器输出的高级触觉信号。
5.由于内容平台变得更加协同，随着元宇宙类型概念的出现，媒体内容通常由用户在各种设备上享受。然而，并不是所有这样的设备都需要复杂的触觉马达和/或致动器来实施被编码在现代媒体内容中的触觉信号，并且一些媒体回放设备可能完全缺乏向用户提供任何能触知的反馈的能力。另外，对于最初未被触觉反馈数据编码的媒体内容，难以为这种内容提供接触的感觉。
6.本发明试图缓解上述问题中的至少一些。


技术实现要素：

7.根据本公开的一方面，提供了一种用于提供伴随由媒体设备递送的媒体内容的触觉反馈的装置，该装置包括：检测模块，该检测模块被配置为确定与该装置相关联的触觉能力；接收模块，该接收模块被配置为从该媒体设备接收与该媒体内容相关联的媒体数据；以及触觉生成模块，该触觉生成模块被配置为基于所确定的触觉能力和接收到的媒体数据生成触觉信号。
8.该装置可以接收与正在另一个设备上递送或输出的媒体内容(例如，在tv上输出的电影，或在计算机设备上的视频游戏)相关的数据，在另一设备上的媒体递送的同时处理数据以根据该装置的触觉能力生成信号并实时输出伴随媒体内容的触觉反馈。以此方式，可以为在任何平台上享受的媒体内容生成和输出触觉反馈。通过将检测模块配置为确定装置本身的触觉能力，可以根据装置的特定情况和能力定制触觉信号的生成。
9.虽然该装置可以被配置为生成触觉信号并将所生成的触觉信号发送到一个或多个相关联的致动器以供输出，但是该装置本身可以包括一个或多个触觉致动器，并且该一个或多个触觉致动器可以被配置为基于所生成的触觉信号输出触觉反馈。在这种情况下，
检测模块可以被配置为确定该装置上的所述一个或多个触觉致动器的触觉能力。通过提供能够基于接收到的媒体输入和所确定的板载(on-board)触觉致动器的触觉能力来生成和输出触觉反馈的装置，可以递送伴随适合用户的需要的媒体内容的外围感官反馈。例如，该装置可以远离媒体设备定位，并且可以定位在某些位置中以便传输所生成的触觉反馈，如本文中描述。
10.该装置可以包括多个触觉致动器。所述多个触觉致动器中的至少一个可以被配置为基于所生成的触觉信号向所述多个触觉致动器中的一个或多个其它触觉致动器输出不同的触觉反馈，并且可选地每个触觉致动器可以被配置为基于所生成的触觉信号输出不同的触觉反馈。触觉致动器可以被内置到该装置或被连接使得它可被该装置的所有其它组件访问。在确定该装置的触觉能力时，该检测模块可以被配置为确定该装置中存在的触觉致动器的数量，和/或连接到该装置或可由该装置访问的触觉致动器的数量。所述多个触觉致动器中的每一个都可以具有不同的保真度，并且该检测模块也可以被配置为检测每个致动器的保真度。
11.该触觉生成模块可以被配置为生成具有多个信道的触觉信号。以与音频信道类似的方式，每个信道可以被配置用于在单独的触觉致动器上实施。例如，在该装置包括多个致动器的情况下，所述信道中的每一个都可以被配置为驱动该装置上的单独的触觉致动器。所述信道中的一个或多个可以被配置为从该装置发送到具有触觉能力的一个或多个附加设备。
12.所述媒体数据可以包括与所述媒体内容相关联的原始触觉信号。在这种情况下，该触觉生成模块可以被配置为根据所确定的与该装置相关联的触觉能力来修改接收到的触觉信号。例如，当检测到该装置具有将接收到的原始触觉信号再现到所需保真度所需的特定能力时，该触觉生成模块可以仅仅传递所述原始触觉信号作为输出。如果该检测模块确定该装置的触觉能力与输出原始信号所需的保真度不匹配或者包括附加的此类能力，则该触觉生成模块可以(例如，通过调制或通过滤波)修改所述原始信号并输出所述原始信号的修改版本作为所生成的信号。这种修改可以参考所述媒体数据中所包含的其它信息来执行。所述原始触觉信号可以被包含在媒体内容数据的标头中，或者可以与内容元数据集成或关联。
13.所述媒体数据可以包括一个或多个音频信号。该触觉生成模块可以被配置为基于所述一个或多个音频信号中的至少一个来生成触觉信号。所述媒体内容中的音频强度通常与媒体内容回放中的动作或感兴趣时刻的变化相关。通过基于所述媒体内容的一个或多个音频信号生成所述触觉信号，可以将动作或感兴趣时刻的变化与用户的能触知的感觉匹配。在一个或多个致动器处生成的触感通常包括振动，其类似于音频信号的扬声器处的振动。因此，音频信号可以为生成触觉信号提供良好的起始点。
14.接收到的音频信号可以以多种不同方式被该触觉生成模块用来生成所述触觉信号。该触觉生成模块可以被配置为对所述一个或多个音频信号中的至少一个执行低通滤波。该触觉生成模块可以被配置为确定所述一个或多个音频信号中的至少一个的低频效应。
15.触觉生成也可以基于其它来源。例如，所述媒体数据可以包括图形信息，例如来自所述媒体设备的输出视觉数据。该触觉生成模块可以被配置为解译由所述媒体设备描绘的
视觉场景并至少部分地基于所述视觉场景生成触觉信号。在其它示例中，所述媒体数据可以包括在所述媒体设备上渲染的场景的近似或低分辨率版本。触觉也可以响应于可以被检测和识别为具有高重要性的特定事件或者已经被预定为与触觉生成相关的事件(例如，爆炸或闪电可以从视觉上和语义上检测到，并且可以纯粹从语义上检测诸如角色升级或执行特定动作的事件)而生成。也可以由所述媒体数据表征和发送的其它事件包括由用户按下按钮和/或按键、语音聊天、通知和传入/传出消息。
16.如本文中所提到的，由所述触觉生成模块生成的一些或所有触觉信号可以被配置为被发送到另外的外部设备。该装置还可以包括通信模块，该通信模块被配置为与具有外部触觉能力的一个或多个外部设备进行通信。该通信模块可以被配置为将所生成的触觉信号的至少一部分发送到所述一个或多个外部设备。以此方式，该装置可以充当中央集线器，它首先从所述媒体设备接收媒体数据，解译数据并基于接收到的数据生成触觉反馈信号，并将触觉反馈分配到多个外围设备之间以提供伴随媒体内容的沉浸式的和潜在的远程感官反馈。在连接了多个附加的外部设备的情况下，该检测模块可以被配置为检测所述外部设备的触觉能力。该触觉生成模块然后可以另外基于检测到的所述外部设备的外部触觉能力来生成一个或多个触觉信号。换言之，所述触觉信号可以基于该装置可以访问(例如，该装置本身上以及通过通信模块连接到该装置的任何附加设备上)的所有触觉致动器的能力来生成。该装置可以包括用于检测其位置和/或定向的部件。例如，该检测模块可以被配置为检测该装置的位置和/或定向。可以参考另一设备(诸如媒体设备)来检测这样的信息。该触觉生成模块可以被配置为另外根据检测到的位置和/或定向信息来生成所述触觉信号。为此，该检测模块可以被配置为操作合适的部件，诸如gps定位单元或加速度计。在其中多个设备被配对或连接到该装置的示例中，该装置可以包括用于检测所连接的设备中的每一个的位置和/或定向信息的部件。替代地(或组合地)，所连接的设备中的一些或每一个可以包括它们自己的用于检测它们的相应位置和/或定向的部件。
17.所述媒体数据可以通过一种或多种不同的方式从所述媒体设备发送到该装置。例如，该媒体设备和该装置可以通过有线连接。该装置可以包括无线接收器，以接收由所述媒体设备无线发送的信号。该无线接收器可以是该接收模块或该通信模块的一部分，并且还可以被配置用于无线信号的发送。在本文中提及有线连接的情况下，这样的连接可以包括a、b或c型usb接口，和/或任何其它合适形式的有线数据传输。在提及无线连接的情况下，这可以例如经由蓝牙连接、nfc或通过诸如由信号传播的无线局域网的网络来建立。在连接多个装置和设备的情况下，将理解可以使用有线连接与无线连接的混合。生成和输出触觉反馈振动在一些情况下可能是能量密集型的。在一些示例中，该装置可以被配置为接收电力以对板载电源(诸如电池)进行再充电。这种电力可以经由有线传输或经由诸如感应或电容充电的无线方式接收。在一些示例中，信息(诸如由一个装置生成并被发送到另一个装置的媒体数据和/或触觉信号)的传达可以通过设备之间的电力传输本身来发送——例如，通过调制电力信号或其载波。
18.所述媒体内容可以是视频游戏内容并且所述媒体设备可以是计算机娱乐设备。计算机娱乐设备可以是pc、视频游戏控制台、手持设备(诸如智能电话或便携式控制台)。
19.该装置可以是智能电话。该检测模块、该接收模块和该触觉生成模块可能能够由安装在智能电话上的应用程序软件操作。在该装置包括通信模块的情况下，该模块也可能
能够由应用程序软件操作。
20.该装置还可以被配置为接收包括对触觉生成和/或输出的偏好的用户输入。例如，该接收模块可以被配置为接收用户输入。在该装置是智能电话的情况下，该用户输入可以通过合适的界面(例如显示在由用户可操作的触摸屏上的应用程序)而得到。该触觉生成模块可以被配置为另外根据接收到的用户输入来生成触觉信号。例如，用户可以通过用户输入来指定对触觉输出的强度(例如，信号的振幅)的偏好，或者指定时间，诸如信号通常应当被输出时(即，在媒体设备上进行媒体回放的同时)与信号实际上通过设备输出时之间的延迟。用户还可以指定该装置的确切位置——例如，位于胸袋或裤袋中、桌子上或与诸如键盘的外围设备接触。在多个设备与该装置连接的情况下，用户可以指定那些设备中的每一个的位置和/或定向。当输出所生成的触觉信号时，用户还可以指定要使用哪个连接的设备(例如，用户可以为某些输出“关闭”一些设备)。
21.在建立了多个设备的系统(例如，与多个外部设备连接的根据第一方面的装置)的情况下，所述设备中的每一个在构造和配置上可以与根据第一方面的装置相同。在一些示例中，这样的系统可以包括根据第一方面的单个装置和具有相同构造但不具有生成其自身的触觉信号的能力的一个或多个附加设备。换句话说，该系统可以包括一个装置，该装置被配置为接收媒体数据，检测与其相关联的触觉能力(例如，连接的系统的触觉能力)、生成信号并分配到仅具有必要组件的其它附加设备以接收所生成的触觉信号并通过一个或多个板载(或其它)触觉致动器输出接收到的信号。在一些示例中，该系统可以包括这样的设备与装置的混合。
22.该装置还可以包括传输接口，其用于通过接触将由触觉致动器生成的触觉反馈传输到一个或多个外围设备。所述外围设备中的一个或多个可以与所述媒体设备连接并且也可以是所述媒体设备的输入设备。由于该装置提供了用于生成和递送伴随所述媒体设备上的媒体内容的感官触觉输出的可能性，所以可以通过多种不同方式将该触觉输出递送到用户。例如，在该装置是智能电话的情况下，用户可以将该智能电话放在他或她的口袋中，同时在计算机上玩视频游戏。与正在计算机上玩的视频游戏有关的媒体数据可以被远程地发送到该智能电话，并且该智能电话可以根据检测到的电话的触觉能力和来自计算机的媒体数据来生成和输出触觉反馈。在其它示例中，该装置可以定位在其它位置中以便提供期望效果。例如，当用户正在计算机上玩视频游戏时，用户可以将诸如键盘和鼠标的外围设备作为输入设备连接到计算机。诸如usb键盘的大多数输入设备都没有配备触觉致动器。该装置可以被配置为允许物理连接到诸如键盘的外围设备，以允许来自触觉致动器的感官输出(例如，振动)被传输到键盘，由此赋予外围设备触觉反馈功能性。该接口可以包括用于将该装置固定到外围设备和用户中的一个或多个的部件。例如，该接口可以包括夹子或弹性部件，以允许该装置以与外围设备的物理连接固定，使得由该装置生成的触觉和振动被传输到该外围设备。其它连接方式可以包括例如钩环紧固件、按扣和纹理表面。该接口还可以被配置为保护与用户的连接。与装置的其余部分(或装置的表面)相比，该装置还可以包括振动的物理传导增加的区域。例如，区域可以包括松散组件以放大由任何相关联的触觉致动器生成的振动。
23.媒体数据可以例如包括关于来自外围设备(充当媒体设备的输入设备)的输入的信息。在键盘外围设备的情况下，当用户按下到媒体设备的击键输入时，媒体设备可以发送
信号作为媒体数据的一部分以指示该击键，并且该装置可以响应于(并指示)该击键生成并输出触觉信号。在一些示例中，该装置可以包括通信模块，该通信模块还被配置为与此类外围设备进行通信，使得外围设备信息(诸如如上所述的指示击键的信息)可以被直接传输到该装置。然后，该触觉生成模块可以至少部分地基于所述外围设备信息来生成触觉信号。媒体数据可以包括关于某些事件(诸如游戏中事件)的位置或位置信息。媒体数据可以包括可以被该触觉生成模块用来确定哪些触觉致动器、设备或装置要输出某些信号的信息。例如，如果视频游戏环境中的玩家面临物理“击打”，则媒体数据可以包括关于这些击打的位置的信息——例如，对胸部的击打，随后是对腿部的击打。如果根据本发明的一个装置定位在用户的胸袋中并且另一个装置定位在用户的裤袋中(这种定位可由该装置本身检测到或由用户通过用户输入显示指定)，则可以生成触觉信号使得在对胸部做出击打时输出胸部处的对应触觉反馈，并且在对腿部做出击打时输出对腿部的反馈。
24.根据本公开的另一方面，还提供了一种提供伴随由媒体设备递送的媒体内容的触觉反馈的方法，该方法包括：从该媒体设备接收与该媒体内容有关的媒体数据；确定触觉能力，基于所确定的触觉能力和接收到的媒体数据以及所生成的触觉反馈信号来生成触觉信号。
25.根据本公开的另一方面，还提供了一种提供伴随由媒体设备递送的媒体内容的触觉反馈的方法，该方法包括：从该媒体设备向第二设备发送媒体数据；在该第二设备处确定与该第二设备相关联的触觉能力；在该第二设备处基于所确定的触觉能力和接收到的媒体数据生成触觉信号；以及根据所生成的触觉信号在该第二设备处输出触觉反馈。
26.根据本公开的另一个方面，还提供了一种用于为媒体内容提供触觉反馈的系统，该系统包括：第一设备，该第一设备被配置为处理和输出媒体内容；第二设备，该第二设备被配置为从该第一设备接收媒体数据并基于接收到的媒体数据和所确定的该第二设备的触觉能力生成触觉信号，其中该第二设备被配置为在该第一设备输出所述媒体内容的同时输出所生成的触觉信号。
27.在一些示例中，该系统的第二设备可以是根据上文公开的第一方面的装置，其具有本文中结合该方面描述的任何一个或多个特征。换言之，系统可以包括被配置为处理和输出媒体内容的第一设备以及根据上文公开的第一方面的第二设备。
28.应当理解，关于本公开的每个方面所描述的任何一个特征或特征组合可以适用于和/或应用于本文中所描述的方面中的另一个方面，并具有它们的相关联的效果和优点。
附图说明
29.现在将通过示例的方式参考附图来描述本发明，在附图中：
30.图1示意性地例示了可以在其中实施示例装置和/或方法的示例桌面环境。
31.图2示意性地例示了可以在其中实施示例装置和/或方法的示例游戏环境。
32.图3示意性地例示了与用于视频游戏的示例控制器一起使用的示例装置。
33.图4是诸如被配置为实施示例方法的计算机的系统的示意性框图。
34.图5是示意性地例示如本文中所公开的示例方法的步骤的流程图。
具体实施方式
35.本公开的方面是一种用于提供伴随在另一设备上递送的媒体内容的触觉反馈的装置。图1例示了可以在其中实施这种装置的示例性环境。
36.桌面环境1包括示例装置10和游戏系统20，它们都直接或间接位于桌子30上或附近。
37.该示例中的游戏系统20被例示为包括与外围设备连接的桌上型计算机。特别地，游戏系统20包括桌上型立式机箱21，其经由未示出的有线或无线连接与输入设备22、23和显示监视器24连接。
38.桌上型立式机箱21包括加载和运行视频游戏环境所需的组件和配置，诸如中央处理器、cpu、图形处理单元、gpu、存储器和存储设备。在任何情况下，立式机箱21包括生成和/或递送媒体内容(例如，电影、视频游戏和其它交互式或多媒体体验)所必需的部件；内部组件和工作原理的细节将不会进行详细讨论。例如，在一些示例中，游戏环境可以被处理并从立式机箱21加载并且通过网络流式传输。
39.立式机箱21与输入部件22、23连接。输入部件22、23允许用户操作游戏系统20，以便控制由立式机箱21加载的媒体内容的方面，诸如游戏环境。这种输入部件的示例包括键盘22和鼠标23。立式机箱21还与显示监视器24连接，以用于输出由游戏系统生成的图形。也可以连接其它外围设备，诸如扬声器、头戴式受话器和/或麦克风。与传统游戏控制器不同，输入部件22、23通常不包括用于提供振动或触觉反馈的部件。换句话说，键盘22和鼠标23通常不包括触觉致动器。
40.桌面环境1还包括示例装置10。该示例中的装置10被例示为智能电话设备。在其它示例中(其中一些在下文讨论)，装置10采用不同于智能电话的形式。该示例中的装置10包括通信模块、处理器和多个触觉致动器。如本文中所描述，处理器与检测模块、接收模块和触觉生成模块相关联。在一些示例中，这些模块中的每一个都被包含并集成在处理器内。在其它示例中，模块与处理器分离并由处理器控制。通信模块被配置为并且可操作以允许经由有线或无线连接在装置10与游戏系统20(其可以例如具有桌上型立式机箱21中的类似通信模块)之间发送和接收信息。触觉致动器通常被配置为接收信号并例如根据该信号通过旋转马达输出振动。
41.在使用中，游戏系统20加载游戏环境，该游戏环境通过诸如监视器24的外围设备被递送到用户并且该游戏环境可由用户通过输入设备22、23来操作。用户可以通过游戏系统20享受媒体内容——在这种情况下是视频游戏。虽然游戏系统20通常被配置为能够操作视频游戏环境，并且以下示例是在此类视频游戏的上下文中例示的，但是应当理解，这种系统还可以递送其它多媒体内容，本文中所公开的技术也可以被应用于这些其它多媒体内容。例如，桌上型立式机箱21也可以被配置为递送电影和音乐，所述电影和音乐也可以伴随有触觉反馈。
42.如所提及的，系统20也与装置10连接。系统20实时地向装置10发送与运行的视频游戏有关的媒体数据。装置10接收媒体数据并检查与装置10相关联的触觉能力。然后，装置10分析接收到的媒体数据和所确定的触觉能力，以根据接收到的媒体数据和所确定的触觉能力来生成触觉信号。然后，所生成的触觉信号被发送到装置10访问的触觉致动器。此类步骤可以完全由装置10上的处理器来控制；即，该过程可以是计算机实施的。在图1中示出的
示例环境1中，这意味着用户将通过智能电话10体验与游戏(其通过监视器24查看并通过输入22、23控制)有关的触觉反馈。智能电话10可以被定位在适合用户的任何位置中以将物理振动传输到用户——诸如在用户的口袋中、桌子30上(其中来自装置10的振动将传输到桌子30和用户)或者与输入外围设备22、23中的一个接触，如图1中所示。
43.在一些情况下，装置10可以被配置为立即响应通过外围输入设备22、23的输入提供能触知的触觉反馈。例如，当用户按下键盘22上的特定键时，装置10可以输出反馈以确认键按压。这可以通过使桌面21上的处理器配置为检测键按压并将指示键按压的信号(例如，通过媒体数据)发送到装置10来实现，该装置将作为响应生成并输出指示该键按压的反馈。当装置10以图1中示出的方式布置且该装置与键盘22接触时，该装置可以生成对振动源自用户按压的键的感觉。在一些示例中，输入设备22、23可以包括它们自己的直接与装置10进行通信的部件。在一些情况下，不需要涉及桌面21并且键盘22可以例如直接将对键按压的指示传达到装置10，该装置然后相应地生成并输出触觉信号。
44.在示例环境1中，还提供了第二装置10a，其在构造和配置上与装置10类似——具有处理器、通信模块和一个或多个触觉致动器。第二装置10a(例如，通过它们的相应通信模块)与装置10“配对”，使得第二装置10a的触觉致动器是已知的并且可由装置10操作。当配对此类附加装置时，装置10将此类设备的触觉致动器识别为与其相关联的触觉能力的一部分。换言之，当该装置确定其触觉能力时，它识别装置10本身上的触觉致动器并且另外识别第二装置10a上的另外的触觉致动器。
45.在第二设备10a配对的情况下，当游戏系统20发送媒体数据时，装置10现在生成适于通过两个不同设备10、10a输出的触觉信号。在一些示例中，这两个设备可以被布置成间隔开并且装置10可以生成立体触觉信号。也就是说，触觉信号可以具有多个信道，每个信道被布置用于通过不同的触觉致动器输出。以此方式，这两个设备10、10a可以提供定向输出。在一些示例中，设备10、10a中的一个或全部可以包括用于检测每个设备的位置和定向的部件。每个这样的设备的位置和定向信息可以由装置10检测或收集，并且可以考虑该信息来生成触觉信号。例如，如果已知装置10在用户的“左侧”并且第二装置10a在用户的“右侧”，则装置10可以生成将某些元素输出到左侧并将某些其它元素输出到右侧的触觉信号。可以将多个此类设备配对以提供多向触觉反馈。设备的定向也可以被用来给出设备相对于用户的位置的近似：如果设备是竖直定向的，则设备可能位于站立用户的口袋中或支架上，并且如果平放，则该设备可能会平放在表面上或坐下的用户的口袋里。该信息还可以被用来为每个设备定制信号。
46.出于若干原因，确定装置10的触觉能力可能是重要的。首先，当该示例方法的步骤由安装在装置10上的应用程序软件(“app”)实施时，这样的app可以在许多不同种类的设备上运行，每个设备具有用于提供触觉反馈的各种不同的组件。如果过于复杂的触觉信号被生成并试图通过粗糙的隆隆声马达输出，则所得反馈可能被混淆甚至可能损坏致动器。因此，所生成的触觉反馈针对每个设备的特定触觉功能进行定制和优化是重要的。其次，处理发生的装置10可以通过有线或无线连接与具有触觉能力的多个设备连接。此类连接可能不会始终被维持，或者可能突然通过与新的附加设备的新连接来补充。因此，对能力的检查还检查连接了哪些设备，并相应地检查该装置当前访问的所有可用触觉致动器。
47.虽然图1将游戏系统20例示为桌上型计算机，但是在其它示例中该系统同样可以
采用其它形式。例如，游戏系统20可以是诸如playstation 5的游戏控制台。
48.在一些情况下，在游戏系统20上加载且运行的视频游戏可以包括预编码的触觉信号。此类信号通常被设计用于通过一个特定设备(例如通过控制台控制器)输出。因而，本发明的技术也可以应用于甚至修改预编码的触觉信号。因此，本文中所公开的媒体数据可以包括预编码的触觉信号，所述触觉信号可以由装置10分析并更改以产生适于装置10和任何连接的具有触觉能力的设备的输出。
49.在图2中，用户40正在玩在游戏系统20上运行的视频游戏，该游戏系统可通过输入控制器设备25进行操作。用户将装置10(类似于图1的装置10)放在他的口袋里。
50.作为在系统上运行的视频游戏的一部分，游戏系统20加载一组预编码的触觉信号，所述触觉信号通常被设计用于在输入控制器设备25上输出。游戏系统20将预编码的触觉信号实时发送到控制器设备25，该控制器设备通过控制器25上的触觉致动器输出适当的触觉反馈。
51.在该示例中，用户已经经由无线连接将他口袋中的装置10与游戏系统20配对。装置10从系统20接收媒体信息并检查装置10可访问的触觉能力。媒体信息可以由游戏中加载的预编码触觉信号组成，或者包括该预编码触觉信号作为更广泛信息的一部分。然后，装置10可以基于接收到的媒体信息和所确定的装置10可用的触觉能力来生成新的触觉信号，该触觉信号可以通过装置10访问的触觉致动器输出。
52.在一些示例中，装置10与游戏系统20之间的连接允许装置10间接访问控制器25的触觉能力。在其它示例中，装置10可以具有与控制器25的直接连接。在任一种情况下，装置10都可以从游戏系统20接收媒体数据并生成新信号以同时在控制器25和装置10上的触觉致动器上输出。与图1中示出的示例一样，装置10可以在生成触觉信号时考虑装置和控制器中的一个的定位和定向。在其它示例中，装置10根本不与控制器25连接并且生成独立的触觉信号以仅在装置10(和其它连接的设备)上输出。
53.虽然装置10在图1和图2中被例示为类似于智能电话设备，但是该装置可以采用其它形式。图3例示了被设计用于夹在输入控制器设备25上的装置10。该装置包括通信模块、一个或多个触觉致动器和用于夹在各种表面和外围设备上的夹子接口。在该示例中，装置10被夹在控制器25上。控制器可以具有其自身的触觉能力——其可以由装置10的触觉能力补充或增强——或者可以不具有任何振动或触觉致动能力。当装置10上的触觉致动器被激活以根据所生成的触觉信号输出反馈时，振动通过夹子接口通过接触传导到控制器，并通过控制器传导到用户。在一些示例中，夹子接口(或用于通过接触传输振动的类似接口)可以与装置10(诸如图1和图2中所描述的那些装置)集成。在一些示例中，装置10可以是专门被设计用于与某些外围设备一起使用的设备。例如，鼠标罩或鼠标垫可以与如本文中描述的装置10的组件集成。这种鼠标罩或鼠标垫通常被配置用于维持与鼠标23或其它输入设备接触，并且板载触觉致动器可以生成触觉反馈振动，所述触觉反馈振动通过接触传输到鼠标23并通过接触传输到用户。其它示例包括键盘垫(被配置为放置在键盘22下方)、键盘罩(被配置为放置在键的表面上)或键盘22的替换键帽。例如，与触觉致动器集成的替换键帽可以生成振动以供用户的指尖接收。在一些示例中，可以利用此类附件的组合来提供更沉浸式的体验。例如，呈键帽(例如，wasd键)或键盘罩或垫形式的装置10可以与鼠标垫或罩结合使用：键盘侧可以提供触觉反馈的左侧信道，并且鼠标侧可以提供触觉反馈的右侧信道
(在右撇子用户的情况下)。应当理解，键盘附件中的一个可以用作装置10，并且诸如鼠标附件的其它附件可以用作附加装置10a(或反之亦然)。将类似地理解，在触觉致动器驻留在智能电话内的情况下，智能电话可以类似地耦合到键盘或其它表面，例如使用可以粘附到键盘背面的封套、或在背面有包括容纳电话的凹槽的衬垫的鼠标垫或安装在例如手持控制器的后部上。
54.图4是被配置为提供触觉反馈连同媒体内容的示例系统的示意性框图。在该示例中，系统包括装置10和游戏系统20，这两者都位于表面30上或附近并且被布置为由用户40使用。还存在两个附加设备10a、10b。
55.示例游戏系统20例如可以是桌上型计算机或视频游戏控制台并且通常与至少一个输入外围设备22以及此处未示出的显示器和音频部件连接。系统20的细节与上文关于图1所描述的类似。
56.该示例中的装置10包括检测模块11、接收模块12和触觉生成模块13。装置10还可选地包括触觉致动器14和通信模块15。装置10与游戏系统20配对——换句话说，装置10与游戏系统20之间已经建立了合适的连接，使得两者之间可以交换信息。装置还与附加设备10a、10b无线连接(例如，经由蓝牙连接)。
57.在使用中，用户40经由一个或多个输入外围设备22操作由游戏系统20加载的视频游戏。系统20将关于游戏的数据作为媒体数据的一部分发送到装置10。接收模块12从游戏系统20接收媒体数据。在接收媒体数据的同时，检测模块11检测当前与装置10相关联的触觉能力。该检测可以在接收模块12处接收媒体数据之前、同时或之后执行。
58.在检测到装置10的触觉能力并接收到媒体数据的情况下，将两个信息都传递给触觉生成模块13，该触觉生成模块根据检测到的触觉能力和接收到的媒体数据来生成触觉信号。在媒体数据从游戏系统20以实时流连续发送到该装置的情况下，触觉生成模块13连续地处理数据以生成触觉信号。一旦生成，触觉信号就被发送到装置10访问的各种触觉致动器，诸如板载致动器14和附加设备10a、10b。所生成的触觉信号中的一些或全部可以由通信模块15发送到附加设备10a、10b。在一些示例中，所生成的触觉信号可以被发回到游戏系统20用于存储或更广泛的广播。在此类情况下，信号还可以连同指示在在生成时检测到的特定触觉能力的元数据一起被保存。
59.装置10可以被定位在表面30上或者与输入外围设备22中的一个或多个接触，以便向此类表面和外围设备提供触觉和振动。每个附加设备10a、10b也可以位于不同的位置，诸如在用户40的口袋中，或者在与装置10相同的表面或设备上但位于不同的位置和定向，以便提供多信道、多方向触觉反馈。装置10和附加设备10a、10b中的每一个还可以包括诸如加速度计的位置和/或定向检测部件，并且触觉生成模块13可以被配置为另外根据这样的位置/定向信息来生成触觉信号。
60.装置10可以构成或者包括被配置为实施本文中所公开的方法的计算机。该计算机可以包括处理器、至少一个存储器和输入/输出接口。处理器可以执行存储在存储器中的指令以执行此类方法。输入/输出接口可以被配置为接收媒体数据并输出所生成的触觉信号。
61.图5是示意性例示根据本发明的一般方法的步骤的流程图。
62.在步骤s110处，接收与由媒体设备递送的媒体内容有关的媒体数据。这可以例如通过控制输入单元接收媒体数据来完成。
63.在步骤s120处，确定当前触觉能力。当对触觉设备执行该方法时，确定与该触觉设备相关联的当前触觉能力。也就是说，确定了触觉设备访问的所有触觉致动器的触觉能力。
64.在步骤s130处，根据在步骤s110处接收到的媒体数据和在步骤s120处所确定的触觉能力来生成触觉信号。如果正接收连续的媒体数据流，则可以连续执行该步骤以生成新的触觉信号。
65.在步骤s140处，输出所生成的触觉信号。通过输出，信号本身可以仅输出并传输到具有触觉致动器的设备。信号也可以在与步骤s110到s130相同的设备上输出：即，信号可以被发送到相同设备上的触觉致动器，该相同设备上确定当前触觉能力并在其上生成信号。
66.所述步骤中的一些或所有可以以不同的顺序、彼此同时或连续地进行。例如，步骤s120可以先于步骤s110进行；即，检测与设备相关联的触觉能力的步骤可以在接收到该设备的媒体数据的步骤s110之前进行。在一些示例中，步骤s120可以连续进行，以便可以持续更新可用触觉能力的当前状态。可以定期进行更新。同样，步骤s110也可以连续进行，使得在连续流中发送和接收媒体数据。可以持续发送或以分组的形式发送该流。
67.在一些示例中，该方法跨至少两个设备执行。也就是说，第一设备加载并回放媒体内容。该设备将与媒体内容有关的媒体数据发送到第二设备，该第二设备执行步骤s110以接收媒体数据。第二设备然后执行步骤s120和s130以检测与第二设备相关联的触觉能力，然后基于接收到的媒体数据和检测到的触觉能力来生成触觉信号。第二设备然后执行步骤s140以输出所生成的触觉信号。这可以通过第二设备将触觉信号发送到一个或多个板载触觉致动器或者将触觉信号发送到具有触觉致动器的一个或多个附加设备以供输出(或两者的组合)来实现。
68.在一些示例中，该方法可以跨pc和移动设备(诸如智能电话)应用。pc可以加载游戏或其它多媒体内容以供用户消费。可以通过无线或有线连接将与游戏或其它内容有关的媒体数据发送到根据步骤s110接收它的智能电话。然后，智能电话可以检测与其相关联的触觉能力，并且基于检测到的能力和接收到的媒体数据，生成并与pc上的媒体内容同时输出触觉反馈。
69.在一些示例中，该方法还可以包括将触觉设备定位成与用户或外围设备接触使得由触觉设备输出的任何触觉反馈通过接触传输到用户或外围设备的附加步骤。在上述pc和智能电话的示例中，电话可以被定位为与连接到pc上的键盘接触，例如，以提供触觉反馈到键盘的传输。
70.在一些示例中，该方法还可以包括接收用户输入的附加步骤，该用户输入包括对触觉生成和/或输出的偏好。用户输入可以例如指定特定偏好或设置，通过它们可以生成触觉信号。在配对或连接多个设备或者多个触觉致动器可用的情况下，用户输入还可以指定要使用哪些设备和/或致动器中(且因此为它们生成的信号)，并且还指定这些多个设备和致动器的位置、定位和/或定向。对于接收到这样的用户输入的情况，可以另外根据该用户输入在步骤s130中生成触觉信号。在连续生成信号的情况下，可以在生成流程期间接收用户输入并且相应地修改信号。
71.也可以通过适当地修改图5的方法来做出本文中例如关于图1至图4描述的其它布置。

技术特征：
1.一种用于提供伴随由媒体设备递送的媒体内容的触觉反馈的装置，所述装置包括：检测模块，所述检测模块被配置为确定与所述装置相关联的触觉能力；接收模块，所述接收模块被配置为从所述媒体设备接收与所述媒体内容相关联的媒体数据；触觉生成模块，所述触觉生成模块被配置为基于所确定的触觉能力和接收到的媒体数据生成触觉信号；以及传输接口，所述传输接口用于将由相关联的触觉致动器生成的触觉反馈传输到与所述媒体设备连接的一个或多个外围设备。2.根据权利要求1所述的装置，还包括一个或多个触觉致动器，其中所述一个或多个触觉致动器被配置为基于所生成的触觉信号输出触觉反馈。3.根据权利要求2所述的装置，其中所述检测模块被配置为确定所述一个或多个触觉致动器的触觉能力。4.根据权利要求1所述的装置，其中所述触觉生成模块被配置为生成具有多个信道的触觉信号。5.根据任一前述权利要求所述的装置，包括多个触觉致动器，其中所述多个触觉致动器中的至少一个被配置为基于所述触觉信号向所述多个触觉致动器中的一个或多个其它触觉致动器输出不同的触觉反馈。6.根据权利要求1所述的装置，其中所述媒体数据包括与所述媒体内容相关联的原始触觉信号。7.根据权利要求1所述的装置，其中所述媒体数据包括一个或多个音频信号，并且所述触觉生成模块被配置为基于所述一个或多个音频信号中的至少一个生成触觉信号。8.根据权利要求7所述的装置，其中所述触觉生成模块被配置为执行从由以下项组成的列表中选择的一项或多项：i.对所述一个或多个音频信号中的至少一个的低通滤波；以及ii.对所述一个或多个音频信号中的至少一个的低频效应lfe的确定。9.根据权利要求1所述的装置，还包括通信模块，所述通信模块被配置为与具有外部触觉能力的一个或多个外部设备进行通信并且将所生成的触觉信号的至少一部分发送到所述一个或多个外部设备。10.根据权利要求9所述的装置，其中所述检测模块被配置为检测所述外部设备的外部触觉能力，并且所述生成模块被配置为另外基于由所述检测模块检测到的所述外部设备的能力来生成所述触觉信号。11.根据权利要求1所述的装置，还包括无线接收器以接收由所述媒体设备无线发送的信号。12.根据权利要求1所述的装置，其中所述媒体内容是视频游戏内容并且所述媒体设备是计算机娱乐设备。13.根据权利要求1所述的装置，其中所述装置是智能电话，并且所述检测模块、所述接收模块和所述触觉生成模块中的每一个能够由安装在所述智能电话上的应用软件操作。14.一种提供伴随由媒体设备递送的媒体内容的触觉反馈的方法，所述方法包括：从所述媒体设备向第二设备发送媒体数据；
在所述第二设备处确定与所述第二设备相关联的触觉能力；在所述第二设备处基于所确定的触觉能力和接收到的媒体数据生成触觉信号，根据所生成的触觉信号在所述第二设备处输出触觉反馈，以及输出触觉反馈的步骤包括将由所述第二设备的致动器生成的触觉反馈传输到外围设备中的一个或多个。15.一种用于为媒体内容提供触觉反馈的系统，包括：第一设备，所述第一设备被配置为处理并输出媒体内容，第二设备，所述第二设备被配置为从所述第一设备接收媒体数据并基于接收到的媒体数据和所确定的与所述第二设备相关联的触觉能力生成触觉信号，其中所述第二设备被配置为通过所述第二设备访问的触觉致动器输出所生成的触觉信号。

技术总结
根据本发明，提供了一种用于提供伴随由媒体设备递送的媒体内容的触觉反馈的装置，该装置包括：检测模块，该检测模块被配置为确定与该装置相关联的触觉能力；接收模块，该接收模块被配置为从该媒体设备接收与该媒体内容相关联的媒体数据；触觉生成模块，该触觉生成模块被配置为基于所确定的触觉能力和接收到的媒体数据生成触觉信号；以及传输接口，该传输接口用于将由相关联的触觉致动器生成的触觉反馈传输到与该媒体设备连接的一个或多个外围设备。围设备。围设备。


技术研发人员：A
受保护的技术使用者：索尼互动娱乐股份有限公司
技术研发日：2023.02.10
技术公布日：2023/8/14