终端装置、终端装置的动作方法以及非瞬时性计算机可读取介质与流程

1.本公开涉及终端装置、终端装置的动作方法以及程序。


背景技术：

2.以往，已知一种多个用户利用虚拟空间进行对话的技术。例如，非专利文献1公开了，使用了光场显示器(light field display)的虚拟(virtual)面对面系统。
3.现有技术文献
4.非专利文献1：「google发表「魔法窗口」3d面对面装置project starline。立体视觉显示器上真实感受」、[online]、[2021年12月13日检索]、互联网《url:https://japanese.engadget.com/google-project-starline-044709034.html》


技术实现要素：

[0005]
发明要解决的问题
[0006]
在以往的技术中，向用户输出声音的方向被固定。因此，有时用户会因经由显示器看到的对话对象的位置不同，而对听到对话对象发出的声音等声音来的方向感觉到违和感(不协调感)。
[0007]
鉴于这一点而实现的本公开的目的在于，提供一种减轻用户对听到对话对象发出的声音的方向感觉到的违和感的技术。
[0008]
用于解决问题的手段
[0009]
本公开的一实施方式的终端装置，具备：
[0010]
显示器；和
[0011]
控制部，在下述直线与显示器的画面的交点上，形成输出所述对象发出的声音的虚拟声源，所述直线是将配置于从虚拟摄像头观察到的虚拟空间的对象的口部在真实空间上的位置和与所述显示器相对(相对向)的用户的头部的位置连结的直线。
[0012]
本公开的一实施方式的终端装置的动作方法，包括：
[0013]
在将配置于从虚拟摄像头观察到的虚拟空间的对象的口部在真实空间上的位置和与显示器相对向的用户的头部的位置连结的直线、与所述显示器的画面的交点上，形成输出所述对象发出的声音的虚拟声源。
[0014]
本公开的一实施方式的程序，使计算机执行动作，所述动作包括：
[0015]
在下述直线与显示器的画面的交点上，形成输出所述对象发出的声音的虚拟声源，所述直线是将配置于从虚拟摄像头观察到的虚拟空间的对象的口部在真实空间上的位置和与所述显示器相对向的用户的头部的位置连结的直线。
[0016]
发明效果
[0017]
根据本公开的一实施方式，能够减轻用户对听到对话对象发出的声音(来自)的方向感觉到的违和感。
附图说明
[0018]
图1是表示本公开的一实施方式的提供系统的概略构成的图。
[0019]
图2是图1所示的提供系统的框图。
[0020]
图3是表示图1所示的提供系统的动作步骤的时序图。
[0021]
图4是表示图2所示的终端装置的动作步骤的流程图。
[0022]
图5是表示图2所示的终端装置的动作步骤的流程图。
[0023]
图6是说明形成虚拟声源的交点的其他例的图。
[0024]
图7是说明形成虚拟声源的交点的又一例的图。
具体实施方式
[0025]
以下，针对本公开的实施方式，参照附图进行说明。
[0026]
如图1所示，提供系统1包含：至少1个服务器装置10、终端装置20a、终端装置20b。
[0027]
以下，在不特别区分终端装置20a和终端装置20b的情况下，将它们均记载为“终端装置20”。提供系统1包含2个终端装置20。但是，提供系统1也可以包含3个以上的终端装置20。
[0028]
服务器装置10和终端装置20能够经由网络2通信。网络2可以是包含移动体通信网以及互联网等的任意网络。
[0029]
提供系统1是用于提供虚拟事件的系统。虚拟事件是利用虚拟空间而被提供的事件。虚拟事件是用户使用终端装置20，作为参加者而能够参加的事件。在虚拟事件中，多个参加者能够通过说话等进行交流。在虚拟事件中，各参加者通过分别表示各个参加者的3维模型而表现。
[0030]
服务器装置10例如属于云计算系统或其他计算系统，是作为安装各种功能的服务器而发挥功能的服务器计算机。服务器装置10也可以由以能够通信的方式连接而协同工作的2个以上的服务器计算机构成。
[0031]
服务器装置10执行虚拟事件的提供所需的处理。例如，服务器装置10经由网络2向终端装置20发送虚拟事件的提供所需的信息。另外，服务器装置10对终端装置20a与终端装置20b之间的信息的收发进行中继。
[0032]
终端装置20例如是台式pc(personal computer)，平板pc、笔记本pc或智能手机等终端装置。
[0033]
终端装置20a由用户3a使用。终端装置20b由用户3b使用。用户3a使用终端装置20a来参加虚拟事件。用户3b使用终端装置20b来参加虚拟事件。
[0034]
终端装置20具备显示器24和4个扬声器25。但是，终端装置具备的扬声器25的数量并不限定于4个。终端装置20具备2个以上的扬声器25即可。
[0035]
显示器24例如是lcd(liquid crystal display)或有机el(electro luminescence)显示器等。显示器24例如是四边形。
[0036]
4个扬声器25分别配置于四边形的显示器24的4个角。扬声器25既可以配置于显示器24的周围的框，也可以埋入(嵌入)显示器24。但是，扬声器25可以设置于显示器24的任意部位。扬声器25也可以是方向性扬声器。方向性扬声器通过对声波赋予方向性，能够输出呈波束状生成了的声波的波束。
[0037]
针对终端装置20的动作的概要，以终端装置20a为例进行说明。终端装置20a使显示器24显示描画了对象4b的2维图像。对象4b是表示用户3b的3维模型。此外，显示于显示器24的部分图像4b是在将对象4b描画于2维图像的情况下的部分图像。终端装置20a在交点p1形成将对象4b发出的声音进行输出的虚拟声源。虚拟声源是虚拟的声源。虚拟声源例如通过调整2个以上的扬声器25的音量或方向性等而形成。在此，交点p1是下述直线与显示器24的画面的交点，所述直线是将对象4b的口部在真实空间上的位置与用户3a的头部的位置连结的直线。通过在这样的交点p1形成虚拟声源，对象4b发出的声音从交点p1向朝向用户3a的头的方向输出。因此，用户3a能够感觉到从对象4b的口部输出用户3b的声音。通过这样的构成，与输出对象4b发出的声音的声源被固定的情况相比，能够减轻用户3a对听到作为对话对象的对象4b发出的声音来的方向感觉到的违和感。
[0038]
以下，将真实空间的3维坐标系设为以显示器24为基准的xyz坐标系。但是，真实空间的3维坐标系也可以使用任意的坐标系。在本实施方式中，x方向与显示器24的画面的横方向对应。另外，y方向与显示器24的画面的纵方向对应。另外，z方向与用户3a面对显示器24的相对方向对应。显示器24的画面的横方向以及纵方向可以根据显示器24的规格而适当设定。
[0039]
(服务器装置的构成)
[0040]
如图2所示，服务器装置10具备：通信部11、存储部12、控制部13。
[0041]
通信部11包含能够与网络2连接的至少1个通信模块而构成。通信模块例如是与有线lan(local area network)或无线lan等规格对应的通信模块。但是，通信模块并不限定于此。通信模块可以对应于任意的通信规格。通信部11通过通信模块，经由有线lan或无线lan与网络2连接。
[0042]
存储部12包含至少1个半导体存储器、至少1个磁存储器、至少1个光存储器或它们中的至少2种组合而构成。半导体存储器例如是ram(random access memory)或rom(read only memory)等。ram例如是sram(static random access memory)或dram(dynamic random access memory)等。rom例如是eeprom(electrically erasable programmable read only memory)等。存储部12可以作为主存储装置、辅助存储装置或高速缓存(cache memory)发挥功能。存储部12存储在服务器装置10的动作中使用的数据、和通过服务器装置10的动作而得到的数据。
[0043]
控制部13包含至少1个处理器、至少1个专用电路或它们的组合而构成。处理器例如是cpu(central processing unit)或gpu(graphics processing unit)等通用处理器或专门进行特定处理的专用处理器。专用电路例如是fpga(field-programmable gate array)或asic(application specific integrated circuit)等。控制部13一边控制服务器装置10的各部，一边执行与服务器装置10的动作相关的处理。
[0044]
服务器装置10的功能通过由相当于控制部13的处理器执行本实施方式的处理程序而实现。也即是，服务器装置10的功能通过软件而实现。处理程序通过使计算机执行服务器装置10的动作而使计算机作为服务器装置10发挥功能。也即是，计算机按照处理程序执行服务器装置10的动作，由此作为服务器装置10发挥功能。
[0045]
服务器装置10的一部分或全部功能也可以通过相当于控制部13的专用电路而实现。也即是，服务器装置10的一部分或全部功能也可以通过硬件实现。
[0046]
(终端装置的构成)
[0047]
如图2所示，终端装置20具备：通信部21、输入部22、输出部23、传感器部26、存储部27、控制部28。
[0048]
通信部21包含能够与网络2连接的至少1个通信模块而构成。通信模块例如是与有线lan或无线lan等规格对应的通信模块、或与lte(long term evolution)，4g(4th generation)或5g(5th generation)等移动体通信规格对应的通信模块。但是，通信模块并不限定于此。通信模块可以与任意的通信规格对应。
[0049]
输入部22能够受理来自用户的输入。输入部22包含能够受理来自用户的输入的至少1个输入用接口而构成。输入用接口例如是，物理键、电容键、指示设备(pointing device)，与显示器24一体设置的触摸屏或麦克风等。但是，输入用接口并不限定于此。
[0050]
输出部23能够输出数据。输出部23包含能够输出数据的至少1个输出用接口而构成。输出用接口包含上述的显示器24以及扬声器25。但是，输出部23还可以包含显示器24以及扬声器25以外的输出用接口。
[0051]
传感器部26包含：拍摄被拍摄体而能够生成拍摄图像的摄像头、和能够测定距被拍摄体的距离的测距传感器。摄像头配置于能够将与显示器24相对向的用户作为被拍摄体而拍摄的位置。摄像头例如以15～30[fps]的帧速连续地拍摄被拍摄体。测距传感器配置于能够测定从显示器24到被拍摄体为止的距离的位置。测距传感器生成距离图像。距离图像是各像素的像素值与距离对应的图像。测距传感器例如包含tof(time of flight)摄像头、lidar(light detection and ranging)或立体摄像头等。
[0052]
存储部27包含至少1个半导体存储器、至少1个磁存储器、至少1个光存储器或它们中的至少2种组合而构成。半导体存储器例如是ram或rom等。ram例如是sram或dram等。rom例如是eeprom等。存储部27可以作为主存储装置、辅助存储装置或高速缓存发挥功能。存储部27中存储在终端装置20的动作中使用的数据、和通过终端装置20的动作而得到的数据。存储部27例如存储显示器24的画面的各像素在xyz坐标系中的位置信息。
[0053]
控制部28包含至少1个处理器、至少1个专用电路或它们的组合而构成。处理器例如是cpu或gpu等通用处理器或专门进行特定处理的专用处理器。专用电路例如是fpga或asic等。控制部28一边控制终端装置20的各部，一边执行与终端装置20的动作相关的处理。
[0054]
终端装置20的功能通过由与控制部28相当的处理器执行本实施方式的终端程序而实现。也即是，终端装置20的功能通过软件实现。终端程序通过使计算机执行终端装置20的动作，使计算机作为终端装置20发挥功能。也即是，计算机通过按照终端程序执行终端装置20的动作，作为终端装置20发挥功能。
[0055]
终端装置20的一部分或全部功能也可以通过相当于控制部28的专用电路而实现。也即是，终端装置20的一部分或全部功能也可以通过硬件实现。
[0056]
(提供系统的动作)
[0057]
图3是表示图1所示的提供系统1的动作步骤的时序图。以下，设为用户3a作为虚拟事件的管理者来设定虚拟事件。另外，设为用户3a以及用户3b作为参加者来参加虚拟事件。
[0058]
在步骤s1的处理中，在终端装置20a中，控制部28通过输入部22从用户3a受理设定信息的输入。设定信息是用于设定虚拟事件的信息。设定信息例如包含：虚拟事件的日程、讨论的主题以及参加者列表等。参加者列表包含：参加者的姓名、该参加者的电子邮件地
址。在此，参加者列表包含：作为参加者的用户3b的姓名、和用户3b的电子邮件地址。例如，控制部28经由通信部21，访问用于设定服务器装置10提供的虚拟事件的网站，取得用于输入设定信息的输入画面的数据。控制部28使该输入画面显示于显示器24，并提示给用户3a。用户3a观察输入画面，将设定信息从输入部22输入。
[0059]
在步骤s2的处理中，在终端装置20a中，控制部28将由输入部22受理的设定信息经由网络2通过通信部21向服务器装置10发送。
[0060]
在步骤s3的处理中，在服务器装置10中，控制部13经由网络2，从终端装置20a，通过通信部11接收设定信息。
[0061]
在步骤s4的处理中，在服务器装置10中，控制部13基于在步骤s3的处理中接收到的设定信息，设定虚拟事件。例如，控制部13生成认证信息。认证信息是用于认证使用终端装置20b参加虚拟事件的用户3b的信息。认证信息包含参加者id以及密码等。参加者id是用户3b作为参加者参加虚拟事件时使用的识别信息。
[0062]
在步骤s5的处理中，在服务器装置10中，控制部13将生成的认证信息经由网络2通过通信部11向终端装置20b发送。控制部13例如将认证信息附加在电子邮件中向终端装置20b发送。
[0063]
在步骤s6的处理中，在终端装置20b中，控制部28经由网络2从服务器装置10通过通信部21接收认证信息。控制部28接收附加于电子邮件的认证信息。
[0064]
在步骤s7的处理中，在终端装置20b中，控制部28通过输入部22从用户3b受理认证信息以及参加的申请信息的输入。例如，控制部28通过通信部21，访问用于设定服务器装置10提供的虚拟事件的网站，取得用于输入认证信息以及参加的申请信息的输入画面的数据。控制部28使该输入画面显示于显示器24，并提示给用户3b。用户3b观察输入画面，从输入部22输入附加于电子邮件的认证信息、和参加的申请信息。
[0065]
在步骤s8的处理中，在终端装置20b中，控制部28经由网络2通过通信部21向服务器装置10发送通过输入部22受理的认证信息以及参加的申请信息。
[0066]
在步骤s9的处理中，在服务器装置10中，控制部13经由网络2从终端装置20b，通过通信部11接收认证信息以及参加的申请信息。控制部13通过接收认证信息以及参加的申请信息，完成用户3b的参加受理(步骤s10)。
[0067]
在步骤s11的处理中，在服务器装置10中，控制部13经由网络2通过通信部11向终端装置20a，20b的每一个发送事件的开始通知。
[0068]
在步骤s12的处理中，在终端装置20a中，控制部28经由网络2通过通信部21从服务器装置10接收事件的开始通知。控制部28在接收到事件的开始通知时，开始用户3a说出的话等声音的收音，和/或开始用户3a的拍摄。
[0069]
在步骤s13的处理中，在终端装置20b中，控制部28经由网络2从服务器装置10，通过通信部21接收事件的开始通知。控制部28在接收到事件的开始通知时，开始用户3b说出的话等声音的收音，和/或开始用户3b的拍摄。
[0070]
在步骤s14的处理中，终端装置20a和终端装置20b经由服务器装置10实施虚拟事件。
[0071]
(终端装置的动作)
[0072]
图4是表示图2所示的终端装置20的动作步骤的流程图。图4所示的动作步骤是终
端装置20a，20b共同的动作步骤。图4所示的动作步骤是本实施方式的终端装置20的动作方法的一例。图4所示的动作步骤在图3所示的步骤s14的处理中执行。以下，对终端装置20b执行图4所示的动作步骤进行说明。
[0073]
在步骤s21的处理中，控制部28通过传感器部26取得用户3b的拍摄图像以及距离图像的数据。控制部28通过用输入部22的麦克风对用户3b说出的话等声音进行收音，取得声音数据。
[0074]
在步骤s22的处理中，控制部28通过对用户3b的拍摄图像的数据、用户3b的距离图像的数据、以及用户3b的声音数据进行编码，生成编码数据。该编码数据为了在终端装置20a中生成对象4b而被使用，对象4b是表示上述那样的用户3b的3维模型。控制部28可以在编码中对拍摄图像等执行任意的加工处理(例如分辨率变更以及裁剪等)。
[0075]
在步骤s23的处理中，控制部28将编码数据作为封包(packet)，经由网络2通过通信部21发送给服务器装置10。该编码数据经由服务器装置10被发送给终端装置20a。
[0076]
在步骤s24的处理中，控制部28判定是否通过输入部22受理了将拍摄以及收音中断的输入或从虚拟事件退出的输入。控制部28在判定为受理了将拍摄以及收音中断的输入或从虚拟事件退出的输入的情况下(步骤s24：是)，结束图4所示的动作步骤。控制部28在判定为没有受理到将拍摄以及收音中断的输入或从虚拟事件退出的输入的情况下(步骤s24：否)，返回至步骤s21的处理。
[0077]
图5是表示图2所示的终端装置20的动作步骤的流程图。图5所示的动作步骤是终端装置20a，20b共同的动作步骤。图5所示的动作步骤是本实施方式的终端装置20的动作方法的一例。图5所示的动作步骤在图3所示的步骤s14的处理中被执行。以下，对终端装置20a执行图5所示的动作步骤进行说明。
[0078]
在步骤s31的处理中，控制部28将编码数据经由网络2以及服务器装置10从终端装置20b通过通信部21而接收。
[0079]
在步骤s32的处理中，控制部28对接收到的编码数据进行解码。控制部28通过对编码数据进行解码，取得用户3b的拍摄图像的数据、用户3b的距离图像的数据、以及用户3b的声音数据。
[0080]
在步骤s33的处理中，控制部28使用用户3b的拍摄图像以及距离图像的数据，生成对象4b。例如，控制部28使用用户3b的距离图像的数据生成多边形模型，通过对多边形模型实施使用了用户3b的拍摄图像的数据的纹理映射，生成对象4b。但是，作为3维模型的对象的生成，并不限定于此。控制部28可以采用任意的方法生成对象。控制部28将生成的对象4b、和虚拟摄像头配置于虚拟空间。控制部28可以基于通过输入部22受理到的用户3a的操作输入来适当调整虚拟摄像头的位置、方向以及视野。
[0081]
在步骤s34的处理中，控制部28确定在从虚拟摄像头观察到的虚拟空间中配置的对象4b的口部的位置。控制部28可以通过图像解析等的任意方法，确定对象4b的口部的位置。
[0082]
在步骤s35的处理中，控制部28确定参照图1如上所述的形成虚拟声源的交点p1的位置。如上所述，交点p1是下述直线与显示器24的画面的交点，所述直线是将对象4b的口部在真实空间上的位置和用户3a的头部的位置连结的直线。
[0083]
在步骤s35的处理中，控制部28确定xyz坐标系中的、将对象4b的口部的位置和用
户3a的头部的位置连结的直线、与显示器24的画面的交点p1的位置。也即是，交点p1的位置作为xyz坐标系的位置而被特定。该情况下，控制部28通过将虚拟空间的坐标系变换为xyz坐标系的处理，根据在步骤s34的处理中确定出的对象4b的口部在虚拟空间上的位置，确定对象4b的口部在xyz坐标系的位置。另外，控制部28基于通过传感器部26取得的用户3a的拍摄图像以及距离图像的数据来确定用户3a的头部在xyz坐标系的位置。控制部28基于确定出的对象4b的口部在xyz坐标系的位置以及用户3a的头部在xyz坐标系的位置、和显示器24的画面的各像素在xyz坐标系的位置信息，确定交点p1的位置。
[0084]
在步骤s36的处理中，控制部28通过渲染生成从虚拟摄像头观察到的配置了对象4b的虚拟空间的2维图像。
[0085]
在步骤s37的处理中，控制部28使显示器24显示在步骤s36的处理中生成的2维图像。另外，控制部28通过适当调整2个以上的扬声器25的音量或方向性等，在步骤s35的处理中确定出的交点p1上形成虚拟声源。控制部28使在步骤s32的处理中取得的用户3b的声音作为对象4b发出的声音而从虚拟声源输出。控制部28当执行步骤s37的处理时，结束图5所示的动作步骤。其中，控制部28在编码数据被从终端装置20b发送至终端装置20a时，再度执行从步骤s31的处理起的动作步骤。
[0086]
像这样通过步骤s35～s37的处理，在交点p1形成输出对象4b发出的声音的虚拟声源。对象4b发出的声音从交点p1向朝向用户3a的头的方向输出。因此，用户3a能够感觉到正在从对象4b的口部输出用户3b的声音。通过这样的构成，与输出对象4b发出的声音的声源被固定的情况相比，能够减轻用户3a对听到作为对话对象的对象4b发出的声音来的方向感觉到的违和感。进而，通过将交点p1的位置确定为xyz坐标系的位置，能够更加减轻用户3a感觉到的违和感。
[0087]
在此，在步骤s35的处理中，对交点p1的位置被确定为xyz坐标系的位置进行了说明。但是，形成虚拟声源的交点的位置并不限定于xyz坐标系的交点p1的位置。形成虚拟声源的交点的位置也可以被确定为真实空间上的2维坐标系的位置。针对形成虚拟声源的交点的其他例，参照图6以及图7进行说明。
[0088]
图6是说明形成虚拟声源的交点的其他例的图。图6中，将配置于虚拟空间的对象4b的头部的位置在真实空间上用虚线表示。
[0089]
在图6中，形成虚拟声源的交点p1的位置被确定为yz坐标系的位置。yz坐标系是包含作为显示器24的纵方向的y方向、和用户3a与显示器24相对向的相对向方向即方向z的真实空间上的2维坐标系。
[0090]
控制部28确定yz坐标系中的、将对象4b的口部的位置和用户3a的头部的位置连结的直线、与显示器24的画面的交点p1的位置。控制部28在交点p1形成输出对象4b发出的声音的虚拟声源。
[0091]
通过将交点p1的位置确定为yz坐标系的位置，在yz坐标系中，对象4b发出的声音从交点p1向朝向用户3a的头的方向输出。通过这样的构成，与输出对象4b发出的声音的声源被固定的情况相比，能够减轻用户3a对听到对象4b发出的声音来的方向感觉到的违和感(不协调感)。
[0092]
图7是说明形成虚拟声源的交点的其他例的图。图7中，将配置于虚拟空间的对象4b的头部的位置在真实空间上用虚线表示。
[0093]
在图7中，形成虚拟声源的交点p1的位置作为xz坐标系的位置而被确定。xz坐标系是包含作为显示器24的横方向的x方向、和用户3a与显示器24相对向的相对向方向即方向z的真实空间上的2维坐标系。
[0094]
控制部28确定xz坐标系中的、将对象4b的口部的位置和用户3a的头部的位置连结的直线、与显示器24的画面的交点p1的位置。控制部28在交点p1形成输出对象4b2发出的声音的虚拟声源。
[0095]
通过将交点p1的位置确定为xz坐标系的位置，在xz坐标系中，对象4b发出的声音从交点p1向朝向用户3a的头的方向输出。通过这样的构成，与输出对象4b发出的声音的声源被固定的情况相比，能够减轻用户3a对听到对象4b发出的声音来的方向感觉到的违和感。
[0096]
在此，在反复执行上述的步骤s31～s37的处理的情况下，在步骤s34的处理中，控制部28可以在对象4b移动时重新确定对象4b的口部的位置。该情况下，在步骤s35的处理中，控制部28可以使用重新确定出的对象4b的口部的位置，重新确定交点p1的位置。另外，在步骤s37的处理中，控制部28可以在重新确定出的交点p1形成输出对象4b发出的声音的虚拟声源。通过这样的构成，即使由于用户3b活动而对象4b移动了的情况下，也能够减轻用户3a对听到对象4b发出的声音来的方向感觉到的违和感。
[0097]
另外，在反复执行上述的步骤s31～s37的处理的情况下，在步骤s35的处理中，控制部28可以在用户3a的头部移动时重新确定用户3a的头部的位置。控制部28可以使用重新确定出的用户3a的头部的位置，重新确定交点p1的位置。该情况下，在步骤s37的处理中，控制部28可以在重新确定出的交点p1形成输出对象4b发出的声音的虚拟声源。通过这样的构成，即使在由于用户3a活动而用户3a的头部活动了的情况下，也能够减轻用户3a对听到对象4b发出的声音来的方向感觉到的违和感。
[0098]
另外，在上述中，对对象是1个进行了说明。但是，对象可以是多个。例如，在参加虚拟事件的参加者是3人以上的情况下，对象可以成为多个。在对象是多个的情况下，控制部28可以在将多个对象的口部在真实空间上的位置和用户3a的头部的位置分别连结的直线、与显示器24的画面的各交点上，分别形成输出多个对象各自发出的声音的多个虚拟声源。该情况下，多个虚拟声源的数量可以与多个对象的数量相同。通过这样的构成，即使对话对象是多个，也能够减轻用户3a对听到多个对象各自发出的声音来的方向感觉到的违和感。
[0099]
另外，在上述中，控制部28也可以在将对象4b的口部在真实空间上的位置和用户3a的头部中的面部的中心位置连结的直线、与显示器24的画面的交点p1上，形成输出对象4b发出的声音的虚拟声源。控制部28在用户3a的面部面向显示器24的画面一方的情况下，也可以选择这样的构成。通过这样的构成，对象4b发出的声音从形成于交点p1的虚拟声源向朝向用户3a的面部的中心的方向输出。通过对象4b发出的声音被向朝向用户3a的面部的中心的方向输出，对象4b发出的声音能够向用户3a的2只耳朵均等地输出。通过对象4b发出的声音被向用户3a的2只耳朵均等地输出，能够更加减轻用户3a感觉到的违和感。
[0100]
另外，在上述中，控制部28也可以在将对象4b的口部在真实空间上的位置和用户3a的头部中的2只耳朵中的任一只的位置连结的直线、与显示器24的画面的交点p1上，形成输出对象4b发出的声音的虚拟声源。控制部28可以选择用户3a的2只耳朵中靠近显示器24的画面的一只耳朵。控制部28可以使用所选择出的耳朵的位置来确定交点p1的位置。通过
这样的构成，对象4b发出的声音从形成于交点p1的虚拟声源向朝向用户3b的耳朵的方向输出。通过对象4b发出的声音向朝向用户3b的耳朵的方向输出，能够更加减轻用户3a感觉到的违和感。
[0101]
另外，在上述中，控制部28也可以在将对象4b的口部在真实空间上的位置和用户3a的2只耳朵的位置分别连结的直线、与显示器24的画面的各交点p1上，形成输出对象4b发出的声音的虚拟声源。该情况下，形成与用户3a的左右耳分别对应的2个虚拟声源。通过这样的构成，由于对象4b发出的声音被输出至用户3a的双耳，所以能够更加减轻用户3a感觉到的违和感。
[0102]
这样在本实施方式的终端装置20中，例如，控制部28在交点p1形成输出对象4b发出的声音的虚拟声源。通过这样的构成，即使在输出对象4b发出的声音的声源被固定的情况下，也能够减轻用于3a对听到作为对话对象的对象4b发出的声音来的方向感觉到的违和感。
[0103]
基于各个附图以及实施例对本公开进行了说明，但是应当注意，本领域技术人员能够基于本公开进行各种变形以及改变。因此，应注意这些变形以及改变包含于本公开的范围中。例如，能够以各构成部或各步骤等所包含的功能等在逻辑上不矛盾的方式进行再配置，并且能够使多个构成部或步骤等组合成1个或进行分割。
[0104]
例如，在上述的实施方式中，对控制部28确定将对象4b的口部在真实空间上的位置和与显示器24相对向的用户3a的头部的位置连结的直线、与显示器24的画面的交点p1的位置进行了说明。也即是，对控制部28在真实空间上的坐标系中确定交点p1的位置进行了说明。但是，控制部28也可以在虚拟空间上的坐标系中确定交点p1的位置。也即是，控制部28也可以确定虚拟空间上的坐标系中的、将对象4b的口部的位置和与显示器24相对向的用户3a的头部的位置连结的直线、与显示器24的画面的交点p1的位置。
[0105]
例如，在上述的实施方式中，对终端装置20a和终端装置20b经由服务器装置10实施虚拟事件进行了说明。但是，终端装置20a和终端装置20b也可以不经由服务器装置10而实施虚拟事件。作为一例，终端装置20a和终端装置20b可以在用p2p(peer to peer)型的体系结构连接了的状态下，实施虚拟事件。
[0106]
例如，也可以是使通用的计算机作为上述的实施方式的终端装置20发挥功能的实施方式。具体而言，将记述了实现上述的实施方式的终端装置20的各功能的处理内容的程序保存于通用的计算机的存储器，通过处理器读出该程序而使其执行。因此，本公开也可以作为处理器能够执行的程序、或存储该程序的非瞬时性计算机可读取介质而实现。
[0107]
标号说明
[0108]
1提供系统
[0109]
2网络
[0110]
3a，3b用户
[0111]
4b对象
[0112]
4b部分图像
[0113]
10服务器装置
[0114]
11通信部
[0115]
12存储部
[0116]
13控制部
[0117]
20，20a，20b终端装置
[0118]
21通信部
[0119]
22输入部
[0120]
23输出部
[0121]
24显示器
[0122]
25扬声器
[0123]
26传感器部
[0124]
27存储部
[0125]
28控制部

技术特征：
1.一种终端装置，具备：显示器；和控制部，在下述直线与显示器的画面的交点上，形成输出所述对象发出的声音的虚拟声源，所述直线是将配置于从虚拟摄像头观察到的虚拟空间的对象的口部在真实空间上的位置和与所述显示器相对向的用户的头部的位置连结的直线。2.根据权利要求1所述的终端装置，所述控制部，在使用所确定出的所述用户的头部的位置来确定形成所述虚拟声源的交点的位置的情况下，当所述用户的头部移动时重新确定所述用户的头部的位置，使用重新确定出的所述用户的头部的位置来重新确定所述交点的位置。3.根据权利要求1所述的终端装置，所述控制部，在使用所确定出的所述对象的口部的位置来确定形成所述虚拟声源的交点的位置的情况下，当所述对象移动时重新确定所述对象的口部的位置，使用重新确定出的所述对象的口部的位置来重新确定所述交点的位置。4.根据权利要求1至3中任一项所述的终端装置，所述控制部，在将所述对象的口部在真实空间上的位置和所述用户的头部中的面部的中心位置连结的直线、与所述显示器的画面的交点上，形成所述虚拟声源。5.根据权利要求1至3中任一项所述的终端装置，所述控制部，在将所述对象的口部在真实空间上的位置和所述用户的头部中的2只耳朵中的任一只的位置连结的直线、与所述显示器的画面的交点上，形成所述虚拟声源。6.根据权利要求1至3中任一项所述的终端装置，所述控制部，在将所述对象的口部在真实空间上的位置和所述用户的头部中的2只耳朵的位置分别连结的直线、与所述显示器的画面的各交点上，分别形成所述虚拟声源。7.根据权利要求1至6中任一项所述的终端装置，所述控制部，在将真实空间上的3维坐标系中的、所述对象的口部的位置和所述用户的头部的位置连结的所述直线、与所述显示器的画面的交点上，形成所述虚拟声源。8.根据权利要求1至6中任一项所述的终端装置，所述控制部，在将真实空间上的2维坐标系中的、所述对象的口部的位置和所述用户的头部的位置连结的所述直线、与所述显示器的画面的交点上，形成所述虚拟声源。9.根据权利要求8所述的终端装置，所述真实空间上的2维坐标系是包含所述显示器的纵方向、和所述用户与所述显示器相对向的相对向方向的坐标系。10.根据权利要求8所述的终端装置，所述真实空间上的2维坐标系是包含所述显示器的横方向、和所述用户与所述显示器相对向的相对向方向的坐标系。11.根据权利要求1至10中任一项所述的终端装置，
所述控制部，在将多个所述对象的口部在真实空间上的位置和所述用户的头部的位置分别连结的直线、与所述显示器的画面的各交点上，分别形成输出所述多个对象各自发出的声音的多个所述虚拟声源。12.一种终端装置的动作方法，包括：在下述直线与显示器的画面的交点上，形成输出所述对象发出的声音的虚拟声源，所述直线是将配置于从虚拟摄像头观察到的虚拟空间的对象的口部在真实空间上的位置和与所述显示器相对向的用户的头部的位置连结的直线。13.一种非瞬时性计算机可读取介质，存储了程序，所述程序使计算机执行动作，所述动作包括：在下述直线与显示器的画面的交点上，形成输出所述对象发出的声音的虚拟声源，所述直线是将配置于从虚拟摄像头观察到的虚拟空间的对象的口部在真实空间上的位置和与所述显示器相对向的用户的头部的位置连结的直线。

技术总结
一种终端装置、终端装置的动作方法以及非瞬时性计算机可读取介质。减轻用户对听到对话对象发出的声音来的方向而感觉到的违和感。终端装置20具备显示器24和控制部28。控制部28在下述直线与与显示器24的画面的交点上，形成输出对象4B发出的声音的虚拟声源，所述直线是将配置于从虚拟摄像头观察到的虚拟空间的对象4B的口部在真实空间上的位置和与显示器24相对向的用户3A的头部的位置连结的直线。对向的用户3A的头部的位置连结的直线。对向的用户3A的头部的位置连结的直线。


技术研发人员：加来航
受保护的技术使用者：丰田自动车株式会社
技术研发日：2023.01.31
技术公布日：2023/8/5