信息处理方法、信息处理装置以及非瞬时性计算机可读取介质与流程

1.本公开涉及信息处理方法、信息处理装置以及程序。


背景技术：

2.以往，已知一种远程面对面交流装置，由可见光影像摄像头从显示影像的显示装置侧拍摄从正面观察显示装置的显示面的被摄体的第1影像，由距离摄像头拍摄表示到被摄体为止的距离的距离影像，根据由可见光影像摄像头拍摄到的第1影像，使用由距离摄像头拍摄到的距离影像，生成从与可见光影像摄像头的位置不同位置拍摄到的第2影像(例如专利文献1)。
3.现有技术文献
4.专利文献1：日本特开2011-166316号公报


技术实现要素：

5.发明要解决的问题
6.在上述背景技术那样的视频会议中，有时因传感器的视觉识别性不同，与对话对象的距离变大。该情况下，无法一边取得眼神交流一边进行谈话。
7.鉴于该情况而做出的本公开的目的在于，提供一种信息处理方法、信息处理装置以及程序，能够提供能同时取得眼神交流(eye contact)的对话的视频通话。
8.用于解决问题的手段
9.本公开的一实施方式的信息处理方法，由信息处理装置执行，所述信息处理装置能够与第1用户终端以及第2用户终端进行通信，
10.所述第1用户终端包含第1显示部，所述第1显示部由第1用户目视，
11.所述第2用户终端包含第2显示部，所述第2显示部由第2用户目视，
12.所述信息处理方法包括：
13.生成由设置于第1虚拟空间内的第1虚拟摄像头拍摄到的第1用户所对应的第1对象图像；
14.生成由设置于第2虚拟空间内的第2虚拟摄像头拍摄到的第2用户所对应的第2对象图像；
15.将所述第1对象图像向所述第2用户终端发送；以及
16.将所述第2对象图像向所述第1用户终端发送，
17.在所述第2虚拟空间中，所述第2用户被配置成从所述第2虚拟摄像头离开与实际空间中的从所述第1用户到所述第1显示部为止的物理距离相同的距离，并由所述第2虚拟摄像头进行渲染，
18.在所述第1虚拟空间中，所述第1用户被配置成从所述第1虚拟摄像头离开与实际空间中的从所述第2用户到所述第2显示部为止的物理距离相同的距离，并由所述第1虚拟
摄像头进行渲染。
19.本公开的一实施方式的信息处理装置，能够与第1用户终端以及第2用户终端进行通信，且包含控制部，
20.所述第1用户终端包含第1显示部，所述第1显示部由第1用户目视，
21.所述第2用户终端包含第2显示部，所述第2显示部由第2用户目视，
22.所述控制部执行动作，该动作包括：
23.生成由设置于第1虚拟空间内的第1虚拟摄像头拍摄到的第1用户所对应的第1对象图像；
24.生成由设置于第2虚拟空间内的第2虚拟摄像头拍摄到的第2用户所对应的第2对象图像；
25.将所述第1对象图像向所述第2用户终端发送；以及
26.将所述第2对象图像向所述第1用户终端发送，
27.在所述第2虚拟空间中，所述第2用户被配置成从所述第2虚拟摄像头离开与实际空间中的从所述第1用户到所述第1显示部为止的物理距离相同的距离，并由所述第2虚拟摄像头进行渲染，
28.在所述第1虚拟空间中，所述第1用户被配置成从所述第1虚拟摄像头离开与实际空间中的从所述第2用户到所述第2显示部为止的物理距离相同的距离，并由所述第1虚拟摄像头进行渲染。
29.本公开的一实施方式的程序，使作为能够与第1用户终端以及第2用户终端进行通信的信息处理装置的计算机执行动作，
30.所述第1用户终端包含第1显示部，所述第1显示部由第1用户目视，
31.所述第2用户终端包含第2显示部，所述第2显示部由第2用户目视，
32.所述动作包括：
33.生成由设置于第1虚拟空间内的第1虚拟摄像头拍摄到的第1用户所对应的第1对象图像；
34.生成由设置于第2虚拟空间内的第2虚拟摄像头拍摄到的第2用户所对应的第2对象图像；
35.将所述第1对象图像向所述第2用户终端发送；以及
36.将所述第2对象图像向所述第1用户终端发送，
37.在所述第2虚拟空间中，所述第2用户被配置成从所述第2虚拟摄像头离开与实际空间中的从所述第1用户到所述第1显示部为止的物理距离相同的距离，并由所述第2虚拟摄像头进行渲染，
38.在所述第1虚拟空间中，所述第1用户被配置成从所述第1虚拟摄像头离开与实际空间中的从所述第2用户到所述第2显示部为止的物理距离相同的距离，并由所述第1虚拟摄像头进行渲染。
39.发明效果
40.根据本公开的一实施方式的信息处理方法、信息处理装置以及程序，能够提供能进行同时取得眼神交流的对话的视频通话。
附图说明
41.图1是信息处理系统的示意图。
42.图2是表示信息处理装置的构成的框图。
43.图3是表示第1用户终端的构成的框图。
44.图4是表示第2用户终端的构成的框图。
45.图5是表示对话db(database)的数据结构的图。
46.图6是表示第1用户侧的对话的图。
47.图7是表示第2用户侧的对话的图。
48.图8是表示在图6所示的对话中第1用户发生了移动时的对话的图。
49.图9是表示信息处理装置的动作的流程图。
具体实施方式
50.图1是本实施方式的信息处理系统s的示意图。信息处理系统s包含能够经由网络nw彼此通信的信息处理装置1、第1用户终端2以及第2用户终端3。网络nw包含例如移动体通信网或互联网。
51.在图1中为了便于说明，一个一个地图示信息处理装置1、第1用户终端2、以及第2用户终端3。但是，信息处理装置1、第1用户终端2以及第2用户终端3的数量不限于此。例如，本实施方式的信息处理装置1执行的处理可以通过分散配置的多个信息处理装置1执行。
52.信息处理装置1设置于数据中心等设施。信息处理装置1是属于云计算系统或其他计算系统的服务器等计算机。
53.参照图2，详细说明信息处理装置1的内部构成。
54.信息处理装置1包含控制部11、通信部12以及存储部13。信息处理装置1的各构成要素例如能够经由专用线彼此通信地连接。
55.控制部11例如包含1个以上的通用处理器，该1个以上的通用处理器包含cpu(central processing unit)或mpu(micro processing unit)。控制部11可以包含专用于特定处理的1个以上的专用处理器。控制部11也可以包含1个以上的专用电路来取代包含处理器。专用电路例如可以是fpga(field-programmable gate array)、或asic(application specific integrated circuit)。控制部11也可以包含ecu(electronic control unit)。控制部11经由通信部12，发送和接收任意信息。
56.通信部12包含用于与网络nw连接的与1个以上的有线或无线lan(local area network)标准对应的通信模块。通信部12可以包含与1个以上的移动体通信标准对应的模块，1个以上的移动体通信标准包含lte(long term evolution)、4g(4th generation)、或5g(5th generation)。通信部12可以包含与1个以上的近距离通信的标准或规格对应的通信模块等，1个以上的近距离通信的标准或规格包含bluetooth(注册商标)、airdrop(注册商标)、irda、zigbee(注册商标)、felica(注册商标)、或rfid。通信部12经由网络nw对任意的信息进行发送以及接收。
57.存储部13包含例如半导体存储器、磁存储器、光存储器、或它们中至少2种的组合，但不限于此。半导体存储器例如是ram或rom。ram例如是sram或dram。rom例如是eeprom。存储部13也可以作为例如主存储装置、辅助存储装置、或缓冲存储器发挥作用。存储部13可以
存储由控制部11分析或处理的结果的信息。存储部13可以存储与信息处理装置1的动作或控制相关的各种信息等。存储部13可以存储系统程序、应用程序、以及嵌入式软件等。存储部13也可以设置于信息处理装置1的外部，被信息处理装置1访问。存储部13包含后述的对话db。
58.第1用户终端2是由用户操作的终端。第1用户终端2例如可以是pc等通用设备或专用设备。“pc”是personal computer的缩略语。作为代替例，第1用户终端2可以是便携电话机、智能手机、可携带设备、或平板等移动设备。
59.参照图3详细说明第1用户终端2的内部构成。
60.第1用户终端2包含：控制部21、通信部22、存储部23、输入部24、输出部25、显示部26以及拍摄部27。第1用户终端2的各构成要素能够经由例如专用线彼此通信地连接。
61.第1用户终端2的控制部21、通信部22、以及存储部23的硬件构成可以与信息处理装置1的控制部11、通信部12以及存储部13的硬件构成相同。在此省略说明。
62.输入部24例如是麦克风、物理键、静电电容键、定点设备(pointing device)、或与显示器一体设置的触摸屏。输入部24受理对在第1用户终端2的动作中使用的信息进行输入的操作。输入部24也可以取代为第1用户终端2所具备而作为外部的输入设备与第1用户终端2连接。作为连接方式，例如可以使用usb、hdmi(注册商标)或bluetooth(注册商标)等任意方式。
63.输出部25包含输出信息并向用户通知的1个以上的输出接口。例如，输出部25所包含的输出接口是用声音输出信息的扬声器等，但不限于此。
64.显示部26例如是显示器。显示器例如是lcd或有机el显示器。“lcd”是liquid crystal display的缩略语。“el”是electro luminescence的缩略语。显示部26也可以取代为第1用户终端2所具备而作为外部的输出设备而与第1用户终端2连接。作为连接方式，例如能够使用usb、hdmi(注册商标)、或bluetooth(注册商标)等任意的方式。“usb”是universal serial bus的缩略语。“hdmi(注册商标)”是high-definition multimedia interface的缩略语。显示部26例如包含光场显示器(lfd：light field display)。
65.拍摄部27包含摄像头，对图像进行拍摄。例如拍摄部27可以包含3d全息用的2台摄像头、和眼睛位置跟踪用的1台摄像头。图像也可以是静止图像和动态图像中的任一个。拍摄部27可以生成图像，将生成的图像记录于存储部13。
66.第2用户终端3是由用户操作的终端。第2用户终端3例如可以是pc等通用设备或专用设备。“pc”是personal computer的缩略语。作为代替例，第2用户终端3可以是便携电话机、智能手机、可携带设备、或平板等移动设备。
67.参照图4详细说明第2用户终端3的内部构成。
68.第2用户终端3包含：控制部31、通信部32、存储部33、输入部34、输出部35、显示部36、以及拍摄部37。第2用户终端3的各构成要素例如经由专用线以能够彼此通信的方式连接。
69.针对第2用户终端3的控制部31、通信部32、存储部33、输入部34、输出部35、显示部36、以及拍摄部37的硬件构成的说明，可以与第1用户终端2的控制部21、通信部22、存储部23、输入部24、输出部25、显示部26、以及拍摄部27的说明相同。在此省略说明。
70.以下，对由本实施方式的信息处理系统s执行的处理进行说明。在此，操作第1用户
终端2的第1用户、和操作第2用户终端3的第2用户进行视频通话。第1用户目视(注视)第1用户终端2的显示部26(也称为第1显示部)。第2用户目视第2用户终端3的显示部36(也称为第2显示部)。第1用户终端2的控制部21使用拍摄部27拍摄第1用户，使用输入部24的麦克风取得第1用户的声音。控制部21将关于第1用户的图像和声音向信息处理装置1发送。信息处理装置1的控制部11根据所取得的图像生成第1对象图像。生成处理的详情稍后说明。控制部11将第1对象图像以及声音向第2用户终端3发送。第2用户终端3将所取得的第1对象图像显示于显示部36，并使所取得的声音从输出部35的扬声器输出。
71.第2用户收看关于第1用户的第1对象图像以及声音，对第1用户进行回话。第2用户终端3的控制部31使用拍摄部37拍摄第2用户，使用输入部34的麦克风取得第2用户的声音。控制部31将关于第2用户的图像和声音向信息处理装置1发送。信息处理装置1的控制部11根据关于第2用户的图像，生成第2对象图像。信息处理装置1的控制部11对关于第2用户的图像以及声音所执行的处理可以与信息处理装置1的控制部11对关于第1用户的图像以及声音所执行的处理相同。在此省略说明。
72.如图5所示，控制部11将第1对象图像m01和第2对象图像m02与对话id关联而存储于存储部13。
73.详细说明第1对象图像以及第2对象图像的生成处理。
74.控制部11例如可以使用3维计算机图形的技术来生成第1对象图像以及第2对象图像。第1对象图像以及第2对象图像是通过将3维空间内的虚拟立体物转换为2维平面上的信息而生成的、具有进深感(立体感)的图像。在生成过程中进行的建模(modeling)、场景布局(scene layout)设定、渲染(rendering)以及润饰中的至少1个能够适用任意的方法。
75.如图6所示，在实际空间rs中，第1用户p01朝向第1用户终端2的显示部26以及拍摄部27发话。将从第1用户p01到显示部26为止的物理距离设为d1。在显示部26显示第2虚拟空间v2。在第2虚拟空间v2设置有第2虚拟摄像头vc2。在第2虚拟空间v2显示关于第2用户p02的第2对象图像。
76.信息处理装置1的控制部11在第2对象图像的生成中，以第2用户p02为第2虚拟摄像头vc2视线的方式生成第2对象图像。在第2虚拟空间v2中，第2用户p02从第2虚拟摄像头vc2离开与实际空间rs中的从第1用户p01到显示部26为止的物理距离d1相同距离而被配置，并由第2虚拟摄像头vc2进行渲染(rendering)。第1用户p01能够一边经由显示部26与第2用户p02取得眼神交流一边进行对话。
77.类似地，如图7所示，在实际空间rs中，第2用户p02朝向第2用户终端3的显示部36以及拍摄部37而发话。将从第2用户p02到显示部36为止的物理距离设为d2。显示部36显示第1虚拟空间v1。第1虚拟空间v1显示关于第1用户p01的第1对象图像。
78.信息处理装置1的控制部11在第1对象图像的生成中，以第1用户p01为第1虚拟摄像头vc1视线的方式生成第1对象图像。在第1虚拟空间v1中，第1用户p01从第1虚拟摄像头vc1离开与实际空间rs中的从第2用户p02到显示部36为止的物理距离d2相同的距离而被配置，并由第1虚拟摄像头vc1进行渲染。第2用户p02经由显示部36，能够一边与第1用户p01取得眼神交流一边进行对话。
79.在图6中，对话中的第1用户p01有时靠近显示部26有时远离显示器26。或者第1用户p01有时会左右偏移。在此作为一例对第1用户p01靠近显示部26的情况下进行的处理进
行说明。省略与在图6中说明过的生成方法重复的说明。
80.如图8所示，第1用户p01靠近显示部26。此时的从第1用户p01到显示部26为止的距离是d3。信息处理装置1的控制部11以从第2虚拟摄像头vc2到第2用户p02为止的距离成为d3的方式生成第2对象图像。第1用户p01经由显示部26，能够一边与第2用户p02取得眼神交流一边进行对话。
81.参照图9，对由信息处理装置1的控制部11实现的信息处理方法进行说明。信息处理为了能够进行第1用户终端2与第2用户终端3之间的顺利的对话而以必要的频度被执行。
82.在步骤s1中，控制部11在从第1用户终端2取得拍摄图像时生成第1对象图像。
83.在步骤s2中，控制部11在从第2用户终端3取得拍摄图像时生成第2对象图像。
84.在步骤s3中，控制部11将第1对象图像向第2用户终端3发送。步骤s3可以在步骤s1之后的任意时机(timing)被执行。第1对象图像显示于第2用户终端3。
85.在步骤s4中，控制部11将第2对象图像向第1用户终端2发送。步骤s4可以在步骤s2之后的任意时机被执行。第2对象图像显示于第1用户终端2。
86.在步骤s5中，控制部11判定第1用户终端2与第2用户终端3之间的对话是否结束。
87.在步骤s5中为“是”时，控制部11结束流程。
88.在步骤s5为“否”时，控制部11返回至步骤s1。
89.如以上所述，根据本实施方式，在第2虚拟空间v2中，第2用户p02被配置成从第2虚拟摄像头vc2离开与实际空间中的从第1用户p01到显示部26为止的物理距离相同的距离，并由第2虚拟摄像头vc2进行渲染。在第1虚拟空间v1中，第1用户p01被配置成从第1虚拟摄像头vc1离开与实际空间中的从第2用户p02到显示部36为止的物理距离相同的距离，并由第1虚拟摄像头vc1进行渲染。通过该构成，第1用户p01以及第2用户p02能够在视频对话中取得眼神交流来进行谈话。第1用户p01或第2用户p02在对话中靠近显示部或远离显示部，情况都是如此。
90.另外，根据本实施方式，显示部26以及显示部36各自包含光场显示器。由于光场显示器只能在横向上绘制，所以存在以下问题，即，只有在显示器面(接触面)上切断对象时的切口相当的部分(轮廓)，再现性不良。通过将本实施方式应用于光场显示器，除了上述切口以外，对象的再现性也变得良好。
91.例如，在上述的实施方式中，执行信息处理装置1的功能或处理的全部或一部分的程序能够记录于计算机可读取记录介质中。计算机可读取记录介质包含非瞬时性计算机可读取介质，例如是磁记录装置、光盘、光磁记录介质、或半导体存储器。程序的流通例如通过销售、转让、或出租记录有程序的dvd(digital versatile disc)或cd－rom(compact disc read only memory)等便携式记录介质来进行。另外，程序的流通也可以通过将程序保存于任意的服务器的储存器，从任意的服务器向其他计算机发送程序来进行。另外，程序也可以作为程序产品而被提供。本公开也能够作为处理器可执行的程序而实现。
92.计算机例如将记录于便携式记录介质的程序或从服务器传送的程序暂时保存于主存储装置。然后，计算机由处理器读取主存储装置所保存的程序，由处理器执行遵从所读取的程序的处理。计算机也可以从便携式记录介质直接读取程序，执行遵从程序的处理。计算机也可以每当从服务器传送来程序时，逐次执行遵从接收到的程序的处理。也可以不进行从服务器向计算机的程序的传送，而通过仅通过执行指示以及结果取得来实现功能的所
谓asp型的服务执行处理。“asp”是application service provider的缩略语。程序包含供电子计算机处理用且遵从程序的信息。例如，虽然并非是计算机的直接指令但具有规定计算机的处理性质的数据，属于“遵从程序的信息”。
93.标号说明
94.s信息处理系统
95.nw网络
96.1信息处理装置
97.11 控制部
98.12 通信部
99.13 存储部
100.2第1用户终端
101.21 控制部
102.22 通信部
103.23 存储部
104.24 输入部
105.25 输出部
106.26 显示部
107.27 拍摄部
108.3第2用户终端
109.31 控制部
110.32 通信部
111.33 存储部
112.34 输入部
113.35 输出部
114.36 显示部
115.37 拍摄部

技术特征：
1.一种信息处理方法，由信息处理装置执行，所述信息处理装置能够与第1用户终端以及第2用户终端进行通信，所述第1用户终端包含第1显示部，所述第1显示部由第1用户目视，所述第2用户终端包含第2显示部，所述第2显示部由第2用户目视，所述信息处理方法包括：生成由设置于第1虚拟空间内的第1虚拟摄像头拍摄到的第1用户所对应的第1对象图像；生成由设置于第2虚拟空间内的第2虚拟摄像头拍摄到的第2用户所对应的第2对象图像；将所述第1对象图像向所述第2用户终端发送；以及将所述第2对象图像向所述第1用户终端发送，在所述第2虚拟空间中，所述第2用户被配置成从所述第2虚拟摄像头离开与实际空间中的从所述第1用户到所述第1显示部为止的物理距离相同的距离，并由所述第2虚拟摄像头进行渲染，在所述第1虚拟空间中，所述第1用户被配置成从所述第1虚拟摄像头离开与实际空间中的从所述第2用户到所述第2显示部为止的物理距离相同的距离，并由所述第1虚拟摄像头进行渲染。2.根据权利要求1所述的信息处理方法，所述第1显示部以及所述第2显示部各自包含光场显示器。3.一种信息处理装置，能够与第1用户终端以及第2用户终端进行通信，且包含控制部，所述第1用户终端包含第1显示部，所述第1显示部由第1用户目视，所述第2用户终端包含第2显示部，所述第2显示部由第2用户目视，所述控制部执行动作，该动作包括：生成由设置于第1虚拟空间内的第1虚拟摄像头拍摄到的第1用户所对应的第1对象图像；生成由设置于第2虚拟空间内的第2虚拟摄像头拍摄到的第2用户所对应的第2对象图像；将所述第1对象图像向所述第2用户终端发送；以及将所述第2对象图像向所述第1用户终端发送，在所述第2虚拟空间中，所述第2用户被配置成从所述第2虚拟摄像头离开与实际空间中的从所述第1用户到所述第1显示部为止的物理距离相同的距离，并由所述第2虚拟摄像头进行渲染，在所述第1虚拟空间中，所述第1用户被配置成从所述第1虚拟摄像头离开与实际空间中的从所述第2用户到所述第2显示部为止的物理距离相同的距离，并由所述第1虚拟摄像头进行渲染。4.一种非瞬时性计算机可读取介质，存储有程序，该程序使作为能够与第1用户终端以及第2用户终端进行通信的信息处理装置的计算机执行动作，所述第1用户终端包含第1显示部，所述第1显示部由第1用户目视，
所述第2用户终端包含第2显示部，所述第2显示部由第2用户目视，所述动作包括：生成由设置于第1虚拟空间内的第1虚拟摄像头拍摄到的第1用户所对应的第1对象图像；生成由设置于第2虚拟空间内的第2虚拟摄像头拍摄到的第2用户所对应的第2对象图像；将所述第1对象图像向所述第2用户终端发送；以及将所述第2对象图像向所述第1用户终端发送，在所述第2虚拟空间中，所述第2用户被配置成从所述第2虚拟摄像头离开与实际空间中的从所述第1用户到所述第1显示部为止的物理距离相同的距离，并由所述第2虚拟摄像头进行渲染，在所述第1虚拟空间中，所述第1用户被配置成从所述第1虚拟摄像头离开与实际空间中的从所述第2用户到所述第2显示部为止的物理距离相同的距离，并由所述第1虚拟摄像头进行渲染。

技术总结
一种信息处理方法、信息处理装置以及非瞬时性计算机可读取介质，提供一种能同时取得眼神交流的对话的视频通话。在第2虚拟空间中，第2用户从第2虚拟摄像头离开与实际空间中的从第1用户到第1显示部为止的物理距离相同的距离而被配置，并由第2虚拟摄像头进行渲染，在第1虚拟空间中，第1用户从第1虚拟摄像头离开与实际空间中的从第2用户到第2显示部为止的物理距离相同的距离而被配置，并由第1虚拟摄像头进行渲染。头进行渲染。头进行渲染。


技术研发人员：加来航
受保护的技术使用者：丰田自动车株式会社
技术研发日：2023.01.31
技术公布日：2023/8/5