系统、信息处理装置以及方法与流程

1.本公开涉及系统、信息处理装置以及方法。


背景技术：

2.以往，已知有生成3d模型的网格数据的技术。例如在专利文献1中，公开了基于对分析对象物进行三维形状测量而得到的由(x，y，z)坐标表示的点序列数据来生成分析网格。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开平06-301767号公报


技术实现要素：

6.发明要解决的问题
7.生成3d模型的网格数据的技术存在改善的余地。
8.鉴于该情况而完成的本公开的目的在于改善生成3d模型的网格数据的技术。
9.用于解决问题的方案
10.本公开的一实施方式的系统是具备能够相互通信的第1信息处理装置和第2信息处理装置的系统，其中，
11.所述第1信息处理装置获取包含多个顶点的三维点群数据，各顶点具有x坐标、y坐标以及z坐标这3个参数，并且各顶点的x坐标和y坐标的组合互不相同，
12.所述第1信息处理装置或者所述第2信息处理装置将所述三维点群数据转换为二维点群数据，所述二维点群数据的所述多个顶点分别具有值按x坐标和y坐标的每个组合而不同的m和z坐标这2个参数，
13.所述第2信息处理装置使用所述二维点群数据以及表示x坐标和y坐标的组合与m的对应关系的信息生成网格数据。
14.本公开的一实施方式的信息处理装置是具备控制部的信息处理装置，其中，
15.所述控制部获取从三维点群数据转换得到的二维点群数据，所述三维点群数据包含各顶点具有x坐标、y坐标以及z坐标这3个参数、并且各顶点的x坐标和y坐标的组合互不相同的多个顶点，所述二维点群数据的所述多个顶点的各顶点具有值按x坐标和y坐标的每个组合而不同的m和z坐标这2个参数，
16.使用所述二维点群数据以及表示x坐标和y坐标的组合与m的对应关系的信息生成网格数据。
17.本公开的一实施方式的方法是一种由信息处理装置执行的方法，其中，该方法包括：
18.获取从三维点群数据转换得到的二维点群数据，所述三维点群数据包含各顶点具有x坐标、y坐标以及z坐标这3个参数、并且各顶点的x坐标和y坐标的组合互不相同的多个
顶点，所述二维点群数据的所述多个顶点的各顶点具有值按x坐标和y坐标的每个组合而不同的m和z坐标这2个参数；以及
19.使用所述二维点群数据以及表示x坐标和y坐标的组合与m的对应关系的信息生成网格数据。
20.发明的效果
21.根据本公开的一实施方式，改善生成3d模型的网格数据的技术。
附图说明
22.图1是表示本公开的一实施方式的系统的概略结构的框图。
23.图2是说明可见光摄像机和深度摄像机的拍摄范围和分辨率的例子的图。
24.图3是表示三维点群数据的例子的图。
25.图4是表示从三维点群数据转换得到的二维点群数据的例子的图。
26.图5是表示信息处理装置的概略结构的框图。
27.图6是表示系统的动作的例子的序列图。
28.图7是表示所生成的网格数据的基于y-z平面的截面的示意图。
29.附图标记说明
30.1、系统；10、信息处理装置；11、通信部；12、输出部；13、输入部；14、传感器部；15、存储部；16、控制部；20、网络。
具体实施方式
31.以下，对本公开的实施方式进行说明。
32.(实施方式的概要)
33.参照图1，对本公开的实施方式的系统1的概要进行说明。系统1具备多个信息处理装置10。在图1中，图示了2个信息处理装置10(10a、10b)，但系统1也可以具备3个以上的信息处理装置10。在以下的说明中，在区分2个信息处理装置10(10a、10b)的情况下，称为第1信息处理装置10a和第2信息处理装置10b。
34.信息处理装置10例如是pc(personal computer，个人计算机)、智能手机或平板终端等由用户使用的任意的计算机。多个信息处理装置10例如能够经由包括互联网等的网络20相互通信。需要说明的是，信息处理装置10彼此的通信既可以经由设于网络20上的服务器来进行、或者也可以通过p2p来进行。
35.在本实施方式中，系统1用于提供各信息处理装置10的用户一边观看对话对方(其他用户)的影像一边通过语音进行对话的远程对话服务。具体而言，如后所述，各信息处理装置10具备可见光摄像机和深度摄像机，能够拍摄被摄体而生成可见光图像和深度图像。可见光图像的各像素具有x坐标、y坐标以及颜色信息(例如，rgb值)。另一方面，深度图像的各像素具有x坐标、y坐标以及z坐标这3个参数。即，深度图像的数据是由分别具有x坐标、y坐标以及z坐标这3个参数的n个顶点p构成的三维点群数据。在本实施方式中，为了便于说明，如图2所示，使用如下例子进行说明，在该例子中，可见光摄像机和深度摄像机具有实质上相同的拍摄范围和分辨率，生成的可见光图像和深度图像的分辨率均为640像素
×
480像素。在该情况下，构成三维点群数据的顶点p的数量n为n＝640
×
480＝307200。
36.各信息处理装置10能够根据三维点群数据生成与成为可见光摄像机和深度摄像机的被摄体的用户的形状对应的网格数据，将可见光图像映射到该网格数据来制作该用户的3d模型，将利用虚拟摄像机拍摄配置于三维虚拟空间的该3d模型而得到的渲染图像显示于画面。需要说明的是，在远程对话的执行中，各信息处理装置10对配置有各对话对方(即，其他信息处理装置10的用户)的3d模型的三维虚拟空间进行实时渲染。这样，在远程对话的执行中，显示于各信息处理装置10的画面上的对话对方的3d模型以追随该对话对方的实际的动作的方式活动。
37.在此，对本实施方式的概要进行说明，详细情况将在后述。在本实施方式中，使用从三维点群数据转换得到的二维点群数据进行网格数据的生成。
38.具体而言，第1信息处理装置10a获取包含多个顶点p的三维点群数据。在此，例如如图3所示，三维点群数据的各顶点p具有x坐标、y坐标以及z坐标这3个参数，并且各顶点p的x坐标和y坐标的组合互不相同。图3所示的m是值按x坐标和y坐标的每个组合而不同的参数。因此，x坐标和y坐标的组合与参数m具有一对一的对应关系，若一方确定，则另一方也唯一地确定。因而，在三维点群数据中，各顶点p能够使用参数m表示为pm(xm，ym，zm)。例如，在深度图像的分辨率为640像素
×
480像素的情况下，m能够取1以上且307200以下的值(1≤m≤307200)。
39.接下来，第1信息处理装置10a或第2信息处理装置10b将三维点群数据转换为二维点群数据。在此，例如如图4所示，二维点群数据的各顶点p具有值按x坐标和y坐标的每个组合而不同的m和z坐标这2个参数。因而，在二维点群数据中，各顶点p能够使用参数m表示为pm(m，zm)。
40.然后，第2信息处理装置10b使用所述二维点群数据以及表示x坐标和y坐标的组合与参数m的对应关系的信息来生成网格数据。在此，x坐标和y坐标的组合与参数的具体的对应关系能够任意地确定。在图3和图4所示的例子中，表示x坐标和y坐标的组合与参数m的对应关系的信息表示：m＝1与(0，0)对应，m＝2与(1，0)对应，m＝307200与(639，479)对应。
41.这样，本实施方式的三维点群数据所包含的各顶点p具有x坐标、y坐标以及z坐标这3个参数。在此，由于各顶点p的x坐标和y坐标的组合互不相同，因此通过预先定义x坐标和y坐标的组合与参数m的对应关系，能够将三维点群数据转换为各顶点p具有m和z坐标这2个参数的二维点群数据。根据本实施方式，由于使用二维点群数据来生成网格数据，因此例如与使用三维点群数据来生成网格数据的结构相比，在网格数据的生成处理高速化这一点上，改善了生成3d模型的网格数据的技术。
42.接下来，对系统1的各结构进行详细说明。
43.(信息处理装置的结构)
44.如图5所示，信息处理装置10具备通信部11、输出部12、输入部13、传感器部14、存储部15以及控制部16。
45.通信部11包括与网络20连接的1个以上的通信接口。该通信接口例如与4g(4th generation，第四代)或5g(5th generation，第五代)等移动通信标准、无线lan(local area network，局域网)、或有线lan对应，但不限于此，也可以与任意的通信标准对应。
46.输出部12包括输出信息并通知给用户的1个以上的输出装置。该输出装置例如是以影像输出信息的显示器、或者以声音输出信息的扬声器等，但不限于此。或者，输出部12
也可以包括用于连接外部的输出装置的接口。
47.输入部13包括检测用户输入的1个以上的输入装置。该输入装置例如是物理键、静电电容键、鼠标、触摸面板、与输出部12的显示器一体设置的触摸屏、或者麦克风等，但不限于这些。或者，输入部13也可以包括用于连接外部的输入装置的接口。
48.传感器部14包括1个以上的传感器。该传感器例如是生成可见光图像的可见光摄像机或生成深度图像的深度摄像机等，但不限于这些。或者，传感器部14也可以包括用于连接外部的传感器的接口。例如，也可以采用具有可见光摄像机和深度摄像机的kinect(注册商标)作为传感器部14。
49.在本实施方式中，传感器部14包括可见光摄像机和深度摄像机这两者。可见光摄像机和深度摄像机也可以以具有实质上相同的拍摄范围的方式例如相互靠近地设置。在图2所示的例子中，可见光摄像机和深度摄像机能够从正面拍摄存在于规定的位置(例如，与输出部12的显示器相对的位置)的用户。或者，可见光摄像机和深度摄像机也可以以能够从分别不相同的角度拍摄存在于规定的位置的用户的方式设置。在该情况下，也可以对可见光图像和深度图像中的至少一者实施视点转换的图像处理，使得可见光图像和深度图像中的至少一者成为从正面拍摄用户而得到的图像。
50.存储部15包括1个以上的存储器。存储器例如是半导体存储器、磁存储器或光存储器等，但不限于这些。存储部15所包含的各存储器例如也可以作为主存储装置、辅助存储装置或高速缓冲存储器发挥功能。存储部15存储用于信息处理装置10的动作的任意的信息。例如，存储部15也可以存储系统程序、应用程序以及嵌入式软件等。
51.控制部16包括1个以上的处理器、1个以上的可编程电路、1个以上的专用电路或它们的组合。处理器例如是cpu(central processing unit，中央处理器)或gpu(graphics processing unit，图形处理器)等通用处理器、或者专用于特定的处理的专用处理器，但不限于这些。可编程电路例如是fpga(field-programmable gate array，现场可编程门阵列)，但不限于此。专用电路例如是asic(application specific integrated circuit，专用集成电路)，但不限于此。控制部16控制信息处理装置10整体的动作。
52.(系统的动作流程)
53.参照图6，对本实施方式的系统1的动作进行说明。概略而言，该动作是在第1信息处理装置10a的用户a与第2信息处理装置10b的用户b的远程对话中执行的动作中的、第2信息处理装置10b生成及显示用户a的3d模型的渲染图像的动作。该动作例如以预定的帧率或与通信速度相应的帧率在远程对话中反复执行。
54.步骤s100：第1信息处理装置10a获取用户a的可见光图像和深度图像。
55.具体而言，第1信息处理装置10a的控制部16a利用传感器部14a的可见光摄像机和深度摄像机拍摄用户a，由此获取用户a的可见光图像和深度图像。这里，对可见光摄像机和深度摄像机从正面拍摄存在于与输出部12a的显示器相对的位置的用户a的情况进行说明。另外，如图2所示，对可见光摄像机和深度摄像机的拍摄范围实质上相同，所获取的可见光图像和深度图像的分辨率为640像素
×
480像素的情况进行说明。如上所述，所获取的可见光图像的各像素具有x坐标、y坐标以及颜色信息(例如rgb值)。另一方面，如图3所示，使用值按x坐标和y坐标的每个组合而不同的参数m，将所获取的深度图像(三维点群数据)所包含的各顶点p表示为顶点pm(xm，ym，zm)。
56.需要说明的是，控制部16a也可以对获取到的深度图像(三维点群数据)实施例如噪声去除和位置对准等任意的预处理。
57.步骤s101：第1信息处理装置10a确定步骤s100的深度图像所包含的所有顶点p中的、与作为被摄体的人物(在此为用户a)对应的各顶点p。
58.在确定与作为被摄体的人物对应的各顶点p时，能够采用任意的方法。例如，控制部16a也可以将深度图像所包含的所有顶点p中的z坐标(即，距深度摄像机的距离)在预定范围内的各顶点p确定为与人物对应的顶点p。或者，控制部16a也可以通过图像识别从可见光图像和深度图像中的至少一者检测人物的轮廓，将位于检测出的轮廓的内部的各顶点p确定为与人物对应的顶点p。在该情况下，控制部16a也可以按人物的每个部位(例如，头部、肩、躯干以及手臂等)确定各顶点p。为了推测人物的各部位，例如能够采用使用了可见光图像和深度图像中的至少一者的图像识别或骨架检测等任意的方法。
59.在此，控制部16a也可以从深度图像(三维点群数据)中删除不与人物对应的各顶点p(例如，与人物的背景对应的顶点p等)。在该情况下，深度图像(三维点群数据)仅包含与人物对应的多个顶点p，因此深度图像(三维点群数据)所包含的顶点p的数量少于n个(在此，640
×
480＝307200个)，作为结果，数据量被削减。
60.步骤s102：第1信息处理装置10a基于在步骤s101中确定的多个顶点p，决定基准值z0。
61.概略而言，基准值z0是深度摄像机与作为被摄体的人物(在此为用户a)的距离的代表值。基准值z0是在生成网格数据的步骤s107中使用的信息，因此详细情况将在后述。
62.基准值z0的决定能够采用任意的方法。例如，控制部16a也可以将在步骤s101中被确定为与作为被摄体的人物相对应的顶点的多个顶点p中的任1个顶点p的z坐标的值决定为基准值z0。在此，控制部16a也可以将与人物的头部、肩、或躯干对应的任1个顶点p的z坐标的值决定为基准值z0。或者，控制部16a也可以将基于所确定的该多个顶点p中的2个以上的顶点p的z坐标计算出的值(例如，平均值或中位值等)决定为基准值z0。在此，控制部16a也可以将基于与人物的头部、肩、或躯干对应的2个以上的顶点p的z坐标计算出的值决定为基准值z0。
63.步骤s103：第1信息处理装置10a检测作为被摄体的人物(在此为用户a)的姿势。
64.人物的姿势的检测能够采用任意的方法。例如，控制部16a也可以通过使用了可见光图像和深度图像中的至少一者的图像识别或者骨架检测来检测人物的姿势。在本实施方式中，由控制部16a检测的姿势从前倾姿势、后倾姿势以及直立姿势这3个姿势中选择。前倾姿势是人物的上身前倾的姿势。后倾姿势是人物的上身后倾的姿势。直立姿势是人物的上身未向前后倾斜的姿势。然而，不限于该例，也可以由控制部16a检测更详细的姿势。例如，控制部16a也可以检测人物的上身在前后方向上的倾斜角度作为姿势。
65.步骤s104：第1信息处理装置10a基于在步骤s103中检测出的姿势来决定δz。
66.概略而言，δz是用于定义以上述基准值z0为基准的z方向的距离范围z0
±
δz的数值。距离范围z0
±
δz是在生成网格数据的步骤s107中使用的信息，因此详细情况将在后述。
67.δz的决定能够采用任意的方法。例如，考虑作为被摄体的人物伸出手以遮挡头部、肩或躯干与深度摄像机之间的状况。例如，控制部16a也可以在步骤s103中检测出的姿
势为直立姿势的情况下将δz设为预定值(例如，30cm)，另一方面，在步骤s103中检测出的姿势为前倾姿势或后倾姿势的情况下，与直立姿势的情况相比增大δz。或者，在步骤s103中人物的上身在前后方向上的倾斜角度作为姿势被检测的情况下，控制部16a也可以倾斜角度的绝对值越大则越增大δz。无论是哪种方法，通过根据检测出的姿势恰当地决定δz，例如，都能够推测为头部、肩以及躯干存在于z0
±
δz的范围内，而伸出的手存在于z0
±
δz的范围外。
68.步骤s105：第1信息处理装置10a将三维点群数据转换为二维点群数据。
69.在此，二维点群数据是各顶点具有值按x坐标和y坐标的每个组合而不同的m和z坐标这2个参数的点群数据。如上所述，三维点群数据所包含的各顶点p具有x坐标、y坐标以及z坐标这3个参数，并且各顶点p的x坐标和y坐标的组合互不相同。因此，如图3所示，三维点群数据所包含的各顶点p能够使用参数m表示为顶点pm(xm，ym，zm)。另一方面，二维点群数据所包含的各顶点p具有m和z坐标这2个参数。因此，如图4所示，二维点群数据所包含的各顶点p能够表示为顶点pm(m，zm)。
70.需要说明的是，在图3和图4所示的例子中，x坐标和y坐标的组合与参数m的对应关系被定义为m＝1与(x＝0，y＝0)对应，m＝2与(x＝1，y＝0)对应，m＝307200与(x＝639，y＝479)对应。然而，x坐标和y坐标的组合与参数m之间的对应关系不限于该例，能够任意地定义。表示x坐标和y坐标的组合与参数m的对应关系的信息例如也可以预先存储于存储部15a。
71.这样，在步骤s105中，将各顶点pm的数据从具有x坐标、y坐标以及z坐标这3个参数的三维数据转换为具有参数m和z坐标这2个参数的二维数据。
72.步骤s106：第1信息处理装置10a将在作为被摄体的人物(在此为用户a)的3d模型的生成中使用的任意的信息向第2信息处理装置10b发送。
73.在本实施方式中，控制部16a将在步骤s100中获取的可见光图像、在步骤s102中决定的基准值z0、在步骤s104中决定的δz、在步骤s105中生成的二维点群数据、以及表示x坐标和y坐标的组合与参数m的对应关系的信息，经由通信部11a和网络20向第2信息处理装置10b发送。需要说明的是，在步骤s101中未从深度图像(三维点群数据)中删除不与人物对应的各顶点p的情况下，控制部16a也可以将表示在步骤s101中确定为与作为被摄体的人物对应的各顶点p的信息(例如，与所确定的各顶点p对应的参数m)向第2信息处理装置10b发送。
74.步骤s107：第2信息处理装置10b使用二维点群数据以及表示x坐标和y坐标的组合与参数m的对应关系的信息，生成作为被摄体的人物(在此为用户a)的网格数据。
75.如上所述，在本实施方式中，各顶点p的x坐标和y坐标的组合互不相同，因此通过预先定义x坐标和y坐标的组合与参数m的对应关系，能够将三维点群数据转换为各顶点p具有m和z坐标这2个参数的二维点群数据。根据本实施方式，由于使用二维点群数据来生成网格数据，因此例如与使用三维点群数据来生成网格数据的结构相比，网格数据的生成处理高速化。
76.需要说明的是，在网格数据的生成中，例如能够采用德劳内法或阵面推进法等任意的算法。具体而言，第2信息处理装置10b的控制部16b针对二维点群数据所包含的多个顶点p中的、根据所采用的算法而确定的2个顶点p的每一个，形成连结该2个顶点p的边。控制部16b以多边形形成由预定数量的边包围的各微小平面。典型地，所形成的各多边形是包含
3个顶点和连结该3个顶点的3个边而成的三角多边形，但多边形的形状不限于该例。这样，控制部16b生成顶点p、边以及多边形的集合作为网格数据。
77.在生成网格数据时，控制部16a在2个顶点p中的一个顶点p的z坐标在z0
±
δz的范围内且另一个顶点p的z坐标在z0
±
δz的范围外的情况下，也可以不形成包含该2个顶点而成的多边形。根据该结构，例如在作为被摄体的人物(在此为用户a)伸出手以阻挡头部、肩或躯干与深度摄像机之间的情况下，能够减少在头部、肩或躯干与手之间形成多边形的不良情况的发生。以下，参照图7进行说明。
78.图7是表示所生成的网格数据的基于y-z平面的截面的示意图。网格m1对应于头部(面部)，网格m2对应于伸出的手，网格m3对应于躯干。需要说明的是，如上所述，在本实施方式中，第1信息处理装置10a的深度摄像机从正面拍摄用户a，因此对于用户a的身体的一部分(具体而言，背面部分以及被伸出的手遮挡的部分)未形成对应的网格。然而，为了便于说明，用单点划线图示了未形成对应的网格的用户a的身体的一部分。
79.在此，着眼于位于网格m1的下端的顶点pa和位于网格m2的上端的顶点pb。顶点pa和顶点pb在y方向上相邻。顶点pa的z坐标在z0
±
δz的范围内。另一方面，顶点pb的z坐标在z0
±
δz的范围外。因而，由于不形成包含顶点pa和顶点pb而成的多边形，因此例如与头部对应的网格m1和与伸出的手对应的网格m2不自然地连接这样的不良情况的发生减少。另外，对于位于网格m2的下端的顶点pc和位于网格m3的上端的顶点pd也是同样的。顶点pc和顶点pd在y方向上相邻。顶点pc的z坐标在z0
±
δz的范围外。另一方面，顶点pd的z坐标在z0
±
δz的范围内。因而，由于不形成包含顶点pc和顶点pd而成的多边形，因此例如与伸出的手对应的网格m2和与躯干对应的网格m3不自然地连接这样的不良情况的发生减少。
80.步骤s108：第2信息处理装置10b将可见光图像映射至在步骤s107中所生成的网格数据，制作作为被摄体的人物(在此为用户a)的3d模型。
81.如上所述，在本实施方式中，第1信息处理装置10a的可见光摄像机和深度摄像机具有实质上相同的拍摄范围及分辨率。因此，可见光图像的各像素与深度图像(三维点群数据)的各顶点p具有一对一的对应关系。控制部16b基于该对应关系，将可见光图像中的与用户a对应的区域映射到网格数据。这样，制作用户a的3d模型。
82.步骤s109：第2信息处理装置10b生成及显示在步骤s108中制作的3d模型的渲染图像。
83.具体而言，控制部16b将作为被摄体的人物(在此为用户a)的3d模型配置于三维虚拟空间。控制部16b通过利用虚拟摄像机拍摄配置于三维虚拟空间的3d模型来生成渲染图像，使输出部12b的显示器显示该渲染图像。需要说明的是，三维虚拟空间中的虚拟摄像机的位置既可以预先确定，或者也可以与第2信息处理装置10b的用户b在现实空间中的位置联动。
84.如上所述，在本实施方式的系统1中，第1信息处理装置10a获取包含多个顶点p的三维点群数据。在三维点群数据中，各顶点p具有x坐标、y坐标以及z坐标这3个参数，并且各顶点p的x坐标和y坐标的组合互不相同。第1信息处理装置10a将三维点群数据转换为二维点群数据。在二维点群数据中，该多个顶点p分别具有值按x坐标和y坐标的每个组合而不同的m和z坐标这2个参数。然后，第2信息处理装置10b使用该二维点群数据以及表示x坐标和y坐标的组合与m的对应关系的信息来生成网格数据。
85.根据该结构，各顶点p的x坐标和y坐标的组合互不相同，因此通过预先定义x坐标和y坐标的组合与参数m的对应关系，能够将三维点群数据转换为各顶点p具有m和z坐标这2个参数的二维点群数据。根据本实施方式，由于使用二维点群数据来生成网格数据，因此例如与使用三维点群数据来生成网格数据的结构相比，在网格数据的生成处理高速化这一点上，改善了生成3d模型的网格数据的技术。
86.基于各附图和实施例对本公开进行了说明，但本领域技术人员应注意也可以基于本公开进行各种变形及改变。因而，应留意这些变形及改变包含在本公开的范围内。例如，各构成部或各步骤等中包含的功能等能够以逻辑上不矛盾的方式进行再配置，能够将多个构成部或步骤等组合成1个、或者进行分割。
87.例如，也能够是使第2信息处理装置10b执行在上述实施方式中第1信息处理装置10a所执行的动作的一部分的实施方式。例如，上述步骤s101～s105的动作也可以由第2信息处理装置10b执行。在该情况下，第1信息处理装置10a将在步骤s100中获取到的可见光图像和深度图像(三维点群数据)向第2信息处理装置10b发送，第2信息处理装置10b执行步骤s101～s105的动作。换言之，步骤s101～s105的动作只要由第1信息处理装置10a和第2信息处理装置10b中的任一方执行即可。
88.另外，在上述实施方式中，第2信息处理装置10b在生成网格数据时，也可以根据第1信息处理装置10a的深度摄像机与作为被摄体的人物(在此为用户a)的距离(即，z坐标)来调整所生成的网格数据的分辨率。网格数据的分辨率例如能够通过间隔剔除二维点群数据所包含的一部分顶点p等任意的方法来降低。通过降低网格数据的分辨率，减轻网格数据的生成和渲染等处理负荷。例如，第2信息处理装置10b的控制部16b也可以是深度摄像机与用户a的距离越远(即，z坐标越大)则使分辨率越降低。在用户a远离深度摄像机的情况下，例如难以通过3d模型精度良好地表现用户a的表情等的细节，因此即使有意降低要生成的网格数据的分辨率，对画面的可视性的不利影响也很小。或者，控制部16b也可以深度摄像机与用户a的距离越近(即，z坐标越小)越是降低分辨率。根据该结构，例如在远程对话中，能够抑制用户a的3d数据的精细度相对于深度摄像机与用户a的距离的变化而变化。
89.另外，在上述实施方式中，第2信息处理装置10b在生成网格数据时，也可以针对作为被摄体的人物(在此为用户a)的每个部位来调整所生成的网格数据的分辨率。例如，第2信息处理装置10b的控制部16b也可以使与用户a的头部以外的部位(例如，肩、躯干以及手臂等)对应的网格数据的分辨率降低。根据该结构，能够在基于远程对话的交流中将作为重要度比较高的要素的表情的再现精度维持在恒定的水准，并且减轻网格数据的生成和渲染等的处理负荷。
90.另外，在上述实施方式中，示出了人物作为被摄体的具体例，但也可以采用除人物以外的任意的对象物作为被摄体。
91.另外，例如也能够是使通用的计算机作为上述实施方式的信息处理装置10发挥功能的实施方式。具体而言，将记述了实现上述实施方式的信息处理装置10的各功能的处理内容的程序储存于通用的计算机的存储器，通过处理器读出并执行该程序。因而，本公开还能够实现为能够由处理器执行的程序或存储该程序的非易失性计算机可读介质。

技术特征：
1.一种系统，具备能够相互通信的第1信息处理装置和第2信息处理装置，其中，所述第1信息处理装置获取包含多个顶点的三维点群数据，各顶点具有x坐标、y坐标以及z坐标这3个参数，并且各顶点的x坐标和y坐标的组合互不相同，所述第1信息处理装置或者所述第2信息处理装置将所述三维点群数据转换为二维点群数据，所述二维点群数据的所述多个顶点分别具有值按x坐标和y坐标的每个组合而不同的m和z坐标这2个参数，所述第2信息处理装置使用所述二维点群数据以及表示x坐标和y坐标的组合与m的对应关系的信息生成网格数据。2.根据权利要求1所述的系统，其中，所述第2信息处理装置在生成网格数据时，在2个顶点中的一个顶点的z坐标在基准值z0
±
δz的范围内、并且另一个顶点的z坐标在所述基准值z0
±
δz的范围外的情况下，不形成包含所述2个顶点而成的多边形。3.根据权利要求2所述的系统，其中，所述三维点群数据是由深度摄像机拍摄人物而得到的深度图像的数据，所述第1信息处理装置或者所述第2信息处理装置将所述深度图像所包含的所有顶点中的与所述人物对应的各顶点确定为所述多个顶点的各顶点，将所述多个顶点中的任意一个顶点的z坐标的值或者基于所述多个顶点中的2个以上的顶点的z坐标计算出的值决定为所述基准值z0。4.根据权利要求3所述的系统，其中，所述第1信息处理装置或者所述第2信息处理装置检测所述人物的姿势，基于所述人物的姿势决定δz。5.根据权利要求3或4所述的系统，其中，所述第2信息处理装置在生成网格数据时，根据所述深度摄像机和所述人物的距离调整所生成的网格数据的分辨率。6.根据权利要求3～5中任一项所述的系统，其中，所述第2信息处理装置在生成网格数据时，针对所述人物的每个部位调整所生成的网格数据的分辨率。7.一种信息处理装置，具备控制部，其中，所述控制部获取从三维点群数据转换得到的二维点群数据，所述三维点群数据包含各顶点具有x坐标、y坐标以及z坐标这3个参数、并且各顶点的x坐标和y坐标的组合互不相同的多个顶点，所述二维点群数据的所述多个顶点的各顶点具有值按x坐标和y坐标的每个组合而不同的m和z坐标这2个参数，使用所述二维点群数据以及表示x坐标和y坐标的组合与m的对应关系的信息生成网格数据。8.一种由信息处理装置执行的方法，其中，该方法包括：获取从三维点群数据转换得到的二维点群数据，所述三维点群数据包含各顶点具有x坐标、y坐标以及z坐标这3个参数、并且各顶点的x坐标和y坐标的组合互不相同的多个顶点，所述二维点群数据的所述多个顶点的各顶点具有值按x坐标和y坐标的每个组合而不同的m和z坐标这2个参数；以及
使用所述二维点群数据以及表示x坐标和y坐标的组合与m的对应关系的信息生成网格数据。

技术总结
本公开涉及系统、信息处理装置以及方法。改善生成3D模型的网格数据的技术。一种系统(1)，具备能够相互通信的第1信息处理装置(10a)和第2信息处理装置(10b)，第1信息处理装置(10a)获取包含多个顶点的三维点群数据，各顶点具有x坐标、y坐标以及z坐标这3个参数、并且各顶点的x坐标和y坐标的组合互不相同，第1信息处理装置(10a)或者第2信息处理装置(10b)将三维点群数据转换为二维点群数据，所述二维点群数据的多个顶点分别具有值按x坐标和y坐标的每个组合而不同的m和z坐标这2个参数，第2信息处理装置(10b)使用二维点群数据以及表示x坐标和y坐标的组合与m的对应关系的信息生成网格数据。网格数据。网格数据。


技术研发人员：加来航
受保护的技术使用者：丰田自动车株式会社
技术研发日：2023.02.14
技术公布日：2023/8/16