信息处理系统、信息处理方法以及信息处理程序与流程

1.本发明涉及信息处理系统、信息处理方法以及信息处理程序。


背景技术：

2.以往，存在一种将距地理坐标位置规定距离内的范围设置为地理围栏，当能够通过gps(global positioning system)等定位卫星取得位置信息的移动终端进入设置的地理围栏内时，开始向移动终端提供内容等事件的技术。例如，在专利文献1中公开了一种移动客户端装置具有gps接收器，当移动客户端装置进入由地理围栏定义的地理位置的阈值距离内时，提供广告等打印数据的技术。
3.另外，存在一种在由相机等拍摄的影像上叠加图像的vr(virtual reality)中执行在空间中配置的事件的技术。例如，在专利文献2中公开了一种与在用相机拍摄的拍摄图像上配置并再现预先登记的对象的装置相关的技术。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2017-208077号公报
7.专利文献2：日本特开2019-186921号公报


技术实现要素：

8.发明要解决的技术问题
9.但是，在专利文献1的技术中，定位精度根据来自定位卫星的电波的接收状态而变化，例如，在上空视野不好的地方或室内，定位卫星的定位精度可能会降低或不能定位。因此，在根据定位卫星的定位结果执行事件的系统中，事件开始的精度可能降低，例如检测终端是否已经进入地理围栏的精度降低，导致事件开始的时间发生偏移等。
10.另外，在专利文献2中，为了高精度地检测用户的位置，需要设置多个传感器，为了提高在空间中虚拟配置的事件开始的开始条件的精度，构建系统的成本可能会增加。
11.本发明是鉴于上述情况而完成的，本发明的一个目的是提供一种信息处理系统、信息处理方法以及信息处理程序，即使在定位卫星定位困难的情况下也能够执行在空间中配置的事件，并能够降低事件开始的开始条件的精度高的系统的构建成本。
12.解决问题的技术手段
13.为了解决上述问题，信息处理系统，包括：取得部，取得由扫描空间的传感器扫描的扫描数据；显示部，将由相机拍摄的拍摄图像显示在显示器上；锚点配置部，基于由取得部取得的扫描数据，向用户提供在由显示部显示的拍摄图像上配置虚拟锚点的操作；锚点信息存储部，存储与由锚点配置部配置的锚点相关的锚点信息；事件设置部，向用户提供事件配置操作和开始事件设置操作，该事件设置操作使事件与由锚点信息存储部存储的锚点信息对应地配置，该开始条件设置操作设置用于使由事件配置操作配置的事件开始的开始条件；事件信息存储部，存储由事件配置操作配置的事件的配置信息和由开始条件设置操
作设置的开始条件；事件存储部，存储事件；以及事件提供部，当满足了事件信息存储部中存储的开始条件时，提供事件存储部中存储的事件。
14.为了解决上述问题，信息处理终端，包括：取得部，取得由扫描空间的传感器扫描的扫描数据；显示部，将由相机拍摄的拍摄图像显示在显示器上；锚点配置部，基于由取得部取得的扫描数据，向用户提供在由显示部显示的拍摄图像上配置虚拟锚点的操作；锚点信息提供部，将与由锚点配置部配置的锚点相关的锚点信息提供给信息处理装置；事件设置部，向用户提供事件配置操作和开始条件设置操作，该事件配置操作使事件与提供给信息处理装置的锚点信息对应地配置，该开始条件设置操作设置用于使由事件配置操作配置的事件开始的开始条件；以及事件信息提供部，将由事件配置操作配置的事件的配置信息和由开始条件设置操作设置的开始条件提供给信息处理装置。
15.为了解决上述问题，信息处理终端，包括：取得部，取得由扫描空间的传感器扫描的扫描数据；检测部，基于由取得部取得的扫描数据，检测在空间中虚拟配置的锚点；显示部，将由检测部检测到的锚点显示在由相机拍摄的拍摄图像上；以及事件执行部，当满足在与由检测部检测到的锚点对应地配置的事件中设置的用于开始事件的开始条件时，执行事件。
16.发明的效果
17.根据本发明的一个实施方式，信息处理系统：取得由扫描空间的传感器扫描的扫描数据；将由相机拍摄的拍摄图像显示在显示器上；基于取得的扫描数据，向用户提供在显示的拍摄图像上配置虚拟锚点的操作；存储与配置的锚点相关的锚点信息；向用户提供事件配置操作和开始条件设置操作，该事件配置操作使事件与存储的锚点信息对应地配置，该开始条件设置操作设置用于使由事件配置操作配置的事件开始的开始条件；存储配置的事件的配置信息和由开始条件设置操作设置的开始条件；存储事件；当满足了存储的开始条件时，执行存储的事件，从而即使在定位卫星定位困难的情况下也能够执行在空间中配置的事件，并能够降低开始事件的开始条件的精度高的系统的构建成本。
附图说明
18.图1是表示实施方式中的信息处理系统的系统配置的一例的框图。
19.图2是表示在实施方式中的信息处理终端中使用的显示装置的第1显示例的图。
20.图3是表示在实施方式中的信息处理终端中使用的显示装置的第2显示例的图。
21.图4是表示在实施方式中的信息处理终端中使用的显示装置的第3显示例的图。
22.图5是表示在实施方式中的信息处理终端中使用的显示装置的第4显示例的图。
23.图6是表示实施方式中的信息处理终端的终端状态的第1例的图。
24.图7是表示实施方式中的信息处理终端的终端状态的第2例的图。
25.图8是表示实施方式中的信息处理终端的硬件配置的一例的框图。
26.图9是表示实施方式中的信息处理系统的动作的第1例的流程图。
27.图10是表示实施方式中的信息处理系统的动作的第2例的流程图。
具体实施方式
28.以下，参照附图对本发明的一个实施方式中的信息处理系统、信息处理方法以及
信息处理程序进行详细说明。
29.首先，使用图1对信息处理系统的配置进行说明。图1是表示实施方式中的信息处理系统的系统配置的一例的框图。
30.在图1中，信息处理系统100具有信息处理终端10、信息处理终端20以及信息处理装置30。
31.信息处理终端10是用于设置在空间中虚拟配置并执行的事件的终端。信息处理终端20是用于执行在空间中虚拟配置的事件的终端。另外，信息处理装置30是存储在信息处理终端10中配置的事件的设置，并基于存储的事件的设置在信息处理终端20中执行事件的装置。
32.本实施方式中的事件是指通过信息处理终端20的移动而执行的信息处理系统100中的装置的动作。信息处理系统100中的装置是指，例如信息处理终端20(或者信息处理终端10)、或者未图示的声音系统、显示系统或者致动器等。
33.装置的动作是指，例如内容的再现、数据通信、或者致动器的动作等。内容的再现例如是声源的再现、图像(动态图像或者静态图像)的显示、或者3d对象的显示等。数据通信是指，例如信息处理终端20和信息处理装置30之间的通信，是将信息处理终端20的终端信息(例如设备id、位置信息、加速传感器测量值或者相机拍摄图像等)提供给信息处理装置30的通信。数据通信可以包括例如通过来自信息处理终端20的数据通信控制声音设备或者影像设备等数据通信。另外，致动器的动作是指电动机或者气缸、气阀等致动器的动作，例如，移动由电动机等驱动的动物形状的对象或者门等，或者对由空气充气的气球进行充气的动作。
34.需要说明的是，在以下实施例中，作为事件的执行，例示了信息处理终端20中的声源的再现，但信息处理系统100中的事件的执行并不限于此。
35.信息处理终端10和信息处理终端20是用户可携带的装置，例如智能手机、平板pc或头戴式、眼镜式或手表式可穿戴装置等。另外，信息处理装置30是通过网络9与信息处理终端10和信息处理终端20可通信连接的装置，例如服务器装置。需要说明的是，本实施方式中的用户是信息处理终端10、信息处理终端20或信息处理装置30的用户，可以是各自不同的用户，也可以是同一用户。另外，用户可以是专用操作人员，或者是除专用操作人员以外的普通用户。
36.信息处理终端10具有取得部11、显示部12、锚点配置部13、锚点信息提供部14、事件设置部15以及事件信息提供部16。信息处理终端20具有取得部21、显示部22、检测部23、扫描数据提供部24、事件信息取得部25以及事件执行部26。另外，信息处理装置30具有锚点信息存储部31、事件信息存储部32、事件提供部33以及事件存储部34。本实施方式中的信息处理系统1的上述各功能部作为通过本实施方式中的信息处理程序(软件)实现的功能模块进行说明。
37.取得部11和取得部21取得由扫描空间的传感器扫描的扫描数据。扫描空间的传感器是指扫描存在于空间中的物体的形状的传感器，例如，测距到存在于空间中的物体的距离的测距传感器。作为测距传感器，例如可以使用采用了lidar(light detection and ranging、laser imaging detec tion and ranging，光探测和测距)技术的传感器。例如，在lidar中使用激光。lidar可以使用紫外线、红外线或近红外线。lidar通过测量(测距)从
传感器到物体的距离，可以三维地测量存在于空间中的物体的形状。需要说明的是，通过扫描空间获得的扫描数据例如可以是用信息处理终端10或信息处理终端20所具有的未图示的立体相机拍摄的拍摄图像等。另外，通过扫描空间获得的扫描数据可以包括由信息处理终端10或信息处理终端20所具有的未图示的位置传感器或加速度传感器取得的信息。
38.显示部12和显示部22将由相机拍摄的拍摄图像显示在显示器上。显示部12和显示部22例如将由智能手机的相机拍摄的拍摄图像显示在智能手机的显示画面上。
39.锚点配置部13基于由取得部11取得的扫描数据，向用户提供在由显示部12显示的拍摄图像上配置虚拟锚点的操作。虚拟锚点是在空间中虚拟设置(配置)的标记(记号)，具有表示空间内特定位置的坐标值。本实施方式中的锚点是表示声源的配置位置的标记等。标记的形状例如是球体、立方体、或者图标图像等，只要是由显示部12显示的、用户能够看到的即可。锚点配置部13明确基于由取得部11取得的扫描数据而测量出的空间中的物体的形状，向用户提供用于执行在由显示部12显示的拍摄图像上配置锚点的操作的ui。用户能够一边检查由显示部12显示的拍摄图像，一边检查锚点的配置位置。
40.锚点配置部13还向用户提供使用由显示部12显示的拍摄图像来修改锚点的配置位置的操作。锚点的配置位置是在检查由显示部12显示的二维拍摄图像的同时确定的，因此在显示画面的深度方向上配置位置可能不清晰。例如，锚点配置部13通过使一次配置的锚点的位置向深度方向移动预先设置的距离(例如1m或50cm等)，能够修改锚点的配置位置。通过修改锚点的配置位置，与再次重新配置锚点的情况相比，能够实现配置锚点的高效化。
41.锚点信息提供部14将与由锚点配置部13配置的锚点相关的锚点信息提供给信息处理装置30。与锚点相关的锚点信息例如包括空间中的坐标信息。空间中的坐标信息是指基于通过扫描空间获得的扫描数据的坐标信息，例如是表示距空间中存在的特征量大的物体的相对位置的坐标信息。空间的特征量例如是指空间中存在的颜色数据的分布(直方图)、物体的形状或颜色数据的矢量数据。在识别空间时，特征量近似的地方可以识别为同一地方。特征量大的物体的位置与周围的特征量的差异变大，因此能够减小坐标信息中的物体位置的误差。另一方面，特征量小的物体的位置与周围的特征量的差异变小，因此坐标信息中的物体位置的误差变大。通过把距空间中存在的特征量大的物体的相对位置作为坐标信息，例如，即使将锚点配置在特征量小的物体的位置时，也能够减小坐标信息中的物体位置的误差。需要说明的是，上述坐标信息是基于扫描空间获得的扫描数据的坐标信息，因此成为距存在于空间中的物体的相对位置信息。但是，坐标信息可以包括例如由距发射电波的基准点(信标)的相对距离而计算出的坐标信息、由从定位卫星取得的电波计算出的经度、纬度以及高度构成的绝对坐标信息等。例如，通过使用基于两种计算方法的坐标信息，由于可以对坐标信息进行双重检查，所以能够提高坐标信息的可靠性。
42.需要说明的是，在本实施方式中，“提供”可以是推式发送，也可以是拉式发送。另外，在本实施方式中，“取得”可以是拉式接收，也可以是推式接收。
43.事件设置部15向用户提供对提供给信息处理装置30的锚点信息配置事件的事件配置操作。另外，事件设置部15向用户提供开始条件设置操作，该开始条件设置操作设置用于开始由事件配置操作配置的事件的开始条件。
44.事件配置操作是指对锚点信息配置事件的操作，例如，对配置的锚点分配要再现
的内容的操作。内容的分配包括例如，选择并分配(对应)预先制作或新制作的声源的播放列表的操作等。播放列表是使用一个或多个声源文件，确定要再现的声源，通过给予播放列表名称，可以容易地识别要再现的声源。通过将事件配置操作提供给用户，例如，只需改变对锚点的事件分配就能改变要执行的事件，能够提高事件配置的操作性。需要说明的是，如上所述，要配置的事件可以是图像再现等内容再现、数据通信、或者致动器的动作等。在事件配置操作中，例如，对于配置在动物形状的对象附近的锚点，可以配置使驱动对象的致动器动作的事件。
45.执行事件的开始条件是指在信息处理终端20等中执行事件的条件，例如，锚点与信息处理终端20之间的距离、信息处理终端20的相机的拍摄方向、信息处理终端20的高度(与锚点的相对高度差，或者以海平面为基准的绝对高度等)、锚点的显示时间、或者信息处理终端20的停止时间等。另外，开始条件可以包括锚点与信息处理终端20之间的距离是接近还是远离等条件。另外，开始条件也可以包括锚点在多个信息处理终端20中被拍摄的情况。开始条件也可以包括从未图示的加速度传感器等取得的用户的行为。
46.另外，开始条件可以包括事件的执行方式。执行方式是指，例如，在事件为声源再现时，为声源的再现音量、再现时间、再现速度、高音或低音的强调、或者音量慢慢地上升或下降等方式。执行方式可以包括根据上述的锚点与信息处理终端20之间的距离、信息处理终端20的相机的拍摄方向、信息处理终端20的高度、锚点的显示时间、或者信息处理终端20的停止时间等而使事件的执行方式发生变化的情况。通过设置再现条件，能够使用声源进行各种演出。
47.事件信息提供部16将在事件设置部15中进行事件配置操作的事件的配置信息和由开始条件设置操作设置的开始条件提供给信息处理装置30。通过将配置信息和开始条件提供给信息处理装置30，能够将这些信息存储在信息处理装置30中。通过将这些信息存储在信息处理装置30中，能够读取并利用存储的信息。需要说明的是，锚点的配置或事件的设置可以在多个信息处理终端10中执行。当在多个信息处理终端10中执行锚点的配置等时，一个信息处理终端10中的锚点的配置等的执行结果被保存在信息处理装置30中，也反映在其他信息处理终端10中。
48.检测部23基于由取得部21取得的扫描数据，检测在空间中虚拟配置的锚点。检测部23从信息处理装置30取得与由锚点配置部13配置的锚点相关的锚点信息。锚点信息包括锚点的位置信息等。锚点的检测例如可以通过上述空间的特征量是否近似来进行。检测部23可以基于由取得部21取得的扫描数据和从信息处理装置30取得的锚点信息，通过空间的特征量是否近似来检测锚点。检测部23可以基于三维扫描数据来检测锚点。但是，检测部23也可以基于二维扫描数据来检测锚点。另外，检测部23也可以进一步基于从未图示的gnss(global navigation satellite system，全球导航卫星系统)传感器或加速度传感器取得的测量值来检测锚点。
49.在本实施方式中，通过检测部23基于取得的扫描数据检测在空间中虚拟配置的锚点，能够三维地设置地理围栏。在传统的地理围栏中可以将平面上的范围设置为地理围栏。另一方面，在本实施方式中，基于扫描数据检测锚点。扫描数据根据信息处理终端10(或信息处理终端20)的三维位置而不同。例如，即使信息处理终端10在平面上的相同位置，如果信息处理终端10的高度不同，即使朝向空间中的同一点进行扫描，扫描数据也会不同。检测
部23通过基于不同的扫描数据分别检测锚点，能够得到三维不同的检测结果，并三维地设置地理围栏。在本实施方式中，通过检测部23基于取得的扫描数据检测在空间中虚拟配置的锚点，提高了在空间中配置的事件开始的开始条件的精度，并能使用三维地设置的地理围栏来提供事件。
50.扫描数据提供部24将由取得部21取得的扫描数据提供给信息处理装置30。信息处理装置30基于由扫描数据提供部24提供的扫描数据，可以判断在信息处理装置30中估计的终端状态是否满足开始条件。终端状态例如是指信息处理终端20的位置、相机的拍摄方向、与锚点的距离、信息处理终端20的振动、或者与其他信息处理终端20的位置关系等。信息处理装置30可以判断终端状态是否满足再现条件。终端状态是否满足开始条件，例如，可以通过比较从信息处理终端20取得的终端状态的信息和事件信息存储部32中存储的开始条件来进行判断。
51.需要说明的是，在本实施方式中，虽然在检测部23中例示了检测锚点的情况，但是锚点的检测可以在信息处理装置30中进行。通过将扫描数据提供给信息处理装置30，可以在信息处理装置30中代替检测部23或与检测部23同时进行锚点的检测。
52.事件信息取得部25从信息处理装置30取得开始条件信息，该开始条件信息表示在信息处理装置30中基于由扫描数据提供部24提供的扫描数据而估计的终端状态满足开始条件。
53.当满足用于在由检测部23检测到的锚点中配置的事件开始的开始条件时，事件执行部26执行事件。如上所述，事件的执行例如是声源的再现。声源的再现例如是通过将由信息处理装置30提供的声源从附属于信息处理终端20的扬声器、耳机或其他扬声器输出来执行的。通过在满足开始条件时执行声源的再现等事件，能够使用事件进行演出。
54.需要说明的是，在本实施方式中，在提供声源时，可以使用osc(op en sound control，开放声音控制)的协议。通过在事件执行部26中使用osc的协议，能够实时执行声源的提供。例如，当声源是现场声源时，通过使用osc的协议，能够在多个信息处理终端20中实时共享现场声源。另外，在本实施方式中，在提供声源时，可以使用实现立体声的声源格式(例如，ambisonics)。通过在事件执行部26中使用实现立体声的声源格式，能够容易地提供立体声的声源。另外，在本实施方式中，在提供声源时，可以使用游戏开发平台(例如，wwise等)。通过在事件执行部26中使用游戏开发平台，有利于游戏中事件的提供。另外，在本实施方式中，在提供声源时，可以使用头部相关传输函数(hrtf：head related transfer fu nction)进行声源的再现。头部相关传输函数是将包括耳廓、人的头部和肩部等周围物体引起的声音变化表示为传递函数。通过在事件执行部26中使用头部相关传输函数数值化从声源到两耳的声音变化的特性，能够识别声源的方向感和到声源的距离感。
55.锚点信息存储部31存储与由锚点配置部13配置的锚点相关的锚点信息。锚点信息存储部31可以将存储的锚点信息提供给信息处理终端20。
56.事件信息存储部32存储在事件设置部15中进行事件配置操作的事件的配置信息和由开始条件设置操作设置的开始条件。事件信息存储部32存储信息处理装置30的用户输入的配置信息或开始条件。事件信息存储部32可以基于存储的配置信息和开始信息，在信息处理终端20等中执行事件。
57.当满足事件信息存储部32中存储的开始条件时，事件提供部33提供事件存储部34
中存储的事件。事件提供部33可以根据预先设置的开始条件，以预定的事件的执行方式提供事件。例如，事件提供部33可以根据信息处理终端20的识别信息(预先登记的用户的性别、年龄、使用语言、国籍或宗教等属性信息，或者从信息处理终端20取得的设备信息等)改变事件的执行方式以提供事件。识别信息例如可以与用户的账户信息相关联地取得。事件执行部26能够通过执行根据识别信息改变的事件来执行多种事件。
58.事件存储部34可以存储列表化多个事件的事件列表。例如，当事件是声源的再现时，事件列表是多个声源或预先制作的播放列表。事件存储部34中存储的事件可以提供给信息处理终端20并在事件执行部26中再现。需要说明的是，事件存储部34中存储的事件可以是声音数据或图像数据等内容数据，也可以是表示内容数据的保存位置或取得方法的信息等。
59.需要说明的是，信息处理系统1所具有的上述各功能部表示的是功能的一例，并不限定信息处理系统1所具有的功能。例如，信息处理终端10、信息处理终端20或信息处理装置30不需要具有上述所有的功能部，可以具有一部分功能部。另外，信息处理系统1也可以具有上述以外的其他功能。
60.例如，信息处理终端10所具有的功能部可以在信息处理装置30中实现。同样，信息处理终端20所具有的功能部可以在信息处理装置30中实现。另外，信息处理装置30所具有的功能部可以在信息处理终端10或信息处理终端20中实现。信息处理终端10和信息处理终端20可以一体形成。
61.另外，如上所述，上述各功能被描述由软件实现。但上述功能部中至少一个以上的功能部也可以通过硬件实现。
62.另外，上述任意一个功能部都可以将一个功能部分割为多个功能部来实现。另外，也可以将上述任意两个以上的功能部集成为一个功能部来实现。图1是用功能块表示信息处理系统1所具有的功能的图，例如，并不表示各功能部分别由单独的程序文件等组成。
63.另外，信息处理终端10、信息处理终端20或信息处理装置30可以是由一个壳体实现的装置，也可以是通过经由网络等连接的多个装置实现的系统。例如，信息处理终端10、信息处理终端20或信息处理装置30通过云计算系统提供的云服务等其他虚拟装置来实现其功能的一部分或全部。即，信息处理终端10、信息处理终端20或信息处理装置30可以在其他装置中实现上述各功能部中的至少1个以上的功能部。
64.接下来，使用图2至图5对信息处理终端10的显示装置的显示例进行了说明。在以下的实施例中，例示了在锚点中配置声源，在信息处理终端20执行再现声源的事件的情况。
65.图2是表示在实施方式中的信息处理终端中使用的显示装置的第1显示例的图。
66.在图2中，显示画面1000显示在显示部12上。显示画面1000具有表示锚点设置画面的图标1001、锚点设置按钮1002、退出按钮1003、保存按钮1004、命名播放列表的命名按钮1005。
67.显示画面1000是显示在信息处理终端10上的显示画面，显示由信息处理终端10的相机拍摄的拍摄图像。锚点设置按钮1002是用于在显示画面1000上显示的任何拍摄范围内设置锚点的按钮。例如，通过操作锚点设置按钮1002，可以在显示画面1000的中心位置或者在显示画面1000中未图示的光标位置等设置锚点。用户通过操作锚点设置按钮1002，可以将图3中说明的锚点转换到用于配置的画面。
68.退出按钮1003是结束显示画面1000所示的设置的按钮，保存按钮1004是保存当前设置的按钮。另外，命名按钮1005是用于对播放列表进行命名的按钮。用户通过操作命名按钮1005，能够从文本框等输入名称。
69.图3是表示在实施方式中的信息处理终端中使用的显示装置的第2显示例的图。
70.在图3中，显示画面2000显示在显示部12上。显示画面2000具有试置按钮2001。显示画面2000是通过移动显示画面1000上显示的拍摄范围而放大的拍摄图像。试置按钮2001是用于试置锚点的按钮。用户通过操作试置按钮2001，可以在显示画面2000的大致中央设置锚点。需要说明的是，试置是指在确定设置位置之前设置锚点，用户可以尝试体验自己设置的锚点和锚点中设置的声源。
71.图4是表示在实施方式中的信息处理终端中使用的显示装置的第3显示例的图。
72.在图4中，显示画面1000显示在显示部12上。显示画面3000具有锚点位置修改按钮3001、锚点位置确定按钮3002以及锚点3003。锚点位置修改按钮3001是用于修改由试置按钮2001设置的锚点3003的位置的按钮。用户通过操作锚点位置修改按钮3001，可以将设置的锚点3003的位置修改到里侧或近侧。将锚点3003的位置修改到里侧时，锚点3003的尺寸变小显示，将锚点3003的位置修改到近侧时，锚点3003的尺寸变大显示。需要说明的是，锚点3003的显示尺寸也可以通过未图示的设置操作来改变。
73.锚点位置确定按钮3002是用于确定锚点3003的设置位置的按钮。用户通过操作锚点位置确定按钮3002，可以转换到图5中说明的用于结束锚点设置的画面。
74.图5是表示在实施方式中的信息处理终端10中使用的显示装置的第4显示例的图。
75.在图5中，显示画面1000显示在显示部12上。显示画面4000具有结束按钮4001和锚点4002。用户通过操作结束按钮4001，结束锚点的设置。
76.接下来，使用图6至图7对信息处理终端20的终端状态进行说明。
77.图6是表示实施方式中的信息处理终端的终端状态的第1例的图。图6对在信息处理终端20与锚点之间的距离以及方向成为终端状态时再现方式不同的情况进行了说明。
78.在图6中，锚点位置o是在上述步骤中设置的锚点在空间中的位置。图示(a)位置处的信息处理终端20位于距锚点位置o的距离x处，并且正在拍摄锚点。另一方面，图示(b)位置处的信息处理终端20位于距锚点位置o的距离y处，并且正在拍摄锚点。
79.其中，信息处理终端20在扫描空间的传感器中检测锚点，并且以与距信息处理终端20的距离x和锚点位置o的方向相对应的音量和方向的再现方式来再现配置在锚点位置o的声源。同样，信息处理终端20在扫描空间的传感器中检测锚点，并且以与距信息处理终端20的距离y和锚点位置o的方向相对应的音量和方向的再现方式来再现配置在锚点位置o的声源。
80.例如，如果声源的再现条件是信息处理终端20与锚点位置o之间的距离为“距离x以内”，则(a)位置处的信息处理终端20再现声源，(b)的信息处理终端20不再现声源。
81.图7是表示实施方式中的信息处理终端的终端状态的第2例的图。图7对存在2台信息处理终端20时的终端状态下的再现方式进行了说明。图7中的信息处理终端20的终端状态是信息处理终端20到锚点的距离，从信息处理终端20到锚点的方向、以及与其他信息处理终端20的位置关系。
82.在图7中，信息处理终端20a与信息处理终端20b之间的距离为z。即，信息处理终端
20a处于距锚点位置o的距离为x、以及距信息处理终端20b的距离为z的终端状态，信息处理终端20b处于距锚点位置o的距离为y、以及距信息处理终端20a的距离为z的终端状态。信息处理终端20a和信息处理终端20b的位置关系是通过每个信息处理终端20向信息处理装置30提供与锚点位置o的位置关系来计算的。
83.在图7中，例示了一个信息处理终端中的声源的再现方式是由其他信息处理终端的位置决定的情况。信息处理终端20a以锚点位置o的声源和将信息处理终端20b视为声源的声源两者作为再现方式来进行声源的再现。同样，信息处理终端20b以锚点位置o的声源和将信息处理终端20a视为声源的声源两者作为再现方式来进行声源的再现。即，信息处理终端20a中的声源的再现方式是由距信息处理终端20b的距离z和信息处理终端20b的位置决定的。同样，信息处理终端20b中的声源的再现方式是由距信息处理终端20a的距离z和信息处理终端20a的位置决定的。
84.接下来，使用图8对信息处理终端10的硬件配置进行说明。图8是表示实施方式中的信息处理终端10的硬件配置的一例的框图。需要说明的是，信息处理终端20和信息处理装置30的硬件配置以信息处理终端10为准，省略说明。
85.信息处理终端10具有cpu(central processing unit)101、ram(ra ndom access memory)102、rom(read only memory)103、i/o设备104、以及通信i/f(interface)105。信息处理终端10是执行图1中说明的信息处理程序的装置。
86.cpu 101通过执行存储在ram 102或rom 103中的信息处理程序来控制用户终端。信息处理程序例如是从记录程序的记录介质或经由网络的程序分发服务器等取得的，安装在rom103中，从cpu 101读取并执行。
87.i/o设备104具有操作输入功能和显示功能(操作显示功能)。i/o设备104例如是触摸面板。触摸面板使信息处理终端10的用户能够使用指尖或者触摸笔等进行操作输入。对本实施方式中的i/o设备104使用具有操作显示功能的触摸面板的情况进行了说明，但是i/o设备104也可以分别具有具有显示功能的显示装置和具有操作输入功能的操作输入装置。在这种情况下，触摸面板的显示画面可以作为显示装置的显示画面来实现，触摸面板的操作作为操作输入装置的操作来实现。需要说明的是，i/o设备104可以通过头戴式、眼镜式、手表式显示器等各种形式来实现。
88.通信i/f 105是通信用i/f。通信i/f 105执行例如无线lan、有线la n、红外线等近距离无线通信。图中仅示出了通信i/f 105作为通信用i/f，但信息处理终端10可以在多个通信方式中具有各自的通信用i/f。
89.接下来，使用图9至图10对信息处理系统1的动作进行说明。
90.图9是表示实施方式中的信息处理系统的动作的第1例的流程图。第1例所示的流程图对与锚点及声源的配置相关的动作进行了说明。
91.在图9中，信息处理系统1从信息处理终端10的显示画面提供用于设置声源的ui(步骤s11)。在执行步骤s11的处理后，信息处理系统1在扫描空间的传感器中取得扫描数据(步骤s12)。
92.在执行步骤s12的处理后，信息处理系统1判断是否配置锚点(步骤s13)。判断是否配置锚点例如可以通过用户是否完成了设置锚点的操作来进行判断。当判断为不配置锚点(步骤s13：否)，则信息处理系统1重复步骤s12至步骤s13的处理，并等待配置锚点。
93.如果判断为配置锚点(步骤s13：是)，则信息处理系统1判断是否修改锚点的位置(步骤s14)。如果判断为修改锚点的位置(步骤s14：是)，则信息处理系统1修改锚点的位置(步骤s15)。
94.在执行步骤s15的处理后，或者如果判断为不修改锚点的位置(步骤s14：否)，则信息处理系统1判断是否选择了播放列表(步骤s16)。播放列表的选择也包括保存所选择的播放列表。需要说明的是，如果期望的播放列表不存在，则信息处理系统1可以提供用于重新制作播放列表的ui。如果判断为未选择播放列表(步骤s16：否)，则信息处理系统1重复步骤s16的处理，并等待选择播放列表。
95.另一方面，如果判断为选择了播放列表(步骤s16：是)，则信息处理系统1从信息处理终端10的显示画面提供用于输入再现条件的ui(步骤s17)。在执行步骤s17的处理后，信息处理系统1判断是否完成了再现条件的输入(步骤s18)。如果判断为未完成输入(步骤s18：否)，则信息处理系统1重复步骤s18的处理，并等待输入完成。
96.另一方面，如果判断为完成了再现条件的输入(步骤s18：是)，则信息处理系统1将在步骤s的步骤s13至步骤s15中输入的锚点信息从信息处理终端10提供给信息处理装置30(步骤s19)。
97.在执行步骤s19的处理后，信息处理系统1将在步骤s16至步骤s18中输入的与声源相关的信息从信息处理终端10提供给信息处理装置30(步骤s20)。
98.在步骤s20的处理结束后，信息处理系统1将在步骤s19中提供的锚点信息存储在信息处理装置30中(步骤s21)。在步骤s21的处理结束后，信息处理系统1将在步骤s20中提供的声源信息存储在信息处理装置30中(步骤s22)，并结束流程图所示的处理。
99.图10是表示实施方式中的信息处理系统1的动作的第2例的流程图。第2例所示的流程图对与声源的再现相关的动作进行了说明。
100.在图10中，信息处理系统1从信息处理终端20的显示画面提供用于再现声源的ui(步骤s31)。用于再现声源的ui例如是指享受配置在空间中的声源的再现的ar(augmented reality)应用程序。
101.在执行步骤s32的处理后，信息处理系统1在扫描空间的传感器中取得扫描数据(步骤s32)。
102.在执行步骤s32的处理后，信息处理系统1判断是否检测到了锚点(步骤s33)。如果判断为未检测到锚点(步骤s33：否)，则信息处理系统1重复步骤s32至步骤s33的处理，并等待检测锚点。
103.另一方面，如果判断为检测到锚点(步骤s33：是)，则信息处理系统1将检测到的锚点显示在信息处理终端20的显示画面上(步骤s34)。
104.在执行步骤s34的处理后，信息处理系统1判断是否满足了再现条件(步骤s35)。是否满足了再现条件例如是可以通过信息处理终端20是否从信息处理装置30取得了再现条件信息来进行判断的。如果判断为未满足再现条件(步骤s35：否)，则信息处理系统1重复步骤s32至步骤s35的处理，并等待满足再现条件。
105.另一方面，如果判断为满足了再现条件(步骤s35：是)，则信息处理系统1开始声源的再现(步骤s36)。声源的再现是可以通过信息处理终端20再现从信息处理装置30取得的声源来执行的。
106.在执行步骤s36的处理后，信息处理系统1检查终端状态(步骤s37)。如上所述，终端状态是信息处理终端20的位置、信息处理终端20的拍摄范围等。在执行步骤s36的处理后，信息处理系统1改变再现方式(步骤s38)。例如，当信息处理终端20接近锚点时，信息处理系统1改变再现方式以提高声源的再现音量。根据终端状态的再现方式可以预先设置。另外，根据终端状态的再现方式可以随机改变。
107.在执行步骤s38的处理后，信息处理系统1判断是否结束再现(步骤s39)。是否结束再现例如是在终端状态不再满足再现条件时、预先准备好的声源的再现结束时、或者用户明确地停止再现时。如果判断为不结束再现(步骤s39：否)，则信息处理系统1重复步骤s37至步骤s39的处理，并等待再现结束。另一方面，如果判断为结束再现(步骤s39：是)，则信息处理系统1结束流程图所示的动作。
108.需要说明的是，图示的流程图表示的是动作的一例，并不限制动作。
109.需要说明的是，通过在计算机可读记录介质上记录用于实现构成本实施方式中说明的装置的功能的程序，并让计算机系统读取并执行记录在记录介质上的程序，可以进行本实施方式的上述各种处理。这里所说的“计算机系统”可以包括os和周边设备等硬件。另外，如果使用www系统，“计算机系统”也包括主页提供环境(或者显示环境)。另外，“计算机可读记录介质”是指软盘、光磁盘、rom、闪存等可写入的非易失性存储器、cd-rom等便携式介质、计算机系统内置的硬盘等存储装置。
110.进一步地，“计算机可读记录介质”也包括如经由因特网等网络或电话线路等通信线路发送了程序的情况下的成为服务器或客户端的计算机系统内部的易失性存储器(例如dram(dynamic random access memory，动态随机存取存储器))那样将程序保持一定时间的介质。另外，上述程序可以从在存储装置等中存储该程序的计算机系统经由传输介质或通过传输介质中的传输波传输到其他计算机系统。其中，传输程序的“传输介质”是指如因特网等网络(通信网)或电话线路等通信线路(通信线)那样具有传输信息的功能的介质。另外，上述程序可以是用于实现上述功能的一部分的程序。进一步地，也可以是通过与已经记录在计算机系统中的程序的组合来实现上述功能的程序，即所谓的差分文件(差分程序)。
111.以上，参照附图对本发明的实施方式进行了说明，但具体的构成并不限于该实施方式，也包含在不脱离本发明宗旨的范围内的各种改变。
112.附图标记说明
113.1信息处理系统
114.10信息处理终端
115.11取得部
116.12显示部
117.13锚点配置部
118.14锚点信息提供部
119.15事件设置部
120.16事件信息提供部
121.20信息处理终端
122.20a信息处理终端
123.20b信息处理终端
124.21取得部
125.22显示部
126.23检测部
127.24扫描数据提供部
128.25事件信息取得部
129.26事件执行部
130.30信息处理装置
131.31锚点信息存储部
132.32事件信息存储部
133.33事件提供部
134.34事件存储部
135.101cpu
136.102ram
137.103rom
138.104i/o设备
139.105通信i/f
140.1000显示画面
141.1001图标
142.1002锚点设置按钮
143.1003退出按钮
144.1004保存按钮
145.1005命名按钮
146.2000显示画面
147.2001试置按钮
148.3000显示画面
149.3001锚点位置修改按钮
150.3002锚点位置确定按钮
151.3003锚点
152.4000显示画面
153.4001结束按钮

技术特征：
1.一种信息处理系统，包括：取得部，取得由扫描空间的传感器扫描的扫描数据；显示部，将由相机拍摄的拍摄图像显示在显示器上；锚点配置部，基于由所述取得部取得的扫描数据，向用户提供在由所述显示部显示的拍摄图像上配置虚拟锚点的操作；锚点信息存储部，存储与由所述锚点配置部配置的所述锚点相关的锚点信息；事件设置部，向用户提供事件配置操作和开始条件设置操作，该事件配置操作使事件与所述锚点信息存储部中存储的所述锚点信息对应地配置，该开始条件设置操作设置用于使由所述事件配置操作配置的事件开始的开始条件；事件信息存储部，存储由所述事件配置操作配置的事件的配置信息和由所述开始条件设置操作设置的开始条件；事件存储部，存储事件；以及事件提供部，当满足所述事件信息存储部中存储的开始条件时，提供所述事件存储部中存储的事件。2.根据权利要求1所述的信息处理系统，所述事件设置部向用户提供事件配置操作和开始条件设置操作，该事件配置操作使声源与所述锚点信息对应地配置，该开始条件设置操作设置用于使由所述事件配置操作配置的声源开始再现的开始条件，所述事件存储部存储声源，当满足了所述开始条件时，所述事件提供部提供所述事件存储部中存储的声源。3.根据权利要求1或2所述的信息处理系统，所述锚点配置部进一步向用户提供使用由所述显示部显示的所述拍摄图像来修改配置所述锚点的位置的操作。4.根据权利要求1至3中任一项所述的信息处理系统，所述事件设置部向用户提供将执行事件的终端与所述锚点之间的距离设置为所述开始条件的操作。5.根据权利要求1至4中任一项所述的信息处理系统，所述取得部取得由扫描空间的传感器测距的测距数据。6.根据权利要求5所述的信息处理系统，所述取得部取得由使用光探测和测距lidar技术的传感器测距的测距数据。7.一种信息处理终端，包括：取得部，取得由扫描空间的传感器扫描的扫描数据；显示部，将由相机拍摄的拍摄图像显示在显示器上；锚点配置部，基于由所述取得部取得的扫描数据，向用户提供在由所述显示部显示的拍摄图像上配置虚拟锚点的操作；锚点信息提供部，将与由所述锚点配置部配置的所述锚点相关的锚点信息提供给信息处理装置；事件设置部，向用户提供事件配置操作和开始条件设置操作，该事件配置操作使事件与提供给所述信息处理装置的所述锚点信息对应地配置，该开始条件设置操作设置用于使由所述事件配置操作配置的事件开始的开始条件；以及事件信息提供部，将由所述事件配置操作配置的事件的配置信息和由所述开始条件设置操作设置的开始条件提供给所述信息处理装置。
8.一种信息处理终端，包括：取得部，取得由扫描空间的传感器扫描的扫描数据；检测部，基于由所述取得部取得的扫描数据，检测在空间中虚拟配置的锚点；显示部，将由所述检测部检测到的锚点显示在由相机拍摄的拍摄图像上；以及事件执行部，当满足在与由所述检测部检测到的锚点对应地配置的事件中设置的用于开始事件的开始条件时，执行事件。9.根据权利要求8所述的信息处理终端，当基于由所述取得部取得的扫描数据而估计的信息处理终端的终端状态满足所述开始条件时，所述事件执行部执行事件。10.根据权利要求9所述的信息处理终端，还包括：扫描数据提供部，将由所述取得部取得的扫描数据提供给信息处理装置；以及开始信息取得部，从所述信息处理装置取得开始条件信息，该开始条件信息表示在所述信息处理装置中基于由所述扫描数据提供部提供的扫描数据而估计的所述终端状态满足所述开始条件；当由所述开始信息取得部取得的开始条件信息满足所述开始条件时，所述事件执行部执行事件。11.根据权利要求8至10中任一项所述的信息处理终端，当基于由所述取得单元取得的扫描数据而估计的信息处理终端的位置和方向以及由所述检测部检测到的锚点的位置满足所述开始条件时，所述事件执行部再现声源。12.根据权利要求8至11中任一项所述的信息处理终端，所述事件执行部基于由所述取得部取得的扫描数据改变事件的执行方式。13.根据权利要求12所述的信息处理终端，所述事件执行部作为所述执行方式改变在事件中再现的音量。14.根据权利要求8至13中任一项所述的信息处理终端，所述事件执行部基于其他信息处理终端的终端状态改变事件的执行方式。15.根据权利要求8至14中任一项所述的信息处理终端，所述事件执行部基于由所述显示部显示的拍摄图像改变事件的执行方式。16.一种信息处理方法，包括以下步骤：取得步骤，取得由扫描空间的传感器扫描的扫描数据；显示步骤，将由相机拍摄的拍摄图像显示在显示器上；锚点配置步骤，基于由所述取得步骤取得的扫描数据，向用户提供在由所述显示步骤显示的拍摄图像上配置虚拟锚点的操作；锚点信息存储步骤，存储与由所述锚点配置步骤配置的所述锚点相关的锚点信息；事件设置步骤，向用户提供事件配置操作和开始条件设置操作，该事件配置操作使事件与由所述锚点信息存储步骤存储的所述锚点信息对应地配置，该开始条件设置操作设置用于使由所述事件配置操作配置的事件开始的开始条件；事件信息存储步骤，存储由所述事件配置操作配置的事件的配置信息和由所述开始条件设置操作设置的开始条件；事件存储步骤，存储事件；以及事件提供步骤，当满足由所述事件信息存储步骤存储的开始条件时，提供由所述事件
存储步骤存储的事件。17.一种信息处理程序，用于使计算机执行以下处理：取得处理，取得由扫描空间的传感器扫描的扫描数据；显示处理，将由相机拍摄的拍摄图像显示在显示器上；锚点配置处理，基于由所述取得处理取得的扫描数据，向用户提供在由所述显示处理显示的拍摄图像上配置虚拟锚点的操作；锚点信息存储处理，存储与由所述锚点配置处理配置的所述锚点相关的锚点信息；事件设置处理，向用户提供事件配置操作和开始条件设置操作，该事件配置操作使事件与由所述锚点信息存储处理存储的所述锚点信息对应地配置，该开始条件设置操作设置用于使由所述事件配置操作配置的事件开始的开始条件；事件信息存储处理，存储由所述事件配置操作配置的事件的配置信息和由所述开始条件设置操作设置的开始条件；事件存储处理，存储事件；以及事件提供处理，当满足由所述事件信息存储处理存储的开始条件时，提供由所述事件存储处理存储的事件。

技术总结
即使在定位卫星定位困难的情况下也能够执行在空间中配置的事件，并降低开始事件的开始条件的精度高的系统的构建成本。取得由扫描空间的传感器扫描的扫描数据；将由相机拍摄的拍摄图像显示在显示器上；基于取得的扫描数据，向用户提供在显示的拍摄图像上配置虚拟锚点的操作；存储与配置的锚点相关的锚点信息；向用户提供事件配置操作和开始条件设置操作，该事件配置操作使事件与存储的锚点信息对应地配置，该开始条件设置操作设置用于使由事件配置操作配置的事件开始的开始条件；存储配置的事件的配置信息和由开始条件设置操作设置的开始条件；存储事件；当满足了存储的开始条件时执行事件。件时执行事件。件时执行事件。


技术研发人员：竹下俊一
受保护的技术使用者：株式会社嘉塔利
技术研发日：2021.12.16
技术公布日：2023/8/24