投影装置、显示系统和显示方法与流程

1.本发明涉及投影装置、显示系统和显示方法。


背景技术：

2.在专利文献1中，记载了具有拍摄实际空间的拍摄部以及显示部的终端装置。终端装置的控制部通过执行ar应用，将由拍摄部拍摄到的图像作为输入图像，将对输入图像重叠了虚拟对象的输出图像显示于显示部。
3.在专利文献1的终端装置中，拍摄实际空间，通过图像识别来检测拍摄到的图像中映现的物体，将与检测到的物体相关联的虚拟对象重叠显示于拍摄图像。作为物体的例子，记载有车站的引导用的招牌的示意图、出口引导、时刻表。另外，终端装置具有触摸传感器、鼠标或识别手势、视线的模块等输入部，基于来自输入部的用户输入，对显示于显示部的虚拟对象的动作进行操作。
4.专利文献1：日本特开2012-212345号公报
5.专利文献1的终端装置使用终端显示的显示部，以观察在拍摄实际空间而得到的图像上重叠有虚拟对象的显示。作为终端装置，使用智能手机、pc、游戏终端等。另外，作为显示部也能够使用hmd(head mounted display：头戴式显示器)，但无论如何，用户都必须持有或佩戴某些装置。因此，为了使多个用户自由地观看显示，需要与人数相应的终端装置、hmd，各用户必须对装置进行操作。因此，多个用户不能简单地共享虚拟对象的显示。


技术实现要素：

6.为了解决上述课题，本发明的投影装置的特征在于，具有：摄像头，其对配置有物体的实际空间进行拍摄；以及投影仪，其将基于所述摄像头的拍摄图像生成、且包含所述物体的信息的图像投射到所述实际空间中的所述摄像头的拍摄区域。
7.本发明的显示系统的特征在于，该显示系统具有：第1装置，其具有摄像头和投影仪；以及第2装置，其能够与所述第1装置进行通信，所述第2装置从所述第1装置接收通过所述摄像头对配置有物体的实际空间进行拍摄而得到的拍摄图像，并基于所述拍摄图像，生成用于投射包含所述物体的信息的图像的影像数据，所述第1装置从所述第2装置接收所述影像数据，通过所述投影仪将所述图像投射到所述实际空间中的所述摄像头的拍摄区域。
8.本发明的显示方法的特征在于，进行以下步骤：第1步骤，通过摄像头对配置有物体的实际空间进行拍摄；第2步骤，基于在所述第1步骤中拍摄到的拍摄图像，生成用于投射包含所述物体的信息的图像的影像数据；以及第3步骤，通过投影仪，将所述图像投射到所述实际空间中的所述摄像头的拍摄区域。
附图说明
9.图1是应用了本发明的显示方法的流程图。
10.图2是示意性地表示将实施方式1的投影装置设置于实际空间的状态的俯视图。
11.图3是表示实施方式1的投影装置的功能结构的框图。
12.图4是表示在摄像头的光学系统和投影仪的投射光学系统被共用的情况下的投影装置的功能结构的框图。
13.图5是表示在投影仪的图像形成部配置有摄像头的拍摄元件的情况下的投影装置1的功能结构的框图。
14.图6是表示摄像头的拍摄区域的主视图。
15.图7是表示投射有指示图像的投射区域的主视图。
16.图8是表示基于实施方式1的投影装置的、显示方法的具体例的流程图。
17.图9是表示实施方式2的投影装置的功能结构的框图。
18.图10是表示实施方式3的显示系统的功能结构的框图。
19.图11是表示实施方式4的显示系统的功能结构的框图。
20.标号说明
21.1、1a：投影装置；2：指示图像；3：实际空间；4：用户；5、5a、6、7：物体；11：摄像头；12：投影仪；13：输入部；14：影像数据生成部；15、16：通信部；20、20a：显示系统；21、21a：第1装置；22、22a：第2装置；100：网络；110：分离光学元件；111：拍摄元件；112：光学系统；121：图像形成部；122：投射光学系统；r1：拍摄区域；r2：投射区域；θ1：拍摄视场角；θ2：投射视场角。
具体实施方式
22.以下，参照附图对本发明实施方式的投影装置、显示系统和显示方法进行说明。
23.1.显示方法
24.图1是应用了本发明的显示方法的流程图。首先，参照图1，对应用了本发明的显示方法的概要进行说明。如后所述，应用了本发明的投影装置和显示系统具有拍摄实际空间的摄像头、和向实际空间投射包含影像的图像的投影仪。应用了本发明的显示方法通过向实际空间投射包含影像的图像来在实际空间显示各种图像。此时，每次基于拍摄实际空间而得到的拍摄图像来生成要投射的影像。要显示的图像可以是任意图像。例如，能够显示图形、图案、字符等。显示形式可以是静态图像，也可以是动态图像。
25.如图1所示，应用了本发明的显示方法进行步骤st11(第1步骤)、步骤st12(第2步骤)、步骤st13(第3步骤)。在步骤st11中，通过投影装置或显示系统的摄像头，对配置有物体的实际空间进行拍摄。在步骤st12中，基于在步骤st11中拍摄到的摄像头的拍摄图像，生成用于影像数据，该影像数据在实际空间中显示包含物体的信息的图像。在步骤st13中，从投影装置或显示系统的投影仪将在步骤st12中生成的影像数据所表示的图像投射到实际空间中的摄像头的拍摄区域。由此，在实际空间中显示包含物体的信息的图像。投影装置使投影仪的投射定时与摄像头的拍摄定时同步。在设置型的投影装置的情况下，使拍摄定时与投射定时以不同的方式进行同步更容易进行物体的检测，并且能够抑制投射的图像的质量下降。
26.在步骤st12中，通过图像识别从实际空间的拍摄图像中检测物体，生成用于投射将与物体相关的信息提示给用户的图像的影像数据。在后述的实施方式1中，生成用于将指示检测出的物体的位置的指示图像投射到实际空间的影像数据。在该情况下，在步骤st12
中，基于拍摄区域中的物体的位置，决定显示指示图像的位置。例如，将指示图像的投射位置设为与检测出的物体相邻的位置、或者与检测出的物体重叠的位置。另外，步骤st11能够将输入了与物体相关的输入信息作为触发来进行。该情况下，在步骤st12中，基于输入信息从拍摄图像中检测物体。
27.在步骤st13中，从投影仪将所生成的影像数据表示的图像投射到与实际空间中的摄像头的拍摄区域重叠的范围。由此，将用于向用户提示信息的图像直接显示于实际空间的物体表面，使用户与物体本身一起直接看到该图像。
28.以往的ar(增强现实)显示是通过在画面内对终端的画面所显示的实际空间的图像重叠各种图像来提示想要使用户识别的信息的方法，但本发明的显示方法通过在实际空间的物体表面直接重叠图像来提示想要使用户识别的信息。因此，用户能够不经由显示画面而直接看到在实际空间的物体表面提示的图像。这样，不像以往的ar显示那样需要显示设备或其佩戴，因此多个用户能够简单地共享与实际空间相关的信息。另外，由于每次都基于拍摄实际空间而得到的拍摄图像来生成显示图像，因此即使没有预先登记了实际空间中的物体配置的地图信息，也能够进行与实际空间中的现实的物体配置对应的显示。因此，便利性高。另外，能够进行准确的显示，能够进行有效的显示。
29.2.投影装置
30.(实施方式1)
31.图2是示意性地表示将实施方式1的投影装置1设置于实际空间3的状态的俯视图。在本说明书的附图中，x、y、z这3个方向是相互垂直的方向。x方向是实际空间3的左右方向(宽度方向)，y方向是实际空间的前后方向(进深方向)，z方向是实际空间3的上下方向(高度方向)。投影装置1可以是设置在实际空间3中使用的形式、以及用户4携带着使用的便携装置的形式中的任意形式。图2示出在实际空间3中设置投影装置1的形式。
32.图3是表示实施方式1的投影装置1的功能结构的框图。投影装置1包含摄像头11、投影仪12、输入部13和影像数据生成部14。摄像头11具有拍摄元件111以及光学系统112，拍摄实际空间3并输出拍摄图像。投影仪12具有投射光学系统122和图像形成部121，投射影像数据生成部14生成的影像数据。输入部13受理用户4的输入。例如，作为输入部13，能够使用进行声音输入的输入设备、触摸面板、手写板等。另外，作为输入部13，也可以使用通用的终端装置所具有的各种输入部。
33.摄像头11的拍摄图像以及从输入部13输入的输入信息被输入到影像数据生成部14。影像数据生成部14的功能通过cpu等处理器执行从非易失性存储器、hdd等存储部读出的显示程序来实现。影像数据生成部14基于来自输入部13的输入信息以及摄像头11的拍摄图像来生成影像数据。影像数据生成部14决定在实际空间3中应对用户4显示图像的位置，生成在所决定的位置配置有应显示的图像的影像数据。图像形成部121形成所生成的影像数据表示的图像。图像形成部121形成的图像被投射光学系统122放大投射，在实际空间3的投射对象上成像，从而显示出图像。另外，在本实施方式中，有时也将该图像的显示简单地记载为“投影仪12投射影像数据”。
34.例如，影像数据生成部14根据摄像头11的拍摄图像，在摄像头11的拍摄区域r1中决定应显示图像的显示位置，将拍摄区域r1中的显示位置转换为投影仪12的投射区域r2中的显示位置，生成在投射区域r2中的显示位置配置了图像的影像数据。
35.如图3所示，在投影装置1中，摄像头11的拍摄视场角θ1与投影仪12的投射视场角θ2大致相同。摄像头11和投影仪12朝向同一侧配置。在实施方式1中，构成为摄像头11的拍摄区域r1(参照图6)与投影仪12的投射区域r2(参照图7)大体一致。因此，投影仪12向摄像头11的拍摄区域r1投射影像。在此，在图2所示的例子中，摄像头11和投影仪12左右排列，但也可以将摄像头11和投影仪12上下层叠。在与配置于实际空间3的物体的距离为投影仪12的投射距离内的位置处，使用投影装置1。如果是这样的配置，则从投影仪12投射的影像在实际空间3的物体表面成像。
36.另外，通过共用摄像头11的光学系统112和投影仪12的投射光学系统122，能够使拍摄视场角θ1和投射视场角θ2相同，能够使拍摄区域r1和投射区域r2一致。图4是表示摄像头11的光学系统112和投影仪12的投射光学系统122被共用的情况下的投影装置1的功能结构的框图。图4的结构是如下结构：通过分离光学元件110使来自共用的光学系统112、122的光入射到拍摄元件111，使来自图像形成部121的光射出到光学系统112、122。图5是表示在投影仪12的图像形成部121配置有拍摄元件111的情况下的投影装置1的功能结构的框图。图5的结构是如下结构：图像形成部121由具有发光元件的自发光成像器构成，在图像形成部121中，拍摄元件111和发光元件层叠或形成于同一面。
37.(实际空间中的图像的显示形式)
38.图6是表示摄像头11的拍摄区域r1的主视图。图7是表示投射有指示图像2的投射区域r2的主视图。图6、图7是从用户4侧观察图2所示的实际空间3的主视图。投影装置1在实际空间3中显示指示图像2，该指示图像2表示配置在实际空间3中的物体的位置。如图6所示，在实际空间3中，在摄像头11的拍摄区域r1配置有物体5、6、7。在图2、图6、图7所示的例子中，物体5是书，物体6是书架。另外，还配置有书架和书架以外的物体7。在书架(物体6)上排列有多本书(物体5)。
39.在图7所示的例子中，指示图像2是箭头的图像，以指示多本书中的1册(以下，称为物体5a)的方式显示。具体而言，指示图像2在与物体5a相邻的位置，以末端朝向物体5a侧的方式显示。
40.使用什么样的图像作为表示物体5a的位置的指示图像2是在影像数据生成部14执行的显示程序中预先设定的。影像数据生成部14从存储部读出作为指示图像2使用的图像的数据而生成影像数据。影像数据生成部14基于从输入部13输出的输入信息以及摄像头11的拍摄图像，决定指示图像2(箭头)的朝向和显示位置。然后，生成在所决定的显示位置配置了指示图像2的影像数据。
41.例如，影像数据生成部14基于作为输入信息而输入了书的标题“abc”这一情况，通过图像识别，从由摄像头11拍摄到的拍摄图像中，检测与输入信息一致的标题的书。在图6所示的例子中，检测出物体5a，作为标题与输入信息一致的书。然后，生成在指示检测出的物体5a的位置配置了指示图像2的影像数据。例如，生成在与物体5a相邻的位置配置有末端朝向物体5a的指示图像2的影像数据。此时，以拍摄区域r1与投射区域r2大体一致为前提来生成影像数据。
42.图8是表示基于实施方式1的投影装置1的、显示方法的具体例的流程图。图8的流程图包含：第1步骤(步骤st22)，通过摄像头11对实际空间3进行拍摄；第2步骤(步骤st23、st24)，基于拍摄图像，生成用于在实际空间3显示包含物体5a的信息的图像(指示图像2)的
影像数据；以及第3步骤(步骤st25)，从投影仪12将在第2步骤中生成的影像数据所表示的图像投射到实际空间3中的摄像头11的拍摄区域r1，显示包含物体5a的信息的图像(指示图像2)。
43.在图8的显示方法中，首先，在步骤st21中，从输入部13受理与物体相关的输入信息的输入。在步骤st22中，以从输入部13输入了输入信息为触发，通过摄像头11对实际空间3进行拍摄。接着，在步骤st23中，通过图像识别从拍摄图像中检索标题“abc”，从而检测出物体5a。在步骤st24中，生成在指示检测出的物体5a的位置处配置有指示图像2的影像数据。接着，在步骤st25中，通过投影仪12将在步骤st24中生成的影像数据所表示的图像投射到实际空间3中的摄像头11的拍摄区域r1。由此，在实际空间3中指示物体5a的位置处，显示指示物体5a的指示图像2。
44.(实施方式1的投影装置的主要作用效果)
45.如上所述，实施方式1的投影装置1包含：摄像头11，其对配置有物体的实际空间3进行拍摄；以及投影仪12，其将基于摄像头11的拍摄图像生成、且包含物体的信息的图像投射到实际空间3中的摄像头11的拍摄区域r1。
46.实施方式1的投影装置1执行图8所示的各步骤，在实际空间3中显示图像。由此，用户4能够不经由显示设备而直接看到提示于实际空间3的物体表面上的图像。因此，不像以往的ar显示那样需要显示设备或其佩戴，多个用户4能够简单地共享与实际空间3的物体相关的信息。另外，每次基于拍摄实际空间3而得到的拍摄图像来生成要显示的图像，因此即使没有预先登记了实际空间3中的物体配置的地图信息，也能够进行与实际空间3中的现实的物体配置对应的显示。因此，便利性高。另外，能够进行准确的显示，能够进行有效的显示。
47.在实施方式1的投影装置中，投影仪12的投射视场角θ2与摄像头11的拍摄视场角θ1一致。在根据摄像头11的拍摄图像生成投影仪12用的影像数据时，能够以拍摄区域r1与投射区域r2一致为前提生成影像数据，因此影像数据的生成容易。另外，能够使摄像头11的拍摄区域r1与投影仪12的投射区域r2一致，向用户提示与从摄像头11的拍摄图像中检测出的全部物体相关的信息。
48.在实施方式1的投影装置1中，如图4、图5所示，能够采用投影仪12的投射光学系统122与摄像头11的光学系统112共用的结构。由此，能够使摄像头11的拍摄视场角与投影仪12的投射视场角相同，能够使拍摄区域r1与投射区域r2一致。
49.在实施方式1的投影装置1中，由投影仪12投射的图像包含对配置于拍摄区域r1的物体5a进行指示的指示图像2。通过显示指示图像2，能够向用户4提供对于找到物体5a有用的信息。在实施方式1中，如图7所示，指示图像2被投射到与物体5a相邻的位置。因此，能够简单地找到物体5a。
50.实施方式1的投影装置1具有影像数据生成部14，该影像数据生成部14生成用于投射图像的影像数据。影像数据生成部14进行图8的步骤st23、st24。即，检测摄像头11的拍摄区域r1中的物体5a的位置，根据检测出的位置，决定投射指示图像2的位置，生成影像数据。例如，生成用于向与物体5a重叠或相邻的位置投射指示图像2的影像数据。由于投影装置1包含影像数据生成部14，因此投影装置1可以单独生成所需的影像数据并投射图像。因此，即使在没有通信网络的地方，也能够使用投影装置1。另外，根据拍摄图像确认物体5a的位
置来决定指示图像2的显示位置，因此指示图像2的显示位置准确。
51.实施方式1的投影装置1具有输入部13，输入部13受理用于生成影像数据的信息的输入。影像数据生成部14在图8的步骤st23、st24中，使用从输入部13输入的输入信息，通过图像识别从摄像头11的拍摄图像中检测物体5a。因此，用户4能够当场输入所需的物体的信息(例如，书的标题)，从而显示表示所需的物体的位置的指示图像2，所以便利性较高。
52.实施方式1的投影装置1包含具有自发光成像器的投影仪12。自发光成像器是按每个像素具有发光元件的显示面板。由此，能够使投影装置1小型化，因此能够减小设置空间。另外，适合于携带着进行使用的形式。
53.(实施方式2)
54.图9是表示实施方式2的投影装置1a的功能结构的框图。投影装置1a包含摄像头11、投影仪12、影像数据生成部14和通信部15。投影装置1a经由通信部15以及网络100与未图示的终端装置进行通信。投影装置1a与实施方式1同样地设置于实际空间3。或者，也可以由用户4携带着进行使用。投影装置1a将从终端装置接收到输入信息作为触发，通过摄像头11对配置有物体的实际空间3进行拍摄。然后，投影装置1a基于输入信息和摄像头11的拍摄图像生成影像数据，并且将由影像数据表示的图像投射到实际空间3中。影像数据表示的图像是包含物体的信息的图像。作为发送输入信息的终端装置，能够使用用户4所拥有的智能手机或平板终端等终端装置。或者，也可以是管理实际空间3的管理者的装置。
55.摄像头11以及投影仪12的结构与实施方式1相同。另外，影像数据生成部14与实施方式1同样地，基于输入信息以及摄像头11的拍摄图像来生成包含指示图像2的影像数据。因此，能够以与实施方式1相同的形式在实际空间3中显示指示图像2，所以能够得到与实施方式1相同的作用效果。
56.在实施方式2中，在从用户4的终端装置输入了输入信息的情况下，与实施方式1同样地，用户4能够自己输入想要找到的物体的信息从而显示指示图像2。另一方面，当从与实际空间3不同场所的终端装置输入了输入信息时，能够通过远程操作使投影装置1显示用户4想要识别的物体的位置信息。例如，在实际空间3为仓库、用户4为在仓库中进行拣选作业的作业者的情况下，管理者能够从外部的终端装置输入作为拣选对象的物体的信息，在仓库中显示作为拣选对象的物体的位置。此外，在该情况下，外部的终端装置的控制也可以不是由人的管理者进行，而是由计算机进行。
57.(指示图像的形式)
58.在图7所示的形式中，使用箭头作为指示图像2，但也可以代替箭头而使用手指指示的图像。在使用手指指示的图像的情况下，与箭头同样地，在与物体5a相邻的位置处，以手指的末端朝向物体5a侧的方式配置手指指示的图像。或者，作为指示图像，还能够使用指示物体5a的字符的图像。
59.另外，指示图像2并不限定于显示在与物体5a相邻的位置。例如，为了表示物体5a的位置，也可以显示与物体5a重叠的图像。例如，作为指示图像，将与物体5a相同形状的图形重叠于物体5a。或者，作为指示图像，将包围物体5a的外形的框状的图形重叠于物体5a。
60.指示图像2可以是静态图像，也可以是动态图像。例如，使与物体5a重叠的图形以规定的模式闪烁。通过该形式，能够使指示图像醒目。或者，将朝向物体5a移动并在指向物体5a的位置停止的箭头的动态图像设为指示图像2。根据该形式，能够使指示图像2显眼，从
而容易发现物体5a的位置。
61.在图7所示的形式中，由投影仪12投射的图像仅为1个指示图像2，但也能够显示2个以上的指示图像。例如，在输入信息中包含多本书的标题的情况下，检测多本书的位置，在各位置分别显示指示图像2。或者，在实际空间中配置多个书架的情况下，也可以是将用于使作为检索对象的书所排列的书架显眼的图像、和指示书的指示图像2组合显示的形式。
62.另外，影像数据生成部14也可以在从拍摄图像中没有检测到符合输入信息的物体时，进行没有找到的主旨的显示。例如，投射字符或标记来显示未找到的情况。因此，指示图像2不仅包含箭头等图像，还包含字符、标记等所表现的与物体5a相关的附加信息的图像。
63.(其他用途中的显示形式)
64.图7所示的显示形式是用户4用来发现物体5a而显示指示图像2的形式，但投影装置1、1a能够用于其他用途。例如，能够通过图像识别从摄像头11的拍摄图像中检测可疑者的侵入，并进行警告显示。作为警告显示的影像数据，例如能够使用强光照射到可疑者的影像数据，向可疑者投射明亮的图像。
65.另外，投影装置1、1a能够用于提醒用户注意这一用途。作为提醒注意的例子，从摄像头11的拍摄图像中检测物体配置的变化，在物体消失的情况下，在该位置显示注意提醒图像。在该情况下，既可以显示指示图像，也可以使用与指示图像不同的注意提醒图像。
66.或者，能够使用投影装置1、1a进行演示显示。例如，从摄像头11的拍摄图像中检测物体5、6、7，根据实际空间3中的物体5、6、7的配置来决定演示图像的显示位置。或者，进行演示图像根据物体5、6、7的配置而移动的显示。演示图像例如能够使用字符图像。
67.另外，虽然图2是设置型的投影装置1的形式，但通过将图像形成部121设为自发光成像器，投影装置1的小型化、便携性变得容易。该情况下，存在投影装置1的投射视场角不能增大的情况，但是投射视场角和拍摄视场角可以容易地彼此一致，并且在实际空间中，可以仅显示用户4所需的物体的信息。在便携式投影装置1中，投影仪12投射图像的定时与摄像头11拍摄图像的定时同步，如果在每次摄像头11拍摄图像时生成的拍摄图像中包含物体，则投影仪12投射包含物体的信息的图像。
68.例如，当物体是陈列商品时，投影装置1、1a能够投射附加信息。此外，在便携式投影装置1的情况下，可以在实际空间中显示仅与投影装置1被用户4指向的产品相关的附加信息。
69.另外，在物体是组装前的部件的情况下，投影装置1、1a能够投射与该部件相关的组装等的作业过程动态图像。在存在多个部件的情况下，能够通过便携式投影装置1选择要投射作业过程动态图像的部件。
70.此外，在物体是提问形式的方式的情况下，投影装置1、1a能够投射该提问的答案。在存在多个形式的情况下，能够通过便携式的投影装置1选择提问的答案并投射。例如，“物体是提问形式的方式”是指记载有表现提问的字符、图形的纸等。
71.(显示方向的调整功能)
72.在投影装置1、1a中，摄像头11和投影仪12也可以构成为能够在保持摄像头11的拍摄区域r1与投影仪12的投射区域r2大体一致的状态下，使摄像头的拍摄方向以及投影仪12的投射方向移动。例如，能够具有调整机构，该调整机构以保持拍摄区域r1与投射区域r2大体一致状态的方式，使摄像头的拍摄方向和投影仪12的投射方向联动地移位。由此，能够根
据实际空间3的大小、实际空间3中的物体配置，在最佳的范围内进行显示。
73.3.显示系统
74.(实施方式3)
75.图10是表示实施方式3的显示系统20的功能结构的框图。显示系统20包含第1装置21和第2装置22。第1装置21是安装在实际空间3中的投影装置、或由用户携带并在实际空间3中使用的投影装置。第2装置22能够经由网络100与第1装置21进行通信。
76.第1装置21具有摄像头11、投影仪12和通信部15。摄像头11以及投影仪12与实施方式1同样地构成。第2装置22具有输入部13、影像数据生成部14以及通信部16。作为第2装置22，例如能够使用通用的个人计算机。在使用通用的个人计算机的情况下，作为输入部13，能够使用键盘、鼠标。另外，与实施方式1同样地，作为输入部13，能够使用声音输入设备、触摸面板、手写板等。
77.显示系统20与上述各实施方式同样地，能够进行如下步骤：第1步骤，通过摄像头11对配置有物体的实际空间3进行拍摄；第2步骤，基于拍摄图像，生成用于投射包含物体的信息的图像的影像数据；以及第3步骤，从投影仪12将影像数据所表示的图像投射到实际空间3中的摄像头11的拍摄区域r1而在实际空间3中显示图像。具体而言，如以下那样，能够进行图8的流程图的各步骤。
78.在显示系统20的第2装置22中，当从输入部13输入了输入信息时，第2装置22经由通信部16向第1装置21请求摄像头的拍摄图像。第1装置21基于该请求，通过摄像头11拍摄实际空间3，并经由通信部15将摄像头11的拍摄图像发送到第2装置22。在第2装置22中，影像数据生成部14根据从输入部13输入的输入信息以及摄像头11的拍摄图像，生成用于显示包含指示图像2的图像的影像数据。即，根据输入信息，通过图像识别从拍摄图像中检测物体5a，根据检测出的物体5a的位置，决定投射指示图像2的位置，生成影像数据。接着，第2装置22经由通信部16将影像数据发送到第1装置21。在第1装置21中，通过投影仪12将从第2装置22接收到的影像数据所表示的图像投射到实际空间3中的摄像头11的拍摄区域r1。
79.因此，实施方式3的显示系统20能够以与实施方式1相同的形式在实际空间3中显示指示图像2，因此能够得到与实施方式1相同的作用效果。另外，与实施方式1同样地，能够进行其他各种显示形式的显示，能够用于各种用途。此外，由于与实施方式2同样地，输入信息在与配置于实际空间3的第1装置21不同的第2装置22中被输入，因此与实施方式2同样地，能够通过远程操作而在实际空间3中显示用户4想要识别的信息。
80.(实施方式4)
81.图11是表示实施方式4的显示系统20a的功能结构的框图。显示系统20a具有第1装置21a以及第2装置22a。第1装置21a是安装在实际空间3中的投影装置、或由用户携带着使用的投影装置。第2装置22a能够经由网络100与第1装置21a通信。
82.第1装置21a具有摄像头11、投影仪12、输入部13和通信部15。摄像头11、投影仪12以及输入部13与实施方式1同样地构成。第2装置22a具有影像数据生成部14和通信部16。与实施方式3同样地，作为第2装置22a，能够使用通用的个人计算机。
83.显示系统20a与上述各实施方式同样地，能够进行如下步骤：第1步骤，通过摄像头11对配置有物体的实际空间3进行拍摄；第2步骤，基于拍摄图像，生成用于投射包含物体的信息的图像的影像数据；以及第3步骤，从投影仪12将影像数据所表示的图像投射到实际空
间3中的摄像头11的拍摄区域r1而在实际空间3中显示图像。具体而言，如以下那样，能够进行图8的流程图的各步骤。
84.在显示系统20a的第1装置21a中，以从输入部13输入了输入信息为触发，通过摄像头11对实际空间3进行拍摄。第1装置21a经由通信部15将输入信息和拍摄图像发送到第2装置22a。在第2装置22a中，影像数据生成部14根据输入信息和拍摄图像，生成包含指示图像2的影像数据。即，根据输入信息，通过图像识别从拍摄图像中检测物体5a，根据检测出的物体5a的位置，决定投射指示图像2的位置，生成影像数据。在第1装置21a中，通过投影仪12将从第2装置22a接收到的影像数据所表示的图像投射到实际空间3中的摄像头11的拍摄区域r1。
85.因此，实施方式4的显示系统20a能够以与实施方式1相同的形式在实际空间3中显示指示图像2，因此能够得到与实施方式1相同的作用效果。另外，与实施方式1同样地，能够进行其他各种显示形式的显示，能够用于各种用途。另外，与实施方式1同样地，输入信息在配置于实际空间3的第1装置21a中被输入，因此与实施方式1同样地，用户4能够当场输入所需的物体的信息(例如，书的标题)，从而显示表示所需的物体的位置的指示图像2，因此便利性高。

技术特征：
1.一种投影装置，其特征在于，该投影装置具有：摄像头，其对配置有物体的实际空间进行拍摄；以及投影仪，其将基于所述摄像头的拍摄图像生成、且包含所述物体的信息的图像投射到所述实际空间中的所述摄像头的拍摄区域。2.根据权利要求1所述的投影装置，其特征在于，所述投影仪的投射视场角与所述摄像头的拍摄视场角一致。3.根据权利要求1所述的投影装置，其特征在于，所述投影仪的投射光学系统与所述摄像头的光学系统是共用的。4.根据权利要求1～3中的任意一项所述的投影装置，其特征在于，所述图像包含指示图像，所述指示图像对配置于所述拍摄区域的所述物体进行指示。5.根据权利要求4所述的投影装置，其特征在于，该投影装置具有影像数据生成部，所述影像数据生成部生成用于投射所述图像的影像数据，所述影像数据生成部从所述拍摄图像中检测所述物体，基于所述拍摄区域中的所述物体的位置，决定投射所述指示图像的位置。6.根据权利要求5所述的投影装置，其特征在于，该投影装置具有输入部，所述影像数据生成部基于从所述输入部输入的输入信息，从所述拍摄图像中检测所述物体。7.根据权利要求1～3中的任意一项所述的投影装置，其特征在于，所述投影仪具有按每个像素具有发光元件的自发光成像器。8.根据权利要求1～3中的任意一项所述的投影装置，其特征在于，所述投影装置是所述投影仪的投射的定时与所述摄像头的拍摄的定时同步的便携式的装置，如果在所述拍摄图像中包含所述物体，则所述投影仪投射包含所述物体的信息的图像。9.一种显示系统，其特征在于，该显示系统具有：第1装置，其具有摄像头和投影仪；以及第2装置，其能够与所述第1装置进行通信，所述第2装置从所述第1装置接收通过所述摄像头对配置有物体的实际空间进行拍摄而得到的拍摄图像，并基于所述拍摄图像，生成用于投射包含所述物体的信息的图像的影像数据，所述第1装置从所述第2装置接收所述影像数据，通过所述投影仪将所述图像投射到所述实际空间中的所述摄像头的拍摄区域。10.根据权利要求9所述的显示系统，其特征在于，所述图像包含指示图像，所述指示图像对配置于所述拍摄区域的物体进行指示，所述第2装置具有生成所述影像数据的影像数据生成部，所述影像数据生成部从所述拍摄图像中检测所述物体，基于所述拍摄区域中的所述物体的位置，决定投射所述指示图像的位置。
11.根据权利要求10所述的显示系统，其特征在于，在所述第1装置或所述第2装置中设置有输入部，所述影像数据生成部基于从所述输入部输入的输入信息，从所述拍摄图像中检测所述物体。12.一种显示方法，其特征在于，进行以下步骤：第1步骤，通过摄像头对配置有物体的实际空间进行拍摄；第2步骤，基于在所述第1步骤中拍摄到的拍摄图像，生成用于投射包含所述物体的信息的图像的影像数据；以及第3步骤，通过投影仪，将所述图像投射到所述实际空间中的所述摄像头的拍摄区域。13.根据权利要求12所述的显示方法，其特征在于，在所述第2步骤中，从所述拍摄图像中检测物体，基于所述拍摄区域中的所述物体的位置，决定投射指示图像的位置，所述指示图像对所述物体进行指示。14.根据权利要求13所述的显示方法，其特征在于，在所述第1步骤中，基于输入了与所述物体相关的输入信息的情况，通过所述摄像头对所述实际空间进行拍摄，在所述第2步骤中，基于所述输入信息，从所述拍摄图像中检测所述物体。15.根据权利要求12～14中的任意一项所述的显示方法，其特征在于，所述投影仪的投射的定时与所述摄像头的拍摄的定时同步，如果在所述拍摄图像中包含所述物体，则所述投影仪投射所述图像。

技术总结
投影装置、显示系统和显示方法，在实际空间中不经由显示画面来提示用户所需的信息。投影装置(1)包含：摄像头(11)，其对配置有物体的实际空间(3)进行拍摄；以及投影仪(12)，其将基于摄像头(11)的拍摄图像生成的影像数据所表示的图像投射到实际空间(3)中的摄像头(11)的拍摄区域(R1)。影像数据例如是指示配置于实际空间(3)的物体(5A)的箭头、手指指示等指示图像(2)。投影装置通过图像识别从拍摄图像中检测物体(5A)，并生成用于将指示物体(5A)的指示图像显示在与物体重叠或相邻的位置的影像数据。当从投影仪投射生成的影像数据所表示的图像时，在实际空间中与物体重叠或相邻的位置处显示指示图像。显示指示图像。显示指示图像。


技术研发人员：真保晃
受保护的技术使用者：精工爱普生株式会社
技术研发日：2023.01.19
技术公布日：2023/7/26