图像处理装置、图像处理方法和投影仪装置与流程

1.本技术涉及图像处理装置及其方法、以及包括图像处理装置的元件的投影仪装置。具体地，本技术涉及适合于将输入图像分类为前景图像部分和背景图像部分并校正前景图像部分的图像处理技术。


背景技术：

2.例如，对允许在远程场所享受诸如体育比赛和音乐会的活动的公共观看和团体观看的需求逐渐增加。在这些诸如公共观看和团体观看的观看方式中，实际上正举办活动的场所的捕获图像被显示在远程场所处放置的显示装置上。此时，为了增强与活动的统一感，需要在大屏幕上执行远程场所的显示。
3.现有技术的示例可包括下面的专利文献1。专利文献1公开了一种与图像处理装置相关的技术，该图像处理装置包括：校正单元，根据前景图像和背景图像之间的图像质量差异，自适应地校正前景图像和背景图像中的至少一个的图像质量；以及合成单元，通过合成校正的前景图像和背景图像，生成合成图像。
4.[引用列表]
[0005]
[专利文献]
[0006]
专利文献1：日本专利公开2020-27409


技术实现要素：

[0007]
[技术问题]
[0008]
这里，在远程场所中，当从观众座位捕获的图像被显示在大屏幕上作为活动的捕获图像时，例如，靠近相机的观众将被捕获在屏幕上的特写镜头中。例如，根据屏幕尺寸，靠近相机的观众可能被显示得比真人尺寸大，从而给用户带来强烈的不协调感，严重损害沉浸感。
[0009]
鉴于上述情况提出了本技术，并且其目的是减轻用户的与在前景中被摄体的显示相关联的不协调感，并且提高用户对图像内容的沉浸感。
[0010]
[问题的解决方案]
[0011]
根据本技术的图像处理装置包括：前景-背景分类单元，被配置为将输入图像分类为前景图像部分和背景图像部分，前景图像部分是其中捕获前景中的被摄体的部分，背景图像部分是其中捕获比前景图像部分更远的背景中的被摄体的部分；前景校正单元，被配置为校正前景图像部分；不一致性校正单元，被配置为校正由前景校正单元校正前景图像部分导致的不一致部分。
[0012]
这里，不一致部分表示诸如被摄体的形状、尺寸和颜色的视觉元素不一致的部分。例如，当执行使前景图像部分完全透明作为前景校正时，由于输入图像中的前景图像部分将是非图像部分，所以整个前景图像部分将是不一致部分。根据上述配置，通过前景校正单元的校正，在特写镜头中捕获的前景中的被摄体不太明显，并且通过不一致性校正单元校
正由对前景校正单元的校正导致的不一致部分。结果，能够减轻由于不一致部分导致的用户的不协调感。
[0013]
在上述根据本技术的图像处理装置中，前景-背景分类单元可被配置为：基于输入图像中的被摄体的测距信息，将输入图像分类为前景图像部分和背景图像部分。
[0014]
通过使用被摄体的测距信息，能够适当地识别前景图像部分或背景图像部分。
[0015]
在上述根据本技术的图像处理装置中，前景-背景分类单元可被配置为：基于输入图像中的被摄体之间的距离差，将输入图像分类为前景图像部分和背景图像部分。
[0016]
通过基于距离差执行分类，与背景中的特定部分具有较大距离差的部分(例如，可能给予用户不协调感的体育场上的用户的手的一部分)可被指定为前景图像部分。
[0017]
在上述根据本技术的图像处理装置中，前景-背景分类单元可被配置为：基于输入图像的图像分析结果，将输入图像分类为前景图像部分和背景图像部分。
[0018]
结果，在将输入图像分类为前景图像部分和背景图像部分时，不需要使用测距传感器。
[0019]
在上述根据本技术的图像处理装置中，前景-背景分类单元可配置为：基于对输入图像执行的对象识别处理的结果，将输入图像分类为前景图像部分和背景图像部分。
[0020]
以这种方式，能够适当地识别应当在前景中或在背景中的被摄体存在于图像的哪个部分中。
[0021]
在上述根据本技术的图像处理装置中，前景-背景分类单元可被配置为：使用基于人工智能的图像识别器执行对象识别处理。
[0022]
如果使用基于人工智能的图像识别器，则可以根据其学习的方式适当地设置用于对象识别的因素，诸如能够识别的被摄体的类型和识别的精度。
[0023]
在上述根据本技术的图像处理装置中，前景-背景分类单元可被配置为：基于模板匹配执行图像分析，以将输入图像分类为前景图像部分和背景图像部分。
[0024]
结果，在将输入图像分类为前景图像部分和背景图像部分时，不需要执行基于人工智能的学习。
[0025]
在上述根据本技术的图像处理装置中，前景校正单元可被配置为：使前景图像部分的至少一部分透明或尺寸减小，作为对前景图像部分的校正。
[0026]
通过执行如上所述的透明和缩小处理，可以使前景中的被摄体不太明显。
[0027]
在上述根据本技术的图像处理装置中，不一致性校正单元可被配置为：使用与作为当前帧中的不一致部分的当前不一致部分重叠的过去帧中的背景图像部分的重叠部分的图像来执行校正作为当前不一致部分的校正。
[0028]
例如，如果前景中的被摄体是坐在观众座位中的观众，则被摄体可以移动，并且在当前帧中的当前不一致部分中不可见的背景部分可以作为过去帧中的重叠部分可见。根据以上配置，如果在过去帧的背景图像部分中存在与当前不一致部分的这样的重叠部分，则使用重叠部分的图像来校正当前不一致部分。
[0029]
在上述根据本技术的图像处理装置中，不一致性校正单元可被配置为：针对输入图像的每个像素，生成最后值保持图像，并且使用最后值保持图像执行当前不一致部分的校正，最后值保持图像是保持当输入图像在至少比当前帧早的时段中最后被分类为背景图像部分时的像素值的图像。
[0030]
结果，如果在过去背景图像部分中存在与当前不一致部分的重叠部分，则当输入图像最后被分类为背景图像部分时重叠部分的像素的像素值被用于当前不一致部分的校正。
[0031]
在上述根据本技术的图像处理装置中，不一致性校正单元可被配置为：通过在输入图像的多个帧上执行保持被分类为背景图像部分的像素的像素值以及维持被分类为前景图像部分的像素的现有保持值的处理，生成最后值保持图像。
[0032]
以这种方式，能够适当地生成最后值保持图像。
[0033]
在上述根据本技术的图像处理装置中，不一致性校正单元可被配置为：针对当前不一致部分中不存在重叠部分的部分，使用重叠部分的图像来内插像素值。
[0034]
结果，即使与当前不一致部分的重叠部分仅是一部分，也可以使用重叠部分的图像适当地内插除了重叠部分之外的像素。
[0035]
在上述根据本技术的图像处理装置中，前景-背景分类单元可被配置为：改变输入图像被分类为前景图像部分的距离范围的大小，以便与显示输入图像的显示表面和观看显示表面上显示的图像的用户之间的距离具有负相关。
[0036]
当显示表面和用户之间的距离较短时，因为图像中的被摄体对于用户而言将看起来较大，所以用户感到不协调感的前景的距离范围也变宽。因此，如上所述，输入图像被分类为前景图像部分的距离范围的大小被改变，以与显示表面和用户之间的距离具有负相关。即，距离越短，输入图像被分类为前景图像部分的距离范围越大。
[0037]
在上述根据本技术的图像处理装置中，前景-背景分类单元可被配置为：改变输入图像被分类为前景图像部分的距离范围的大小，以与输入图像的显示区域的大小具有正相关。
[0038]
当用于显示输入图像的显示区域大时，因为图像中的被摄体对于用户而言看起来更大，所以用户感到不协调感的前景的距离范围也变宽。因此，输入图像被分类为如上所述的前景图像部分的距离范围的大小被改变，以便与显示区域的大小具有正相关。即，显示区域越大，输入图像被分类为前景图像部分的距离范围越大。
[0039]
根据本技术的图像处理方法包括：将输入图像分类为前景图像部分和背景图像部分，前景图像部分是其中捕获前景中的被摄体的部分，背景图像部分是其中捕获比前景图像部分更远的背景中的被摄体的部分；校正前景图像部分；以及校正由前景图像部分的校正导致的不一致部分。
[0040]
这种图像处理方法还可提供与根据上述本技术的图像处理装置相同的效果。
[0041]
根据本技术的投影仪装置包括：前景-背景分类单元，被配置为将输入图像分类为前景图像部分和背景图像部分，前景图像部分是其中捕获前景中的被摄体的部分，背景图像部分是其中捕获比前景图像部分更远的背景中的被摄体的部分；前景校正单元，被配置为校正前景图像部分；不一致性校正单元，被配置为校正由前景校正单元校正前景图像部分导致的不一致部分；以及投影单元，被配置为基于由不一致性校正单元校正的不一致部分的图像生成再现图像并将再现图像投影到投影表面上。
[0042]
这种投影仪装置还可提供与根据上述本技术的图像处理装置相同的效果。
附图说明
[0043]
图1是示出根据本技术的实施方式的图像显示系统的配置示例的示图。
[0044]
图2是用于说明具有图像处理装置作为实施方式的投影仪装置的内部配置示例的框图。
[0045]
图3是实施方式中的前景校正的说明图。
[0046]
图4是示出根据第一实施方式的图像处理单元的功能配置的功能框图。
[0047]
图5是根据实施方式的不一致性校正单元的功能的说明图。
[0048]
图6是示出当前帧和过去帧的图像内容的示图。
[0049]
图7是实施方式中的不一致部分的校正的说明图。
[0050]
图8是示出校正之后的不一致部分的图像内容的示图。
[0051]
图9是示出实施方式中的最后值保持图像生成单元的内部配置示例的框图。
[0052]
图10是示出用于实现作为第一实施方式的图像校正的具体处理过程示例的流程图。
[0053]
图11是示出作为与前景-背景分类相关的变形例的图像处理单元的功能块的示图。
[0054]
图12是示出前景分类信息和背景分类信息的示例的示图。
[0055]
图13是示出作为第二实施方式的图像处理单元的功能配置的功能框图。
[0056]
图14是第三实施方式中的第一示例的说明图。
[0057]
图15是用于说明作为第三实施方式中的第一示例的投影仪装置的配置的框图。
[0058]
图16是第三实施方式中的第二示例的说明图。
[0059]
图17是用于说明作为第三实施方式中的第二示例的投影仪装置的配置的框图。
[0060]
图18是真人尺寸处理的示例的说明图。
[0061]
图19是真人尺寸处理的另一示例的说明图。
[0062]
图20是基于被摄体之间的距离差执行前景-背景分类的变形例的说明图。
具体实施方式
[0063]
在下文中，将按照以下顺序描述实施方式。
[0064]
《1.第一实施方式》
[0065]
(1-1.系统配置)
[0066]
(1-2.作为实施方式的图像处理装置)
[0067]
(1-3.作为实施方式的图像校正)
[0068]
(1-4.处理过程)
[0069]
(1-5.与前景-背景分类相关的变形例)
[0070]
《2.第二实施方式》
[0071]
《3.第三实施方式》
[0072]
(3-1.第一示例)
[0073]
(3-2.第二示例)
[0074]
《4.变形例》
[0075]
《5.实施方式的概述》
[0076]
《6.本技术》
[0077]
《1.第一实施方式》
[0078]
(1-1.系统配置)
[0079]
图1示出作为根据本技术的实施方式的图像显示系统100的配置示例。
[0080]
在该示例中，图像显示系统100是如上所述应用于公共观看和团体观看的系统。在诸如公共观看和团体观看的这些观看类型中，诸如足球、棒球和篮球的比赛体育以及诸如音乐会的活动的捕获图像被显示给作为远程场馆的观众的用户。
[0081]
图中的“成像环境”是用于捕获活动的状态的环境，并且如图所示布置成像装置2。成像装置2被配置为具有诸如ccd(电荷耦合装置)传感器或cmos(互补金属氧化物半导体)传感器的固态成像元件的数字照相机装置，并且获得捕获图像作为数字数据。在该示例中，成像装置2获得捕获图像作为移动图像。
[0082]
注意，成像装置2的数量不限于一个，并且可布置多个成像装置。
[0083]“显示环境”是用于显示在成像环境中获得的活动的捕获图像的环境，并且存在于举办活动的远程位置，诸如体育场或音乐厅。用于显示捕获图像的装置被布置在显示环境中。具体来说，在此示例中，投影仪装置1被布置成用于显示器的装置，且显示环境中的用户(即，远程场所处的观众)将投影仪装置1视为投影表面，例如屏幕。在s上投影的图像允许在一定距离处观看活动场所。
[0084]
在该示例中，成像环境包括信息处理装置3，用于经由网络4向外部装置(在该示例中尤其是投影仪装置1)传输由成像装置2捕获的图像。
[0085]
在此，网络4例如是诸如互联网或lan(局域网)的通信网络。信息处理装置3由诸如个人计算机的具有通信功能的计算机装置构成。
[0086]
如稍后将描述的，在该示例的图像显示系统100中，投影仪装置1将成像装置2捕获的图像分类为前景图像部分和背景图像部分。这里，前景图像部分是其中捕获输入图像中的前景中的被摄体的部分，背景图像部分是其中捕获比前景图像部分更远的背景中的被摄体的部分。
[0087]
为了使得可以将输入图像分类为如上所述的前景图像部分和背景图像部分，在此示例的成像环境中提供测距装置5。测距装置5被配置为通过诸如tof(飞行时间)方法、结构光方法或立体方法的已知测距方法来执行测距的装置。在该示例中，测距装置5被配置为获取距离图像数据(深度图像数据)作为二维测距数据。
[0088]
在该示例中，用于由测距装置5进行测距的视场(视角)覆盖成像装置2的视场。测距装置5能够测量存在于成像装置2的视场内的每个被摄体的距离。
[0089]
在该示例中，成像装置2和测距装置5分别将时间码附加到捕获图像的每个帧和距离图像，使得可以在这两种图像之间建立时间同步(帧同步)。
[0090]
信息处理装置3分别从成像装置2和测距装置5获取以这种方式附加了时间码的捕获图像和距离图像，并且经由网络4将它们发送到投影仪装置1。
[0091]
应注意，信息处理装置3的功能，具体地，获取由成像装置2捕获的图像和由测距装置5获得的测距数据(距离图像)并且将它们输出至预定的外部装置(在该示例中，投影仪装置1)的功能不仅通过单个计算机装置实现，而且通过多个计算机装置的协作实现。
[0092]
(1-2.作为实施方式的图像处理装置)
[0093]
图2是用于说明包括图像处理装置作为实施方式的投影仪装置1的内部配置示例的框图。图2还连同投影仪装置1的内部配置示例一起示出图1中所示的投影表面s。
[0094]
如图所示，投影仪装置1包括图像处理单元10、通信单元11、投影单元12和控制单元13。
[0095]
通信单元11经由图1中所示的网络4执行通信处理。注意，通信单元11可以被配置为能够与外围装置执行有线或无线通信。
[0096]
图像处理单元10是根据本技术的图像处理装置的实施方式，并且被配置为执行经由通信单元11将输入图像(输入图像：具体地，在该示例中由成像装置2捕获的图像)分类为前景图像部分和背景图像部分、并且执行前景图像部分的校正(图像校正)、以及由前景图像部分的校正导致的不一致部分的校正。稍后将描述分类为前景图像部分和背景图像部分以及前景图像部分和不一致部分的校正。
[0097]
投影单元12将已经通过图像处理单元10经受诸如上述校正的图像处理的捕获图像的再现图像投影到投影表面s上。具体地，投影单元12具有空间光调制器12a(诸如液晶面板)、光源(未示出)和包括投影透镜等的投影光学系统。空间光调制器12a基于从图像处理单元10输入的捕获图像对来自光源的入射光执行诸如空间光强度调制的空间光调制。由此，生成捕获图像的再现图像。然后，经由投影光学系统将由此生成的再现图像投影到投影表面s上。
[0098]
例如，控制单元13包括具有cpu(中央处理单元)、rom(只读存储器)、ram(随机存取存储器)等的微型计算机，并且例如根据存储在rom中的程序执行处理以控制整个投影仪装置1。
[0099]
例如，控制单元13控制通信单元11进行的数据通信，指示图像处理单元10执行和结束图像处理，并且执行对投影单元12的各种控制(例如，上述光源开/关指令和用于校正投影图像的失真的各种控制等)。
[0100]
(1-3.作为实施方式的图像校正)
[0101]
图3的a示出投影到投影表面s上的图像的示例，即，投影表面s上的显示图像。具体地，示出当诸如足球比赛的活动的图像由布置在观众座位中的成像装置2捕获时的显示图像。
[0102]
在这种情况下，捕获图像是在前方(靠近成像装置2的一侧)捕获活动现场的观众、并且在后方捕获赛场和赛场上的运动员等的图像。
[0103]
此时，在捕获图像中的前景中捕获的被摄体(具体地，位于最前行的被摄体)是最靠近成像装置2的被摄体。根据与成像装置2的位置关系，在捕获图像(显示图像)中将极大地投影被摄体。
[0104]
在提高真实感方面显示观众是有效的。然而，如上所述，如果被摄体以大尺寸被投影，则用户将相当感到不协调感，并且图像内容中的沉浸感将丢失。
[0105]
因此，在本实施方式中，如通过从图3的a至图3的b的转换所示，执行校正(前景校正)以使可能被较大显示的前景中的被摄体不太明显。例如，对前景中的被摄体进行透明处理或缩小处理。
[0106]
然而，当执行诸如透明和缩小处理的校正处理时，由于校正，在图像中出现不一致部分。
[0107]
本文中所提及的不一致部分意指其中诸如被摄体的形状、尺寸和颜色等视觉元素不一致的部分。例如，如果作为前景校正使前景图像部分完全透明，则由于输入图像中的前景图像部分将是非图像部分，所以整个前景图像部分将是不一致部分。可替换地，当前景中的被摄体的尺寸减小作为前景校正时，减小之前和之后的被摄体之间的差异部分将是非图像部分，并且非图像部分将是不一致部分。
[0108]
因此，在本实施方式中，执行上述前景校正，并且还校正由前景校正导致的不一致部分。
[0109]
在投影仪装置1中，图像处理单元10执行对前景的校正处理和对不一致部分的校正处理。
[0110]
图4是示出图像处理单元10的功能配置的功能框图。
[0111]
如图所示，图像处理单元10包括前景-背景分类单元15、前景校正单元16、不一致性校正单元17和合成单元18。
[0112]
经由图2所示的通信单元11，将来自成像装置2的捕获图像和来自测距装置5的测距数据(在该示例中，距离图像数据)输入至前景-背景分类单元15。如上所述，时间码被附加到捕获图像和距离图像，并且前景-背景分类单元15可以使捕获图像的帧和距离图像的帧同步。
[0113]
前景-背景分类单元15将作为捕获图像的输入图像分类为前景图像部分和背景图像部分。
[0114]
具体地，在该示例中，前景-背景分类单元15基于作为测距数据输入的距离图像的数据，将捕获图像的距离值等于或小于预定值的部分分类为前景图像部分，并且将其他部分分类为背景图像部分。
[0115]
前景-背景分类单元15将被分类为前景图像部分的输入捕获图像的部分的图像输出为前景图像，并将被分类为背景图像部分的部分的图像输出为背景图像。
[0116]
在上述示例中，作为前景-背景分类，已经示出确定前景图像部分，然后将前景图像部分之外的部分分类为背景图像部分的示例。相反，也可以在确定背景图像部分之后将背景图像部分之外的部分分类为前景图像部分。
[0117]
在上述示例中，给出了基于测距数据执行前景-背景分类的示例，但是对于前景-背景分类使用测距数据不是必需的。这将在后面再次解释。
[0118]
前景校正单元16校正由前景-背景分类单元15输出的前景图像，以使被摄体不太明显。如上所述，透明或缩小处理可以被认为是前景校正。在图中，使图像透明的功能被图示为透明处理单元16a，并且缩小图像的功能被图示为缩小处理单元16b。
[0119]
在以下说明中，假定用于使前景中的被摄体不太明显的处理是透明处理。在该示例中，透明处理是最大化目标图像部分的透明度(即，完全擦除该部分)的处理，但是透明度的设置是任意的。
[0120]
注意，稍后将解释用于缩小的处理。
[0121]
前景校正单元16将由校正导致的不一致部分的图像输出到不一致性校正单元17作为“不一致部分图像”。由于执行上述透明处理作为前景校正，所以此处的不一致部分图像是已经经历了透明处理的前景图像。
[0122]
不一致性校正单元17校正由前景校正单元16对前景图像部分的校正导致的不一
致部分。
[0123]
在该示例中，不一致性校正单元17基于前景-背景分类单元15输出的背景图像，校正前景校正单元16输出的不一致部分图像(即，在该示例中为透明前景图像)。
[0124]
图5是不一致性校正单元17的功能的说明图，并且示出前景校正单元16连同示出不一致性校正单元17的功能配置的功能块。
[0125]
如图所示，不一致性校正单元17包括最后值保持图像生成单元17a、不一致像素校正单元17b和模糊处理单元17c。
[0126]
这里，不一致性校正单元17针对作为移动图像的输入图像(捕获图像)的每个帧校正不一致部分。
[0127]
这里，在下文中，将被处理用于校正前景图像和校正由前景图像的校正导致的不一致部分的帧被称为“当前帧”。此外，当前帧中的不一致部分被称为“当前不一致部分”。
[0128]
本示例中的不一致性校正单元17使用过去帧的背景图像中与当前不一致部分的重叠部分的图像执行校正作为当前不一致部分的校正。
[0129]
例如，如果前景中的被摄体是坐在观众座位中的观众，则被摄体可以移动，并且在当前帧中的当前不一致部分中不可见的背景部分可以作为过去帧中的重叠部分可见。因此，使用过去帧中的重叠部分的图像(即，过去实际可见的部分的图像)来提高不一致部分的校正精度。
[0130]
在该示例中，为了如上所述保持过去背景图像中与当前不一致部分的重叠部分的图像，最后值保持图像生成单元17a生成最后值保持图像。最后值保持图像是保持当输入图像在至少比当前帧更早的时段中最后被分类为背景图像部分时的像素值的图像。
[0131]
将参考图6至图8描述使用这种最后值保持图像校正不一致部分的技术的示例。
[0132]
图6是示出当前帧和过去帧的图像内容的示图。图6的a示出当前帧(假设为第n帧)的图像内容，图6的b示出第(n-x)帧的图像内容，即，当前帧之前x帧的帧，并且图6的c示出第(n-y)帧的图像内容，即，当前帧之前y帧的帧(其中y》x)。
[0133]
在图6的a至图6的c的每一个中，涂黑部分表示在各个帧中分类为前景图像的部分。
[0134]
在图6的b和图6的c中，圆圈部分是背景图像的在当前帧中不可见的部分，因为它们被前景图像中的被摄体遮挡。换言之，圆圈部分是在过去帧的背景图像中与当前不一致部分重叠的部分。
[0135]
通过使用过去帧的背景图像中与当前不一致部分的重叠部分，可以补偿当前帧中不可见的背景部分，因为它被当前不一致部分(即，在该示例中是整个前景图像)阻挡。
[0136]
在图7的a中，当获得图6中所示的当前帧和过去帧时，当前不一致部分的可用过去帧中的背景图像补偿的部分(图6的b和图6的c)由虚线表示。
[0137]
另一方面，在图7的b中，由实线包围的白色部分(与图7的a中的涂黑部分相同)表示不能用图6的b和图6的c的过去背景图像补偿的部分。
[0138]
在该示例中，对于不能用过去背景图像补偿的部分，即，当前不一致部分中不存在上述重叠部分的部分，使用重叠部分的图像内插像素值。
[0139]
作为插值的具体示例，例如，可以使用复制相邻像素的像素值的方法。例如，复制左或右相邻像素的像素值。
[0140]
注意，内插方法没有特别限制。例如，能够使用使用与将被内插的像素垂直和水平相邻的四个像素、或与将被内插的像素垂直、水平和对角相邻的八个像素的像素值对将被内插的像素的像素值进行插值方法。
[0141]
图8示出通过执行如上所述的不一致部分的校正而获得的当前不一致部分的图像内容的示例，即，使用过去背景图像与当前不一致部分的重叠部分的像素补偿，以及不能用重叠部分补偿的部分的插值。在图中，由虚线表示的部分表示校正之后的当前不一致部分(在该示例中，由于前景图像的整个区域变得透明，因此其具有与前景图像相同的形状和尺寸)。另一部分成为当前帧的背景图像。
[0142]
应注意，图8示出当在上述插值处理中复制邻近于左侧的像素的像素值时的图像内容作为校正之后的当前不一致部分的图像内容。
[0143]
如参考图8可以看出，通过对不一致部分进行上述校正处理，可以使由于前景校正导致的不一致部分不太明显。因此，可以减轻由不一致部分导致的用户的不协调感，并因此减轻由前景校正导致的用户的不协调感。
[0144]
图9是示出最后值保持图像生成单元17a的内部配置的示例的框图。
[0145]
如该图所示，最后值保持图像生成单元17a具有帧存储器21、写入控制单元22、读取控制单元23。
[0146]
针对每个帧，背景图像被输入到写入控制单元22。写入控制单元22对每个帧执行以下的处理。即，在帧存储器21中保持构成一个帧的像素之中被分类为背景图像的像素的像素值，以及针对被分类为前景图像(背景图像以外的图像部分)的像素维持帧存储器21中保持的现有值(即，已经保持的像素值)的处理。具体地，对于被分类为背景图像的像素，帧存储器21中对应像素的像素值用被分类为背景图像的像素的像素值重写。对于被分类为前景图像的像素，帧存储器21中对应像素的像素值不被重写，而是维持原样。
[0147]
通过对多个帧执行这样的写入控制，最后值保持图像被保持在帧存储器21中。
[0148]
读取控制单元23针对每个帧读出帧存储器21中保持的最后值保持图像，并输出到图5所示的不一致像素校正单元17b的读出图像。
[0149]
在图5中，不一致像素校正单元17b使用参照图6至图8说明的方法进行不一致部分的校正处理，使用过去背景图像与当前不一致部分的重叠部分的像素补偿，以及不能被重叠部分补偿的部分的插值，基于从前景校正单元16输入的不一致部分图像，从最后值保持图像生成单元17a输入的最后值保持图像，以及前景-背景分类单元15(图4)输出的当前帧的背景图像。在该插值处理中，不一致像素校正单元17b根据需要使用来自前景-背景分类单元15的背景图像。
[0150]
以下，将通过不一致像素校正单元17b进行校正处理后的不一致部分(当前不一致部分)的图像称为“校正的不一致部分图像”。
[0151]
模糊处理单元17c对从不一致像素校正单元17b输入的校正的不一致部分图像进行模糊处理。模糊处理是赋予目标图像视觉模糊的处理。具体地，可以提到边缘的模糊(形状的模糊)、颜色的模糊等。通过进行这种模糊处理，可以使由于前景校正而变得不一致的部分不太明显，从而进一步减轻不协调感。
[0152]
模糊处理单元17c将经过模糊处理的校正的不一致部分图像输出到前景校正单元16。
[0153]
前景校正单元16用校正的不一致部分图像替换前景图像中与不一致部分对应的部分的图像。在下文中将通过用校正的不一致部分图像替换对应于不一致部分的部分的图像而获得的前景图像称为“校正的前景图像”。
[0154]
当如本示例那样使整个前景图像透明作为前景校正时，不一致部分与前景图像相同，因此校正的前景图像是校正的不一致部分图像本身。
[0155]
在图4中，合成单元18合成由前景校正单元16获得的校正的前景图像和从前景-背景分类单元15输入的背景图像。即，将两个图像合成以获得针对一帧的图像。
[0156]
图2所示的空间光调制器12a以这种方式基于通过合成单元18的合成处理所获得的一帧图像来驱动。因此，合成图像的再现图像被投影到投影表面s上，并且在显示环境中再现图像被用户视觉识别。
[0157]
这里，上述图像处理单元10的功能能够通过软件处理来实现。或者，该配置可以包括用于实现每个功能的硬件。
[0158]
注意，也可以通过软件处理来实现图像处理单元10的功能的一部分，并且通过硬件来实现其他部分。
[0159]
(1-4.处理过程)
[0160]
图10是示出用于实现如上所述的第一实施方式的图像校正的具体处理过程示例的流程图。要注意的是，在图10中所示的处理是针对输入图像(在该示例中，从成像环境中输入的捕获图像)的每个帧执行的处理。
[0161]
首先，在步骤s101中，图像处理单元10执行前景-背景分类处理。这是由上述前景-背景分类单元15执行的处理。在该示例中，基于通过测距装置5获得的距离图像的数据，将校正的不一致部分图像中距离值等于或小于预定值的部分分类为前景图像部分，将其他部分分类为背景图像部分。
[0162]
在步骤s101之后的步骤s102中，图像处理单元10执行前景校正处理。即，对前景图像执行预定校正处理，前景图像是在输入捕获图像中被分类为前景图像部分的部分的图像。具体地，在该示例中，执行用于使整个前景图像透明的处理。
[0163]
在步骤s102之后的步骤s103中，图像处理单元10获取最后值保持图像。即，获得通过参考图9描述的配置获得的最后值保持图像。
[0164]
在步骤s103之后的步骤s104中，图像处理单元10进行不一致像素补偿处理。即，基于在步骤s103中获取的最后值保持图像，使用与过去背景图像中的当前不一致部分的重叠部分来执行当前不一致部分的像素补偿。即，如果在当前不一致部分中存在过去在背景图像中可见的部分，则原样应用该部分的像素值。
[0165]
在步骤s104之后的步骤s105中，图像处理单元10确定是否存在不能被补偿的部分。即，确定是否存在在步骤s104的补偿处理中不能用过去背景图像完全补偿的当前不一致部分的一部分。
[0166]
如果存在不能被补偿的部分，则图像处理单元10进入步骤s106并对不能被补偿的部分执行插值处理。即，如上所述，基于相邻像素的像素值进行插值处理。
[0167]
图像处理单元10响应于在步骤s106中执行插值处理而使处理进入步骤s107。
[0168]
另一方面，如果图像处理单元10在步骤s105中确定不存在不能被补偿的部分，则图像处理单元10跳过步骤s106中的插值处理，并且使处理进入步骤s107。
[0169]
在步骤s107中，图像处理单元10进行不一致部分的模糊处理。如上所述，模糊处理可以是给出视觉模糊效果的任何处理。
[0170]
在步骤s107之后的步骤s108中，图像处理单元10基于校正的不一致部分图像生成校正的前景图像。即，基于通过进行步骤s104中的补偿处理、根据需要执行的步骤s106中的插值处理和步骤s107中的模糊处理而获得的校正的不一致部分图像，生成校正的前景图像。
[0171]
从上述描述可以理解，在执行使整个前景图像透明的处理作为前景图像校正处理的示例的情况下，步骤s108的处理使用校正的不一致部分图像本身作为校正的前景图像。
[0172]
在步骤s108之后的步骤s109中，图像处理单元10合成校正的前景图像和背景图像。也就是说，如针对合成单元18所描述的，当前帧的背景图像和校正的前景图像被合成以获得针对一帧的图像。
[0173]
图像处理单元10响应于步骤s109的处理的执行结束图10中所示的一系列处理。
[0174]
在上述示例中，作为前景校正使整个前景图像透明的示例，但也可以仅使前景图像的一部分(例如，与前景图像的边界部分)透明。在这种情况下，只有分类的前景图像部分的透明部分变为不一致部分。当以这种方式仅将前景图像的一部分设置为不一致部分时，校正的不一致部分是前景图像的一部分。因此，在这种情况下，在前景校正单元16中，以这种方式被设置为前景图像的一部分的校正的不一致部分图像和去除了不一致部分的前景图像的部分(即，作为前景校正没有变得透明的部分)被合成以生成校正的前景图像。
[0175]
此外，可以进行缩小处理作为前景校正。在这种情况下，在被分类的前景图像部分之中，缩小之后的前景图像和缩小之前的前景图像之间的差异部分变为不一致部分(具体地，非图像部分)。
[0176]
同样在这种情况下，校正的不一致部分是分类的前景图像部分的一部分。因此，在前景校正单元16中，被这样设置为前景图像部分的一部分的校正的不一致部分图像和去除了不一致部分的前景图像部分的一部分(即，前景图像缩小之后的部分)被合成，以生成校正的前景图像。
[0177]
(1-5.与前景-背景分类相关的变形例)
[0178]
这里，在上述示例中，示出前景-背景分类单元15不仅对前景图像部分和背景图像部分进行分类，而且还根据这些分类生成前景图像和背景图像的示例。然而，前景-背景分类单元15生成前景图像和背景图像不是必要的。
[0179]
图11是示出作为与前景-背景分类相关的变形例的图像处理单元10'的功能块的示图。
[0180]
同时，在以下描述中，与上面已经描述的部件类似的部件将由相同的参考标号和符号表示，并且将省略其描述。
[0181]
如图所示，在图像处理单元10'中，设置前景-背景分类单元15'来代替前景-背景分类单元15，设置前景校正单元16'来代替前景校正单元16，并且设置不一致性校正单元17'来代替不一致性校正单元17。
[0182]
前景-背景分类单元15'基于前景-背景分类的结果输出前景分类信息和背景分类信息。
[0183]
图12是示出前景分类信息和背景分类信息的示例的示图。
[0184]
前景分类信息是指示一个帧中的各像素是否被分类为前景图像部分的信息。背景分类信息是指示一个帧中的各像素是否被分类为背景图像部分的信息。
[0185]
图12的a示出被分类为前景图像部分的像素的值为“1”且其他像素的值为“0”的信息作为前景分类信息的示例。图12的b示出分类为背景图像部分的像素的值为“1”且其他像素的值为“0”的信息作为背景分类信息的示例。
[0186]
在图11中，来自前景-背景分类单元15'的输入图像和前景分类信息被输入到前景校正单元16'。前景校正单元16'基于输入图像和前景分类信息获得前景图像，并且对前景图像执行校正处理，诸如透明处理。
[0187]
来自前景-背景分类单元15'的输入图像和背景分类信息被输入到不一致性校正单元17'。不一致性校正单元17'基于输入图像和背景分类信息获得当前帧的背景图像，并且基于背景图像对不一致部分进行上述补偿处理和插值处理。
[0188]
《2.第二实施方式》
[0189]
下面将描述第二实施方式。
[0190]
在第一实施方式中，给出了在前景-背景分类中使用由测距装置5获得的测距数据的示例。还可想到，前景-背景分类是通过对由成像装置2捕获的图像的图像分析来执行的。
[0191]
图13是示出作为第二实施方式的图像处理单元10a的功能配置的功能框图。
[0192]
图像处理单元10a与图像处理单元10的不同之处在于设置了前景-背景分类单元15a而不是前景-背景分类单元15。前景-背景分类单元15a对作为输入图像的来自成像装置2的捕获图像进行图像分析以进行前景-背景分类。
[0193]
这里，对象识别处理可以被认为是前景-背景分类单元15a对前景-背景分类的图像分析。具体地，作为对象识别处理，例如，可考虑使用基于ai(人工智能)的图像识别器的对象识别处理。
[0194]
作为示例，可想到使用已经训练的ai，以通过使用正确数据作为测距数据和学习输入数据作为图像的机器学习(例如，深度学习)从输入图像识别到被摄体的距离。
[0195]
作为另一示例，还可想到使用已被训练的ai来通过使用前景图像部分和背景图像部分的标识信息作为正确数据进行学习并将输入数据作为图像进行学习而从输入图像识别前景图像部分和背景图像部分。
[0196]
或者，可想到使用已经训练以使得语义分割能够识别一般对象的类型的ai。在这种情况下，可以设想采用如下方法：预先确定被假设为位于前景中的被摄体的对象的类型，并且在输入图像中识别的被摄体之中，将对应于预定类型的被摄体的部分分类为前景图像部分。
[0197]
使用模板匹配的方法也可被设想为通过图像分析的前景-背景分类。例如，可考虑使用观众的后视图的图像模板与输入图像执行匹配并将匹配部分分类为前景图像部分的方法。
[0198]
《3.第三实施方式》
[0199]
(3-1.第一示例)
[0200]
第三实施方式基于预定条件改变输入图像被分类为前景图像部分的距离范围的大小。
[0201]
在下文中，作为具体示例，将描述其中基于图像显示表面根据用户距离改变输入
图像被分类为前景图像部分的距离范围的大小的情况(第一示例)和根据图像显示区域的大小改变距离范围的大小的情况(第二示例)的两个示例。
[0202]
在下文中，输入图像被分类为前景图像部分的距离范围将被称为“距离范围rd”。
[0203]
图14是第一示例的说明图。
[0204]
在第一示例中，改变距离范围rd的大小以便与用户距离具有负相关。这里所提到的用户距离是指用户与在其上显示图像的显示表面之间的距离。
[0205]
具体地，图14的a示出用户靠近显示表面的情况(当用户距离短时)，并且图14的b示出用户远离显示表面的情况(当用户距离长时)。使得用户距离短时的距离范围rd大于用户距离长时的距离范围rd。图14示出当用户距离短时从第一行(最前行)到第二行设置距离范围rd并且当用户距离长时仅第一行被设置为距离范围rd的示例。
[0206]
注意，可以通过设置用于前景-背景分类的距离阈值来设置距离范围rd的大小。
[0207]
图15是用于说明作为第三实施方式的第一示例的投影仪装置1b的配置的框图。
[0208]
首先，在这种情况下的显示环境中，提供测距装置6用于测量用户距离。测距装置6被配置为例如以与上述测距装置5相同的方式获得距离图像。测距装置6布置成在用户存在的方向上测量距投影表面s(即，图像显示表面)侧的距离，从而可测量到用户的距离。
[0209]
作为用户距离，不必严格测量显示表面和用户之间的距离。至少可以获得与显示表面和用户之间的距离相关的距离信息就足够了。
[0210]
投影仪装置1b与投影仪装置1的不同之处在于提供了图像处理单元10b来代替图像处理单元10。图像处理单元10b与图像处理单元10的不同之处在于，其具有前景-背景分类单元15b而不是前景-背景分类单元15。
[0211]
前景-背景分类单元15b基于由测距装置6获得的测距数据(在该示例中，距离图像数据)来估计用户距离。这里，对于用户距离，当在测距视场内识别到多个用户(作为人的对象)时，选择多个用户之间的最短距离。可替代地，还可以想到针对那些多个用户的距离使用平均值等。
[0212]
前景-背景分类单元15b将估计的用户距离值与预定阈值进行比较，如果用户距离等于或小于阈值，则将第一距离范围(例如，从第一行到第二行)设置为距离范围rd，如果用户距离不等于或小于阈值，则将比第一距离范围窄的第二距离范围(例如，直到第一行的距离范围)设置为距离范围rd。
[0213]
(3-2.第二示例)
[0214]
图16是第二示例的说明图。
[0215]
在第二示例中，改变距离范围rd的大小以便与图像显示区域的大小具有正相关。
[0216]
具体地，图16的a示出图像显示区域小的情况，并且图16的b示出图像显示区域大的情况。使显示区域大时的距离范围rd大于显示区域小时的距离范围rd。图16示出当显示区域小时设置到第一行的距离范围rd并且当显示区域大时设置从第一行至第二行的距离范围rd的示例。
[0217]
图17是用于说明作为第三实施方式中的第二示例的投影仪装置1c的配置的框图。
[0218]
如图所示，在投影仪装置1c中，控制单元13具有显示区域控制单元13a。尽管未示出，投影单元12设置有用于光学地调整投影表面s上的图像显示区域的大小的调整机构。显示区域控制单元13a控制调整机构以改变显示区域的大小。
[0219]
在投影仪装置ic中，设置图像处理单元10c代替图像处理单元10，并且图像处理单元10c与图像处理单元10的不同之处在于设置前景-背景分类单元15c代替前景-背景分类单元15。
[0220]
这里，显示区域控制单元13a将指示投影表面s上的图像的显示区域大小的信息(以下称为“显示区域大小信息”)输出至前景-背景分类单元15c。
[0221]
基于由显示区域控制单元13a输出的显示区域大小信息，如果显示区域大小等于或大于预定阈值，则前景-背景分类单元15c将第一距离范围(例如，从第一行到第二行的距离范围)设置为距离范围rd，以及如果显示区域大小不等于或大于阈值，则前景-背景分类单元15c将比第一距离范围窄的第二距离范围(例如，直到第一行的距离范围)设置为距离范围rd。
[0222]
在以上描述中，假设通过投影单元12中的光学调整动态地改变图像显示区域的大小。然而，例如在显示区域具有不同大小的情况下，投影单元12可具有距投影表面s的不同距离。例如，作为显示环境，可能存在其中存在足够的空间并且可以确保从投影单元12到投影表面s的足够的距离的环境，以及其中不存在空间并且不能确保从投影单元12到投影表面s的足够的空间的环境。在前者的环境下显示区域大小较大，在后者的环境下显示区域大小较小。可以想到，响应于由于这种环境差异导致的显示区域大小的变化，改变距离范围rd的大小。在这种情况下，例如可从由捕获投影表面s的照相机捕获的图像中估计表示显示区域的大小的信息。可替换地，可以想象测量从投影单元12至投影表面s的距离并且根据测量的距离估计显示区域的对象。
[0223]
这里，在上述第一示例和第二示例中，以两个步长调整距离范围rd，但是自然可以三个步长或更多步长调整距离范围rd。
[0224]
此外，可以组合上述第一示例和第二示例。即，还可以基于用户距离和显示区域大小两者来调整距离范围rd。
[0225]
《4.变形例》
[0226]
此外，本实施方式不限于上述的具体示例，以及能够采用各种变形例的配置。
[0227]
例如，在上述示例中，执行前景校正以使前景被摄体不太明显。然而，例如，如图18和图19所示，也可执行前景校正作为将前景被摄体的显示尺寸校正成真人尺寸的处理。
[0228]
具体地，图18和图19示出显示环境中的用户(由斜线表示)、位于用户后面的投影表面s、以及显示在投影表面s上的图像的示例。此外，图18使诸如购物中心的虚拟体验成像，图19使远程舞蹈课程成像。
[0229]
在图18的a和图19的a中，在成像环境中在接近成像装置2的特写镜头中捕获作为被摄体的人。作为前景校正，以这种方式在特写镜头中捕获的前景被摄体部分被校正以减少真人尺寸作为前景校正。
[0230]
这里，作为真人尺寸处理，除了上述缩小目标被摄体的处理以外，还可执行将图像中的目标被摄体的位置偏移至深度侧的处理。结果，与仅执行重新调整尺寸时相比，可更适当地执行真人尺寸表示。
[0231]
在到目前为止的描述中，已经给出了通过对距离范围rd进行分类来执行前景-背景分类的示例，但是也可基于被摄体之间的距离差来执行前景-背景分类。
[0232]
例如，图20示出第一行中的一个观众举起他/她的手的场景。如图所示，当手部分
在背面覆盖播放场时，手部分与播放场之间的距离差变大。
[0233]
因此，例如，可想到对于前景侧上的特定距离范围内的被摄体，计算与周围像素的距离差，并且将具有大距离差的被摄体的图像部分分类为前景被摄体部分。
[0234]
如参照图20的示例可以看出，与周围环境具有较大距离差的部分是可能给用户带来不协调感的部分。因此，通过将该部分分类为前景图像部分并执行前景校正(即，使该部分不太明显的校正，诸如透明处理)，可以改善减轻用户的不协调感的效果。
[0235]
在以上描述中，透明或缩小处理已经被示出为前景校正，但是使用虚拟图像的校正也可以被执行为前景校正。例如，可以想到用预先准备的人物形象的图像来代替它。
[0236]
前景校正还可以是与颜色相关的校正。
[0237]
例如，被分类为前景图像部分的部分的至少一部分的颜色饱和度和亮度被降低以使其较不明显。同样在这种情况下，如果可以利用过去的背景图像来补偿由校正导致的不一致部分，则补偿该不一致部分。另外，对于不能被补偿的部分，可以使用相邻像素的值执行插值。此外，还可以对通过应用补偿和插值处理而获得的校正的不一致部分图像应用模糊处理。
[0238]
在上述示例中，给出了基于测距数据或图像分析执行前景-背景分类的示例。可以例如基于指定前景图像部分和背景图像部分中的至少一个的操作(用户的手动操作)来执行前景-背景分类。
[0239]
在以上示例中，已经给出了根据本技术的图像处理装置应用于投影仪装置的示例。根据本技术的图像处理装置还可应用于自发光显示装置，诸如led(发光二极管)显示器、lcd(液晶显示器)和有机el(电致发光)显示器。
[0240]
根据本技术的图像处理装置可被配置为独立于显示装置的装置。例如，在图1所示的系统中，提供经由网络4从成像环境侧接收捕获图像和测距数据的图像处理装置，并且该图像处理装置执行图像处理作为实施方式，诸如前景-背景分类、前景校正和不一致部分校正。然后，可以采用图像处理装置将经过图像处理的捕获图像传输到投影仪装置的配置。通过采用这样的配置，存在如下优点：不具有如本实施方式的图像处理功能的现有装置可以用作诸如投影仪装置的显示装置。此外，本发明适用于其中多个投影仪装置基于输入图像共享和投影再现图像的多投影系统。
[0241]
《5.实施方式概述》
[0242]
本实施方式的图像处理装置(图像处理单元10、10'、10a、10b、10c)包括：前景-背景分类单元(15、15'、15a、15b、15c)，被配置为将输入图像分类为前景图像部分和背景图像部分，其中，前景图像部分是捕获前景中的被摄体的部分，背景图像部分是捕获比前景图像部分更远的背景中的被摄体的部分；前景校正单元(16、16')，被配置为校正前景图像部分；不一致性校正单元(17、17')，被配置为校正由前景校正单元校正前景图像部分导致的不一致部分。
[0243]
根据上述配置，通过前景校正单元的校正，在特写镜头中捕获的前景中的被摄体不太明显，并且通过不一致性校正单元校正由前景校正单元的校正导致的不一致部分。结果，能够减轻由于不一致部分导致的用户的不协调感。
[0244]
因此，可以减轻用户的与前景被摄体的显示相关联的不协调感，并且改善用户在图像内容中的沉浸感。
[0245]
这里，如果前景中的被摄体是人，如果照原样留下特写，则隐私将是问题，但是通过执行诸如上述的透明或者缩小处理的前景校正，可以保护隐私。
[0246]
在本实施方式的图像处理装置中，前景-背景分类单元(15、15'、15b、15c)基于输入图像中的被摄体的测距信息，将输入图像分类为前景图像部分和背景图像部分。
[0247]
通过使用被摄体的测距信息，能够适当地识别前景图像部分或背景图像部分。
[0248]
因此，可以提高前景图像部分和背景图像部分之间的分类精度。
[0249]
此外，在本实施方式的图像处理装置中，前景-背景分类单元基于输入图像中的被摄体之间的距离差将输入图像分类为前景图像部分和背景图像部分(参见图20)。
[0250]
通过基于距离差执行分类，与背景中的特定部分具有较大距离差的部分(例如，可能给予用户不协调感的体育场上的用户的手的一部分)可被指定为前景图像部分。
[0251]
因此，能够提高缓解不协调感的效果。
[0252]
此外，在本实施方式的图像处理装置中，前景-背景分类单元(15a)基于输入图像的图像分析结果将输入图像分类为前景图像部分和背景图像部分(见第二实施方式)。
[0253]
结果，在将输入图像分类为前景图像部分和背景图像部分时，不需要使用测距传感器。
[0254]
因此，可以减少用于减轻由于前景被摄体的显示而导致的用户的不协调感所需的传感器的数量，并且可以减少系统构造所需的组件的数量和成本。
[0255]
在本实施方式的图像处理装置中，前景-背景分类单元基于对输入图像执行的对象识别处理的结果，将输入图像分类为前景图像部分和背景图像部分。
[0256]
以这种方式，能够适当地识别应当在前景中或在背景中的被摄体存在于图像的哪个部分中。
[0257]
因此，可以将输入图像适当地分类为前景图像部分和背景图像部分。
[0258]
此外，在本实施方式的图像处理装置中，前景-背景分类单元使用基于人工智能的图像识别器来执行对象识别处理。
[0259]
如果使用基于人工智能的图像识别器，则可以根据其学习的方式适当地设置用于对象识别的因素，诸如能够识别的对象的类型和识别的精度。
[0260]
因此，可以基于适当的对象识别结果将输入图像适当地分类为前景图像部分和背景图像部分。
[0261]
此外，在本实施方式的图像处理装置中，前景-背景分类单元基于模板匹配执行图像分析，以将输入图像分类为前景图像部分和背景图像部分。
[0262]
结果，在将输入图像分类为前景图像部分和背景图像部分时，不需要执行基于人工智能的学习。
[0263]
因此，可以降低学习所需的成本。
[0264]
在根据该实施方式的图像处理装置中，前景校正单元使前景图像部分的至少一部分透明或尺寸减小，作为对前景图像部分的校正。
[0265]
通过执行如上所述的透明和缩小处理，可以使前景中的被摄体不太明显。
[0266]
因此，能够减轻与前景被摄体的显示相关联的用户的不协调感。
[0267]
在本实施方式的图像处理装置中，不一致性校正单元使用与当前不一致部分重叠的过去帧中的背景图像部分的重叠部分的图像执行校正作为当前不一致部分的校正，当前
不一致部分是当前帧中的不一致部分。
[0268]
例如，如果前景中的被摄体是坐在观众座位中的观众，则被摄体可以移动，并且在当前帧中的当前不一致部分中不可见的背景部分可以作为过去帧中的重叠部分可见。根据以上配置，如果在过去帧的背景图像部分中存在与当前不一致部分的这种重叠部分，则使用重叠部分的图像来校正当前不一致部分。
[0269]
因此，可以使用在背景中实际看到的被摄体的图像部分来适当地校正当前不一致部分。
[0270]
此外，在本实施方式的图像处理装置中，不一致性校正单元针对输入图像的每个像素生成最后值保持图像，并使用最后值保持图像执行当前不一致部分的校正，最后值保持图像是保持当输入图像在至少比当前帧更早的时段中最后被分类为背景图像部分时的像素值的图像。
[0271]
结果，如果在过去背景图像部分中存在与当前不一致部分的重叠部分，则当输入图像最后被分类为背景图像部分时的重叠部分的像素的像素值被用于当前不一致部分的校正。
[0272]
因此，可以使用在背景中实际看到的最新图像来校正当前帧的不一致部分，提高不一致部分的校正精度，并且减轻由校正导致的不一致感。
[0273]
在本实施方式的图像处理装置中，不一致性校正单元通过在输入图像的多个帧上执行保持被分类为背景图像部分的像素的像素值以及维持被分类为前景图像部分的像素的现有保持值的处理，生成最后值保持图像。
[0274]
以这种方式，能够适当地生成最后值保持图像。
[0275]
此外，在本实施方式的图像处理装置中，不一致性校正单元针对当前不一致部分中不存在重叠部分的部分，使用重叠部分的图像内插像素值。
[0276]
结果，即使与当前不一致部分的重叠部分仅是一部分，也可以使用重叠部分的图像适当地内插除了重叠部分之外的像素。
[0277]
因此，可以提高不一致部分的校正精度，并且减轻由校正导致的不一致感。
[0278]
此外，在本实施方式的图像处理装置中，前景-背景分类单元(15b)改变输入图像被分类为前景图像部分的距离范围的大小，以与在其上显示输入图像的显示表面和观看在显示表面上显示的图像的用户之间的距离具有负相关。
[0279]
当显示表面和用户之间的距离较短时，因为图像中的被摄体对于用户而言将看起来较大，所以用户感到不协调感的前景的距离范围也变宽。因此，如上所述，输入图像被分类为前景图像部分的距离范围的大小被改变，以与显示表面和用户之间的距离具有负相关。即，距离越短，输入图像被分类为前景图像部分的距离范围越大。
[0280]
结果，即使显示表面和用户之间的距离改变，也可以适当地分类将被校正用于减轻不协调感的前景图像部分的范围。即，可以根据显示表面和用户之间的距离执行适当的校正，作为用于减轻不协调感的校正。
[0281]
在本实施方式的图像处理装置中，前景-背景分类单元(15c)改变输入图像被分类为前景图像部分的距离范围的大小，以与输入图像的显示区域的大小具有正相关。
[0282]
当用于显示输入图像的显示区域大时，因为图像中的被摄体对于用户而言看起来更大，所以用户感到不协调感的前景的距离范围也变宽。因此，输入图像被分类为如上所述
的前景图像部分的距离范围的大小被改变，以便与显示区域的大小具有正相关。即，显示区域越大，输入图像被分类为前景图像部分的距离范围越大。
[0283]
结果，即使显示区域的大小改变，也可以适当地分类用于减轻不协调感的要校正的前景图像部分的范围。即，作为用于减轻不协调感的校正，能够根据显示区域的大小进行适当的校正。
[0284]
该实施方式的图像处理方法包括：将输入图像分类为前景图像部分和背景图像部分，其中，前景图像部分是捕获前景中的被摄体的部分，背景图像部分是捕获比前景图像部分更远的背景中的被摄体的部分；校正前景图像部分；以及校正由前景图像部分的校正导致的不一致部分。
[0285]
根据这样的图像处理方法，能够获得与上述实施方式的图像处理装置相同的作用和效果。
[0286]
该实施方式的投影仪装置(1、1b、1c)包括：前景-背景分类单元，被配置为将输入图像分类为前景图像部分和背景图像部分，前景图像部分是其中捕获前景中的被摄体的部分，背景图像部分是其中捕获比前景图像部分更远的背景中的被摄体的部分；前景校正单元，被配置为校正前景图像部分；不一致性校正单元，被配置为校正由前景校正单元校正前景图像部分导致的不一致部分；以及投影单元(12)，被配置为基于由不一致性校正单元校正的不一致部分的图像生成再现图像并将再现图像投影到投影表面上。
[0287]
根据这种投影仪装置，可以获得与上述实施方式的图像处理装置相同的动作和效果。
[0288]
应注意，在本说明书中描述的有利效果仅是示例性的并且不受限制，并且可以获得其他有利效果。
[0289]
《6.本技术》
[0290]
同时，本技术还可采用以下配置。
[0291]
(1)
[0292]
一种图像处理装置，包括：
[0293]
前景-背景分类单元，被配置为将输入图像分类为前景图像部分和背景图像部分，前景图像部分是捕获前景中的被摄体的部分，背景图像部分是捕获比前景图像部分更远的背景中的被摄体的部分；
[0294]
前景校正单元，被配置为校正前景图像部分；以及
[0295]
不一致性校正单元，被配置为校正由前景校正单元对前景图像部分的校正导致的不一致部分。
[0296]
(2)
[0297]
根据(1)的图像处理装置，其中
[0298]
前景-背景分类单元被配置为：
[0299]
基于输入图像中的被摄体的测距信息，将输入图像分类为前景图像部分和背景图像部分。
[0300]
(3)
[0301]
根据(2)的图像处理装置，其中
[0302]
前景-背景分类单元被配置为：
[0303]
基于输入图像中的被摄体之间的距离差，将输入图像分类为前景图像部分和背景图像部分。
[0304]
(4)
[0305]
根据(1)至(3)中任一项的图像处理装置，其中
[0306]
前景-背景分类单元被配置为：
[0307]
基于输入图像的图像分析结果，将输入图像分类为前景图像部分和背景图像部分。
[0308]
(5)
[0309]
根据(4)的图像处理装置，其中
[0310]
前景-背景分类单元被配置为：
[0311]
基于对输入图像执行的对象识别处理的结果，将输入图像分类为前景图像部分和背景图像部分。
[0312]
(6)
[0313]
根据(5)的图像处理装置，其中
[0314]
前景-背景分类单元被配置为：
[0315]
使用基于人工智能的图像识别器执行对象识别处理。
[0316]
(7)
[0317]
根据(4)的图像处理装置，其中
[0318]
前景-背景分类单元被配置为：
[0319]
基于模板匹配执行图像分析以将输入图像分类为前景图像部分和背景图像部分。
[0320]
(8)
[0321]
根据(1)至(7)中任一项的图像处理装置，其中
[0322]
前景校正单元被配置为：
[0323]
使前景图像部分的至少一部分透明或尺寸减小，作为对前景图像部分的校正。
[0324]
(9)
[0325]
根据(1)至(8)中任一项的图像处理装置，其中
[0326]
不一致性校正单元被配置为：
[0327]
使用与当前不一致部分重叠的过去帧中的背景图像部分的重叠部分的图像执行校正作为对当前不一致部分的校正，当前不一致部分是当前帧中的不一致部分。
[0328]
(10)
[0329]
根据(9)的图像处理装置，其中
[0330]
不一致性校正单元被配置为：
[0331]
针对输入图像的每个像素生成最后值保持图像，并且使用最后值保持图像执行对当前不一致部分的校正，最后值保持图像是保持当输入图像在至少比当前帧更早的时段中最后被分类为背景图像部分时的像素值的图像。
[0332]
(11)
[0333]
根据(10)的图像处理装置，其中
[0334]
不一致性校正单元被配置为：
[0335]
通过在输入图像的多个帧上执行保持被分类为背景图像部分的像素的像素值以
及维持针对被分类为前景图像部分的像素的现有保持值的处理，生成最后值保持图像。
[0336]
(12)
[0337]
根据(9)至(11)中任一项的图像处理装置，其中
[0338]
不一致性校正单元被配置为：
[0339]
针对当前不一致部分中不存在重叠部分的部分，使用重叠部分的图像内插像素值。
[0340]
(13)
[0341]
根据(1)至(12)中任一项的图像处理装置，其中
[0342]
前景-背景分类单元被配置为：
[0343]
改变输入图像被分类为前景图像部分的距离范围的大小，以便与显示输入图像的显示表面和观看显示表面上显示的图像的用户之间的距离具有负相关。
[0344]
(14)
[0345]
根据(1)至(13)中任一项的图像处理装置，其中
[0346]
前景-背景分类单元被配置为：
[0347]
改变输入图像被分类为前景图像部分的距离范围的大小，以便与输入图像的显示区域的大小具有正相关。
[0348]
(15)
[0349]
一种图像处理方法，包括：
[0350]
将输入图像分类为前景图像部分和背景图像部分，前景图像部分是捕获前景中的被摄体的部分，背景图像部分是捕获比前景图像部分更远的背景中的被摄体的部分；
[0351]
校正前景图像部分；以及
[0352]
校正由对前景图像部分的校正导致的不一致部分。
[0353]
(16)
[0354]
一种投影仪装置，包括：
[0355]
前景-背景分类单元，被配置为将输入图像分类为前景图像部分和背景图像部分，前景图像部分是捕获前景中的被摄体的部分，背景图像部分是捕获比前景图像部分更远的背景中的被摄体的部分；
[0356]
前景校正单元，被配置为校正前景图像部分；
[0357]
不一致性校正单元，被配置为校正由前景校正单元对前景图像部分的校正导致的不一致部分；以及
[0358]
投影单元，被配置为基于由不一致性校正单元校正的不一致部分的图像生成再现图像并将再现图像投影到投影表面上。
[0359]
[参考标号列表]
[0360]
100图像显示系统
[0361]
1、1b、1c投影仪装置
[0362]
2 成像装置
[0363]
5、6 测距装置
[0364]
10、10'、10a、10b、10c图像处理单元
[0365]
12 投影单元
[0366]
12a 空间光调制器
[0367]
13 控制单元
[0368]
13a 显示区域控制单元
[0369]
15、15'、15a、15b、15c前景-背景分类单元
[0370]
16、16'前景校正单元
[0371]
16a 透明处理单元
[0372]
16b 缩小处理单元
[0373]
17、17'不一致性校正单元
[0374]
17a最后值保持图像生成单元
[0375]
17b 不一致像素校正单元
[0376]
17c 模糊处理单元
[0377]
18 合成单元
[0378]
21 帧存储器
[0379]
22 写入控制单元
[0380]
23 读取控制单元
[0381]
s 投影表面

技术特征：
1.一种图像处理装置，包括：前景-背景分类单元，被配置为将输入图像分类为前景图像部分和背景图像部分，所述前景图像部分是捕获前景中的被摄体的部分，所述背景图像部分是捕获比所述前景图像部分更远的背景中的被摄体的部分；前景校正单元，被配置为校正所述前景图像部分；以及不一致性校正单元，被配置为校正由所述前景校正单元对所述前景图像部分的校正导致的不一致部分。2.根据权利要求1所述的图像处理装置，其中，所述前景-背景分类单元被配置为：基于所述输入图像中的所述被摄体的测距信息，将所述输入图像分类为所述前景图像部分和所述背景图像部分。3.根据权利要求2所述的图像处理装置，其中，所述前景-背景分类单元被配置为：基于所述输入图像中的被摄体之间的距离差，将所述输入图像分类为所述前景图像部分和所述背景图像部分。4.根据权利要求1所述的图像处理装置，其中，所述前景-背景分类单元被配置为：基于所述输入图像的图像分析结果，将所述输入图像分类为所述前景图像部分和所述背景图像部分。5.根据权利要求4所述的图像处理装置，其中，所述前景-背景分类单元被配置为：基于对所述输入图像执行的对象识别处理的结果，将所述输入图像分类为所述前景图像部分和所述背景图像部分。6.根据权利要求5所述的图像处理装置，其中，所述前景-背景分类单元被配置为：使用基于人工智能的图像识别器执行所述对象识别处理。7.根据权利要求4所述的图像处理装置，其中，所述前景-背景分类单元被配置为：基于模板匹配执行图像分析以将所述输入图像分类为所述前景图像部分和所述背景图像部分。8.根据权利要求1所述的图像处理装置，其中，所述前景校正单元被配置为：使所述前景图像部分的至少一部分透明或尺寸减小，作为对所述前景图像部分的校正。9.根据权利要求1所述的图像处理装置，其中，所述不一致性校正单元被配置为：使用与当前不一致部分重叠的过去帧中的所述背景图像部分的重叠部分的图像执行校正作为对所述当前不一致部分的校正，所述当前不一致部分是当前帧中的不一致部分。10.根据权利要求9所述的图像处理装置，其中，
所述不一致性校正单元被配置为：针对所述输入图像的每个像素生成最后值保持图像，并且使用所述最后值保持图像执行对所述当前不一致部分的校正，所述最后值保持图像是保持当所述输入图像在至少比当前帧更早的时段中最后被分类为所述背景图像部分时的像素值的图像。11.根据权利要求10所述的图像处理装置，其中，所述不一致性校正单元被配置为：通过在所述输入图像的多个帧上执行保持被分类为所述背景图像部分的像素的像素值以及维持针对被分类为所述前景图像部分的像素的现有保持值的处理，生成所述最后值保持图像。12.根据权利要求9所述的图像处理装置，其中，所述不一致性校正单元被配置为：针对所述当前不一致部分中不存在所述重叠部分的部分，使用所述重叠部分的图像内插像素值。13.根据权利要求1所述的图像处理装置，其中，所述前景-背景分类单元被配置为：改变所述输入图像被分类为所述前景图像部分的距离范围的大小，以便与显示所述输入图像的显示表面和观看所述显示表面上显示的图像的用户之间的距离具有负相关。14.根据权利要求1所述的图像处理装置，其中，所述前景-背景分类单元被配置为：改变所述输入图像被分类为所述前景图像部分的距离范围的大小，以便与所述输入图像的显示区域的大小具有正相关。15.一种图像处理方法，包括：将输入图像分类为前景图像部分和背景图像部分，所述前景图像部分是捕获前景中的被摄体的部分，所述背景图像部分是捕获比所述前景图像部分更远的背景中的被摄体的部分；校正所述前景图像部分；以及校正由对所述前景图像部分的校正导致的不一致部分。16.一种投影仪装置，包括：前景-背景分类单元，被配置为将输入图像分类为前景图像部分和背景图像部分，所述前景图像部分是捕获前景中的被摄体的部分，所述背景图像部分是捕获比所述前景图像部分更远的背景中的被摄体的部分；前景校正单元，被配置为校正所述前景图像部分；不一致性校正单元，被配置为校正由所述前景校正单元对所述前景图像部分的校正导致的不一致部分；以及投影单元，被配置为基于由所述不一致性校正单元校正的所述不一致部分的图像生成再现图像并将所述再现图像投影到投影表面上。

技术总结
根据本技术的图像处理装置包括：远近分离单元，用于将输入图像分离成前景图像部分和背景图像部分，前景图像部分是其中捕获前景中的被摄体的部分，背景图像部分是其中捕获比前景图像部分更朝向背景的被摄体的部分；前景校正单元，用于对前景图像部分做出校正；以及不一致性校正单元，用于对由于前景校正单元对前景图像部分的校正而产生的不一致部分做出校正。图像部分的校正而产生的不一致部分做出校正。图像部分的校正而产生的不一致部分做出校正。


技术研发人员：千叶淳弘 久保田翔吾 西山麻里子 宫尾龙 池田哲男 林真秀 高山裕也
受保护的技术使用者：索尼集团公司
技术研发日：2022.01.27
技术公布日：2023/10/11