用于管理图像的伪影的方法和电子装置与流程

1.本公开涉及电子装置，并且更具体地涉及用于管理图像的伪影的方法和电子装置。


背景技术：

2.通常，电子装置中的相机提供用于编辑图像的各种选项。然而，在捕获图像时，各种伪影(诸如阴影、眩光、曝光和颜色不一致)可能被添加到图像。添加到图像的各种伪影会降低用户体验以及图像的质量。例如，如图1所示，伪影(诸如阴影)可遮挡照片102中捕获的纹理细节，可在照片104中捕获的人类对象的面部上产生不必要的图案，并且当伪影出现在照片106中所示的字符上时，可能难以在光学字符识别(ocr)中识别字符。如果伪影是眩光，则伪影可向照片108添加不必要的图案，并且可能妨碍在照片108中捕获的对象的可见性。此外，不存在可有效地管理各种伪影的单一方法。
3.管理伪影的现有方案需要多个用户干预实例。例如，用户可能需要通过使用如图2所示的改变图像对比度的阴影滑块来选择需要去除伪影的程度，但是阴影滑块的功能不能有效地消除阴影。不能通过改变图像的对比度来简单地去除图像中的伪影(诸如眩光)。


技术实现要素：

4.技术问题
5.管理伪影的现有解决方案需要多个用户干预实例。不能通过改变图像的对比度来简单地去除图像中的伪影(诸如眩光)。
6.技术方案
7.本文实施例的主要目的是提供一种用于管理图像的伪影的方法和电子装置。除了用户对电子装置中的伪影管理图标的选择之外，根据实施例的方法需要来自用户的最小手动干预或不需要来自用户的手动干预。此外，该方法不限于任何特定的伪影类型，并且可被用于管理所有形式的伪影(例如阴影、眩光等)。
8.本文实施例的另一个目的是使用多个生成对抗网络(gan)并将伪影或伪影的部分分类为想要的伪影和不想要的伪影。因此，在输出图像中保留被分类为想要的伪影或伪影的部分，并且从输出图像中去除被分类为不想要的伪影或伪影的部分。因此，根据实施例的方法和电子装置可能不会完全去除伪影，而是可智能地确定伪影或伪影的部分是否增强图像细节并且可保留伪影或伪影的部分。
9.有利效果
10.本文的实施例提供了一种用于管理图像的伪影的方法和电子装置。
附图说明
11.通过参考附图描述某些示例实施例，上述和/或其他方面将更加明显，其中：
12.图1示出根据现有技术的包括伪影的示例图像；
13.图2示出根据现有技术的从图像中去除阴影的示例场景；
14.图3是根据如本文公开的实施例的用于管理图像的伪影的电子装置的框图；
15.图4a是示出根据如本文公开的实施例的用于由电子装置100管理图像的伪影的方法的流程图；
16.图4b是示出根据如本文公开的实施例的用于由电子装置管理图像的伪影的方法的流程图；
17.图5a是示出根据如本文公开的实施例的由电子装置从输入图像提取多个特征的示例；
18.图5b是示出根据如本文公开的实施例的由电子装置使用高斯模糊提取输入图像的颜色组成的示例；
19.图5c是示出根据如本文公开的实施例的由电子装置使用大津(otsu)阈值化来提取输入图像的纹理的示例；
20.图6a示出根据如本文公开的实施例的包括用于由电子装置获得没有伪影的中间输出图像的多个gan的架构；
21.图6b示出根据如本文公开的实施例的图像伪影控制器的第一gan和第三gan的架构；
22.图6c示出根据如本文公开的实施例的第一gan和第三gan中的每个的注意力块和去除块的架构；
23.图6d示出根据如本文公开的实施例的第一gan的注意力块的长短期记忆(lstm)的架构。
24.图6e示出根据如本文公开的实施例的图像伪影控制器的第二gan和细化生成器的示意图；
25.图6f示出根据如本文公开的实施例的图像伪影控制器的第二gan和细化生成器的详细内部架构；
26.图6g示出根据如本文公开的实施例的与第二gan和细化生成器的多个层相关联的转换；
27.图6h示出根据如本文公开的实施例的图像伪影控制器的负判别器、划分判别器和细化判别器的架构；
28.图7a是示出根据如本文公开的实施例的用于由掩码分类器确定伪影是想要的还是不想要的方法的流程图；
29.图7b是示出根据如本文公开的实施例的掩码分类器的处理的示例；
30.图7c是示出根据如本文公开的实施例的图像中的想要的和不想要的伪影的示例；
31.图8a示出根据如本文公开的实施例的将二元掩码叠加在输入图像上之后确定具有最佳质量的图像的图像质量控制器的架构；
32.图8b是示出根据如本文公开的实施例的用于确定在输入图像上叠加二元掩码的具有最佳质量的图像的方法的流程图；
33.图8c是示出根据如本文公开的实施例的用于通过改变伽马值获得各种图像的niqe相对于伽马的表；
34.图8d是示出根据如本文公开的实施例的用于通过改变伽马值获得各种图像的
niqe相对于伽马的曲线图；
35.图8e是示出根据如本文公开的实施例的用于从niqe相对于伽马图确定用于获得最佳质量的理想iqe的方法的流程图；
36.图8f示出根据如本文公开的实施例的在包括伪影的输入图像中使用伽马校正的颜色补偿的场景；
37.图9a是示出根据现有技术的光学字符的场景的示例；
38.图9b是示出根据如本文公开的实施例的ocr的场景的示例；
39.图10a是示出根据现有技术的沿着黑色背景的阴影的场景的示例；
40.图10b是示出根据如本文公开的实施例的沿着黑色背景的阴影的场景的示例；
41.图10c是示出根据如本文公开的实施例的由电子装置智能叠加伪影的场景的示例；
42.图10d是示出根据如本文公开的实施例的在电子装置的实时预览模式下的伪影去除的场景的示例；
43.图10e是示出根据如本文公开的实施例的在电子装置的实时预览模式下的伪影管理活动元件的示例；
44.图10f是示出根据如本文公开的实施例的由电子装置管理伪影的示例模式的示例；
45.图11a是示出根据如本文公开的实施例的用于由电子装置管理图像的伪影的方法的流程图；以及
46.图11b是示出根据如本文公开的实施例的由电子装置对图像的伪影的管理的示例。
具体实施方式
47.最佳模式
48.根据本公开的一个方面，一种用于处理图像数据的方法可包括：接收输入图像；从输入图像提取多个特征，其中，所述多个特征可包括输入图像的纹理、输入图像的颜色组成和输入图像中的边缘；基于所述多个特征确定包括至少一个伪影的输入图像中的至少一个感兴趣区域roi；通过使用多个生成对抗网络gan从输入图像中去除所述至少一个伪影来生成至少一个中间输出图像；使用所述至少一个中间输出图像、输入图像、输入图像中的边缘以及所述至少一个中间输出图像中的边缘来生成二元掩码；基于对输入图像的所述二元掩码，将所述至少一个伪影分类为第一伪影类别或第二伪影类别；以及通过基于与第一伪影类别或第二伪影类别对应的至少一个伪影的类别处理输入图像来获得最终输出图像。
49.第一伪影类别可与想要的伪影对应，并且第二伪影类别可与不想要的伪影对应。
50.所述方法还可包括：通过改变与最终输出图像相关联的伽马值来生成至少一个中间输出图像的多个版本；确定针对所述至少一个中间输出图像的所述多个版本中的每个版本的自然图像质量评估器niqe值；以及将所述至少一个中间输出图像的所述多个版本中的一个版本显示为所述最终输出图像，所述一个版本具有在针对所述至少一个中间输出图像的所述多个版本的niqe值中的最小niqe值。
51.所述从输入图像提取所述多个特征可包括：分别基于大津阈值化、高斯模糊和边
缘检测从输入图像提取纹理、颜色组成和边缘。
52.所述多个gan可包括负生成器、伪影生成器、划分生成器、负判别器、划分判别器、细化生成器和细化判别器。
53.所述生成所述至少一个中间输出图像可包括：确定针对所述多个gan中的每个gan的一组损失值；使用所述负生成器通过去除输入图像中的所述至少一个伪影的最暗区域，生成第一gan图像；使用所述伪影生成器通过去除输入图像中的所述至少一个伪影的颜色连续区域和纹理连续区域中的至少一个，生成第二gan图像；使用所述划分生成器通过去除所述至少一个伪影的最亮区域并且将白色片区域添加到输入图像中的所述至少一个伪影，生成第三gan图像；以及使用第一gan图像、第二gan图像和第三gan图像中的至少一个生成没有所述至少一个伪影的所述至少一个中间输出图像。
54.输入图像可以是先前输入图像，并且所述方法还可包括：接收新输入图像；以及将针对所述先前输入图像获得的所述二元掩码叠加在所述新输入图像上。
55.所述至少一个伪影可以是阴影或眩光。
56.根据本发明的另一方面，一种用于处理图像数据的电子装置，可包括：存储器，存储指令；以及处理器，被配置为执行指令以进行以下操作：接收输入图像；从输入图像提取多个特征，其中，所述多个特征可包括输入图像的纹理、输入图像的颜色组成和输入图像中的边缘；基于所述多个特征确定包括至少一个伪影的的输入图像中的感兴趣区域(roi)；通过使用多个生成对抗网络gan从输入图像中去除所述至少一个伪影来生成至少一个中间输出图像；使用所述至少一个中间输出图像、输入图像、输入图像中的边缘和所述至少一个中间输出图像中的边缘来生成二元掩码；基于所述二元掩码将所述至少一个伪影分类为想要的伪影或不想要的伪影；以及基于与所述想要的伪影或所述不想要的伪影对应的所述至少一个伪影的类别，从输入图像获得最终输出图像。
57.所述处理器还可被配置为：通过改变与所述最终输出图像相关联的伽马值来生成所述至少一个中间输出图像的多个版本；确定针对所述至少一个中间输出图像的所述多个版本中的每个版本的自然图像质量评估器niqe值；以及显示最终输出图像的具有在针对所述多个版本的niqe值中的最小niqe值的版本。
58.所述处理器还可被配置为：分别基于大津阈值化、高斯模糊和边缘检测来提取纹理、颜色组成和边缘。
59.所述多个gan可包括负生成器、伪影生成器、划分生成器、负判别器、划分判别器、细化生成器和细化判别器。
60.所述处理器还可被配置为：确定针对多个gan中的每个gan的一组损失值；使用所述负生成器通过去除输入图像中的所述至少一个伪影的最暗区域，生成第一gan图像；使用所述伪影生成器通过去除输入图像中的所述至少一个伪影的颜色连续区域和纹理连续区域中的至少一个，生成第二gan图像；使用所述划分生成器通过去除所述至少一个伪影的最亮区域并且将白色片区域添加到输入图像中的所述至少一个伪影，生成第三gan图像；以及使用第一gan图像、第二gan图像和第三gan图像中的至少一个生成没有所述至少一个伪影的所述至少一个中间输出图像。
61.输入图像可以是先前输入图像，并且所述处理器还可被配置为：接收新输入图像；以及将针对所述先前输入图像获得的所述二元掩码叠加在所述新输入图像上。
62.所述至少一个伪影可以是阴影或眩光。
63.根据本公开的另一方面，提供了一种存储程序的非暂时性计算机可读存储介质，所述程序可由一个或多个处理器执行以执行处理图像数据的方法。所述方法可包括：获得输入图像；识别包括在输入图像中的伪影的类型；生成多个中间输出图像，在所述多个中间输出图像中，根据所述伪影的类型来不同地处理所述伪影；基于所述多个中间输出图像和输入图像生成二元掩码；以及将所述二元掩码应用于输入图像，以选择性地保留或去除所述伪影并获得最终输出图像，在所述最终输出图像中，保留所述伪影中的至少一个伪影并且去除所述伪影中的另外至少一个伪影。
64.伪影的类型可包括输入图像中阴影的最暗区域、阴影的连续颜色和纹理区域以及阴影的最亮区域。生成所述多个中间输出图像可包括：从输入图像中去除阴影的最暗区域以生成第一中间输出图像；从输入图像中去除阴影的连续颜色和纹理区域，以生成第二中间输出图像；以及从输入图像中去除阴影的最亮区域以生成第三中间输出图像。
65.去除阴影的最亮区域以生成第三中间输出图像可包括：在去除阴影的最亮区域之后，将白色片添加到阴影的最亮区域。
66.所述方法还可包括将第一中间输出图像、第二中间输出图像和第三中间输出图像组合为多个中间输出图像的组合中间图像。生成所述二元掩码可包括基于组合中间图像生成所述二元掩码。
67.发明模式
68.下面参照附图更详细地描述示例实施例。
69.在下面的描述中，即使在不同的附图中，相同的附图标记也被用于相同的元件。提供描述中定义的事项(诸如详细的构造和元件)以帮助全面理解示例实施例。然而，显而易见的是，可在没有那些具体定义的事项的情况下实践示例实施例。此外，由于公知的功能或结构将以不必要的细节模糊描述，没有对它们进行详细描述。在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚且一致地理解本公开。因此，对于本领域技术人员显而易见的是，提供本公开的各种实施例的以下描述仅用于说明目的，而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
70.除非另有指示，否则如本文所用的术语“或”是指非排他性的或。诸如
“……
中的至少一个”的表达在元件列表之前时修饰整个元件列表，而不是修饰列表中的各个元件。例如，表达“a、b和c中的至少一个”应被理解为包括仅a、仅b、仅c、a和b两者、a和c两者、b和c两者、a、b和c中的全部或前述示例的任何变型。如本文所使用的术语“(一个或多个)图像”是指一个或多个图像。例如，“(一个或多个)图像”可指示一个图像或多个图像。
71.可按照执行所描述的一个或多个功能的块来描述和示出本公开中的实施例。这些块(在本文中可被称为单元或模块等)由模拟或数字电路(诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)物理地实现，并且可以可选地由固件驱动。电路可例如被实现在一个或多个半导体芯片中，或者被实现在诸如印刷电路板等的基板支撑件上。构成块的电路可由专用硬件实现，或者由处理器(例如，一个或多个编程的微处理器和相关联的电路)实现，或者由执行块的一些功能的专用硬件和执行块的其他功能的处理器的组合实现。在不脱离本公开的范围的情况下，实施例的每个块可物理地被分成两个或更多个交互和离散的块。同样地，在不脱离本公开的
范围的情况下，实施例的块可物理地被组合成更复杂的块。
72.尽管本文可使用术语第一、第二等来描述各种元件，但是这些元件不应受限于这些术语。这些术语通常仅被用于将一个元件与另一个元件区分开。
73.因此，本文的实施例公开了一种用于管理图像的伪影的方法和电子装置。该方法包括接收输入图像并从输入图像中提取多个特征。特征包括输入图像的纹理、输入图像的颜色组成和输入图像中的边缘。此外，该方法包括基于特征确定包括伪影的输入图像中的感兴趣区域(roi)，以及通过使用多个gan去除伪影来生成中间输出图像。伪影可以是阴影或眩光。此外，该方法包括使用中间输出图像、输入图像、示出输入图像中的边缘的图像和示出中间输出图像中的边缘的图像生成二元掩码，并通过将生成的二元掩码应用于输入图像来获得最终输出图像。
74.在相关技术中，电子装置允许用户编辑输入图像以去除阴影。然而，阴影去除的功效不高，因此降低了图像的质量。此外，还没有解决所有形式的伪影(诸如阴影、眩光等)的方法和系统。相关的方法和系统更多地集中于允许用户通过改变对比度或颜色组成来校正曝光和编辑图像，以去除或减轻伪影。
75.与相关方法和系统不同，根据实施例的电子装置使用多个gan来生成二元掩码，该二元掩码将伪影的部分定义为想要的和不想要的。此外，将二元掩码叠加在输入图像上以去除或保留伪影或伪影的部分。因此，根据实施例的电子装置智能地管理输入图像中的伪影。
76.图3是根据如实施例的用于管理图像的伪影的电子装置100的框图。
77.参照图3，电子装置100可以是但不限于膝上型计算机、掌上型计算机、台式计算机、移动电话、智能电话、个人数字助理(pda)、平板计算机、可穿戴装置、物联网(iot)装置、虚拟现实装置和沉浸式系统。在实施例中，电子装置100包括存储器120、处理器140、图像伪影控制器160和显示器180。
78.存储器120被配置为存储使用(一个或多个)中间输出图像、(一个或多个)输入图像、示出(一个或多个)输入图像中的边缘的图像和示出(一个或多个)中间输出图像中的边缘的图像生成的(一个或多个)二元掩码。存储器120可包括非易失性存储元件。这种非易失性存储元件的示例可包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(eprom)或电可擦除可编程(eeprom)存储器的形式。另外，在一些示例中，存储器120可被认为是非暂时性存储介质。术语“非暂时性”可指示存储介质不被实现在载波或传播信号中。然而，术语“非暂时性”不应被解释为存储器120是不可移动的。在某些实例中，非暂时性存储介质可存储可随时间改变的数据(例如，在随机存取存储器(ram)或高速缓冲存储器中)。
79.处理器140可包括一个或多个处理器。一个或多个处理器可以是通用处理器(诸如中央处理单元(cpu)、应用处理器(ap)等)、仅图形处理单元(诸如图形处理单元(gpu)、视觉处理单元(vpu))和/或人工智能(ai)专用处理器(诸如神经处理单元(npu)、ai加速器或机器学习加速器)。处理器140可包括多个核并且被配置为执行存储在存储器120中的指令。
80.在实施例中，图像伪影控制器160包括图像特征提取控制器162、伪影管理生成对抗网络(gan)164a-164g、掩码分类器166、图像质量控制器168和图像效果控制器170。尽管图3将图像伪影控制器160示出为与处理器140分离或不同的元件，但图像伪影控制器160可被合并到处理器140中，或可被实现为另一处理器。
81.图像特征提取控制器162被配置为从(一个或多个)输入图像提取特征。特征可包括但不限于(一个或多个)输入图像的纹理、(一个或多个)输入图像的颜色组成和(一个或多个)输入图像中的边缘。(一个或多个)输入图像的纹理例如通过大津阈值化来提取，大津阈值化包括返回将(一个或多个)输入图像中的像素分离成前景和背景的单个强度阈值(如图5c中所说明的)的图像特征提取控制器162。(一个或多个)输入图像的颜色组成例如通过高斯模糊来被提取，高斯模糊突出包括具有(一个或多个)伪影的感兴趣区域(roi)的(一个或多个)输入图像的不同区域。通过任何边缘检测技术(诸如例如sobel边缘检测、canny边缘检测、prewitt边缘检测、roberts边缘检测和模糊逻辑边缘检测等)来执行(一个或多个)输入图像的边缘检测。提取的特征由图像特征提取控制器162发送到相应的伪影管理gan 164a-164g。图像特征提取控制器162由处理电路(诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)实现，并且可以可选地由固件驱动。电路可例如被实现在一个或多个半导体芯片中，或者被实现在诸如印刷电路板等的基板支撑件上。
82.伪影管理gan 164a-164g包括第一gan 164a、第二gan 164b、第三gan 164c、负判别器164d、划分判别器164e、细化生成器164f和细化判别器164g。伪影管理gan 164a-164g由处理电路(诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)实现，并且可以可选地由固件驱动。电路可例如被实现在一个或多个半导体芯片中，或者被实现在诸如印刷电路板等的基板支撑件上。
83.伪影管理gan 164a-164g被配置为基于提取的特征来确定包括伪影的(一个或多个)输入图像中的roi。伪影可以是例如阴影和眩光。此外，伪影管理gan 164a-164g被配置为确定针对第一gan 164a、第三gan 164c和细化生成器164f中的每个的一组损失值。此外，第一gan 164a被配置为通过去除(一个或多个)输入图像中的伪影的最暗区域并使用由图像特征提取控制器162提取的(一个或多个)输入图像的纹理来生成第一gan图像。第一gan 164a例如是负生成器。第二gan 164b被配置为通过去除(一个或多个)输入图像中的伪影的颜色连续区域及纹理连续区域并且使用由图像特征提取控制器162提取的(一个或多个)输入图像的颜色组成来生成第二gan图像。第二gan 164b例如是伪影生成器。第三gan 164c被配置为通过去除伪影的最亮区域并且将白色片区域添加到(一个或多个)输入图像中的伪影并且使用由图像特征提取控制器162提取的(一个或多个)输入图像中的边缘来生成第三gan图像。第三gan 164c例如是划分生成器。此外，负判别器164d被配置为接收第一gan图像和(一个或多个)输入图像，并将输出发送到细化gan 164f。类似地，划分判别器164e被配置为接收第三gan图像和(一个或多个)输入图像，并将输出发送到细化gan 164f。细化gan 164f接收来自负判别器164d、划分判别器164e和第二gan 164b的输出。此外，细化gan 164f与细化判别器164g连接，以通过从(一个或多个)输入图像中完全消除伪影来生成中间输出图像(在图6a-图6h中详细说明)。利用包括各种形式的伪影的多个图像来训练伪影管理gan 164a-164g，以能够生成对应的输出图像。
84.掩码分类器166被配置为接收中间输出图像、示出中间输出图像中的边缘的图像、输入图像和示出至少一个输入图像中的边缘的图像，并且生成(一个或多个)二元掩码。二元掩码被用于将伪影或伪影的部分分类为想要的伪影或不想要的伪影。想要的伪影可以是不需要从图像中被去除的伪影，并且不想要的伪影可以是适合从图像中被去除的伪影。二
元掩码的白色部分指示将从输入图像中被去除的伪影的部分，即，想要的伪影。例如，文档的图像中的文本上的阴影被分类为不想要的伪影，因为阴影使得文本难以阅读。在另一个示例中，沙漠风景中的沙丘被认为是想要的，因为阴影为风景提供了深度效果。此外，掩码分类器166被配置为将二元掩码应用于输入图像的每个像素以保留或去除伪影的适当部分。掩码分类器166由处理电路(诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)实现，并且可以可选地由固件驱动。电路可例如被实现在一个或多个半导体芯片中，或者被实现诸如印刷电路板等的基板支撑件上。
85.图像质量控制器168被配置为通过改变与最终输出图像相关联的伽马值来生成输出图像的多个版本。此外，针对输出图像的每个版本绘制具有自然图像质量评估器(niqe)值的曲线图，以确定最佳质量输出图像。最佳质量输出图像是在伽马图的稳定区域中具有最小niqe值的最终输出图像的版本(在图8a-图8f中详细说明)。图像质量控制器168由处理电路(诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)实现，并且可以可选地由固件驱动。电路可例如被实现在一个或多个半导体芯片中，或者被实现在诸如印刷电路板等的基板支撑件上。
86.图像效果控制器170被配置为从存储器120取得二元掩码，并将二元掩码直接应用于任何其他图像以添加与伪影相关联的效果。例如，图像效果控制器170可向图像添加眩光，或者向图像添加阴影等。图像效果控制器170由处理电路(诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)实现，并且可以可选地由固件驱动。电路可例如被实现在一个或多个半导体芯片中，或者被实现在诸如印刷电路板等的基板支撑件上。
87.在实施例中，显示器180被配置为显示具有被分类为想要的伪影的部分的最终输出图像。换句话说，不从图像中去除被分类为想要的伪影，从图像中去除被分类为不想要的伪影。显示器180使用触敏技术被实现，并且包括液晶显示器(lcd)、发光二极管(led)等中的一个。
88.尽管图3示出电子装置100的硬件元件，但是应当理解，其他实施例不限于此。在其他实施例中，电子装置100可包括更少或更多的元件。此外，元件的标记或名称仅用于说明目的，并不限制本发明的范围。一个或多个组件可被组合在一起以执行相同或基本相同的功能。
89.图4a是示出根据如本文公开的实施例的用于由电子装置100管理图像的伪影的方法的流程图。
90.参照图4a，在操作421中，电子装置100接收输入图像。例如，在如图3所示的电子装置100中，图像伪影控制器160被配置为接收输入图像。
91.在操作422中，电子装置100从输入图像中提取特征。例如，在如图3所示的电子装置100中，图像伪影控制器160被配置为从输入图像提取特征。特征可包括输入图像的纹理、输入图像的颜色组成和输入图像中的边缘。
92.在操作423中，电子装置100基于提取的特征来确定包括伪影的输入图像中的roi。例如，在如图3所示的电子装置100中，图像伪影控制器160被配置为基于提取特征确定包括伪影的输入图像中的roi。
93.在操作424中，电子装置100通过使用多个gan去除伪影来生成中间输出图像。例如，在如图3所示的电子装置100中，图像伪影控制器160被配置为通过使用多个gan 164a-164g去除伪影来生成中间输出图像。
94.在操作425中，电子装置100使用中间输出图像、输入图像、示出输入图像中的边缘的图像和示出中间输出图像中的边缘的图像来生成二元掩码，并决定伪影是想要的还是不想要的。例如，在如图3所示的电子装置100中，图像伪影控制器160被配置为使用中间输出图像、输入图像、示出输入图像中的边缘的图像和示出中间输出图像中的边缘的图像来生成二元掩码，并决定伪影是想要的还是不想要的。
95.在操作426中，电子装置100基于对输入图像的二元掩码将至少一个伪影分类为第一伪影类别或第二伪影类别。例如，如在操作425中提到的，伪影可被分类为想要的伪影或不想要的伪影。在这种情况下，第一伪影类别可以是想要的伪影，并且第二伪影类别可以是不想要的伪影。二元掩码可指示伪影或伪影的部分是想要的伪影还是不想要的伪影。二元掩码的白色部分可指示将从输入图像中被去除的伪影的部分，即，想要的伪影，并且二元掩码的黑色部分可指示将被保持的伪影的部分。二元掩码的白色部分可具有值1，并且二元掩码的黑色部分可具有值0。
96.在操作427中，电子装置100通过基于与第一伪影类别和/或第二伪影类别对应的至少一个伪影的类别处理输入图像来获得最终输出图像。
97.图4b是示出根据如本文公开的实施例的用于由电子装置100管理图像的伪影的方法的流程图。
98.参照图4b，在操作402中，电子装置100接收(一个或多个)输入图像。例如，在如图3所示的电子装置100中，图像伪影控制器160被配置为接收(一个或多个)输入图像。
99.在操作404中，电子装置100从(一个或多个)输入图像中提取特征。例如，在如图3所示的电子装置100中，图像伪影控制器160被配置为从(一个或多个)输入图像提取特征。
100.在操作406中，电子装置100基于提取的特征确定包括伪影的(一个或多个)输入图像中的roi。例如，在如图3所示的电子装置100中，图像伪影控制器160被配置为基于提取特征确定包括伪影的(一个或多个)输入图像中的roi。
101.在操作408中，电子装置100通过使用多个gan去除伪影来生成中间输出图像。例如，在如图3所示的电子装置100中，图像伪影控制器160被配置为通过使用多个gan 164a-164g去除伪影来生成中间输出图像。
102.在操作410中，电子装置100使用中间输出图像、输入图像、示出输入图像中的边缘的图像和示出中间输出图像中的边缘的图像来生成二元掩码，并决定伪影是想要的还是不想要的。例如，在如图3所示的电子装置100中，图像伪影控制器160被配置为使用中间输出图像、输入图像、示出输入图像中的边缘的图像和示出中间输出图像中的边缘的图像来生成二元掩码，并决定伪影是想要的还是不想要的。
103.在操作412中，电子装置100通过将生成的二元掩码应用于(一个或多个)输入图像来获得最终输出图像。例如，在如图3所示的电子装置100中，图像伪影控制器160被配置为通过将生成的二元掩码应用于(一个或多个)输入图像来获得最终输出图像。
104.所述方法中的各种动作、行为、块、步骤等可以以所提供的顺序、以不同的顺序或同时被执行。此外，在一些实施例中，在不脱离本发明的范围的情况下，动作、行为、块、步骤
等中的一些可被省略、添加、修改、跳过等。
105.图5a是示出根据如本文公开的实施例的由电子装置100从(一个或多个)输入图像中提取多个特征的示例。
106.参照图5a，在操作502中，电子装置100接收输入图像。在操作504中，图像特征提取控制器162被用于通过对输入图像的图像矩阵执行标准操作来操纵输入图像，以突出输入图像中的伪影(诸如阴影、眩光区域)并保留输入图像中的纹理。
107.多个特征可被可提取，使得在训练阶段和推断阶段期间，输入图像的纹理特征530、边缘特征550和颜色组成540可被提取并保留。例如，纹理特征530可以是针对输入图像的大津阈值化的结果，颜色组成540可以是针对输入图像的高斯模糊的结果，并且边缘特征550可以是边缘检测的结果。
108.从输入图像中去除伪影可被认为是从输入图像中去除信息。因此，在去除伪影时存在伪影的区域可能丢失一些信息(诸如例如纹理、颜色组成、色调、饱和度和值(hsv)图、边缘等)。图像特征提取控制器504(与图3的图像特征提取控制器162对应)提供关于去除的信息的更多细节，使得去除的信息可被合并到最终输出图像中。此外，基于提取的特征的结构相似性和功能，将提取的特征作为输入映射到对应的gan 164a-164g。例如，纹理被映射到第一gan 164a，颜色组成被映射到第二gan 164b，并且从输入图像提取的伪影的边缘被映射到第三gan 164c。提取的特征可被用在gan生成器中。
109.图5b是示出根据如本文公开的实施例的由电子装置100使用高斯模糊提取输入图像的颜色组成的示例。
110.参照图5b，输入图像通过图像特征提取控制器504的高斯滤波器，以获得用于提取输入图像的颜色组成的高斯模糊。此外，可使用高斯模糊来提取输入图像的纹理。为了确定高斯模糊，对输入图像执行高斯核大小为3
×
3的高斯滤波器和卷积，以获得不同的平滑图像，从而突出输入图像中的伪影的不同区域。高斯滤波器有助于保留输入图像的颜色组成和纹理。高斯模糊减少了图像噪声并减少了细节。
111.如附图标记542所示，输入图像中的边缘、阴影和眩光在输入图像中被识别，并且在附图标记544中，roi的边缘被标记为544a。此外，在附图标记546和548中，描绘输入图像的纹理的各种曲线和图案被识别。如上所述，高斯滤波器有助于保留输入图像的颜色组成和纹理。高斯模糊减少了图像噪声并减少了细节。因此，当输入图像通过图像特征提取控制器504的高斯滤波器时，输入图像的颜色组成或输入图像的纹理从高斯模糊的输入图像中被提取。
112.图5c是示出根据如本文公开的实施例的由电子装置100使用大津阈值化的提取输入图像的纹理的示例。
113.参照图5c，对输入图像执行大津阈值化以提取输入图像的纹理。图像阈值化被用于基于像素强度对图像进行二值化。这种阈值化算法的输入通常是灰度图像和阈值。输出是二元图像。如果输入图像中的像素的强度大于阈值，则对应的输出像素被标记为白色(前景)，并且如果输入像素强度小于或等于阈值，则输出像素位置被标记为黑色(背景)。在大津阈值化中，确定用于前景(大于vth)的权重、均值和方差{wf：权重，μf：均值和方差前景}和用于背景(低于vth)的权重、均值和方差{wb：权重，μb：均值和方差背景}。然后确
定每个类别内的方差定每个类别内的方差最高的最佳vth被选择为阈值，并且背景像素被设置为零，前景被设置为最高像素值。
[0114][0115]
在操作532中，接收输入图像，并且在操作534中，确定输入图像的直方图，其中输入图像的所有像素值的n
bins
＝20。在操作536中，基于直方图，电子装置100确定针对输入图像中的像素中的每个的内部方差。此外，如附图标记537所示，假设内部方差在像素值165处最高，因此像素值165被认为是阈值。因此，小于165的像素值被指定为0的像素值，并且大于165的像素值被指定为255像素值。换句话说，值小于165的像素被分类为前景，并且值大于165的像素被分类为背景。因此，通过根据大津阈值化处理输入图像来分离输入图像中的背景和前景。在操作538中，提供针对输入图像的大津阈值化的结果作为输出图像。大津阈值化的结果可包括从输入图像提取的纹理。
[0116]
图6a示出根据如本文公开的实施例的包括用于由电子装置100获得没有伪影的中间输出图像的多个gan 164a-164g的架构。
[0117]
参照图6a，多个gan 164a-164g包括第一gan 164a、第二gan 164b、第三gan 164c、负判别器164d、划分判别器164e、细化生成器164f和细化判别器164g。
[0118]
在1处，第一gan 164a可以是接收输入图像和由图像特征提取控制器162提取的输入图像的纹理的负生成器。针对输入图像的大津阈值化的结果可被用作输入图像的纹理特征并输入到第一gan 164a。第一gan 164a可生成用于输入的负样本。例如，第一gan 164a可去除输入图像中的伪影的最暗区域且生成作为负图像的第一gan图像。在2处，第二gan 164b可以是接收输入图像和高斯模糊图像的伪影生成器，该高斯模糊图像包括由图像特征提取控制器162提取的输入图像的颜色组成的特征。
[0119]
第二gan 164b去除输入图像中的伪影的颜色和纹理连续区域并且生成第二gan图像。在3处，第三gan 164c是接收输入图像和由图像特征提取控制器162检测到的输入图像的边缘的划分生成器。边缘检测的结果可被用作输入图像的边缘。第三gan 164c去除伪影的最亮区域，但是添加白色片并且生成第三gan图像。在操作4中，负判别器164d接收第一gan图像并将其与输入图像进行比较，以确定第一gan图像是否为真。类似地，在操作6中，划分判别器164e接收第三gan图像并将其与输入图像进行比较，以确定第三gan图像是否为真。
[0120]
在操作5中，第一gan图像和输入图像被馈送到加法器。类似地，在操作7中，第三gan图像和输入图像被馈送到乘法器。然后，在操作8中，来自乘法器和加法器的输出被馈送到加法器以生成组合的最终图像。然后，组合的最终图像通过细化生成器164f以细化图像(操作9)，并且在操作10中，图像通过细化判别器164g以通过去除伪影来生成中间输出图像。然后将中间输出图像通过掩码分类器166以确定输入图像中的伪影/伪影的部分是想要的还是不想要的。
[0121]
此外，基于伪影是想要的伪影还是不想要的伪影，电子装置100向相应的gan提供不同的权重和偏好。基于可变损失计算来确定各个gan的权重。
[0122]
对抗损失：这是针对多个gan 164a-164g的联合对抗损失：
[0123]
loss
adv
＝[{log(d(i
in
))+log(1-d(i
g4
))+log(d(i
out-i
in
))+log(d(i
g1
))+log(d
(i
out
/i
in
))+log(d(i
g3
))}]
ꢀꢀ
.....(2)
[0124]
划分损失：计算划分图与由第三gan 164c划分生成器生成的图像之间的l1范数(绝对损失)。
[0125]
loss
div
＝abs((i
out
/i
in )-i
g3 )
ꢀꢀꢀꢀꢀꢀꢀꢀ
..... (3)
[0126]
负损失：负图与由第一gan 164c负生成器生成的图像之间的绝对损失的量度。给出阴影区域中亮度的度量：
[0127]
loss
neg
＝abs((i
out
/i
in )-i
g1 )
ꢀꢀ
.... (4)
[0128]
特征损失：在原始图像与由细化生成器164f生成的图像的特征之间计算的绝对损失。
[0129]
loss
feat
＝abs(i
infeat
/i
(g4(feat)
) )
ꢀꢀ
.... (5)
[0130]
因此，总损失：通过根据按照伪影的类型提供的权重将所有损失相加来计算：
[0131]
loss
total ＝ loss
adv. + λ1*loss
div.
+ λ2*loss
neg. + λ3*loss
feat..
ꢀꢀꢀ
.... (6)
[0132]
其中i
out
＝在训练期间提供的图像的输出对，i
in
＝在训练期间提供的图像的输入对，d(i
gi
)＝第i个生成器的关于输出图像的判别器损失，i
gi
＝来自第i个生成器的输出，λ1、λ2和λ3是超参数并且适当地被用于训练模型并获得期望的输出，loss
adv
是如初始gan论文中所建议的由每个gan网络使用的一般标准损失，但是使用其他损失改善了结果。
[0133]
因为需要针对多个gan 164a-164g对中的每个计算多个损失，关于使用多个gan 164a-164g的性能和计算时间将训练时间增加了三倍。然而，在推断输出时，因为仅利用通过完全去除伪影来给出中间输出图像的细化判别器164g获得推断，计算保持相同。
[0134]
多个gan 164a-164g中的单独的每个gan分别地执行任务，但是多个gan 164a-164g的组合提供最佳可能结果。由于使用多个gan 164a-164g，电子装置100能够容易地处理复杂场景以及简单场景。此外，执行多个功能的多个gan 164a-164g允许电子装置100提取一个生成器的输出，并且如果需要的话将该输出用于其他目的。例如，在负生成器的情况下，用户可能能够直接使用图像的负片。
[0135]
图6b示出根据如本文公开的实施例的图像伪影控制器160的第一gan 164a和第三gan 164c的架构。
[0136]
参照图6b，第一gan 164a和第三gan 164c的架构相同。然而，第一gan 164a和第三gan 164c的输入是不同的，因此相应的输出也是不同的。第一gan 164a是接收输入图像和大津阈值化纹理提取作为输入的负生成器。第三gan 164c是接收输入图像和检测到的边缘作为输入的划分生成器。第一gan 164a和第三gan 164c为主生成器(即，第二gan 164b和细化生成器164f)提供额外的支持。
[0137]
第一gan 164a和第三gan 164c都包括注意力块和去除块的网络。注意力块选择性地选择网络想要观察的内容，定位输入图像的伪影，并使去除块的注意力聚焦于检测到的区域。每个块以粗略到精细的方式被细化，以处理在图像中捕获的复杂场景。注意力块和去除块中的后续三个块提供了性能与复杂度之间的良好权衡。
[0138]
图6c示出根据如本文公开的实施例的第一gan 164a和第三gan 164c中的每个的注意力块和去除块的架构。
[0139]
参照图6c，注意力块提供注意力(即观察和定位包括伪影的roi)，以使处理更加集中。注意力块包括与批量归一化(bn)和泄露修正线性单元(relu)激活函数一起的十(10)个
卷积层(conv)(conv+bn+泄露relu)。注意力块还包括长短期记忆(lstm)层(在图6d中进一步说明)，以利用来自在前步骤的先前输出的信息，并从生成器中所需的先前状态和当前状态中学习，并将生成用于后续输出级的注意力图。
[0140]
去除块生成无伪影图像。去除块包括八(8)个(conv+bn+泄露relu)，以从图像中提取多个特征。此外，去除块还包括与具有批量归一化和泄露relu激活函数一起的8个去卷积层(deconv+bn+泄露relu)以映射到特定分布。跳过连接被用于多个通道并保留该层的上下文信息。最后的去卷积层，2个(conv+bn+泄露relu)可在执行去卷积之后提取特征图。最终卷积和sigmoid层将特征图转换为与输入相同大小的3通道空间。
[0141]
图6d示出根据如本文公开的实施例的第一gan 164a的注意力块的长短期记忆(lstm)的架构。
[0142]
参照图6d，提供了第一gan 164a的注意力块的lstm。lstm是用于深度学习的人工递归神经网络(rnn)架构。lstm具有反馈连接并且可处理单个数据点(诸如图像)。lstm具有添加或去除单元格状态的能力，由门仔细调节。注意力块的lstm包括4个门并且用于保护和控制的3个sigmoid和1个双曲正切(tanh)分类器。sig门提供0与1之间的值。在提出的方法中，sig门提供接近0的图像的阴影和眩光部分，即，图像的阴影和眩光部分被丢弃并且不在第一gan 164a的后续层中被使用。
[0143]
图6e示出根据如本文公开的实施例的图像伪影控制器160的第二gan 164b和细化生成器164f的示意图。
[0144]
参照图6e，第二gan 164b和细化生成器164f的示意图是相同的。然而，第二gan 164b和细化生成器164f的输入是不同的，因此相应的输出是不同的。第二gan 164b在第一遍中去除伪影，并且图像伪影控制器160的细化生成器164f组合来自前一级生成器的输出并将输出从粗略输出修改为精细输出。
[0145]
图6f示出根据如本文公开的实施例的图像伪影控制器160的第二gan 164b和细化生成器164f的详细内部架构。
[0146]
参照图6f，第二gan 164b和细化生成器164f的详细内部架构是相同的。然而，第二gan 164b和细化生成器164f的输入不同，因此相应的输出也不同。
[0147]
第二gan 164b和细化生成器164f中的每个包括编码器层中的六(6)个(relu+2个conv+平均池化)块(650)，该编码器层在每个块之后进行向下转换并且跳过连接到在每个块之后进行向上转换的解码器层。最后一个底层具有15个(relu+2个conv+平均池化)块(650)。在输出级，存在tanh分类器以转换成三(3)个通道的输出图像。
[0148]
第二gan 164b接收输入图像以及与输入图像中的伪影的颜色组成相关联的高斯模糊特征。通过去除伪影的连续区域的颜色和纹理来生成第二gan 164b的输出。细化生成器164f接收第一gan图像、第二gan图像和第三gan图像作为输入，并细化先前组合的gan的输出。
[0149]
图6g示出根据如本文公开的实施例的与第二gan 164b和细化生成器164f的多个层相关联的转换。
[0150]
参照图6g，提供了第二gan 164b和细化生成器164f的各个层。示出了在每个块之后进行向下转换的编码器层。示出了具有在每个块之后进行向上转换的解码器层。编码器层和解码器层利用用于多个通道的跳过连接被连接并且保留层的上下文信息。
[0151]
图6h示出根据如本文公开的实施例的图像伪影控制器160的负判别器164d、划分判别器164e和细化判别器164g的架构。
[0152]
参照图6h，负判别器164d、划分判别器164e和细化判别器164g的架构相同。然而，各个判别器的输入是不同的，因此相应的输出也是不同的。
[0153]
负判别器164d接收输入图像和第一gan图像作为输入。第一gan图像由第一gan 164a通过从输入图像中去除伪影的最暗区域来生成。负判别器164d级联输入图像和第一gan图像。此外，级联图像通过几级卷积，以确定第一gan图像是真还是假。真图像被转发到下一级，而假图像被丢弃。
[0154]
类似地，划分判别器164e接收输入图像和第三gan图像作为输入。通过从输入图像中去除伪影的最亮区域并添加白色片来生成第三gan图像。
[0155]
细化判别器164g是通过去除输入图像中的所有伪影来提供中间输出图像的最终判别器。
[0156]
图7a是示出根据如本文公开的实施例的用于由掩码分类器166确定伪影是想要的还是不想要的方法的流程图。
[0157]
掩码分类器166被用于保留对图像必要但被多个gan 164a-164g去除的伪影。
[0158]
参照图7a，在操作702中，电子装置100确定是否应该去除中间输出图像中的伪影。
[0159]
在电子装置100确定是否应当去除中间输出图像中的伪影的情况下，在操作704中，电子装置100从细化生成器164f获得输出，并且在操作706中，电子装置获得输入图像。在操作708中，电子装置100分别对输入图像和来自细化生成器164f的输出执行canny边缘检测。在操作712中，电子装置100获得canny输入图像，并且在操作714中，电子装置100从细化生成器164f获得canny输出。
[0160]
此外，在操作710中，使用细化生成器164f输出和输入图像获得灰度减法输出。因此，在操作716中，获得输入二元掩码。
[0161]
在操作718中，掩码分类器166使用canny输入图像、来自细化生成器164f的canny输出和输入二元掩码，并且在操作720中，获得智能地确定需要被保留的伪影的部分和需要被去除的伪影的部分的输出二元掩码。在电子装置100确定是否不应去除中间输出图像中的伪影的情况下，在操作722中，生成具有伪影或伪影的部分的输出二元掩码。在这种情况下，二元掩码的白色部分指示最终将被去除的伪影的部分。此外，二元掩码的白色部分是将被从细化生成器164f的输出复制到输入图像上的区域。换句话说，从输入图像中去除由二元掩码的白色部分指示的不想要的伪影，并且由来自细化生成器164f的输出的对应部分替换不想要的伪影。不从输入图像中去除由二元掩码的黑色部分指示的想要的伪影，并且保持想要的伪影而不被来自细化生成器164f的输出替换。
[0162]
此外，在操作724中，电子装置100对输入图像执行输出二元掩码的逐像素叠加，以获得最终增强的输出图像。由掩码分类器166执行的方法可被扩展到用户引导选择的伪影区域，其中仅将二元掩码的白色部分从来自细化生成器164f的输出复制到输入图像上以生成输出图像。
[0163]
图7b是示出根据如本文公开的实施例的掩码分类器166的处理的示例。
[0164]
掩码使得能够在不影响实际背景的情况下控制输入图像中的伪影的透明度水平。结合图7a参照图7b，掩码分类器166在操作11中从细化生成器164f接收中间输出图像，在操
作12中从细化生成器164f接收canny输出，在操作13中接收具有阴影的输入图像，并且在操作14中接收canny输入图像。这些输入向掩码分类器166提供关键信息，用于做出从先前伪影掩码到智能伪影掩码的逐像素分类的决策。此外，在操作15中，掩码分类器166基于接收到的多个输入生成输出二元掩码。输出二元掩码指示输入图像中的伪影(诸如阴影)的想要的部分和不想要的部分。在操作16和操作17中，将输出二元掩码叠加在输入图像上以获得最终输出图像。换句话说，从输入图像中去除由二元掩码的白色部分指示的不想要的伪影，并且由来自细化生成器164f的输出的对应部分替换不想要的伪影。不从输入图像中去除由二元掩码的黑色部分指示的想要的伪影，并且保持想要的伪影而不被来自细化生成器164f的输出替换。在最终输出图像中，遮挡对象的面部的清晰外观的阴影的部分被去除，而对象的颈部部分中的为图像提供深度的阴影的部分被保留。掩码分类器166是用多个图像训练以能够决定伪影是想要还是不想要的神经网络模型。
[0165]
图7c是示出根据本文公开的实施例的图像中的想要的和不想要的伪影的示例。
[0166]
阴影可有助于将注意力吸引到构图中的特定点。它们可显示形式或隐藏可能最好不被看到的特征。它们还可被用于向图像添加一点戏剧、情感、兴趣或神秘。此外，阴影可强调光并引起对图像中的高光的注意。因此，根据图像，需要从图像中去除阴影，并且有时需要在图像中保持阴影。
[0167]
参照图7c，使用具有伪影的多个图像来训练掩码分类器166以确定想要的伪影和不想要的伪影。图7c的图像(a)中的伪影是眩光部分(示出反射的花的图像的下部)，该眩光部分使图像完整并且还提高了图像的美学价值。因此，图像中的眩光被认为是想要的伪影。图7c的图像(b)中的伪影是与每个沙丘相关联的阴影，该阴影为图像提供深度信息以及美学价值。因此，图像中的阴影被认为是想要的伪影。通常，在风景图像中提供深度含义的阴影被去除导致图像的3d性质的损失，作为图像中的主要对象捕获的阴影，增强情感并带来图像的真实色调的阴影，提供对比度并因此增强图像的含义和价值的单色图像阴影都被认为是想要的阴影。
[0168]
图7c的图像(c)中的伪影是由于图像捕获的错误角度而导致的电子装置100在书上的阴影。书或任何文本阅读上的阴影阻碍ocr阅读以及任何文档的恢复和认证。图7c的图像(d)中的伪影是道路上的多棵树的阴影。图像中扭曲的非结构化阴影降低了良好对象图像的可见性和吸引力。类似地，遮挡主要对象的阴影、遮挡面部表情和图像特征的阴影都被认为是不想要的阴影。
[0169]
此外，提出的方法可被用于建议各种方向和其他相机效果值(如白平衡、曝光、iso等)。当在光的路径中存在遮挡时，形成阴影。因此，阴影的前进方向指示光来自哪个方向，并且可向用户显示关于移动到哪个方向的建议，以便防止阴影破坏图像。光的强度越高，阴影越暗，反之亦然。因此，通过评估阴影，电子装置100可自动地建议各种相机控制(诸如白平衡、iso、曝光等)，以便给出自然增强且有意义的照片。
[0170]
图8a示出根据如本文公开的实施例的用于在将二元掩码叠加在输入图像上之后确定具有最佳质量的图像的图像质量控制器168的架构。
[0171]
参照图8a，提供了图像质量控制器168的架构。图像质量控制器168是测量具有任意失真的图像的质量的自然图像质量评估器(niqe)。图像质量控制器168使用训练的模型来计算质量分数。使用相同的可预测统计特征(称为自然场景统计(nss))来训练模型。
[0172]
nss基于空间域中的归一化亮度系数，并且被建模为多维高斯分布。可能存在表现为高斯分布的扰动的失真。
[0173]
使用如下等式提供图像中的每个的质量分数：
[0174][0175]
其中v1、v2和∑1、∑2是自然高斯模型和失真图像的高斯模型的均值向量和协方差矩阵。因此，与传统方法和系统不同，在提出的方法中，电子装置100不仅基于想要的伪影和不想要的伪影的决定来智能地应用二元掩码，还基于伽马校正来选择最佳图像。
[0176]
图8b是示出根据如本文公开的实施例的用于在将二元掩码叠加在输入图像上之后确定具有最佳质量的图像的方法的流程图。
[0177]
参照图8b，在操作810中，电子装置100接收应用二元掩码的(一个或多个)输入图像，并确定用于执行伽马校正的步长。此外，在操作820中，电子装置100绘制具有确定的步长的在0-10之间变化的伽马值之间的曲线图。在操作830中，电子装置100从曲线图(在图8d中说明)找到理想的图像质量评估器(iqe)。在操作840中，电子装置100确定并设置与理想iqe的德尔塔(delta)偏差。在操作850中，电子装置100从曲线图确定接近理想的iqe。
[0178]
图8c是示出根据如本文公开的实施例的用于通过改变伽马值获得各种图像的niqe相对于伽马的表。
[0179]
图8d是示出根据如本文公开的实施例的用于通过改变伽马值获得各种图像的niqe相对于伽马的曲线图。
[0180]
参照图8c和图8d，电子装置100通过生成具有可变伽马值的图像来确定曲线图。对于具有特定伽马值的每个图像，确定相应的自然图像质量评估器(niqe)值，如图8c所示。此外，确定曲线图的稳定区域中的niqe的最低值，并且选择包括该伽马值的图像作为最佳质量图像。
[0181]
从图8d中，伽马值1.5被确定为最稳定，因此在应用二元掩码之后，与伽马值1.5相关联的图像被选择为最佳质量图像。在图8e中说明用于确定稳定点伽马值的过程，并且在图8f中提供获得的最佳质量图像。
[0182]
图8e是示出根据如本文公开的实施例的用于从niqe相对于伽马图确定用于获得最佳质量的理想iqe的方法的流程图。
[0183]
参照图8e，结合图8c和图8d，在操作832中，电子装置100获得三(3)个图像iqe，即输入图像iqe(图8c和图8d中的点a的iqe)、具有伽马值10的第一图像质量iqe(图8c和图8d中的点b的iqe)和具有伽马值5的第二图像质量iqe(图8c和图8d中的点c的iqe)。
[0184]
在操作834中，电子装置100确定第一图像质量iqe是否大于第二图像质量iqe。在操作836中，响应于确定第一图像质量iqe(iqe(b))大于第二图像质量iqe(iqe(c))，电子装置100计算阈值，该阈值是通过找到具有在最大伽马(伽马＝10)与最大伽马的一半(即，伽马＝5)之间的较低niqe的点而计算为：
[0185]
阈值＝(iqe(c)-iqe(a))/2
[0186]
此外，通过将初始niqe减去比较的上述结果与初始niqe之间差的一半来计算理想niqe，如下：
[0187]
理想iqe＝iqe(a)+阈值(8)
[0188]
在操作838中，响应于确定第一图像质量iqe不大于第二图像质量iqe，电子装置100将阈值计算为：
[0189]
阈值＝(iqe(b)-iqe(a))/2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0190]
理想iqe＝iqe(a)+阈值
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0191]
因此，在图8d中，电子装置100确定具有在最大伽马与最大伽马的一半之间的较低niqe的点。理想niqe是17.87-(17.87-12.65)/2＝15.26。搜索理想niqe，其中德尔塔的绝对差为|15.54-15.26|《0.5，并且稳定点d被获得为伽马＝1.5。
[0192]
图8f示出根据如本文公开的实施例的在包括伪影的输入图像中使用伽马校正的颜色补偿的场景。
[0193]
参照图8f，结合图8e，niqe与伽马比较提供1.5作为用于输入图像的最佳伽马校正值。提供通过改变伽马校正值获得的多个输出图像，并且在阴影情况和眩光情况下，在伽马校正值＝1.5处找到最佳图像。
[0194]
图9a是示出相关技术中的光学字符识别的场景的示例。
[0195]
ocr通常被用于帮助盲人阅读，以数字格式保存书籍和脚本，用于电子签名和处理数字文档。通常，对于扫描图像，用户面临各种光条件及由此导致的扫描图像中的伪影的问题。参照图9a，图像中存在的阴影遮挡字符，因此ocr提供不可接受的不完整和错误的结果。因此，用户需要执行编辑图像的繁琐任务以满足数字文档要求。
[0196]
图9b是示出根据如本文公开的实施例的由电子装置100进行ocr的场景的示例。
[0197]
参照图9b，电子装置100捕获清晰且轮廓鲜明的图像，该图像提供可被用于数字文档的完整、正确的结果。
[0198]
因此，使用提出的方法，电子装置100从输入图像中去除阴影，然后应用ocr以在需要非常少的编辑的情况下获得更好的结果。
[0199]
图10a是示出相关技术中沿着黑色背景捕获的阴影的场景的示例。
[0200]
参照图10a，对象的图像被捕获并沿着黑色背景放置。在图像1、2和3中，沿着黑色背景的阴影仍然可见，并且没有从图像中去除。此外，沿着黑色背景的阴影减少了对图像的主要对象的关注，因此使用户体验失真。
[0201]
图10b是示出根据如本文公开的实施例的由电子装置100捕获的沿着黑色背景的阴影的场景的示例。
[0202]
参照图10a，结合图10b，与相关方法和系统不同，根据实施例的电子装置100检测沿着黑色背景的阴影并且智能地确定阴影是想要的还是不想要的。在示例情况下，由于沿着黑色背景的阴影没有向图像1、2和3添加任何价值，阴影被分类为不想要的并被去除。因此，即使是沿着黑色/暗背景的伪影，根据实施例的电子装置100也能够区分和管理，而在传统方法中在这样的情况下的伪影的识别和区分可能是不可能或低效的。
[0203]
图10c是示出根据如本文公开的实施例的由电子装置100智能叠加伪影的场景的示例。
[0204]
参照图10c，考虑用户试图在电子装置100的实时预览模式下捕获图像。在实时预览模式中，电子装置100提供“智能叠加”的选项。智能叠加是指存储在电子装置100中的二元掩码，其中，用户可选择将该二元掩码应用于任何图像。此外，在步骤1302c中，用户沿着
下拉菜单手动选择“智能叠加”选项，并且在捕获图像的同时二元掩码被自动应用于图像。
[0205]
图10d是示出根据如本文公开的实施例的在电子装置100的实时预览模式下的伪影去除的场景的示例。
[0206]
参照图10d，电子装置100允许用户选择是否在具有阴影或不具有阴影的情况下以实时预览模式捕获图像。在该示例中，在操作1302d中，电子装置100提供书的实时预览模式图像，其中其阴影覆盖书封面的一部分。然后，用户从下拉菜单中选择“伪影去除”选项，接着电子装置100通过去除阴影来捕获书的图像。
[0207]
图10e是示出根据如本文公开的实施例的在电子装置100的实时预览模式下的伪影管理活动元件的示例。
[0208]
参照图10e，电子装置100提供可以是例如图标、按钮等的伪影管理活动元件。用户需要手动激活伪影管理活动元件以启用如由提出的方法提供的伪影管理。在操作1302e中，用户尚未激活伪影管理活动元件，因此图像预览包括用户面部上的阴影。在操作1304e中，用户已经启用了伪影管理活动元件，因此电子装置100在捕获图像的同时将阴影确定为不想要的伪影并且去除阴影。
[0209]
图10f是示出根据如本文公开的实施例的由电子装置100管理伪影的示例模式的示例。
[0210]
参照图10f，考虑如操作1302f中所示的包括区域1和区域2中的用户面部上的阴影的输入图像。考虑电子装置100允许用户选择想要的阴影区域和不想要的阴影区域的用户模式。在操作1304f中，电子装置100允许用户保留阴影的区域1并去除阴影的区域2。在操作1306f中，电子装置100允许用户改变区域1阴影的不透明度，从而允许用户进一步增强图像。
[0211]
考虑自动模式，其中电子装置100自动确定想要的阴影区域和不想要的阴影区域，并自动应用为其生成的二元掩码。在操作1308f中，电子装置100确定阴影的区域1和阴影的区域2两者都是不想要的，因此两者都被去除。
[0212]
图11a是示出根据如本文公开的实施例的用于由电子装置100管理图像的伪影的方法的流程图。
[0213]
参照图11a，电子装置100可以是增强现实(ar)装置。在操作1102中，考虑用户正在穿戴电子装置100并选择“伪影模式”开启。在操作1104中，电子装置100捕获图像帧，并且在操作1106中，电子装置100将捕获的图像帧发送到连接的装置。此外，在操作1108中，连接的装置识别并去除图像伪影，并且在操作1110中，将图像帧重新发送到电子装置100。在操作1112中，电子装置100显示处理后的帧。因此，提出的方法可由不是捕获图像帧的第三装置来执行。
[0214]
图11b是示出根据如本文公开的实施例的由电子装置100对图像的伪影的管理的示例。
[0215]
参照图11b，结合图11a，在操作1120中，用户尚未激活电子装置100中可用的伪影模式，因此捕获的图像帧与沿着图像帧中捕获的对象的面部的阴影一起按照原样被显示。在操作1130中，用户激活电子装置100中的伪影模式，并且因此沿着对象的面部的阴影被自动且智能地去除，并且显示更清晰的图像。因此，提出的方法被实时执行以获得没有伪影的图像。
[0216]
前述示例性实施例仅仅是示例性的，而不应被解释为限制性的。本教导可容易地被应用于其他类型的装置。此外，示例性实施例的描述旨在是说明性的，而不是限制权利要求的范围，并且许多替代、修改和变型对于本领域技术人员而言将是显而易见的。虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

技术特征：
1.一种用于处理图像数据的方法，所述方法包括：接收输入图像；从输入图像提取多个特征，其中，所述多个特征包括输入图像的纹理、输入图像的颜色组成和输入图像中的边缘；基于所述多个特征确定包括至少一个伪影的输入图像中的至少一个感兴趣区域roi；通过使用多个生成对抗网络gan从输入图像中去除所述至少一个伪影来生成至少一个中间输出图像；使用所述至少一个中间输出图像、输入图像、输入图像中的边缘以及所述至少一个中间输出图像中的边缘来生成二元掩码；基于对输入图像的所述二元掩码，将所述至少一个伪影分类为第一伪影类别或第二伪影类别；以及通过基于与第一伪影类别和/或第二伪影类别对应的所述至少一个伪影的类别处理输入图像来获得最终输出图像。2.根据权利要求1所述的方法，还包括：通过改变与所述最终输出图像相关联的伽马值来生成所述至少一个中间输出图像的多个版本；确定针对所述至少一个中间输出图像的所述多个版本中的每个版本的自然图像质量评估器niqe值；以及将所述至少一个中间输出图像的所述多个版本中的一个版本显示为所述最终输出图像，所述一个版本具有在针对所述至少一个中间输出图像的所述多个版本的niqe值中的最小niqe值。3.根据权利要求1所述的方法，其中，所述从输入图像提取所述多个特征包括：分别基于大津阈值化、高斯模糊和边缘检测从输入图像中提取纹理、颜色组成和边缘。4.根据权利要求1所述的方法，其中，所述多个gan包括负生成器、伪影生成器、划分生成器、负判别器、划分判别器、细化生成器和细化判别器。5.根据权利要求4所述的方法，其中，所述生成所述至少一个中间输出图像包括：确定针对所述多个gan中的每个gan的一组损失值；使用所述负生成器通过去除输入图像中的所述至少一个伪影的最暗区域，生成第一gan图像；使用所述伪影生成器通过去除输入图像中的所述至少一个伪影的颜色连续区域和纹理连续区域中的至少一个，生成第二gan图像；使用所述划分生成器通过去除所述至少一个伪影的最亮区域并且将白色片区域添加到输入图像中的所述至少一个伪影，生成第三gan图像；以及使用第一gan图像、第二gan图像和第三gan图像中的至少一个生成没有所述至少一个伪影的所述至少一个中间输出图像。6.根据权利要求1所述的方法，其中，输入图像是先前输入图像，并且所述方法还包括：接收新输入图像；以及将针对所述先前输入图像获得的所述二元掩码叠加在所述新输入图像上。7.根据权利要求1所述的方法，其中，所述至少一个伪影是阴影或眩光。
8.根据权利要求1所述的方法，其中，第一伪影类别与想要的伪影对应，并且第二伪影类别与不想要的伪影对应。9.一种用于处理图像数据的电子装置，所述电子装置包括：存储器，存储指令；以及处理器，被配置为执行所述指令以进行以下操作：接收输入图像；从输入图像提取多个特征，其中，所述多个特征包括输入图像的纹理、输入图像的颜色组成和输入图像中的边缘；基于所述多个特征确定包括至少一个伪影的输入图像中的感兴趣区域roi；通过使用多个生成对抗网络gan从输入图像中去除所述至少一个伪影来生成至少一个中间输出图像；使用所述至少一个中间输出图像、输入图像、输入图像中的边缘和所述至少一个中间输出图像中的边缘来生成二元掩码；基于所述二元掩码将所述至少一个伪影分类为第一伪影类别或第二伪影类别；以及基于与第一伪影类别或第二伪影类别对应的所述至少一个伪影的类别，从输入图像获得最终输出图像。10.根据权利要求9所述的电子装置，其中，所述处理器还被配置为：通过改变与所述最终输出图像相关联的伽马值来生成所述至少一个中间输出图像的多个版本；确定针对所述至少一个中间输出图像的所述多个版本中的每个版本的自然图像质量评估器niqe值；以及显示所述最终输出图像的具有在针对所述多个版本的niqe值中的最小niqe值的版本。11.根据权利要求9所述的电子装置，其中，所述处理器还被配置为：分别基于大津阈值化、高斯模糊和边缘检测来提取纹理、颜色组成和边缘。12.根据权利要求9所述的电子装置，其中，所述多个gan包括负生成器、伪影生成器、划分生成器、负判别器、划分判别器、细化生成器和细化判别器。13.根据权利要求12所述的电子装置，其中，所述处理器还被配置为：确定针对所述多个gan中的每个gan的一组损失值；使用所述负生成器通过去除输入图像中的所述至少一个伪影的最暗区域，生成第一gan图像；使用所述伪影生成器通过去除输入图像中的所述至少一个伪影的颜色连续区域和纹理连续区域中的至少一个，生成第二gan图像；使用所述划分生成器通过去除所述至少一个伪影的最亮区域并将白色片区域添加到输入图像中的所述至少一个伪影，生成第三gan图像；以及使用第一gan图像、第二gan图像和第三gan图像中的至少一个生成没有所述至少一个伪影的所述至少一个中间输出图像。14.根据权利要求9所述的电子装置，其中，输入图像是先前输入图像，并且所述处理器还被配置为：接收新输入图像；以及
将针对所述先前输入图像获得的所述二元掩码叠加在所述新输入图像上。15.根据权利要求9所述的电子装置，其中，所述至少一个伪影是阴影或眩光。

技术总结
一种用于管理图像的伪影的方法和电子装置包括：接收输入图像并且从输入图像中提取多个特征。所述多个特征包括输入图像的纹理、输入图像的颜色组成和输入图像中的边缘。此外，所述方法包括基于特征确定包括伪影的输入图像中的感兴趣区域(RoI)，以及通过使用多个生成对抗网络(GAN)去除伪影来生成中间输出图像。此外，所述方法包括使用中间输出图像、输入图像、示出输入图像中的边缘的图像和示出中间输出图像中的边缘的图像生成二元掩码，并通过将生成的二元掩码应用于输入图像来获得最终输出图像。输出图像。输出图像。


技术研发人员：阿施施
受保护的技术使用者：三星电子株式会社
技术研发日：2021.11.23
技术公布日：2023/8/9