相似的基于内容的图像的评估的制作方法

相似的基于内容的图像的评估
1.相关申请的交叉引用
2.本技术要求2021年9月30日提交的题为“evaluation of similar content-based images”的美国专利申请no.17/490,406的优先权，该美国专利申请要求2021年5月5日提交的题为“objective method to evaluate similarity for contents-based images”的美国临时专利申请no.63/184,274(客户参考号syp340001us01)的优先权，这些专利申请在此通过引用并入本文，如同出于所有目的在本技术中完整阐述一样。


背景技术：

3.图像搜索算法用于跨互联网寻找相似图像。搜索技术可以涉及图像的像素的视觉相似性(例如，相似的颜色)。搜索可以涉及均方误差(mse)技术、峰值信噪比(psnr)技术以及用于度量图像相似性的其他主观评价。因为mse和psnr技术基于逐像素分析来估计绝对误差，所以基于红色墨西哥辣椒(jalapeno)的查询图像的搜索可能由于相似红色像素的量而产生红色西红柿的搜索结果图像。这些技术通常用于比较原始图像与恢复图像的质量，或者可以用于匹配原始图像与失真图像(例如，由于模糊、旋转、缩放、光照等)。


技术实现要素：

4.实现方案通常涉及相似的基于内容的图像的评估。在一些实现方案中，一种系统包括一个或多个处理器，并且包括在一个或多个非暂态计算机可读存储介质中编码以供所述一个或多个处理器执行的逻辑。当被执行时，所述逻辑可操作以使所述一个或多个处理器执行包括以下的操作：接收第一图像，其中第一图像包括至少一个第一对象；接收第二图像，其中第二图像包括至少一个第二对象；基于至少一个第一对象和至少一个第二对象来计算结构相似性指数度量(structural similarity index measure)(ssim)值；基于至少一个第一对象和至少一个第二对象来计算尺度不变特征变换(scale invariant feature transform)(sift)值；基于至少一个第一对象和至少一个第二对象来计算直方图(histogram)值；以及基于ssim值、sift值和直方图值来计算相似性分数(similarity score)。
5.进一步关于所述系统，在一些实现方案中，ssim值基于第一图像和第二图像的亮度、对比度和结构中的一个或多个。在一些实现方案中，sift值基于第一图像和第二图像的一个或多个预定特征。在一些实现方案中，直方图值基于第一图像和第二图像的预定直方图值的频率。在一些实现方案中，所述逻辑在被执行时进一步可操作以使所述一个或多个处理器执行包括基于ssim值来计算调整后的sift值的操作。在一些实现方案中，所述逻辑在被执行时进一步可操作以使所述一个或多个处理器执行包括基于ssim值和sift值来计算调整后的直方图值的操作。在一些实现方案中，所述逻辑在被执行时进一步可操作以使所述一个或多个处理器执行包括计算ssim值、调整后的sift值和调整后的直方图值的总和的操作。
6.在一些实现方案中，提供了一种在其上具有程序指令的非暂态计算机可读存储介
质。当由一个或多个处理器执行时，所述指令可操作以使所述一个或多个处理器执行包括以下的操作：接收第一图像，其中第一图像包括至少一个第一对象；接收第二图像，其中第二图像包括至少一个第二对象；基于至少一个第一对象和至少一个第二对象来计算结构相似性指数度量(ssim)值；基于至少一个第一对象和至少一个第二对象来计算尺度不变特征变换(sift)值；基于至少一个第一对象和至少一个第二对象来计算直方图值；以及基于ssim值、sift值和直方图值来计算相似性分数。
7.进一步关于所述计算机可读存储介质，在一些实现方案中，ssim值基于第一图像和第二图像的亮度、对比度和结构中的一个或多个。在一些实现方案中，sift值基于第一图像和第二图像的一个或多个预定特征。在一些实现方案中，直方图值基于第一图像和第二图像的预定直方图值的频率。在一些实现方案中，所述指令在被执行时，进一步可操作以使所述一个或多个处理器执行包括基于ssim值来计算调整后的sift值的操作。在一些实现方案中，所述指令在被执行时，进一步可操作以使所述一个或多个处理器执行包括基于ssim值和sift值来计算调整后的直方图值的操作。在一些实现方案中，所述指令在被执行时，进一步可操作以使所述一个或多个处理器执行包括计算ssim值、调整后的sift值和调整后的直方图值的总和的操作。
8.在一些实现方案中，一种方法包括：接收第一图像，其中第一图像包括至少一个第一对象；接收第二图像，其中第二图像包括至少一个第二对象；基于至少一个第一对象和至少一个第二对象来计算结构相似性指数度量(ssim)值；基于至少一个第一对象和至少一个第二对象来计算尺度不变特征变换(sift)值；基于至少一个第一对象和至少一个第二对象来计算直方图值；以及基于ssim值、sift值和直方图值来计算相似性分数。
9.进一步关于所述方法，在一些实现方案中，ssim值基于第一图像和第二图像的亮度、对比度和结构中的一个或多个。在一些实现方案中，sift值基于第一图像和第二图像的一个或多个预定特征。在一些实现方案中，直方图值基于第一图像和第二图像的预定直方图值的频率。在一些实现方案中，所述方法还包括基于ssim值来计算调整后的sift值。在一些实现方案中，所述方法还包括基于ssim值和sift值来计算调整后的直方图值。
10.可以通过参照说明书的其余部分和附图来实现对本文公开的特定实现方案的性质和优点的进一步理解。
附图说明
11.图1是用于评估相似的基于内容的图像的示例环境的框图，其可用于本文描述的实现方案。
12.图2是根据一些实现方案的用于评估相似的基于内容的图像的示例流程图。
13.图3是根据一些实现方案的红色墨西哥辣椒的示例查询图像。
14.图4是根据一些实现方案的在图像搜索结果中找到的绿色墨西哥辣椒的示例图像。
15.图5是根据一些实现方案的超级英雄的示例查询图像。
16.图6是根据一些实现方案的在图像搜索结果中找到的超级英雄的示例图像。
17.图7是根据一些实现方案的在图像搜索结果中找到的人的示例图像。
18.图8是示例网络环境的框图，其可用于本文描述的一些实现方案。
19.图9是示例计算机系统的框图，其可用于本文描述的一些实现方案。
具体实施方式
20.本文描述的实现方案通常涉及相似的基于内容的图像的评估。如本文更详细地描述的那样，系统对与查询图像相似的图像进行搜索和排名(rank)。系统以相似性的次序排列搜索结果，其中这些结果是主观确定的(例如，使用人类视觉系统等)。相反，在将找到的图像与查询图像进行比较时，这些结果是基于内容和/或对象而客观计算的。例如，系统分析图像中的特征和结构以提供定量搜索结果。
21.如本文更详细地描述的那样，在各种实现方案中，系统接收包括至少一个第一对象的第一图像，并且接收包括至少一个第二对象的第二图像。然后，系统基于至少一个第一对象和至少一个第二对象来计算结构相似性指数度量(ssim)值。系统还基于至少一个第一对象和至少一个第二对象来计算尺度不变特征变换(sift)值。系统还基于至少一个第一对象和至少一个第二对象来计算直方图值。然后，系统基于ssim值、sift值和直方图值来计算相似性分数。如本文更详细地描述的那样，系统调整sift和直方图值以计算更准确的相似性分数。尽管本文公开的实现方案是在静止图像的上下文中描述的，但是这些实现方案也可以应用于视频的图像帧。
22.图1是用于评估相似的基于内容的图像的示例网络环境100的框图，其可用于本文描述的一些实现方案。在一些实现方案中，网络环境100包括系统102，其包括服务器设备104和数据库106。网络环境100还包括客户端设备110，其经由网络环境100的网络150与系统102进行通信。网络150可以是任何合适的通信网络或网络的组合，其可以包括诸如蓝牙网络、wi-fi网络、互联网等的网络类型。
23.如本文更详细地描述的那样，系统102接收在图像中包括至少一个第一对象的第一图像。第一图像也被称为查询图像，其将在图像搜索中使用。系统102执行搜索以寻找具有相似内容的其他图像。在各种实现方案中，系统102还基于相似性对图像进行排名。在搜索期间，系统102至少接收包括至少一个第二对象的第二图像。为了便于说明，描述了第二图像。在各种实现方案中，系统102以与第二图像的方式类似的方式处理许多其他图像(例如，数百个图像、数千个图像等)。
24.如本文更详细地描述的那样，在各种实现方案中，系统102基于第一图像中的第一对象和第二图像中的第二对象来计算结构相似性指数度量(ssim)值。系统102还基于第一对象和至少一个第二对象来计算尺度不变特征变换(sift)值。系统102还基于第一对象和第二对象来计算直方图值。然后，系统102基于ssim值、sift值和直方图值来计算相似性分数。系统102对系统102在搜索中找到的多个图像执行这些步骤和其他。本文更详细地描述了针对调查的生成和进行的进一步的实现方案。
25.为了便于说明，图1对于系统102、服务器设备104、数据库106和客户端设备110中的每一个显示了一个框。框102、104、106和110可以表示多个系统、服务器设备、数据库和客户端。在其他实现方案中，环境100可能不具有所有所示的组件和/或可能具有包括替代本文所示的那些元素或除本文所示的那些元素之外的其他类型的元素的其他元素。
26.虽然系统102执行本文描述的实现方案，但在其他实现方案中，与系统102相关联的任何合适的组件或组件的组合或者与系统102相关联的任何合适的一个或多个处理器可
以促进执行本文描述的实现方案。
27.图2是根据一些实现方案的用于评估相似的基于内容的图像的示例流程图。参照图1和图2两者，方法在框202处开始，在框202处，诸如系统102之类的系统接收第一图像，其中第一图像包括第一对象。第一图像可以被称为查询图像，其中系统102执行对与查询图像相似的图像的搜索。如本文更详细地描述的那样，系统102还基于在搜索中找到的图像与查询图像的相似性对在搜索中找到的图像进行排名。
28.图3是根据一些实现方案的红色墨西哥辣椒的示例查询图像300。显示了三个墨西哥辣椒，其在本示例中为红色。为了便于说明，本文可以在一个对象的上下文中描述第一图像。在各种实现方案中，第一图像中可以存在一个或多个对象，如查询图像300中所示。取决于特定实现方案，给定图像中的对象的数量可以变化。为清楚起见，术语第一图像和查询图像可以互换使用。
29.在框204处，系统102接收第二图像，其中第二图像包括第二对象。第二图像是系统在对与查询图像相似的图像的图像搜索中找到的许多图像中的一个。
30.系统针对搜索结果图像搜索互联网和/或其他合适的数据库。术语第二图像和搜索结果图像可以互换使用。然后，系统执行本文描述的其他步骤以将第二图像/搜索结果图像与第一图像/查询图像进行比较。
31.图4是根据一些实现方案的在图像搜索结果中找到的绿色墨西哥辣椒的示例图像400。显示了三个墨西哥辣椒，其在本示例中为绿色。为了便于说明，本文可以在一个对象的上下文中描述第二图像。在各种实现方案中，第一图像中可以存在一个或多个对象，如图像400中所示。取决于特定实现方案，给定图像中的对象的数量可以变化。为清楚起见，术语第二图像和搜索结果图像可以互换使用。
32.本文描述的实现方案产生具有与查询图像中的那些对象相同内容的对象的搜索图像结果，即使这些对象具有不同的颜色。这是因为此类搜索基于比较图像中的内容，而不仅仅基于比较图像中的像素。本文更详细地描述了此类搜索的方面。
33.在框206处，系统102基于查询图像中的一个或多个第一对象和搜索结果图像中的一个或多个第二对象来计算结构相似性指数度量(ssim)值。在各种实现方案中，系统基于两个给定样本(诸如第一图像和第二图像)之间的预定比较度量来计算ssim值。
34.ssim值的预定比较度量可以包括颜色、亮度、对比度和结构。结构可以包括形状。因此，在各种实现方案中，ssim值基于第一图像和第二图像的颜色、亮度、对比度和结构中的一个或多个。在各种实现方案中，系统针对这些度量来分析图像中的对象。取决于特定实现方案，预定比较度量可以变化。
35.系统基于第一图像和第二图像来计算ssim值。在一些实现方案中，ssim值是0和1之间的值。+1的值指示第一图像和第二图像非常相似或相同。0的值指示第一图像和第二图像非常不同。
36.诸如图3的图像300(红色墨西哥辣椒)和图4的图像400(绿色墨西哥辣椒)之类的图像在视觉上相似，因为它们在结构上相似。它们具有相似的形状(例如，具有墨西哥辣椒形状等)和相似的特征(例如，墨西哥辣椒茎等)。在本示例中，系统计算出更接近于1的ssim值。因此，即使图像400具有具有与图像300的颜色不同的颜色的对象，系统仍将图像400包括在与图像300相似的图像的集合中。这是因为系统分析图像的内容(不仅仅是颜色)。至少
基于结构上的相似性，搜索结果图像400与查询图像300相似。换句话说，图像300和400基于内容相似。因此，本文描述的实现方案不仅提供视觉上相似的图像的盲评估，而且还提供基于内容或基于特征相似的图像的盲评估。
37.在框208处，系统102基于第一对象和第二对象来计算尺度不变特征变换(sift)值。在各种实现方案中，sift值基于第一图像和第二图像的一个或多个预定特征。在各种实现方案中，sift是计算机视觉中的特征检测算法。sift算法寻找第一图像和第二图像中的对应关系。每个图像中的局部特征的这些对应关系可以被称为图像的关键点。这些关键点是可用于评估第一图像和第二图像之间的相似性程度的缩放和旋转不变量。除了基于关键点之外，sift值还基于与查询图像的背景相比的搜索结果图像的背景。在各种实现方案中，系统针对这些度量分析对象的关键点以及图像中的背景。
38.上述示例涉及在搜索结果图像中找到的与查询图像中的红色墨西哥辣椒相似的绿色墨西哥辣椒。在本示例中，图像中没有要考虑的背景。在各种实现方案中，系统包括附加的sift值，以便在确定给定搜索结果图像和查询图像之间的相似性时提供更多的准确性，尤其是当图像的内容是具有背景的更复杂的情况等时。
39.图5的以下示例查询图像以及图6和图7的相关联的搜索结果图像在其上下文中更复杂。如本文关于图2的过程的剩余步骤以及图5、图6和图7的图像更详细地描述的那样，系统采用附加的分析并计算附加的值。这些附加的分析和值促进系统更准确地寻找相似的搜索结果图像并且基于相似性更准确地对搜索结果图像进行排名。下面描述图5、图6和图7的图像，随后是系统在寻找搜索结果图像并对此类图像进行排名时执行的附加分析和计算的描述。
40.图5是根据一些实现方案的超级英雄的示例查询图像500。取决于特定实现方案，给定查询图像的内容可以变化。例如，在各种实现方案中，图像500的超级英雄可以穿戴具有特定颜色组合(例如，黑色和黄色、黑色和红色等)的套装，组合中具有任何数量的颜色。套装可以包括也具有特定颜色组合的面罩。套装和相关联的面罩两者都可以具有其他区别标记或图案。如图所示，超级英雄覆盖了大部分图像区域。此外，图像中的背景大部分是较深的颜色，带有难以描述的较浅颜色的部分。
41.图6是根据一些实现方案的在图像搜索结果中找到的超级英雄的示例图像600。在本示例图像中，图像的内容包括与查询图像500中所示的超级英雄相同的超级英雄。在本示例实现方案中，图像600的超级英雄穿戴着与图5的图像500的超级英雄相同的套装，包括相同的面罩。此外，超级英雄覆盖了不到一半的图像区域，并且图像中的背景大部分是较浅的颜色，带有看起来像是城市建筑的空中透视的事物。
42.图7是根据一些实现方案的在图像搜索结果中找到的人的示例图像700。在本示例图像中，图像的内容包括人。人穿着与相应的图5和图6的图像500和600的超级英雄的套装不同的服装，但具有一些相似的颜色。人还戴着与相应的图5和图6的图像500和600的超级英雄的面罩不同的面罩。
43.在各种实现方案中，系统基于ssim值来计算调整后的sift值。例如，系统可以通过将(与给定搜索结果图像和查询图像相关联的)sift值与(与该给定搜索结果图像和该查询图像相关联的)ssim因子相乘来计算调整后的sift值。关于图像500、600和700，系统可以将图像600和700包括在与查询图像500相似的搜索结果图像的集合中。
44.在图2的框210处，系统102基于第一对象和第二对象来计算直方图值。直方图显示了某些值在第一图像和第二图像中出现得多么频繁或多么不频繁。在各种实现方案中，直方图是其离散强度级别的分布，其中范围可以在0至l-1的范围之间。在各种实现方案中，直方图值还基于各种因素，诸如气氛(mood)和亮度。例如，给定图像可能在图像的特定区域处具有某些级别的亮度。此类亮度级别可以指示一天中的时间(例如，早上、下午、晚上等)。此类亮度级别还可以指示给定图像中的对象是在室内还是在室外等。
45.在各种实现方案中，直方图值基于第一图像和第二图像的预定直方图值的频率。在各种实现方案中，直方图是归一化直方图。此外，直方图的归一化是涉及将强度的离散分布变换为概率的离散分布的技术。为了执行此变换，系统将直方图的每个值除以像素的数量。
46.在各种实现方案中，系统基于ssim值和sift值来计算调整后的直方图值。例如，系统可以通过将直方图值乘以ssim因子并乘以sift因子来计算调整后的直方图值。
47.在框212处，系统102基于ssim值、sift值和直方图值来计算相似性分数。在各种实现方案中，系统将以下表达式应用于第一图像和第二图像：
48.ssim+(1-ssim)*sift+(1-ssim)*(1-sift)*直方图。
49.系统计算范围从0到1的相似性分数。此外，如本文所示，系统针对系统在搜索期间找到的每个搜索结果图像计算相似性分数。
50.在各种实现方案中，为了计算相似性分数，系统计算ssim值、调整后的sift值和调整后的直方图值的总和。随着至少一个第一对象和至少一个第二对象变得更不相似，相似性分数接近0，并且其中随着至少一个第一对象和至少一个第二对象变得更相似，相似性分数接近1。
51.在ssim+(1-ssim)*sift+(1-ssim)*(1-sift)*直方图的示例计算中，系统可以将ssim值计算为0.8，这指示相对较高的相似性(例如，相似的对象)。系统可以将sift值计算为0.1，这指示相对较低的相似性(例如，不相似的背景)。系统可以将调整后的sift值计算为(1-0.8)*0.1或(0.2)*0.1或0.02。系统可以将直方图计算为0.1，这指示相对较低的相似性(例如，不相似的气氛、照明等)。系统可以将调整后的直方图值计算为(1-0.8)*(1-0.1)*0.1或(0.2)*(0.9)*(0.1)或0.018。产生的相似性分数将为0.8218。
52.在各种实现方案中，系统基于搜索结果图像600和700与查询图像的相似性对搜索结果图像600和700(在其他搜索结果图像中)进行排名。参照图5的查询图像500以及相应的图6和图7的搜索结果图像600和700的示例，系统将根据相似性和产生的相似性分数将图像600排名得比图像700高。例如，图像600包括基于ssim值相似于与查询图像500中的超级英雄相同的超级英雄的对象。虽然图像600包括基于sift值与查询图像500的背景不同的背景，但ssim值携带了比sift值更大的权重。因此，系统将单独基于ssim和sift值将图像600排名得比图像700高。
53.此外，虽然图像600包括基于直方图值与查询图像500的气氛不同的气氛，但ssim值携带了比直方图值更大的权重。因此，系统将单独基于ssim和直方图值将图像600排名得比图像700高。
54.传统的排序技术可能单独根据查看像素而将图像700排名得比图像600高。因为系统102基于ssim值、sift值和直方图值来分析和比较图像，所以系统更准确地对搜索结果图
像进行排名。
55.尽管可能按特定次序呈现了步骤、操作或计算，但可以在特定实现方案中改变该次序。取决于特定实现方案，步骤的其他排序是可能的。在一些特定的实现方案中，在本说明书中被显示为按顺序的多个步骤可以被同时执行。此外，一些实现方案可能不具有所有所示的步骤和/或可能具有替代本文所示的那些步骤或除本文所示的那些步骤之外的其他步骤。
56.本文描述的实现方案提供了各种好处。例如，本文描述的实现方案还可以应用于反向图像搜索、标签匹配、图像跟踪和图像识别。实现方案还可以用于图像和/或视频的关键帧搜索、相似图像搜索和反向搜索。
57.图8是示例网络环境800的框图，其可用于本文描述的一些实现方案。在一些实现方案中，网络环境800包括系统802，其包括服务器设备804和数据库806。例如，系统802可以用于实现图1的系统102以及执行本文描述的实现方案。网络环境800还包括客户端设备810、820、830和480，它们可以与系统802进行通信和/或可以直接或经由系统802彼此通信。网络环境800还包括网络850，系统802和客户端设备810、820、830和840通过该网络850进行通信。网络850可以是任何合适的通信网络，诸如wi-fi网络、蓝牙网络、互联网等。
58.为了便于说明，图8对于系统802、服务器设备804和网络数据库806中的每一个显示了一个框，并且对于客户端设备810、820、830和840显示了四个框。框802、804和806可以表示多个系统、服务器设备和网络数据库。此外，可以存在任何数量的客户端设备。在其他实现方案中，环境800可能不具有所有所示的组件和/或可能具有包括替代本文所示的那些元素或除本文所示的那些元素之外的其他类型的元素的其他元素。
59.虽然系统802的服务器设备804执行本文描述的实现方案，但在其他实现方案中，与系统802相关联的任何合适的组件或组件的组合或者与系统802相关联的任何合适的一个或多个处理器可以促进执行本文描述的实现方案。
60.在本文描述的各种实现方案中，系统802的处理器和/或任何客户端设备810、820、830和840的处理器使得本文描述的元素(例如，信息等)被显示在一个或多个显示屏上的用户界面中。
61.图9是示例计算机系统900的框图，其可用于本文描述的一些实现方案。例如，计算机系统900可以用于实现图8的服务器设备804和/或图1的系统102，以及用于执行本文描述的实现方案。在一些实现方案中，计算机系统900可以包括处理器902、操作系统904、存储器906和输入/输出(i/o)接口908。在各种实现方案中，处理器902可以用于实现本文描述的各种功能和特征，以及用于执行本文描述的方法实现方案。虽然处理器902被描述为执行本文描述的实现方案，但是计算机系统900的任何合适的组件或组件的组合或者与计算机系统900或任何合适的系统相关联的任何合适的一个或多个处理器可以执行所描述的步骤。可以在用户设备、服务器或两者的组合上执行本文描述的实现方案。
62.计算机系统900还包括软件应用910，其可以被存储在存储器906或者任何其他合适的存储位置或计算机可读介质上。软件应用910提供使处理器902能够执行本文描述的实现方案和其他功能的指令。软件应用还可以包括引擎，诸如用于执行与一个或多个网络和网络通信相关联的各种功能的网络引擎。计算机系统900的组件可以由一个或多个处理器或者硬件设备的任何组合以及硬件、软件、固件等的任何组合来实现。
63.为了便于说明，图9对于处理器902、操作系统904、存储器906、i/o接口908和软件应用910中的每一个显示了一个框。这些框902、904、906、908和910可以表示多个处理器、操作系统、存储器、i/o接口和软件应用。在各种实现方案中，计算机系统900可能不具有所有所示的组件和/或可能具有包括替代本文所示的那些组件或除本文所示的那些组件之外的其他类型的组件的其他元素。
64.尽管已经关于其特定实现方案描述了描述，但是这些特定实现方案仅仅是说明性的，而不是限制性的。在示例中说明的概念可以应用于其他示例和实现方案。
65.在各种实现方案中，软件被编码在一个或多个非暂态计算机可读介质中以供一个或多个处理器执行。该软件在由一个或多个处理器执行时，可操作以执行本文描述的实现方案和其他功能。
66.可以使用任何合适的编程语言来实现特定实现方案的例程，包括c、c++、c#、java、javascript、汇编语言等。可以采用不同的编程技术，诸如过程式或面向对象的。例程可以在单个处理设备或多个处理器上执行。尽管可能按特定次序呈现了步骤、操作或计算，但是可以在不同的特定实现方案中改变该次序。在一些特定的实现方案中，在本说明书中被显示为按顺序的多个步骤可以被同时执行。
67.特定实现方案可以在非暂态计算机可读存储介质(也被称为机器可读存储介质)中实现，以供指令执行系统、装置或设备使用或者与指令执行系统、装置或设备结合使用。特定实现方案可以以软件或硬件或两者的组合中的控制逻辑的形式来实现。该控制逻辑在由一个或多个处理器执行时，可操作以执行本文描述的实现方案和其他功能。例如，可以使用诸如硬件存储设备之类的有形介质来存储控制逻辑，其可以包括可执行指令。
68.可以通过使用可编程的通用数字计算机和/或通过使用专用集成电路、可编程逻辑器件、现场可编程门阵列、光学、化学、生物、量子或纳米工程的系统、组件和机构来实现特定实现方案。通常，可以通过如本领域中已知的任何手段来实现特定实现方案的功能。可以使用分布式、网络化的系统、组件和/或电路。数据的通信或传输可以是有线的、无线的或通过任何其他手段。
[0069]“处理器”可以包括处理数据、信号或其他信息的任何合适的硬件和/或软件系统、机构或组件。处理器可以包括具有用于实现功能的通用中央处理单元、多个处理单元、专用电路的系统或其他系统。处理不需要限于地理位置或具有时间限制。例如，处理器可以以“实时”、“离线”、“批处理模式”等方式执行其功能。部分处理可以在不同时间和不同位置由不同(或相同)的处理系统来执行。计算机可以是与存储器通信的任何处理器。存储器可以是任何合适的数据存储装置、存储器和/或非暂态计算机可读存储介质，包括电子存储设备，诸如随机存取存储器(ram)、只读存储器(rom)、磁存储设备(硬盘驱动器等)、闪存、光学存储设备(cd、dvd等)、磁盘或光盘，或者适合于存储指令(例如，程序或软件指令)以供处理器执行的其他有形介质。例如，可以使用诸如硬件存储设备之类的有形介质来存储控制逻辑，其可以包括可执行指令。指令还可以被包含在电子信号中并作为电子信号提供，例如以从服务器(例如，分布式系统和/或云计算系统)递送的软件即服务(saas)的形式。
[0070]
还应该理解的是，附图/图中描绘的一个或多个元素也可以在根据特定应用是有用的时，以更分离或集成的方式来实现，或者甚至在某些情况下被移除或呈现为不可操作。实现可以存储在机器可读介质中以允许计算机执行任何上述方法的程序或代码也在精神
和范围内。
[0071]
如在本文的描述中和贯穿整个随后的权利要求所使用的那样，“一”、“一个”和“该”包括复数引用，除非上下文另有明确规定。此外，如在本文的描述中和贯穿整个随后的权利要求所使用的那样，“在
……
中(in)”的含义包括“在
……
中(in)”和“在
……
上(on)”，除非上下文另有明确规定。
[0072]
因此，虽然本文已经描述了特定实现方案，但在前述公开内容中旨在修改、各种改变和替换的自由，并且应该理解的是，在一些情况下，将在不脱离所阐述的范围和精神的情况下采用特定实现方案的一些特征而无需其他特征的对应使用。因此，可以做出许多修改以使特定情况或材料适应于基本范围和精神。

技术特征：
1.一种系统，包括：一个或多个处理器；以及在一个或多个非暂态计算机可读存储介质中编码以供所述一个或多个处理器执行的逻辑，并且所述逻辑在被执行时，可操作以使所述一个或多个处理器执行包括以下的操作：接收第一图像，其中第一图像包括至少一个第一对象；接收第二图像，其中第二图像包括至少一个第二对象；基于所述至少一个第一对象和所述至少一个第二对象来计算结构相似性指数度量(ssim)值；基于所述至少一个第一对象和所述至少一个第二对象来计算尺度不变特征变换(sift)值；基于所述至少一个第一对象和所述至少一个第二对象来计算直方图值；以及基于所述ssim值、所述sift值和所述直方图值来计算相似性分数。2.根据权利要求1所述的系统，其中所述ssim值基于第一图像和第二图像的亮度、对比度和结构中的一个或多个。3.根据权利要求1所述的系统，其中所述sift值基于第一图像和第二图像的一个或多个预定特征。4.根据权利要求1所述的系统，其中所述直方图值基于第一图像和第二图像的预定直方图值的频率。5.根据权利要求1所述的系统，其中所述逻辑在被执行时进一步可操作以使所述一个或多个处理器执行包括基于所述ssim值来计算调整后的sift值的操作。6.根据权利要求1所述的系统，其中所述逻辑在被执行时进一步可操作以使所述一个或多个处理器执行包括基于所述ssim值和所述sift值来计算调整后的直方图值的操作。7.根据权利要求1所述的系统，其中所述逻辑在被执行时进一步可操作以使所述一个或多个处理器执行包括计算所述ssim值、调整后的sift值和调整后的直方图值的总和的操作。8.一种在其上存储有程序指令的非暂态的计算机可读存储介质，所述程序指令在由一个或多个处理器执行时，可操作以使所述一个或多个处理器执行包括以下的操作：接收第一图像，其中第一图像包括至少一个第一对象；接收第二图像，其中第二图像包括至少一个第二对象；基于所述至少一个第一对象和所述至少一个第二对象来计算结构相似性指数度量(ssim)值；基于所述至少一个第一对象和所述至少一个第二对象来计算尺度不变特征变换(sift)值；基于所述至少一个第一对象和所述至少一个第二对象来计算直方图值；以及基于所述ssim值、所述sift值和所述直方图值来计算相似性分数。9.根据权利要求8所述的计算机可读存储介质，其中所述ssim值基于第一图像和第二图像的亮度、对比度和结构中的一个或多个。10.根据权利要求8所述的计算机可读存储介质，其中所述sift值基于第一图像和第二图像的一个或多个预定特征。
11.根据权利要求8所述的计算机可读存储介质，其中所述直方图值基于第一图像和第二图像的预定直方图值的频率。12.根据权利要求8所述的计算机可读存储介质，其中所述指令在被执行时进一步可操作以使所述一个或多个处理器执行包括基于所述ssim值来计算调整后的sift值的操作。13.根据权利要求8所述的计算机可读存储介质，其中所述指令在被执行时进一步可操作以使所述一个或多个处理器执行包括基于所述ssim值和所述sift值来计算调整后的直方图值的操作。14.根据权利要求8所述的计算机可读存储介质，其中所述指令在被执行时进一步可操作以使所述一个或多个处理器执行包括计算所述ssim值、调整后的sift值和调整后的直方图值的总和的操作。15.一种用于评估相似的基于内容的图像的计算机实现的方法，所述方法包括：接收第一图像，其中第一图像包括至少一个第一对象；接收第二图像，其中第二图像包括至少一个第二对象；基于所述至少一个第一对象和所述至少一个第二对象来计算结构相似性指数度量(ssim)值；基于所述至少一个第一对象和所述至少一个第二对象来计算尺度不变特征变换(sift)值；基于所述至少一个第一对象和所述至少一个第二对象来计算直方图值；以及基于所述ssim值、所述sift值和所述直方图值来计算相似性分数。16.根据权利要求15所述的方法，其中所述ssim值基于第一图像和第二图像的亮度、对比度和结构中的一个或多个。17.根据权利要求15所述的方法，其中所述sift值基于第一图像和第二图像的一个或多个预定特征。18.根据权利要求15所述的方法，其中所述直方图值基于第一图像和第二图像的预定直方图值的频率。19.根据权利要求15所述的方法，还包括基于所述ssim值来计算调整后的sift值。20.根据权利要求15所述的方法，还包括基于所述ssim值和所述sift值来计算调整后的直方图值。

技术总结
实现方案通常涉及相似的基于内容的图像的评估。在一些实现方案中，一种方法包括接收第一图像，其中第一图像包括至少一个第一对象。该方法还包括接收第二图像，其中第二图像包括至少一个第二对象。该方法还包括基于至少一个第一对象和至少一个第二对象来计算结构相似性指数度量(SSIM)值。该方法还包括基于至少一个第一对象和至少一个第二对象来计算尺度不变特征变换(SIFT)值。该方法还包括基于至少一个第一对象和至少一个第二对象来计算直方图值。该方法还包括基于SSIM值、SIFT值和直方图值来计算相似性分数。方图值来计算相似性分数。方图值来计算相似性分数。


技术研发人员：李钟和 P
受保护的技术使用者：索尼集团公司
技术研发日：2022.03.18
技术公布日：2023/8/9