信息处理方法、图像对比模型的训练方法、装置及设备与流程

1.本技术实施例涉及对应用程序的功能测试技术领域，尤其涉及一种信息处理方法、图像对比模型的训练方法、装置及设备。


背景技术：

2.在应用程序上线之前，通常需要对应用程序进行自动化功能测试，以便能够及时地发现应用程序的功能缺陷，进而针对性的提出对应用程序的修复策略。
3.在相关技术中，为了提高自动化功能测试的效率，测试人员通常针对应用程序可能出现的功能缺陷，制定相应的自动化测试策略，并基于自动化测试策略对应用程序进行功能测试。在功能测试的过程中，自动保存数量较多、且存在异常的页面序列(包括多个页面的图像)，测试人员手动在数量较多的页面序列中查找出真正异常的页面序列，并基于真正异常的页面序列，针对性的提出对应用程序的修复策略，以保障修复后的应用程序能够通过功能测试。
4.在上述过程中，测试人员手动在数量较多的页面序列中查找真正异常的页面序列，导致查找到真正异常的页面序列的效率较低。


技术实现要素：

5.本技术实施例提供一种信息处理方法、图像对比模型的训练方法、装置及设备，用于提高查找到真正异常的页面序列的效率。
6.第一方面，本技术实施例提供一种信息处理方法，包括：
7.获取多个第一页面序列；多个第一页面序列为对应用程序进行功能测试得到的，第一页面序列中包括至少一个页面的图像，页面为应用程序包括的页面；
8.根据多个第一页面序列，确定至少一个第一页面集合；第一页面集合中包括的页面序列之间的相似度不小于第一阈值。
9.在一种可能的设计中，根据多个第一页面序列，确定至少一个第一页面集合，包括：
10.对多个第一页面序列进行图像去重处理，得到多个第二页面序列；
11.根据多个第二页面序列，确定至少一个第一页面集合；第一页面集合中包括的第二页面序列之间的相似度不小于第一阈值。
12.在一种可能的设计中，根据多个第二页面序列，确定至少一个第一页面集合，包括：
13.按照至少一个序列长度，对多个第二页面序列进行分类处理，得到至少一个第二页面集合；第二页面集合包括的每个第二页面序列的图像总数量对应于第二页面集合对应的序列长度；
14.分别对每个第二页面集合中包括的第二页面序列进行聚类处理，得到每个第二页面集合对应的至少一个第一页面集合。
15.在一种可能的设计中，对第一页面序列进行图像去重处理，得到第二页面序列，包括：
16.获取第一页面序列中的第i个图像和第i+1个图像的相似度；若相似度小于第一阈值，则将第i加1，重复执行此步骤，直至得到第二页面序列；若相似度不小于第一阈值，则删除第i个图像，并将第i加1，重复执行此步骤，直至得到第二页面序列；初始时，i等于1，j为第一页面序列中包括的图像总数量。
17.在一种可能的设计中，获取第一页面序列中的第i个图像和第i+1个图像的相似度，包括：
18.对第一页面序列中的第i个图像和第i+1个图像进行特征提取处理，得到第i个图像和第i+1个图像各自对应的特征信息；
19.根据第i个图像和第i+1个图像各自对应的特征信息，确定第i个图像和第i+1个图像的相似度。
20.在一种可能的设计中，对第一页面序列中的第i个图像和第i+1个图像进行特征提取处理，得到第i个图像和第i+1个图像各自对应的特征信息，包括：
21.通过预先训练好的图像对比模型，对第i个图像和第i+1个图像进行特征提取处理，得到第i个图像和第i+1个图像各自对应的特征信息；
22.图像对比模型为采用多组训练样本进行训练得到的，每组训练样本中包括两张样本图像和两张样本图像对应的标签信息。
23.在一种可能的设计中，根据第i个图像和第i+1个图像各自对应的特征信息，确定第i个图像和第i+1个图像的相似度，包括：
24.根据第i个图像和第i+1个图像各自对应的特征信息，确定第i个特征信息和第i+1个特征信息的差异信息；
25.将差异信息，确定为第i个图像和第i+1个图像的相似度。
26.第二方面，本技术实施例提供一种图像对比模型的训练方法，包括：
27.获取多个样本异常序列；样本异常序列中包括多张样本图像；
28.对多个样本异常序列进行分类标记处理，得到多个样本图像对和各样本图像对对应的标签信息；
29.根据多个样本图像对和各样本图像对对应的标签信息，调整初始对比模型进行的模型参数，得到图像对比模型。
30.在一种可能的设计中，对多个样本异常序列进行分类标记处理，得到多个样本图像对和各样本图像对对应的标签信息，包括：
31.针对每个样本异常序列，确定样本异常序列中的目标样本异常序列；
32.从多个目标样本异常序列中获取多个样本图像对；
33.分别对各样本图像对，标记标签信息。
34.在一种可能的设计中，确定样本异常序列中的目标样本异常序列，包括：
35.判断样本异常序列中的样本图像的数量是否小于预设数量；
36.若小于预设数量，则将样本异常序列确定为目标样本异常序列；
37.若不小于预设数量，则从样本异常序列中的最后一张样本图像开始，依次连续从样本异常序列中获取预设数量张样本图像，并将预设数量张样本图像确定为目标样本异常
序列；最后一张图像为样本异常序列中的异常样本图像。
38.第三方面，本技术实施例提供一种信息处理装置，包括：
39.获取模块，用于获取多个第一页面序列；多个第一页面序列为对应用程序进行功能测试得到的，第一页面序列中包括至少一个页面的图像，页面为应用程序包括的页面；
40.处理模块，根据多个第一页面序列，确定至少一个第一页面集合；第一页面集合中包括的页面序列之间的相似度不小于第一阈值。
41.在一种可能的设计中，处理模块具体用于：
42.对多个第一页面序列进行图像去重处理，得到多个第二页面序列；
43.根据多个第二页面序列，确定至少一个第一页面集合；第一页面集合中包括的第二页面序列之间的相似度不小于第一阈值。
44.在一种可能的设计中，处理模块具体用于：
45.按照至少一个序列长度，对多个第二页面序列进行分类处理，得到至少一个第二页面集合；第二页面集合包括的每个第二页面序列的图像总数量对应于第二页面集合对应的序列长度；
46.分别对每个第二页面集合中包括的第二页面序列进行聚类处理，得到每个第二页面集合对应的至少一个第一页面集合。
47.在一种可能的设计中，处理模块具体用于：
48.获取第一页面序列中的第i个图像和第i+1个图像的相似度；若相似度小于第一阈值，则将第i加1，重复执行此步骤，直至得到第二页面序列；若相似度不小于第一阈值，则删除第i个图像，并将第i加1，重复执行此步骤，直至得到第二页面序列；初始时，i等于1，j为第一页面序列中包括的图像总数量。
49.在一种可能的设计中，处理模块具体用于：
50.对第一页面序列中的第i个图像和第i+1个图像进行特征提取处理，得到第i个图像和第i+1个图像各自对应的特征信息；
51.根据第i个图像和第i+1个图像各自对应的特征信息，确定第i个图像和第i+1个图像的相似度。
52.在一种可能的设计中，处理模块具体用于：
53.通过预先训练好的图像对比模型，对第i个图像和第i+1个图像进行特征提取处理，得到第i个图像和第i+1个图像各自对应的特征信息；
54.图像对比模型为采用多组训练样本进行训练得到的，每组训练样本中包括两张样本图像和两张样本图像对应的标签信息。
55.在一种可能的设计中，处理模块具体用于：
56.根据第i个图像和第i+1个图像各自对应的特征信息，确定第i个特征信息和第i+1个特征信息的差异信息；
57.将差异信息，确定为第i个图像和第i+1个图像的相似度。
58.第四方面，本技术实施例提供一种图像对比模型的训练装置，包括：
59.获取模块，用于获取多个样本异常序列；样本异常序列中包括多张样本图像；
60.处理模块，用于对多个样本异常序列进行分类标记处理，得到多个样本图像对和各样本图像对对应的标签信息；
61.处理模块，还用于根据多个样本图像对和各样本图像对对应的标签信息，调整初始对比模型进行的模型参数，得到图像对比模型。
62.在一种可能的设计中，处理模块具体用于：
63.针对每个样本异常序列，确定样本异常序列中的目标样本异常序列；
64.从多个目标样本异常序列中获取多个样本图像对；
65.分别对各样本图像对，标记标签信息。
66.在一种可能的设计中，处理模块具体用于：
67.判断样本异常序列中的样本图像的数量是否小于预设数量；
68.若小于预设数量，则将样本异常序列确定为目标样本异常序列；
69.若不小于预设数量，则从样本异常序列中的最后一张样本图像开始，依次连续从样本异常序列中获取预设数量张样本图像，并将预设数量张样本图像确定为目标样本异常序列；最后一张图像为样本异常序列中的异常样本图像。
70.第五方面，本技术实施例提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；
71.存储器存储计算机执行指令；
72.处理器执行存储器存储的计算机执行指令，以实现如第一方面任一项的方法。
73.第六方面，本技术实施例提供一种图像对比模型的训练设备，包括：处理器，以及与处理器通信连接的存储器；
74.存储器存储计算机执行指令；
75.处理器执行存储器存储的计算机执行指令，以实现如第二方面任一项的方法。
76.第七方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现第一方面任一项或者第二方面任一项的方法。
77.第八方面，本技术实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现第一方面任一项或者第二方面任一项的方法。
78.本技术实施例提供一种信息处理方法、图像对比模型的训练方法、装置及设备，该信息处理方法包括：获取多个第一页面序列；多个第一页面序列为对应用程序进行功能测试得到的，第一页面序列中包括至少一个页面的图像，页面为应用程序包括的页面；根据多个第一页面序列，确定至少一个第一页面集合；第一页面集合中包括的页面序列之间的相似度不小于第一阈值。在上述信息处理方法中，根据多个第一页面序列，确定至少一个第一页面集合，第一页面集合中包括的页面序列之间的相似度不小于第一阈值，即第一页面集合中包括的页面序列之间的相似度较大，因此测试人员只需要针对第一页面集合中的页面序列进行检测，例如在对第一页面集合中的任意一个页面序列进行查验之后，若确定该页面序列正确，则认为整个第一页面集合中的所有页面序列均正确，若确定该页面序列错误，则认为整个第一页面集合中的所有页面序列均错误，此时可以针对第一页面集合中的其他剩余页面序列进行逐个检测，以确定真正异常的页面序列，因此大大减少了需要人工查验的页面序列的数量，提高了查找到真正异常的页面序列的效率，进而提高了自动化功能测试的整体效率。
附图说明
79.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
80.图1为本技术实施例提供的信息处理方法的应用场景示意图；
81.图2为本技术实施例提供的第一页面序列的示意图；
82.图3为本技术实施例提供的信息处理方法的流程图；
83.图4为本技术实施例提供的得到第二页面序列的流程图；
84.图5为本技术实施例提供的得到至少一个第一页面集合的流程图；
85.图6为本技术实施例提供的得到第二页面集合对应的至少一个第一页面集合的流程图；
86.图7为本技术实施例提供的得到两个第二页面序列的相似度的流程图；
87.图8为本技术实施例提供的图像对比模型的训练方法的流程图；
88.图9为本技术实施例提供的初始对比模型的结构示意图；
89.图10为本技术实施例提供的信息处理装置的结构示意图；
90.图11为本技术实施例提供的图像对比模型的训练装置的结构示意图；
91.图12为本技术实施例提供的电子设备的硬件结构示意图；
92.图13为本技术实施例提供的图像对比模型的训练设备的硬件结构示意图。
具体实施方式
93.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
94.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
95.在一款应用程序被开发完成之后，通常需要对其存在的功能缺陷进行自动化功能测试。其中，功能缺陷例如可以包括：与用户界面(user interface，ui)相关的ui显示异常、以及ui交互异常。例如与ui相关的ui显示异常包括：ui控件的消失、缺失或者重复等。例如ui交互异常包括：触发ui控件无响应、或是在页面上操作某个ui控件后出现不正确的页面跳转等。
96.在相关技术中，在对应用程序可能出现的功能缺陷进行自动化功能测试的过程中，当测试系统检测到应用程序的某个页面出现报警异常时，从该页面开始，从后向前追溯
至触发问题的页面，并依次保存该追溯过程中涉及的每个页面的图像，进而将涉及的每个页面的图像确定为存在异常的页面序列、并保存该页面序列。在一次自动化功能测试完成之后，测试人员通常手动在数量较多的页面序列中查找出真正异常的页面序列，并基于真正异常的页面序列，针对性的提出对应用程序的修复策略，以保障修复后的应用程序能够通过功能测试。在上述相关技术中，测试人员手动在数量较多(例如5千个、或者1万个等)的页面序列中查找真正异常的页面序列，导致查找到真正异常的页面序列的效率较低。
97.在实际应用中，在自动化功能测试之后得到的多个页面序列中，通常存在大量重复相同的图像。因此在本技术中，为了提高查找真正异常的页面序列的效率，发明人根据多个第一页面序列确定至少一个第一页面集合，使得第一页面集合中包括页面序列之间的相似度不小于第一阈值，这样在对第一页面集合中的任意一个页面序列进行查验之后，若确定该页面序列正确，则认为整个第一页面集合中的所有页面序列均正确，无需针对第一页面集合中的其他剩余第二页面序列进行逐个检测；若确定该页面序列错误，则认为整个第一页面集合中的所有页面序列均错误，此时可以针对第一页面集合中的其他剩余第二页面序列进行逐个检测，以确定真正异常的页面序列，即缩小了测试人员的查找范围，提高了查找到真正异常的页面序列的效率较低。
98.下面结合图1对本技术实施例提供的信息处理方法的应用场景进行说明。
99.图1为本技术实施例提供的信息处理方法的应用场景示意图。如图1所示，该应用场景中例如包括：多个第一页面序列和多个第一页面集合。
100.例如，当多个第一页面序列中包括4个第一页面序列(分别为l1～l4)l1包括图像11，l2包括图像21和图像22，l3包括图像31、图像32和图像33，l4包括图像41、图像42、图像43、图像43和图像43。
101.例如，当多个第一页面集合包括3个第一页面集合(分别为c1～c3)，c1包括图像11，c2包括图像21和图像22，c3包括图像31、图像32和图像34、图像41、图像42和图像43。
102.在第一页面集合中，当第一页面集合包括多个页面序列时，多个页面序列之间的相似度不小于第一阈值。
103.图2为本技术实施例提供的第一页面序列的示意图。如图2所示，该第一页面序列中包括：图像21和图像22。
104.例如，图像21和图像22中均包括五星控件(
☆
)。
105.下面，对得到第一页面序列的方法进行说明：
106.一种正确的显示方式，例如当图像21对应的页面中的五星控件(无色)接收到触控操作之后，在图像22对应的页面中，五星控件的颜色例如红色；
107.一种错误的显示方式，例如当图像21对应的页面中的五星控件(无色)接收到触控操作之后，在图像22对应的页面中，五星控件的颜色仍然为无色，此时测试系统记录图像21和图像22。
108.接着，以具体地实施例对本技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
109.图3为本技术实施例提供的信息处理方法的流程图。如图3所示，该方法包括：
110.s301、获取多个第一页面序列。
111.可选地，本技术实施例的执行主体为电子设备，也可以为设置在电子设备中的信
息处理装置，该信息处理装置可以通过软件和/或硬件的结合来实现。
112.多个第一页面序列为对应用程序进行一次功能测试之后得到的。
113.应用程序可以为能够在电子设备中运行的应用程序。
114.例如电子设备可以为手机、平台电脑等。
115.每个第一页面序列中包括至少一个页面的图像。第一页面序列中可以正常页面和/或异常页面。
116.可选地，在第一页面序列中，图像的排列顺序可以与追溯的顺序相同，也可以与追溯的顺序相反。
117.例如，当图像的排列顺序与追溯(图像1
←
图像2
←
图像3)的顺序相同时，图像的排列顺序依次为图像1、图像2、图像3。
118.例如，当图像的排列顺序与追溯(图像1
←
图像2
←
图像3)的顺序不相同时，图像的排列顺序依次为图像3、图像2、图像1。
119.在实际应用中，追溯的起始图像(例如上述图像3)通常为一定为异常页面的图像。
120.s302、根据多个第一页面序列，确定至少一个第一页面集合；第一页面集合中包括的页面序列之间的相似度不小于第一阈值。
121.可选地，第一页面集合中包括的页面序列的数量可以为1，可以为至少两个。
122.当第一页面集合中包括至少两个页面序列时，第一页面集合中包括的页面序列之间的相似度不小于第一阈值。
123.可选地，可以通过如下几种方式，确定至少一个第一页面集合。
124.方式11，将多个第一页面序列中序列长度相同的第一页面序列确定为第二个页面集合，以得到多个第二页面集合；
125.对每个第二页面集合中包括的第一页面序列进行聚类处理，得到每个第二页面集合对应的至少一个第一页面集合；第一页面集合中包括的第一页面序列之间的相似度不小于第一阈值。
126.此处，序列长度为一个第一页面序列中包括图像的总数量。
127.例如，当多个第一页面序列包括4个第一页面序列(l11～l14)、多个第二页面集合包括2个第二页面集合(c21、c22)
128.第一页面序列l11包括4个图像，第一页面序列l12包括6个图像，第一页面序列l13包括6个图像，第一页面序列l14包括4个图像，则c21包括l11和l14、c22包括l12和l13。
129.方式12，对多个第一页面序列进行图像去重处理，得到多个第二页面序列；
130.将多个第二页面序列中序列长度相同的第二页面序列确定为第二个页面集合，以得到多个第二页面集合；
131.对每个第二页面集合中包括的第二页面序列进行聚类处理，得到每个第二页面集合对应的至少一个第一页面集合，第一页面集合中包括的第二页面序列之间的相似度不小于第一阈值。
132.具体的，针对每个第一页面序列，对第一页面序列中的图像进行图像去重处理，得到该第一页面序列对应的第二页面序列。
133.例如，当第一页面序列包括图像1、图像2、图像3、图像3、图像4、图像4、图像5时，则对第一页面序列中的图像进行图像去重处理之后，得到的第二页面序列包括图像1、图像2、
图像3、图像4、图像5。
134.此处，序列长度为一个第二页面序列中包括图像的总数量。
135.方式13、对多个第一页面序列进行图像去重处理，得到多个第二页面序列；
136.根据多个第二页面序列，确定至少一个第一页面集合；第一页面集合中包括的第二页面序列之间的相似度不小于第一阈值。
137.上述方式11和12中的聚类处理的方法，与图6所示的方法相似，具体的，请参见图6实施例。
138.对上述方式12和13中的图像去重处理的说明，请参见图4实施例。
139.对上述13中根据多个第二页面序列确定至少一个第一页面集合的说明，请参见图5实施例。
140.与现有技术不同，在相关技术中，测试人员手动在数量较多的页面序列中查找真正异常的页面序列，导致查找到真正异常的页面序列的效率较低。
141.而在本技术提供的图3实施例中，根据多个第一页面序列，确定至少一个第一页面集合，第一页面集合中包括的页面序列之间的相似度不小于第一阈值，即第一页面集合中包括的页面序列之间的相似度较大，因此测试人员只需要针对第一页面集合中的页面序列进行检测，例如在对第一页面集合中的任意一个页面序列进行查验之后，若确定该页面序列正确，则认为整个第一页面集合中的所有页面序列均正确，若确定该页面序列错误，则认为整个第一页面集合中的所有页面序列均错误，此时可以针对第一页面集合中的其他剩余页面序列进行逐个检测，以确定真正异常的页面序列，因此大大减少了需要人工查验的页面序列的数量，提高了查找到真正异常的页面序列的效率，进而提高了自动化功能测试的整体效率。
142.与现有技术不同，在现有技术中，通过人工查验的方法，查找真正异常的页面序列，浪费人力，使得人工查验的时间较长。
143.而在本技术中，由于大大减少了需要人工查验的序列的数量，因此可以节省人力，缩短人工查验的时间。
144.在上述实施例的基础上，下面结合图4，对通过图像去重处理第二页面序列的方法进行说明。
145.图4为本技术实施例提供的得到第二页面序列的流程图。如图4所示，该方法包括：
146.s401、获取第一页面序列中的第i个图像和第i+1个图像的相似度。
147.在一种可能实现方式中，s401具体包括：对第一页面序列中的第i个图像和第i+1个图像进行特征提取处理，得到第i个图像和第i+1个图像各自对应的特征信息；
148.根据第i个图像和第i+1个图像各自对应的特征信息，确定第i个图像和第i+1个图像的相似度。
149.在一种可能的实现方式中，通过如下方法得到第i个图像和第i+1个图像各自对应的特征信息：通过预先训练好的图像对比模型，对第i个图像和第i+1个图像进行特征提取处理，得到第i个图像和第i+1个图像各自对应的特征信息；其中，图像对比模型为采用多组训练样本进行训练得到的，每组训练样本中包括两张样本图像和两张样本图像对应的标签信息。
150.在一种可能的实现方式中，通过如下方法得到第i个图像和第i+1个图像的相似
度：根据第i个图像和第i+1个图像各自对应的特征信息，确定第i个特征信息和第i+1个特征信息的差异信息；将差异信息，确定为第i个图像和第i+1个图像的相似度。
151.可选地，差异信息可以为第i个特征信息和第i+1个特征信息之间的欧几里得距离(eucledian distance)、曼哈顿距离(manhattan distance)、明可夫斯基距离(minkowski distance)等。
152.s402、判断相似度是否不小于第一阈值。
153.若否，则执行s403～s405，否则执行s406。
154.s403、判断i是否大于i。
155.若是，则执行s404，否则执行s405。
156.i等于第一页面序列包括所有图像的总数量。
157.在本技术中，由于需要删除第一页面序列包括的重复相同的图像，因此i可以变化的整数。
158.s404、得到第二页面序列。
159.s405、将i+1，重复执行s401～s402。
160.s406、删除第i个图像，重复执行s405。
161.可选地，406还可以为：删除第i+1个图像，将第一页面序列中的第i+2～j个图像的索引i+2～j更新为i-1～j-1，重复执行s401～s402。
162.初始时，i等于1，j为第一页面序列中包括的图像总数量。
163.i的取值等于1～j之间的整数。
164.在本技术中，由于需要删除第一页面序列中的重复图像，因此j为可以变化的整数。
165.与现有技术不同，在现有技术中，测试人员手动在数量较多的页面序列中查找真正异常的页面序列的过程包括：针对每个页面序列，检查页面序列包括的每个图像是否正确，以确定页面序列是否真正存在异常。由于页面序列中通常包括重复相同的图像，因此在相关技术中，若检查页面序列包括的每个图像是否正确，导致查找到真正异常的页面序列的效率较低。
166.而在本技术中，重复执行上述s401～s406，删除第一页面序列中包括的重复相同的图像，能够减少测试人员查检的图像的数量，节省人力，缩短人工查验的时间，提高查找到真正异常的页面序列的效率，进而提高自动化功能测试的整体效率。
167.在上述实施例的基础上，下面结合图5对上述方式13中根据多个第二页面序列确定至少一个第一页面集合的执行过程进行说明。
168.图5为本技术实施例提供的得到至少一个第一页面集合的流程图。如图5所示，该方法包括：
169.s501、根据至少一个序列长度，对多个第二页面序列进行序列分类处理，得到至少一个第二页面集合。
170.可选地，至少一个序列长度可以包括：1、2、
……
、x-1、x。
171.其中，x为正整数，例如x可以等于3。
172.其中，每个第二页面集合对应于一个序列长度。
173.第二页面集合中包括第二页面序列。第二页面集合中第二页面序列包括的图像数
量对应于第二页面集合对应的序列长度。
174.例如，当序列长度为x-1时，第二页面集合中第二页面序列包括的图像数量相同、且均等于x-1。
175.例如，当序列长度为x时，第二页面集合中第二页面序列包括的图像数量可以相同，也可以不相同。
176.当序列长度为x时，第二页面集合中第二页面序列包括的图像数量不相同时，第二页面集合可以同时存在图像数量大于或等于x的第二页面序列。
177.第二页面集合中第二页面序列包括的图像数量可以相同、且均等于x，也可以不相同大于或等于x。
178.s502、分别对每个第二页面集合中的第二页面序列进行序列聚类处理，得到每个第二页面集合对应的至少一个第一页面集合。
179.下面以一个第二页面集合为例，结合图6对s502的执行过程进行说明。
180.图6为本技术实施例提供的得到第二页面集合对应的至少一个第一页面集合的流程图。如图6所示，该方法包括：
181.s601、从第二页面集合中，获取第n个第二页面序列和第m个第二页面序列。
182.初始时，n等于1，m等于2。
183.可选地，在s601之前，还可以包括：判断第二页面集合中是否包括多个第二页面序列，若包括多个第二页面序列，则从第二页面集合中，获取第n个第二页面序列和第m个第二页面序列。
184.s602、判断第n个第二页面序列和第m个第二页面序列是否相似。
185.若否，则执行s603～s607，否则执行s605。
186.s603、将第m个第二页面序列存储至第i个第一页面集合。
187.s604、判断m是否大于q1。
188.若是，则执行s605，否则执行s606。
189.q1为第二页面集合中包括的第二页面序列的总数量。
190.在本技术中，由于需要从第二页面集合中删除第二页面序列，因此q1为可以变化的整数值。
191.s605、将m+1，重复执行s601～s607。
192.s606、将第n个第二页面序列存储至第i个第一页面集合。
193.具体的，当将第n个第二页面序列存储至第i个第一页面集合之后，即得到了第二页面集合对应的一个第二页面序列。
194.s607、从第二页面集合中删除与第i个第一页面集合重叠的第二页面序列，得到新的第二页面集合，将i+1，将n和m更新为初始值，并针对新的第二页面集合，重复执行s601～s607，直至新的第二页面集合中没有第二页面序列，即实现得到第二页面集合对应的至少一个第二页面序列的目的。
195.在上述实施例的基础上，下面以至少一个页面的图像的排列顺序与追溯的顺序相同为例，结合图7，对s602具体实现方式进行说明。
196.图7为本技术实施例提供的得到两个第二页面序列的相似度的流程图。
197.如图7所示，该方法包括：
198.s701、从第二页面集合中，获取第n个第二页面序列中的第i个图像和第m个第二页面序列中的第j个图像的相似度。
199.第n个第二页面序列和第m个第二页面序列中包括的图像数量可以相同，也可以不同。
200.当第二页面集合为序列长度1、2、
……
、x-1时，第n个第二页面序列和第m个第二页面序列中包括的图像数量相同。
201.当第二页面集合为序列长度x时，第n个第二页面序列和第m个第二页面序列中包括的图像数量可以不相同。
202.初始时，i等于第n个第二页面序列中包括的图像的总数量，j等于第m个第二页面序列中包括的图像的总数量。
203.s702、判断相似度是否不小于第一阈值。
204.若是，则执行s703～s705，否则执行s706。
205.s703、判断i是否不大于第一预设值且j是否均不大于第二预设值。
206.若是，则执行s704，否则执行s705。
207.当第n个第二页面序列和第m个第二页面序列中包括的图像数量相同时，第一预设值和第二预设值相同、且取值均为1。
208.当第n个第二页面序列和第m个第二页面序列中包括的图像数量不相同时，第一预设值等于第n个第二页面序列中包括的图像数量与a-1的差值，第二预设值等于第m个第二页面序列中包括的图像数量与a-1的差值。其中，a为预先设定的固定值，例如a可以等于3。
209.s704、确定第n个第二页面序列与第m个第二页面序列相似。
210.s705、将i-1，j-1，重复执行s701～s703。
211.s706、确定第n个第二页面序列与第m个第二页面序列不相似。
212.图8为本技术实施例提供的图像对比模型的训练方法的流程图。如图8所示，该方法包括：
213.s801：获取多个样本异常序列。
214.其中，多个样本异常序列为对多个样本应用程序进行功能测试之后得到的。
215.每个样本异常序列中包括多张样本图像。
216.s802：对多个样本异常序列进行分类标记处理，得到多个样本图像对和各样本图像对对应的标签信息。
217.在一种可能的实现方式中，针对每个样本异常序列，确定样本异常序列中的目标样本异常序列；从多个目标样本异常序列中获取多个样本图像对；分别对各样本图像对，标记标签信息。
218.可选地，可以随机从多个目标样本异常序列中获取多个样本图像对。
219.当样本图像对为正样本对，标签信息为1；当当样本图像对为负样本对，标签信息为0。
220.在一种可能的实现方式中，确定样本异常序列中的目标样本异常序列，包括：
221.判断样本异常序列中的样本图像的数量是否小于预设数量；
222.若小于预设数量，则将样本异常序列，确定为目标样本异常序列；
223.若不小于预设数量，则从样本异常序列中的最后一张样本图像开始，依次连续从
样本异常序列中获取预设数量张样本图像，并将预设数量张样本图像确定为目标样本异常序列。其中，最后一张图像为样本异常序列中的异常样本图像。
224.可选地，预设数量可以等于4、5、6、7等，此处不预设数量的取值进行限定。
225.s803：根据多个样本图像对和各样本图像对对应的标签信息，调整初始对比模型进行的模型参数，得到图像对比模型。
226.可选地，初始对比模型可以为基于卷积神经网络(convolutional neural network，cnn)网络mobilenet-v2(例如block1模块和block2模块)得到的模型。对block1模块和block2模块的解释说明可以参见现有技术，此处不再赘述。
227.具体的，可以将样本图像对输入初始对比模型中，得到样本图像对应的特征向量；
228.根据样本图像对对应的标签信息以及样本图像对应的特征向量，确定对比损失函数(contrastive loss)；根据对比损失函数，调整初始对比模型进行的模型参数，得到图像对比模型。
229.在图8实施例提供的图像对比模型的训练方法中，获取多个样本异常序列；对多个样本异常序列进行分类标记处理，得到多个样本图像对和各样本图像对对应的标签信息，根据多个样本图像对和各样本图像对对应的标签信息，调整初始对比模型进行的模型参数，得到图像对比模型，可以快速的得到图像对比模型，使得图像对比模型能够用于对多个第一页面序列进行图像去重处理，得到多个第二页面序列，以及对第二页面集合中的第二页面序列进行序列聚类处理，得到第二页面集合对应的至少一个第一页面集合，从而查找到真正异常的页面序列的效率。
230.图9为本技术实施例提供的初始对比模型的结构示意图。如图9所示，例如初始对比模型结构包括：11个处理层。11个处理层分别为：第一处理层～第十一处理层。
231.第一处理层由尺寸为3*3的卷积层(conv2d)构成。
232.第二处理层由1个block1模块构成。
233.第三处理层由2个block2模块构成。
234.第四处理层由3个block2模块构成。
235.第五处理层由4个block2模块构成。
236.第六处理层由3个block1模块构成。
237.第七处理层由3个block2模块构成。
238.第八处理层由1个block1模块构成。
239.第九处理层由尺寸为1*1的卷积层构成。
240.第十处理层由尺寸为7*7的池化层(avgpooling)构成。
241.第十一处理层由尺寸为1*1的卷积层构成。
242.图10为本技术实施例提供的信息处理装置的结构示意图。如图10所示，该信息处理装置10包括：
243.获取模块101，用于获取多个第一页面序列；多个第一页面序列为对应用程序进行功能测试得到的，第一页面序列中包括至少一个页面的图像，页面为应用程序包括的页面；
244.处理模块102，根据多个第一页面序列，确定至少一个第一页面集合；第一页面集合中包括的页面序列之间的相似度不小于第一阈值。
245.本技术实施例提供的信息处理装置10可以执行上述信息处理方法，其实现原理以
及有益效果类似，此处不再进行赘述。
246.在一种可能的设计中，处理模块102具体用于：
247.对多个第一页面序列进行图像去重处理，得到多个第二页面序列；
248.根据多个第二页面序列，确定至少一个第一页面集合；第一页面集合中包括的第二页面序列之间的相似度不小于第一阈值。
249.在一种可能的设计中，处理模块102具体用于：
250.按照至少一个序列长度，对多个第二页面序列进行分类处理，得到至少一个第二页面集合；第二页面集合包括的每个第二页面序列的图像总数量对应于第二页面集合对应的序列长度；
251.分别对每个第二页面集合中包括的第二页面序列进行聚类处理，得到每个第二页面集合对应的至少一个第一页面集合。
252.在一种可能的设计中，处理模块102具体用于：
253.获取第一页面序列中的第i个图像和第i+1个图像的相似度；若相似度小于第一阈值，则将第i加1，重复执行此步骤，直至得到第二页面序列；若相似度不小于第一阈值，则删除第i个图像，并将第i加1，重复执行此步骤，直至得到第二页面序列；初始时，i等于1，j为第一页面序列中包括的图像总数量。
254.在一种可能的设计中，处理模块102具体用于：
255.对第一页面序列中的第i个图像和第i+1个图像进行特征提取处理，得到第i个图像和第i+1个图像各自对应的特征信息；
256.根据第i个图像和第i+1个图像各自对应的特征信息，确定第i个图像和第i+1个图像的相似度。
257.在一种可能的设计中，处理模块102具体用于：
258.通过预先训练好的图像对比模型，对第i个图像和第i+1个图像进行特征提取处理，得到第i个图像和第i+1个图像各自对应的特征信息；
259.图像对比模型为采用多组训练样本进行训练得到的，每组训练样本中包括两张样本图像和两张样本图像对应的标签信息。
260.在一种可能的设计中，处理模块102具体用于：
261.根据第i个图像和第i+1个图像各自对应的特征信息，确定第i个特征信息和第i+1个特征信息的差异信息；
262.将差异信息，确定为第i个图像和第i+1个图像的相似度
263.本技术实施例提供的信息处理装置可以执行上述信息处理方法，其实现原理以及有益效果类似，此处不再进行赘述。
264.图11为本技术实施例提供的图像对比模型的训练装置的结构示意图。如图11所示，该图像对比模型的训练装置20包括：
265.获取模块201，用于获取多个样本异常序列；样本异常序列中包括多张样本图像；
266.处理模块202，用于对多个样本异常序列进行分类标记处理，得到多个样本图像对和各样本图像对对应的标签信息；
267.处理模块202，还用于根据多个样本图像对和各样本图像对对应的标签信息，调整初始对比模型进行的模型参数，得到图像对比模型。
268.本技术实施例提供的图像对比模型的训练装置20可以执行上述图像对比模型的训练方法，其实现原理以及有益效果类似，此处不再进行赘述。
269.在一种可能的设计中，处理模块202具体用于：
270.针对每个样本异常序列，确定样本异常序列中的目标样本异常序列；
271.从多个目标样本异常序列中获取多个样本图像对；
272.分别对各样本图像对，标记标签信息。
273.在一种可能的设计中，处理模块202具体用于：
274.判断样本异常序列中的样本图像的数量是否小于预设数量；
275.若小于预设数量，则将样本异常序列确定为目标样本异常序列；
276.若不小于预设数量，则从样本异常序列中的最后一张样本图像开始，依次连续从样本异常序列中获取预设数量张样本图像，并将预设数量张样本图像确定为目标样本异常序列；最后一张图像为样本异常序列中的异常样本图像。
277.本技术实施例提供的图像对比模型的训练装置可以执行上述图像对比模型的训练方法，其实现原理以及有益效果类似，此处不再进行赘述。
278.图12为本技术实施例提供的电子设备的硬件结构示意图。如图12所示，该电子设备30包括：处理器301、以及与处理器301通信连接的存储器302，
279.其中，处理器301、存储器302通过总线303连接。
280.在具体实现过程中，处理器301执行存储器302存储的计算机执行指令，使得处理器301执行如上的信息处理方法。
281.处理器301的具体实现过程可参见上述信息处理方法，其实现原理和技术效果类似，本实施例此处不再赘述。
282.图13为本技术实施例提供的图像对比模型的训练设备的硬件结构示意图。如图13所示，该图像对比模型的训练设备40包括：处理器401、以及与处理器401通信连接的存储器402；
283.其中，处理器401、存储器402通过总线403连接。
284.在具体实现过程中，处理器401执行存储器402存储的计算机执行指令，使得处理器401执行如上的信息处理方法。
285.处理器401的具体实现过程可参见上述图像对比模型的训练方法，其实现原理和技术效果类似，本实施例此处不再赘述。
286.在本技术中，电子设备和图像对比模型的训练设备可以为同一个设备，也可以为不同的设备。
287.在上述图12和图13所示的实施例中，应理解，处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
288.存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如磁盘存储器。
289.总线可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component，pci)总线或扩展工业标准体系结构(extended industry standard architecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本技术附图中的总线并不限定仅有一根总线或一种类型的总线。
290.本技术还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现信息处理方法、图像对比模型的训练方法。
291.本技术实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现信息处理方法、图像对比模型的训练方法。
292.上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
293.一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(application specific integrated circuits，简称：asic)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
294.单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
295.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
296.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
297.功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
298.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
299.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽
管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。

技术特征：
1.一种信息处理方法，其特征在于，包括：获取多个第一页面序列；所述多个第一页面序列为对应用程序进行功能测试得到的，所述第一页面序列中包括至少一个页面的图像，所述页面为所述应用程序包括的页面；根据所述多个第一页面序列，确定至少一个第一页面集合；所述第一页面集合中包括的页面序列之间的相似度不小于第一阈值。2.根据权利要求1所述的方法，其特征在于，所述根据所述多个第一页面序列，确定至少一个第一页面集合，包括：对所述多个第一页面序列进行图像去重处理，得到多个第二页面序列；根据所述多个第二页面序列，确定所述至少一个第一页面集合；所述第一页面集合中包括的第二页面序列之间的相似度不小于所述第一阈值。3.根据权利要求2所述的方法，其特征在于，所述根据所述多个第二页面序列，确定所述至少一个第一页面集合，包括：按照至少一个序列长度，对所述多个第二页面序列进行分类处理，得到至少一个第二页面集合；所述第二页面集合包括的每个第二页面序列的图像总数量对应于所述第二页面集合对应的序列长度；分别对每个第二页面集合中包括的第二页面序列进行聚类处理，得到所述每个第二页面集合对应的至少一个第一页面集合。4.根据权利要求2或3所述的方法，其特征在于，对第一页面序列进行图像去重处理，得到第二页面序列，包括：获取所述第一页面序列中的第i个图像和第i+1个图像的相似度；若所述相似度小于第一阈值，则将第i加1，重复执行此步骤，直至得到所述第二页面序列；若所述相似度不小于所述第一阈值，则删除所述第i个图像，并将第i加1，重复执行此步骤，直至得到所述第二页面序列；初始时，i等于1，j为所述第一页面序列中包括的图像总数量。5.根据权利要求4所述的方法，其特征在于，获取所述第一页面序列中的第i个图像和第i+1个图像的相似度，包括：对所述第一页面序列中的第i个图像和第i+1个图像进行特征提取处理，得到所述第i个图像和所述第i+1个图像各自对应的特征信息；根据所述第i个图像和所述第i+1个图像各自对应的特征信息，确定所述第i个图像和所述第i+1个图像的相似度。6.根据权利要求5所述的方法，其特征在于，所述对所述第一页面序列中的第i个图像和第i+1个图像进行特征提取处理，得到所述第i个图像和所述第i+1个图像各自对应的特征信息，包括：通过预先训练好的图像对比模型，对所述第i个图像和所述第i+1个图像进行特征提取处理，得到所述第i个图像和所述第i+1个图像各自对应的特征信息；所述图像对比模型为采用多组训练样本进行训练得到的，每组训练样本中包括两张样本图像和所述两张样本图像对应的标签信息。7.根据权利要求5所述的方法，其特征在于，所述根据所述第i个图像和所述第i+1个图像各自对应的特征信息，确定所述第i个图像和所述第i+1个图像的相似度，包括：根据所述第i个图像和所述第i+1个图像各自对应的特征信息，确定所述第i个特征信
息和所述第i+1个特征信息的差异信息；将所述差异信息，确定为所述第i个图像和所述第i+1个图像的相似度。8.一种图像对比模型的训练方法，其特征在于，包括：获取多个样本异常序列；所述样本异常序列中包括多张样本图像；对所述多个样本异常序列进行分类标记处理，得到多个样本图像对和各所述样本图像对对应的标签信息；根据所述多个样本图像对和各所述样本图像对对应的标签信息，调整初始对比模型进行的模型参数，得到所述图像对比模型。9.根据权利要求8所述的方法，其特征在于，所述对所述多个样本异常序列进行分类标记处理，得到多个样本图像对和各所述样本图像对对应的标签信息，包括：针对每个样本异常序列，确定所述样本异常序列中的目标样本异常序列；从多个目标样本异常序列中获取多个样本图像对；分别对各所述样本图像对，标记所述标签信息。10.根据权利要求9所述的方法，其特征在于，所述确定所述样本异常序列中的目标样本异常序列，包括：判断所述样本异常序列中的样本图像的数量是否小于预设数量；若小于所述预设数量，则将所述样本异常序列确定为所述目标样本异常序列；若不小于所述预设数量，则从所述样本异常序列中的最后一张样本图像开始，依次连续从所述样本异常序列中获取所述预设数量张样本图像，并将所述预设数量张样本图像确定为所述目标样本异常序列；所述最后一张图像为所述样本异常序列中的异常样本图像。11.一种信息处理装置，其特征在于，包括：获取模块，用于获取多个第一页面序列；所述多个第一页面序列为对应用程序进行功能测试得到的，所述第一页面序列中包括至少一个页面的图像，所述页面为所述应用程序包括的页面；处理模块，根据所述多个第一页面序列，确定至少一个第一页面集合；所述第一页面集合中包括的页面序列之间的相似度不小于第一阈值。12.一种图像对比模型的训练装置，其特征在于，包括：获取模块，用于获取多个样本异常序列；所述样本异常序列中包括多张样本图像；处理模块，用于对所述多个样本异常序列进行分类标记处理，得到多个样本图像对和各所述样本图像对对应的标签信息；所述处理模块，还用于根据所述多个样本图像对和各所述样本图像对对应的标签信息，调整初始对比模型进行的模型参数，得到所述图像对比模型。13.一种电子设备，其特征在于，包括：处理器、以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7任一项所述的方法。14.一种图像对比模型的训练设备，其特征在于，包括：处理器、以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求8至10任一项所述的方法。15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现权利要求1至7任一项或者权利要求8至10任一项所述的方法。16.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一项、或者权利要求8至10任一项所述的方法。

技术总结
本申请实施例提供一种信息处理方法、图像对比模型的训练方法、装置及设备，该信息处理方法包括：获取多个第一页面序列；多个第一页面序列为对应用程序进行功能测试得到的，第一页面序列中包括至少一个页面的图像，页面为应用程序包括的页面；根据多个第一页面序列，确定至少一个第一页面集合；第一页面集合中包括的页面序列之间的相似度不小于第一阈值。本申请实施例提供的信息处理方法、图像对比模型的训练方法、装置及设备能够用于提高查找到真正异常的页面序列的效率。异常的页面序列的效率。异常的页面序列的效率。


技术研发人员：陶祝 戚嘉懿 高永强
受保护的技术使用者：北京字节跳动网络技术有限公司
技术研发日：2022.03.24
技术公布日：2023/10/11