基于视觉算法的APPUI测试方法、装置及设备与流程

基于视觉算法的app ui测试方法、装置及设备
技术领域
1.本技术属于测试技术领域，尤其涉及一种基于视觉算法的app ui测试方法、装置及设备。


背景技术：

2.用户界面(user interface)是指对软件的人机交互、操作逻辑、界面美观的整体设计。用户界面(简称ui，亦称使用者界面)是系统和用户之间进行交互和信息交换的媒介，它实现信息的内部形式与人类可以接受形式之间的转换。用户界面是介于用户与硬件而设计彼此之间交互沟通相关软件，目的在使得用户能够方便有效率地去操作硬件以达成双向之交互，完成所希望借助硬件完成之工作，用户界面定义广泛，包含了人机交互与图形用户接口，凡参与人类与机械的信息交流的领域都存在着用户界面。
3.目前对用户界面出厂测试方式只能搜索ui所有元素控件元素是否存在、内容等，无法自动测试ui控件的颜色渲染效果。


技术实现要素：

4.本技术的一个实施例提供一种基于视觉算法的app ui测试方法、装置及设备，以解决现有对出厂的ui测试采用人工测试，测试结果也是人为判断，导致测试效率低且判断结果准确性无法保证的问题。
5.第一方面，本技术的一个实施例提供一种基于视觉算法的app ui测试方法，包括以下步骤：
6.获取app ui的设计文档图片数据和初始属性信息，根据所述设计文档图片数据构建ui模板对比库；
7.获取操作app ui的属性信息，将所述属性信息与所述初始属性信息对比，得到对比结果；
8.根据所述对比结果为一致，获取app运行操作所有ui的界面图像，采用视觉算法对每张所述界面图像进行处理，得到处理数据；
9.根据所述处理数据与所述ui模板对比库进行匹配对比，得到app的ui测试结果。
10.可选的，采用视觉算法对每张所述界面图像进行处理包括：
11.采用opencv缺陷检测算法对每张所述界面图像进行缺陷处理，得到处理阈值数据；
12.将所述处理阈值数据与其对应所述ui模板对比库的阈值数据对比，得到app的ui测试结果为是否存在控件缺失和位置坐标不一致。
13.可选的，采用opencv缺陷检测算法对每张所述界面图像进行缺陷处理包括：
14.对所述界面图像进行roi区域划分，得到roi区域图像；
15.对所述roi区域图像进行平滑、图像二值化、边缘检测处理，得到处理阈值数据。
16.可选的，将所述处理阈值数据与其对应所述ui模板对比库的阈值数据对比，得到
app的ui测试结果包括：
17.将所述处理阈值数据与其对应所述ui模板对比库的阈值数据对比，得到匹配相似度数据；
18.若所述匹配相似度数据大于门限阈值，则app的ui测试结果为不存在控件缺失和位置坐标不一致；
19.若所述匹配相似度数据小于或等于门限阈值，则app的ui测试结果为存在控件缺失和位置坐标不一致
。
20.可选的，采用视觉算法对每张所述界面图像进行处理包括：
21.采用灰度算法对所述roi区域图像进行灰度处理，得到图像亮度值；
22.将所述图像亮度值与其对应所述ui模板对比库的亮度值对比，得到app的ui测试结果为ui的颜色是否存在亮度偏差。
23.可选的，将所述图像亮度值与其对应所述ui模板对比库的亮度值对比，得到app的ui测试结果包括：
24.将所述图像亮度值与其对应所述ui模板对比库的亮度值对比，得到偏差数据；
25.若所述偏差数据小于偏差门限阈值，则app的ui测试结果为ui的颜色不存在亮度偏差；
26.若所述偏差数据大于或等于偏差门限阈值，则app的ui测试结果为ui的颜色存在亮度偏差。
27.第二方面，本技术的一个实施例提供一种基于视觉算法的app ui测试装置，包括对比库构建模块、对比处理模块、视觉处理模块和结果输出模块；
28.所述对比库构建模块，用于获取app ui的设计文档图片数据和初始属性信息，根据所述设计文档图片数据构建ui模板对比库；
29.所述对比处理模块，用于采用uiautomator2函数获取操作app ui的属性信息，将所述属性信息与所述初始属性信息对比，得到对比结果；
30.所述视觉处理模块，用于根据所述对比结果为一致，获取app运行操作所有ui的界面图像，采用视觉算法对每张所述界面图像进行处理，得到处理数据；
31.所述结果输出模块，用于根据所述处理数据与所述ui模板对比库进行匹配对比，得到app的ui测试结果。
32.可选的，所述视觉处理模块包括缺陷处理子模块和灰度处理子模块；
33.所述缺陷处理子模块，用于采用opencv缺陷检测算法对每张所述界面图像进行缺陷处理，得到处理阈值数据；
34.所述灰度处理子模块，用于采用灰度算法对所述缺陷处理子模块的roi区域图像进行灰度处理，得到图像亮度值；
35.其中，所述缺陷处理子模块还用于对所述界面图像进行roi区域划分，得到roi区域图像；对所述roi区域图像进行平滑、图像二值化、边缘检测处理，得到处理阈值数据。
36.可选的，所述结果输出模块包括第一输出子模块和第二输出子模块；
37.所述第一输出子模块，用于将所述处理阈值数据与其对应所述ui模板对比库的阈值数据对比，得到app的ui测试结果为是否存在控件缺失和位置坐标不一致；
38.所述第二输出子模块，用于将所述图像亮度值与其对应所述ui模板对比库的亮度
值对比，得到app的ui测试结果为ui的颜色是否存在亮度偏差；
39.其中，将所述处理阈值数据与其对应所述ui模板对比库的阈值数据对比，得到匹配相似度数据；若所述匹配相似度数据大于门限阈值，则app的ui测试结果为不存在控件缺失和位置坐标不一致；若所述匹配相似度数据小于或等于门限阈值，则app的ui测试结果为存在控件缺失和位置坐标不一致；
40.将所述图像亮度值与其对应所述ui模板对比库的亮度值对比，得到偏差数据；若所述偏差数据小于偏差门限阈值，则app的ui测试结果为ui的颜色不存在亮度偏差；若所述偏差数据大于或等于偏差门限阈值，则app的ui测试结果为ui的颜色存在亮度偏差。
41.第三方面，本技术的一个实施例提供一种终端设备，包括处理器以及存储器；
42.所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；
43.所述处理器，用于根据所述程序代码中的指令执行上述所述的基于视觉算法的app ui测试方法。
44.本技术的一个实施例提供的基于视觉算法的app ui测试方法、装置及设备，该基于视觉算法的app ui测试方法包括获取app ui的设计文档图片数据和初始属性信息，根据设计文档图片数据构建ui模板对比库；获取操作app ui的属性信息，将属性信息与初始属性信息对比得到对比结果；根据对比结果为一致，获取app运行操作所有ui的界面图像，采用视觉算法对每张界面图像进行处理得到处理数据；根据处理数据与ui模板对比库进行匹配对比得到app的ui测试结果。该基于视觉算法的app ui测试方法通过采用视觉算法获得ui图像的处理数据与ui模板对比库进行匹配对比得到app的ui测试结果，实现自动测试判定ui的各控件元素颜色渲染结果，降低人工判断容错率，也减少测试人力投入，降低人工成本，避免人眼判断ui的各控件元素位置偏移小无法辨别、颜色渲染部分失真无法辨别的问题，解决现有对出厂的ui测试采用人工测试，测试结果也是人为判断，导致测试效率低且判断结果准确性无法保证的问题。
附图说明
45.为了更清楚地说明本技术的一个实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.为了更完整地理解本技术及其有益效果，下面将结合附图来进行说明。其中，在下面的描述中相同的附图标号表示相同部分。
47.图1为本技术的一个实施例提供的基于视觉算法的app ui测试方法的步骤流程图。
48.图2为本技术的一个实施例提供的基于视觉算法的app ui测试装置的框架图。
具体实施方式
49.下面将结合本技术的一个实施例中的附图，对本技术的一个实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的
所有其他实施例，都属于本技术保护的范围。
50.本技术的一个实施例提供一种基于视觉算法的app ui测试方法、装置及设备，以解决现有对出厂的ui测试采用人工测试，测试结果也是人为判断，导致测试效率低且判断结果准确性无法保证的问题。
51.实施例一：
52.本技术的一个实施例提供的基于视觉算法的app ui测试方法，示例性的，请参阅图1，图1为本技术的一个实施例提供的基于视觉算法的app ui测试方法的步骤流程图。ui已广泛应用于各种移动终端上，移动终端包括手机、ipad、智能手柄、电脑等。
53.如图1所示，本技术发明提供一种基于视觉算法的app ui测试方法，该基于视觉算法的app ui测试方法包括以下步骤：
54.s1.获取app ui的设计文档图片数据和初始属性信息，根据设计文档图片数据构建ui模板对比库。
55.进一步说明的是，此步骤s1中是为了获取app各个ui的设计文档图片数据以及初始属性信息构建ui模板对比库。在此实施例中，app设置在移动终端上，将需要测试app ui的移动终端设置为开发者调试模式，同时安装电源插件。其中，app为应用程序，
56.在本技术实施例中，根据设计文档图片数据构建ui模板对比库过程中，采用设计文档图片数据作为标准图片，采用opencv缺陷检测算法、灰度算法对设计文档图片数据处理，得到具有ui画面的元素控件有无、颜色亮度的ui模板对比库。初始属性信息通过weditor工具从具有测试app的移动终端上获取app ui的各控件元素坐标、属性id、类型等属性信息。其中，opencv是一个基于许可发行的跨平台计算机视觉和机器学习软件库，weditor工具为程序测试工具。
57.进一步说明的是，测试的ui画面所有元素控件有无、颜色亮度，ui单个元素控件内容、位置坐标信息通过uiautomator2函数api接口获取，ui模板对比库的图像内容、位置信息是指ui所有元素内容完整性、位置分布是否有偏差。其中，uiautomator2是谷歌提供的安卓ui自动的java库,而uiautomator2就是在uiautomator基础上开发的计算机编程语言库。
58.s2.获取操作app ui的属性信息，将属性信息与初始属性信息对比，得到对比结果。
59.进一步说明的是，该基于视觉算法的app ui测试方法通过移动终端运行app，通过调用uiautomator2函数从app的api接口遍历该app所有ui，获取ui各控件元素内容、大小、位置坐标信息等属性信息。在此实施例中，将此属性信息与ui模板对比库中的初始属性信息对比是否一致。
60.在本技术实施例中，以设计文档图片数据中的每个元素控件标注的内容、尺寸、位置坐标信息等初始属性信息作为判定标准，uiautomator2函数从api接口exists、get_text()、info操作实际获取ui单个元素的内容、元素控件大小尺寸、位置坐标信息等属性信息与初始属性信息进行对比，判断是否一致。
61.s3.根据对比结果为一致，获取app运行操作所有ui的界面图像，采用视觉算法对每张界面图像进行处理，得到处理数据。
62.进一步说明的是，该步骤s3是基于初始属性信息与属性信息对比结果为一致的情况下，通过调用截图指令接口函数api对app的所有ui进行遍历截图保存，得到app运行操作
所有ui的界面图像。之后采用视觉算法对每张界面图像进行处理得到处理数据，为后续测试输出结果提供比较数据。
63.在本技术的实施例中，若对比结果为属性信息与初始属性信息对比不一致，直接输出app的ui测试结果为属性信息与初始属性信息不一致。
64.s4.根据处理数据与ui模板对比库进行匹配对比，得到app的ui测试结果。
65.进一步说明的是，该基于视觉算法的app ui测试方法通过处理数据与ui模板对比库的颜色、内容、位置信息匹配比对，得到自动判断app的ui测试结果。在此实施例中，该基于视觉算法的app ui测试方法可以通过步骤s1至s4实现对app的的一个ui测试结果，也可以调用uiautomator2函数的api接口进行模拟移动终端app的用户滑动、单双击等操作切换下一层级的ui画面，直至app的所有ui完成测试，并将app ui的测试结果进行存储。该基于视觉算法的app ui测试方法通过uiautomator2函数api接口软件指令实现模拟app滑动、单双击等操作，无需人工操作，提高测试效率。该基于视觉算法的app ui测试方法可以应用于python开发自动化测试工具。
66.本技术的一个实施例提供的基于视觉算法的app ui测试方法，包括获取app ui的设计文档图片数据和初始属性信息，根据设计文档图片数据构建ui模板对比库；获取操作app ui的属性信息，将属性信息与初始属性信息对比得到对比结果；根据对比结果为一致，获取app运行操作所有ui的界面图像，采用视觉算法对每张界面图像进行处理得到处理数据；根据处理数据与ui模板对比库进行匹配对比得到app的ui测试结果。该基于视觉算法的app ui测试方法通过采用视觉算法获得ui图像的处理数据与ui模板对比库进行匹配对比得到app的ui测试结果，实现自动测试判定ui的各控件元素颜色渲染结果，降低人工判断容错率，也减少测试人力投入，降低人工成本，避免人眼判断ui的各控件元素位置偏移小无法辨别、颜色渲染部分失真无法辨别的问题，解决现有对出厂的ui测试采用人工测试，测试结果也是人为判断，导致测试效率低且判断结果准确性无法保证的问题。
67.在本技术发明的一实施例中，采用视觉算法对每张界面图像进行处理包括：
68.采用opencv缺陷检测算法对每张界面图像进行缺陷处理，得到处理阈值数据；
69.采用灰度算法对所有roi区域图像进行灰度处理，得到图像亮度值；
70.将处理阈值数据与其对应ui模板对比库的阈值数据对比，得到app的ui测试结果为是否存在控件缺失和位置坐标不一致；将图像亮度值与其对应ui模板对比库的亮度值对比，得到app的ui测试结果为ui的颜色是否存在亮度偏差；
71.其中，采用opencv缺陷检测算法对每张界面图像进行缺陷处理包括：
72.对界面图像进行roi区域划分，得到roi区域图像；
73.对roi区域图像进行平滑、图像二值化、边缘检测处理，得到处理阈值数据。
74.进一步说明的是，该基于视觉算法的app ui测试方法对每张界面图像进行roi区域划分得到roi区域图像，每个roi区域图像进行图像平滑处理、区域图像二值化处理、边缘检测处理得到处理阈值数据。其次，对划分不同的每张roi区域图像进行hsv色彩处理获取rgb色值，之后对rgb色值进行灰度处理得到亮度值，计算所有roi区域图像的亮度值得到平均亮度值作为图像亮度值。可选的，roi区域为感兴趣区域。
75.在本技术发明的一实施例中，将处理阈值数据与其对应ui模板对比库的阈值数据对比，得到app的ui测试结果包括：
76.将处理阈值数据与其对应ui模板对比库的阈值数据对比，得到匹配相似度数据；
77.若匹配相似度数据大于门限阈值，则app的ui测试结果为不存在控件缺失和位置坐标不一致；
78.若匹配相似度数据小于或等于门限阈值，则app的ui测试结果为存在控件缺失和位置坐标不一致。
79.进一步地说明的是，门限阈值可以根据需求设置，此处不作具体限定。通过设计文档图片数据得到ui模板对比库的阈值数据与处理阈值数据进行对比，得到匹配相似度数据，通过匹配相似度数据是否大于门限阈值来自动判断app ui有无ui元素控件缺失、位置坐标不一致。
80.在本技术发明的一实施例中，将图像亮度值与其对应ui模板对比库的亮度值对比，得到app的ui测试结果包括：
81.将图像亮度值与其对应ui模板对比库的亮度值对比，得到偏差数据；
82.若偏差数据小于偏差门限阈值，则app的ui测试结果为ui的颜色不存在亮度偏差；
83.若偏差数据大于或等于偏差门限阈值，则app的ui测试结果为ui的颜色存在亮度偏差。
84.进一步地说明的是，设计文档图片数据得到ui模板对比库的亮度值与图像亮度值进行对比得到偏差数据，通过偏差数据是否小于偏差门限阈值自动判断app ui有无ui颜色亮度偏差。偏差门限阈值可以根据需求设置，此处不作具体限定，实现自动判定ui各控件元素颜色渲染结果，降低人工判断容错率。
85.实施例二：
86.本技术的一个实施例提供的基于视觉算法的app ui测试装置，示例性的，请参阅图2，图2为本技术的一个实施例提供的基于视觉算法的app ui测试装置的框架图。
87.本技术的一个实施例提供一种基于视觉算法的app ui测试装置，包括对比库构建模块10、对比处理模块20、视觉处理模块30和结果输出模块40；
88.对比库构建模块10，用于获取app ui的设计文档图片数据和初始属性信息，根据所述设计文档图片数据构建ui模板对比库；
89.对比处理模块20，用于采用uiautomator2函数获取操作app ui的属性信息，将所述属性信息与所述初始属性信息对比，得到对比结果；
90.视觉处理模块30，用于根据所述对比结果为一致，获取app运行操作所有ui的界面图像，采用视觉算法对每张所述界面图像进行处理，得到处理数据；
91.结果输出模块40，用于根据所述处理数据与所述ui模板对比库进行匹配对比，得到app的ui测试结果。
92.在本技术发明的一实施例中，视觉处理模块30包括缺陷处理子模块和灰度处理子模块；
93.缺陷处理子模块，用于采用opencv缺陷检测算法对每张界面图像进行缺陷处理，得到处理阈值数据；
94.灰度处理子模块，用于采用灰度算法对缺陷处理子模块的ro i区域图像进行灰度处理，得到图像亮度值；
95.其中，缺陷处理子模块还用于对界面图像进行roi区域划分，得到roi区域图像；对
roi区域图像进行平滑、图像二值化、边缘检测处理，得到处理阈值数据。
96.在本技术发明的一实施例中，结果输出模块40包括第一输出子模块和第二输出子模块；
97.第一输出子模块，用于将处理阈值数据与其对应ui模板对比库的阈值数据对比，得到app的ui测试结果为是否存在控件缺失和位置坐标不一致；
98.第二输出子模块，用于将图像亮度值与其对应ui模板对比库的亮度值对比，得到app的ui测试结果为ui的颜色是否存在亮度偏差；
99.其中，将处理阈值数据与其对应ui模板对比库的阈值数据对比，得到匹配相似度数据；若匹配相似度数据大于门限阈值，则app的ui测试结果为不存在控件缺失和位置坐标不一致；若匹配相似度数据小于或等于门限阈值，则app的ui测试结果为存在控件缺失和位置坐标不一致；
100.将图像亮度值与其对应ui模板对比库的亮度值对比，得到偏差数据；若偏差数据小于偏差门限阈值，则app的ui测试结果为ui的颜色不存在亮度偏差；若偏差数据大于或等于偏差门限阈值，则app的ui测试结果为ui的颜色存在亮度偏差。
101.进一步地说明的是，该实施例中装置的模块对应于该基于视觉算法的app ui测试方法的步骤内容，该基于视觉算法的app ui测试方法的步骤内容已在实施例一中阐述，此实施例中不再重复阐述。
102.实施例三：
103.本技术的一个实施例提供一种终端设备，包括处理器以及存储器；
104.存储器，用于存储程序代码，并将程序代码传输给处理器；
105.处理器，用于根据程序代码中的指令执行上述的基于视觉算法的app ui测试方法。
106.进一步说明的是，该基于视觉算法的app ui测试方法的步骤内容已在实施例一中详细阐述，在此不再对基于视觉算法的app ui测试方法的步骤内容再次重复阐述。
107.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
108.在本技术的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。
109.以上对本技术的一个实施例所提供的基于视觉算法的app ui测试方法进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本技术的限制。

技术特征：
1.一种基于视觉算法的app ui测试方法，其特征在于，包括以下步骤：获取app ui的设计文档图片数据和初始属性信息，根据所述设计文档图片数据构建ui模板对比库；获取操作app ui的属性信息，将所述属性信息与所述初始属性信息对比，得到对比结果；根据所述对比结果为一致，获取app运行操作所有ui的界面图像，采用视觉算法对每张所述界面图像进行处理，得到处理数据；根据所述处理数据与所述ui模板对比库进行匹配对比，得到app的ui测试结果。2.根据权利要求1所述的基于视觉算法的app ui测试方法，其特征在于，采用视觉算法对每张所述界面图像进行处理包括：采用opencv缺陷检测算法对每张所述界面图像进行缺陷处理，得到处理阈值数据；将所述处理阈值数据与其对应所述ui模板对比库的阈值数据对比，得到app的ui测试结果为是否存在控件缺失和位置坐标不一致。3.根据权利要求2所述的基于视觉算法的app ui测试方法，其特征在于，采用opencv缺陷检测算法对每张所述界面图像进行缺陷处理包括：对所述界面图像进行roi区域划分，得到roi区域图像；对所述roi区域图像进行平滑、图像二值化、边缘检测处理，得到处理阈值数据。4.根据权利要求2所述的基于视觉算法的app ui测试方法，其特征在于，将所述处理阈值数据与其对应所述ui模板对比库的阈值数据对比，得到app的ui测试结果包括：将所述处理阈值数据与其对应所述ui模板对比库的阈值数据对比，得到匹配相似度数据；若所述匹配相似度数据大于门限阈值，则app的ui测试结果为不存在控件缺失和位置坐标不一致；若所述匹配相似度数据小于或等于门限阈值，则app的ui测试结果为存在控件缺失和位置坐标不一致。5.根据权利要求3所述的基于视觉算法的app ui测试方法，其特征在于，采用视觉算法对每张所述界面图像进行处理包括：采用灰度算法对所述roi区域图像进行灰度处理，得到图像亮度值；将所述图像亮度值与其对应所述ui模板对比库的亮度值对比，得到app的ui测试结果为ui的颜色是否存在亮度偏差。6.根据权利要求5所述的基于视觉算法的app ui测试方法，其特征在于，将所述图像亮度值与其对应所述ui模板对比库的亮度值对比，得到app的ui测试结果包括：将所述图像亮度值与其对应所述ui模板对比库的亮度值对比，得到偏差数据；若所述偏差数据小于偏差门限阈值，则app的ui测试结果为ui的颜色不存在亮度偏差；若所述偏差数据大于或等于偏差门限阈值，则app的ui测试结果为ui的颜色存在亮度偏差。7.一种基于视觉算法的app ui测试装置，其特征在于，包括对比库构建模块、对比处理模块、视觉处理模块和结果输出模块；所述对比库构建模块，用于获取app ui的设计文档图片数据和初始属性信息，根据所
述设计文档图片数据构建ui模板对比库；所述对比处理模块，用于采用uiautomator2函数获取操作app ui的属性信息，将所述属性信息与所述初始属性信息对比，得到对比结果；所述视觉处理模块，用于根据所述对比结果为一致，获取app运行操作所有ui的界面图像，采用视觉算法对每张所述界面图像进行处理，得到处理数据；所述结果输出模块，用于根据所述处理数据与所述ui模板对比库进行匹配对比，得到app的ui测试结果。8.根据权利要求7所述的基于视觉算法的app ui测试装置，其特征在于，所述视觉处理模块包括缺陷处理子模块和灰度处理子模块；所述缺陷处理子模块，用于采用opencv缺陷检测算法对每张所述界面图像进行缺陷处理，得到处理阈值数据；所述灰度处理子模块，用于采用灰度算法对所述缺陷处理子模块的roi区域图像进行灰度处理，得到图像亮度值；其中，所述缺陷处理子模块还用于对所述界面图像进行roi区域划分，得到roi区域图像；对所述roi区域图像进行平滑、图像二值化、边缘检测处理，得到处理阈值数据。9.根据权利要求8所述的基于视觉算法的app ui测试装置，其特征在于，所述结果输出模块包括第一输出子模块和第二输出子模块；所述第一输出子模块，用于将所述处理阈值数据与其对应所述ui模板对比库的阈值数据对比，得到app的ui测试结果为是否存在控件缺失和位置坐标不一致；所述第二输出子模块，用于将所述图像亮度值与其对应所述ui模板对比库的亮度值对比，得到app的ui测试结果为ui的颜色是否存在亮度偏差；其中，将所述处理阈值数据与其对应所述ui模板对比库的阈值数据对比，得到匹配相似度数据；若所述匹配相似度数据大于门限阈值，则app的ui测试结果为不存在控件缺失和位置坐标不一致；若所述匹配相似度数据小于或等于门限阈值，则app的ui测试结果为存在控件缺失和位置坐标不一致；将所述图像亮度值与其对应所述ui模板对比库的亮度值对比，得到偏差数据；若所述偏差数据小于偏差门限阈值，则app的ui测试结果为ui的颜色不存在亮度偏差；若所述偏差数据大于或等于偏差门限阈值，则app的ui测试结果为ui的颜色存在亮度偏差。10.一种终端设备，其特征在于，包括处理器以及存储器；所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器，用于根据所述程序代码中的指令执行如权利要求1-6任意一项所述的基于视觉算法的app ui测试方法。

技术总结
本申请提供一种基于视觉算法的APP UI测试方法、装置及设备，该方法包括获取APP UI的设计文档图片数据和初始属性信息，根据设计文档图片数据构建UI模板对比库；获取操作APP UI的属性信息，将属性信息与初始属性信息对比得到对比结果；根据对比结果为一致获取APP运行操作所有UI的界面图像，采用视觉算法对每张界面图像进行处理得到处理数据；根据处理数据与UI模板对比库进行对比得到APP的UI测试结果。该方法通过采用视觉算法获得UI图像的处理数据与UI模板对比库进行对比得到APP的UI测试结果，实现自动测试判定UI的各控件元素颜色渲染结果，降低人工判断容错率，降低人工成本。降低人工成本。降低人工成本。


技术研发人员：成传罡
受保护的技术使用者：珠海莫界科技有限公司
技术研发日：2023.05.08
技术公布日：2023/8/4