一种面向物料安装的分类数据集构建方法及装置与流程

1.本技术实施例涉及物料检测领域，特别是涉及一种面向物料安装的分类数据集方法、装置及电子设备。


背景技术：

2.在工业流水线物料安装场景中，往往会对安装过程进行全程的视频监控，以保证物料处于正常的安装状态。在传统的工业模式中，识别物料是否处于正确的安装进程只能通过工作人员查看视频监控来判断，耗费了时间和人力资源。
3.随着机器视觉领域的迅速发展，通过图像分类方法来进行物料安装状态的识别的方式逐渐崭露头角。这种通过识别安装过程中每一帧图像的特征，来进行物料安装状态的识别，取代了基于工作人员经验的肉眼识别，在节约人工和时间成本的同时也使得识别精度有了提升。
4.然而，在应用机器视觉进行图像识别并分类的方法中，必不可少的步骤就是进行训练集与测试集的构建。数据集的构建决定了物料安装安装状态识别的准确率，具有举足轻重的意义。若应用现有的数据集构建方法，则是通过对视频进行采帧操作，再对采集到的每一视频帧进行标注，这样极大得的增加了数据标注的压力。同时，如此大量的视频帧标注工作依然要依托于人工标注，不但其准确率无法保证，还极大的削弱了应用机器视觉进行物料安装识别以节约人力和时间成本的意义。


技术实现要素：

5.本发明提供了一种面向物料安装的分类数据集构建方法、装置及电子设备，通过特征识别对物料安装视频进行切割并对切割后的视频进行统一属性的标注，为搭建分类数据集节约了人工和时间成本，同时提高了数据集的准确率。
6.第一方面，本发明提供了一种面向物料安装的分类数据集构建方法，包括如下步骤：
7.获取物料安装过程视频；
8.根据所述物料安装过程视频，执行第一切割操作，获取第一视频块和第二视频块，所述第一切割操作为通过对所述物料安装过程视频中指定区域的特征识别，根据预设阈值，对所述物料安装过程视频进行切割；
9.将所述第一视频块标注为第一属性，将所述第二视频块标注为第二属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第一属性指示物料安装操作状态，所述第二属性指示未操作状态；
10.获取全部标注后的所述视频帧，生成所述分类数据集。
11.进一步地，所述获取第二视频块后，还包括如下方法步骤：
12.根据所述第二视频块，执行第二切割操作，获取第三视频块和第四视频块，所述第二切割操作为通过对所述第二视频块的视频流图像与预设标准图像进行相似度计算，根据
与所述预设标准图像的相似程度对所述第二视频块进行切割；
13.将所述第三视频块标注为第三属性，将所述第四视频块标注为第四属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第三属性指示物料为未安装状态，所述第四属性指示物料为已安装状态。
14.进一步地，所述执行第二切割操作，具体包括如下方法步骤：
15.确认所述第二视频块的视频流图像的指定区域为目标特征区域；
16.获取所述目标特征区域的rgb颜色直方图；
17.根据所述预设标准图像的rgb颜色直方图和预设的各颜色通道阈值差值，确定所述第二切割操作的切割位置，其中，所述第二切割操作的切割位置为所述目标特征区域的rgb颜色直方图与所述预设标准图像的rgb颜色直方图的差值满足所述预设的各颜色通道阈值差值的视频帧位置。
18.进一步地，所述执行第一切割操作，具体包括如下方法步骤：
19.通过canny算法对所述物料安装过程视频流图像进行边缘特征提取，所述预设阈值指示所述所述物料安装过程视频流图像中被识别为边缘的像素点数量；
20.根据所述预设阈值，确认所述第一切割操作的切割位置，其中，所述第一切割操作的切割位置为满足所述预设阈值的所述视频帧位置。
21.进一步地，所述获取第四视频块后，还包括如下方法步骤：
22.基于人工的识别分类操作，切割所述第四视频块，获取第五视频块、第六视频块、第七视频块、第八视频块和第九视频块；
23.将所述第五视频块标注为第五属性，将所述第六视频块标注为第六属性，将所述第七视频块标注为第七属性，将所述第八视频块标注为第八属性，将所述第九视频块标注为第九属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第五属性指示物料安装正确，所述第六属性指示物料旋转90
°
放置，所述第七属性指示物料未完全按压，所述第八属性指示物料放置角度正确但放置位置错误，所述第九属性指示物料放置位置和放置角度均错误；
24.预设制定帧率，对所述第五视频块、所述第六视频块、所述第七视频块、所述第八视频块和所述第九视频块进行抽帧操作；
25.将所述抽取后的视频帧加入所述分类数据集。
26.第二方面，本发明提供了一种面向物料安装的分类数据集构建装置，包括：
27.视频获取模块，用于获取物料安装过程视频；
28.第一切割模块，用于根据所述物料安装过程视频，执行第一切割操作，获取第一视频块和第二视频块，所述第一切割操作为通过对所述物料安装过程视频中指定区域的特征识别，根据预设阈值，对所述物料安装过程视频进行切割；
29.操作属性标注模块，用于将所述第一视频块标注为第一属性，将所述第二视频块标注为第二属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第一属性指示物料安装操作状态，所述第二属性指示未操作状态；
30.数据集生成模块，用于获取全部标注后的所述视频帧，生成所述分类数据集。
31.进一步地，所述第一切割模块还包括：
32.第二切割单元，用于根据所述第二视频块，执行第二切割操作，获取第三视频块和
第四视频块，所述第二切割操作为通过对所述第二视频块的视频流图像与预设标准图像进行相似度计算，根据与所述预设标准图像的相似程度对所述第二视频块进行切割；
33.安装属性标注单元，用于将所述第三视频块标注为第三属性，将所述第四视频块标注为第四属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第三属性指示物料为未安装状态，所述第四属性指示物料为已安装状态。
34.进一步地，所述第二切割单元还包括：
35.特征区域确认单元，用于确认所述第二视频块的视频流图像的指定区域为目标特征区域；
36.特征获取单元，用于获取所述目标特征区域的rgb颜色直方图；
37.第二切割位置确认单元，用于根据所述预设标准图像的rgb颜色直方图和预设的各颜色通道阈值差值，确定所述第二切割操作的切割位置，其中，所述第二切割操作的切割位置为所述目标特征区域的rgb颜色直方图与所述预设标准图像的rgb颜色直方图的差值满足所述预设的各颜色通道阈值差值的视频帧位置。
38.进一步地，所述第一切割模块还包括：
39.边缘特征提取单元，用于通过canny算法对所述物料安装过程视频流图像进行边缘特征提取，所述预设阈值指示所述所述物料安装过程视频流图像中被识别为边缘的像素点数量；
40.第一切割位置确认单元，用于根据所述预设阈值，确认所述第一切割操作的切割位置，其中，所述第一切割操作的切割位置为满足所述预设阈值的所述视频帧位置
41.第三方面，本发明提供一种电子设备，包括：
42.至少一个存储器以及至少一个处理器；
43.所述存储器，用于存储一个或多个程序；
44.当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如第一方面所述的一种面向物料安装的分类数据集构建方法的步骤。
45.在本技术实施例中，先通过对物料安装过程视频流图像的边缘特征识别，将原视频切割为物料安装操作状态和未操作状态两个分类属性的视频块；再对未操作状态属性的视频块基于rgb颜色直方图与标准图像的rgb颜色直方图相似度的计算后，通过比对类别而进一步切割，获取物料已安装属性的视频块和物料未安装的视频块；再将各切割后的视频块内对应的视频帧全部标记为所属视频块的属性，生成物料安装的分类数据集。本技术实现了基于机器视觉的视频帧批量标注，大幅节约了构建物料安装的分类数据集以往需要的人工标注操作，在节约人力资源和时间成本的同时，保证了数据标注的稳定性和精确度。
46.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图说明
47.图1为在一个示例性的实施例中提供的一种面向物料安装的分类数据集构建方法的步骤流程图；
48.图2为在一个具体的应用场景中指示物料安装操作状态的示例图；
49.图3为在一个具体的应用场景中指示未操作状态的示例图；
50.图4为在一个具体的应用场景中指示物料为未安装状态的示例图；
51.图5为在一个具体的应用场景中指示物料为已安装状态的示例图；
52.图6为在一个示例性的实施例中提供的一种面向物料安装的分类数据集构建装置的模块示意图；
53.图7为在一个示例性的实施例中提供的一种电子设备的示意图。
具体实施方式
54.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
55.应当明确，所描述的实施例仅仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术实施例保护的范围。
56.在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
57.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
58.此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
59.如图1所示，本技术实施例提供了一种面向物料安装的分类数据集构建方法，具体包括如下方法步骤：
60.s201：获取物料安装过程视频。
61.物料安装过程视频通过图像采集设备获取，图像采集设备优选为摄像机，在一些其他的实施例中也可以是照相机、ccd线扫相机、3d轮廓仪、激光传感器及红外传感器等视觉传感器。
62.s202：根据所述物料安装过程视频，执行第一切割操作，获取第一视频块和第二视频块。其中，所述第一切割操作为通过对所述物料安装过程视频中指定区域的特征识别，根据预设阈值，对所述物料安装过程视频进行切割。
63.在一个优选的实施例中，具体为，通过canny算法对所述物料安装过程视频流图像进行边缘特征提取，预设阈值指示所述所述物料安装过程视频流图像中被识别为边缘的像素点数量；再根据所述预设阈值，确认第一切割操作的切割位置，其中，第一切割操作的切
割位置为满足预设阈值的视频帧位置。
64.在一个具体的实施例中，通过canny算法对物料安装过程视频流图像进行边缘特征提取包括：将原视频流的图像进行灰度转换；再通过高斯滤波对灰度图像进行滤波降噪处理，高斯滤波采用常见的3x3的卷积核模板；再采用sobel算子作为梯度算子，在一些其他的例子中也可以使用roberts算子、prewitt算子等一阶边缘检测算子来作为梯度算子，获取梯度的幅值和方向；再通过非极大值抑制，定位出大概的边缘信息，获取原视频流的二值图像，其中非边缘的点灰度值均为0，可能为边缘的点灰度值为255；再使用双阈值来对二值化图像进行筛选，通过选取合适的大阈值与小阈值可以得出最为接近图像真实边缘的边缘图像。
65.s203：将所述第一视频块标注为第一属性，将所述第二视频块标注为第二属性，并将属于同一视频块内的视频帧标注为所属视频块的属性。其中，所述第一属性指示物料安装操作状态，所述第二属性指示未操作状态。
66.在本技术实施例中，第一视频块被标注为物料安装操作状态属性，第二视频块被标注为未操作状态属性；并且第一视频块内所包含的所有视频帧均被标注为物料安装操作状态属性，第二视频块内的所有视频帧均被标注为未操作状态属性，由此即实现了对多个视频帧的分类标注。
67.如图2和图3所示，图2为在一个具体的应用场景中指示物料安装操作状态的示例图，图3为在一个具体的应用场景中指示未操作状态的示例图。其根据当处于安装操作状态中，人的手部动作会遮挡操作台边缘这一特征，将原视频进行切割并标注为不同的属性类别。具体的，处于未操作状态属性的视频帧能够提取出完整的操作台边缘特征，其特征图中被检测为边缘的像素点数量要大于处于安装操作状态属性的视频帧中所能检测出的边缘像素点数量。
68.在一个优选的实施例中，获取第二视频块后，还包括如下方法步骤：
69.根据所述第二视频块，执行第二切割操作，获取第三视频块和第四视频块，所述第二切割操作为通过对所述第二视频块的视频流图像与预设标准图像进行相似度计算，根据与所述预设标准图像的相似程度对所述第二视频块进行切割；
70.将所述第三视频块标注为第三属性，将所述第四视频块标注为第四属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第三属性指示物料为未安装状态，所述第四属性指示物料为已安装状态。
71.在本技术实施例中，对于标注为未操作状态属性的视频块还可进行进一步的切割，如图4和图5所示，图4为在一个具体的应用场景中指示物料为未安装状态的示例图，图5为在一个具体的应用场景中指示物料为已安装状态的示例图。其根据包含物料为未安装状态和物料为已安装状态的视频图像信息中，是否包含待安装物料的图像信息这一区别特征，将未操作状态属性的视频块进行进一步的切割并标注为不同的属性类别。
72.在一个具体的实施例中，通过rgb颜色直方图对目标特征区域进行识别。首先预先设定两张标准图像，其中一张包含物料未安装状态的图像信息，另一张包含物料已安装状态的图像信息；再指定目标特征区域，例如在本技术实施例中涉及散热片的安装，那么选定图像中散热片安装位置区域作为指定的目标特征区域；然后获取上述两张标准图像目标特征区域的的rgb颜色直方图，所述标准图像可以是通过对待切割视频块进行抽帧人工选取，
也可以通过网络下载等其他方式进行预先设定；接下来获取未操作状态属性的视频块的视频流图像的目标特征区域的rgb颜色直方图，并与上述标准图像的rgb颜色直方图进行相似度计算，与包含物料未安装状态图像信息的标准图像相似度较高的应被认为是物料未安装状态属性，与包含物料已安装状态图像信息的标准图像相似度较高的应被认为是物料已安装状态属性，根据实际应用需要设定通道数据阈值即可确定分割点。
73.在一些其他的例子中，也可以只确定一张标准图像，通过判断目标特征区域的rgb颜色直方图与预设标准图像的rgb颜色直方图的差值是否满足所述预设的各颜色通道阈值差值来确定切割位置，也即，通过确定是否与标准图像相似来定位切割位置。
74.在一个优选的实施例中，还可以基于人工的识别分类操作，切割所述第四视频块，获取第五视频块、第六视频块、第七视频块、第八视频块和第九视频块；将所述第五视频块标注为第五属性，将所述第六视频块标注为第六属性，将所述第七视频块标注为第七属性，将所述第八视频块标注为第八属性，将所述第九视频块标注为第九属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第五属性指示物料安装正确，所述第六属性指示物料旋转90
°
放置，所述第七属性指示物料未完全按压，所述第八属性指示物料放置角度正确但放置位置错误，所述第九属性指示物料放置位置和放置角度均错误；预设制定帧率，对所述第五视频块、所述第六视频块、所述第七视频块、所述第八视频块和所述第九视频块进行抽帧操作；将所述抽取后的视频帧加入所述分类数据集。
75.s204：获取全部标注后的视频帧，生成分类数据集。
76.在本技术实施例中，先通过对物料安装过程视频流图像的边缘特征识别，将原视频切割为物料安装操作状态和未操作状态两个分类属性的视频块；再对未操作状态属性的视频块基于rgb颜色直方图与标准图像的rgb颜色直方图相似度的计算后，通过比对类别而进一步切割，获取物料已安装属性的视频块和物料未安装的视频块；再将各切割后的视频块内对应的视频帧全部标记为所属视频块的属性，生成物料安装的分类数据集。本技术实现了基于机器视觉的视频帧批量标注，大幅节约了构建物料安装的分类数据集以往需要的人工标注操作，在节约人力资源和时间成本的同时，保证了数据标注的稳定性和精确度。
77.本技术实施例还提供了一种面向物料安装的分类数据集构建装置300，如图6所示，包括：
78.视频获取模块301，用于获取物料安装过程视频；
79.第一切割模块302，用于根据所述物料安装过程视频，执行第一切割操作，获取第一视频块和第二视频块，所述第一切割操作为通过对所述物料安装过程视频中指定区域的特征识别，根据预设阈值，对所述物料安装过程视频进行切割；
80.操作属性标注模块303，用于将所述第一视频块标注为第一属性，将所述第二视频块标注为第二属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第一属性指示物料安装操作状态，所述第二属性指示未操作状态；
81.数据集生成模块304，用于获取全部标注后的所述视频帧，生成所述分类数据集。
82.在一个示例性的例子中，第一切割模块302还包括：
83.第二切割单元，用于根据所述第二视频块，执行第二切割操作，获取第三视频块和第四视频块，所述第二切割操作为通过对所述第二视频块的视频流图像与预设标准图像进行相似度计算，根据与所述预设标准图像的相似程度对所述第二视频块进行切割；
84.安装属性标注单元，用于将所述第三视频块标注为第三属性，将所述第四视频块标注为第四属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第三属性指示物料为未安装状态，所述第四属性指示物料为已安装状态。
85.在一个示例性的例子中，第二切割单元还包括：
86.特征区域确认单元，用于确认所述第二视频块的视频流图像的指定区域为目标特征区域；
87.特征获取单元，用于获取所述目标特征区域的rgb颜色直方图；
88.第二切割位置确认单元，用于根据所述预设标准图像的rgb颜色直方图和预设的各颜色通道阈值差值，确定所述第二切割操作的切割位置，其中，所述第二切割操作的切割位置为所述目标特征区域的rgb颜色直方图与所述预设标准图像的rgb颜色直方图的差值满足所述预设的各颜色通道阈值差值的视频帧位置。
89.在一个示例性的例子中，第一切割模块302还包括：
90.边缘特征提取单元，用于通过canny算法对所述物料安装过程视频流图像进行边缘特征提取，所述预设阈值指示所述所述物料安装过程视频流图像中被识别为边缘的像素点数量；
91.第一切割位置确认单元，用于根据所述预设阈值，确认所述第一切割操作的切割位置，其中，所述第一切割操作的切割位置为满足所述预设阈值的所述视频帧位置。
92.如图7所示，图7是本技术实施例根据一示例性实施例示出的一种电子设备的结构框图。
93.所述电子设备包括处理器910和存储器920。该主控芯片中处理器910的数量可以是一个或者多个，图7中以一个处理器910为例。该主控芯片中存储器920的数量可以是一个或者多个，图7中以一个存储器920为例。
94.存储器920作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本技术实施例任意实施例所述的一种面向物料安装的分类数据集构建方法程序，以及本技术实施例任意实施例所述的一种面向物料安装的分类数据集构建方法对应的程序指令/模块。存储器920可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器920可进一步包括相对于处理器910远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
95.处理器910通过运行存储在存储器920中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述任一实施例所记载的一种面向物料安装的分类数据集构建方法。
96.本技术实施例还提供了一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现上述任意一个实施例所述的一种面向物料安装的分类数据集构建方法。
97.本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。计算机可读储存介质包
括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其它数据。计算机的存储介质的例子包括但不限于：相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其它类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其它内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其它光学存储、磁盒式磁带，磁带磁磁盘存储或其它磁性存储设备或任何其它非传输介质，可用于存储可以被计算设备访问的信息。
98.应当理解的是，本技术实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术实施例的范围仅由所附的权利要求来限制。
99.以上所述实施例仅表达了本技术实施例的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术实施例构思的前提下，还可以做出若干变形和改进，这些都属于本技术实施例的保护范围。

技术特征：
1.一种面向物料安装的分类数据集构建方法，其特征在于，所述方法包括如下步骤：获取物料安装过程视频；根据所述物料安装过程视频，执行第一切割操作，获取第一视频块和第二视频块，所述第一切割操作为通过对所述物料安装过程视频中指定区域的特征识别，根据预设阈值，对所述物料安装过程视频进行切割；将所述第一视频块标注为第一属性，将所述第二视频块标注为第二属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第一属性指示物料安装操作状态，所述第二属性指示未操作状态；获取全部标注后的所述视频帧，生成所述分类数据集。2.根据权利要求1所述的一种面向物料安装的分类数据集构建方法，其特征在于，所述获取第二视频块后，还包括如下方法步骤：根据所述第二视频块，执行第二切割操作，获取第三视频块和第四视频块，所述第二切割操作为通过对所述第二视频块的视频流图像与预设标准图像进行相似度计算，根据与所述预设标准图像的相似程度对所述第二视频块进行切割；将所述第三视频块标注为第三属性，将所述第四视频块标注为第四属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第三属性指示物料为未安装状态，所述第四属性指示物料为已安装状态。3.根据权利要求2所述的一种面向物料安装的分类数据集构建方法，其特征在于，所述执行第二切割操作，具体包括如下方法步骤：确认所述第二视频块的视频流图像的指定区域为目标特征区域；获取所述目标特征区域的rgb颜色直方图；根据所述预设标准图像的rgb颜色直方图和预设的各颜色通道阈值差值，确定所述第二切割操作的切割位置，其中，所述第二切割操作的切割位置为所述目标特征区域的rgb颜色直方图与所述预设标准图像的rgb颜色直方图的差值满足所述预设的各颜色通道阈值差值的视频帧位置。4.根据权利要求1所述的一种面向物料安装的分类数据集构建方法，其特征在于，所述执行第一切割操作，具体包括如下方法步骤：通过canny算法对所述物料安装过程视频流图像进行边缘特征提取，所述预设阈值指示所述所述物料安装过程视频流图像中被识别为边缘的像素点数量；根据所述预设阈值，确认所述第一切割操作的切割位置，其中，所述第一切割操作的切割位置为满足所述预设阈值的所述视频帧位置。5.根据权利要求2所述的一种面向物料安装的分类数据集构建方法，其特征在于，所述获取第四视频块后，还包括如下方法步骤：基于人工的识别分类操作，切割所述第四视频块，获取第五视频块、第六视频块、第七视频块、第八视频块和第九视频块；将所述第五视频块标注为第五属性，将所述第六视频块标注为第六属性，将所述第七视频块标注为第七属性，将所述第八视频块标注为第八属性，将所述第九视频块标注为第九属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第五属性指示物料安装正确，所述第六属性指示物料旋转90
°
放置，所述第七属性指示物料未完全按
压，所述第八属性指示物料放置角度正确但放置位置错误，所述第九属性指示物料放置位置和放置角度均错误；预设制定帧率，对所述第五视频块、所述第六视频块、所述第七视频块、所述第八视频块和所述第九视频块进行抽帧操作；将所述抽取后的视频帧加入所述分类数据集。6.一种面向物料安装的分类数据集构建装置，其特征在于，包括：视频获取模块，用于获取物料安装过程视频；第一切割模块，用于根据所述物料安装过程视频，执行第一切割操作，获取第一视频块和第二视频块，所述第一切割操作为通过对所述物料安装过程视频中指定区域的特征识别，根据预设阈值，对所述物料安装过程视频进行切割；操作属性标注模块，用于将所述第一视频块标注为第一属性，将所述第二视频块标注为第二属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第一属性指示物料安装操作状态，所述第二属性指示未操作状态；数据集生成模块，用于获取全部标注后的所述视频帧，生成所述分类数据集。7.根据权利要求6所述的一种面向物料安装的分类数据集构建装置，其特征在于，所述第一切割模块还包括：第二切割单元，用于根据所述第二视频块，执行第二切割操作，获取第三视频块和第四视频块，所述第二切割操作为通过对所述第二视频块的视频流图像与预设标准图像进行相似度计算，根据与所述预设标准图像的相似程度对所述第二视频块进行切割；安装属性标注单元，用于将所述第三视频块标注为第三属性，将所述第四视频块标注为第四属性，并将属于同一视频块内的视频帧标注为所属视频块的属性，其中，所述第三属性指示物料为未安装状态，所述第四属性指示物料为已安装状态。8.根据权利要求7所述的一种面向物料安装的分类数据集构建装置，其特征在于，所述第二切割单元还包括：特征区域确认单元，用于确认所述第二视频块的视频流图像的指定区域为目标特征区域；特征获取单元，用于获取所述目标特征区域的rgb颜色直方图；第二切割位置确认单元，用于根据所述预设标准图像的rgb颜色直方图和预设的各颜色通道阈值差值，确定所述第二切割操作的切割位置，其中，所述第二切割操作的切割位置为所述目标特征区域的rgb颜色直方图与所述预设标准图像的rgb颜色直方图的差值满足所述预设的各颜色通道阈值差值的视频帧位置。9.根据权利要求6所述的一种面向物料安装的分类数据集构建装置，其特征在于，所述第一切割模块还包括：边缘特征提取单元，用于通过canny算法对所述物料安装过程视频流图像进行边缘特征提取，所述预设阈值指示所述所述物料安装过程视频流图像中被识别为边缘的像素点数量；第一切割位置确认单元，用于根据所述预设阈值，确认所述第一切割操作的切割位置，其中，所述第一切割操作的切割位置为满足所述预设阈值的所述视频帧位置。10.一种电子设备，其特征在于，包括：
至少一个存储器以及至少一个处理器；所述存储器，用于存储一个或多个程序；当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至5任一项所述的一种面向物料安装的分类数据集构建方法的步骤。

技术总结
本申请实施例提供了一种面向物料安装的分类数据集构建方法及装置，通过对物料安装过程视频流图像的边缘特征识别，将原视频切割为物料安装操作状态和未操作状态两个分类属性的视频块；再对未操作状态属性的视频块基于RGB颜色直方图与标准图像的RGB颜色直方图相似度的计算后，通过比对类别而进一步切割，获取物料已安装属性的视频块和物料未安装的视频块；再将各切割后的视频块内对应的视频帧全部标记为所属视频块的属性，生成物料安装的分类数据集。本申请实现了基于机器视觉的视频帧批量标注，大幅节约了构建物料安装的分类数据集以往需要的人工标注操作，在节约人力资源和时间成本的同时，保证了数据标注的稳定性和数据集的精准度。据集的精准度。据集的精准度。


技术研发人员：谢雪梅 张裕博 张鹏 宋晓丹
受保护的技术使用者：琶洲实验室（黄埔）
技术研发日：2023.04.07
技术公布日：2023/7/22