一种生产检测系统的制作方法

1.本技术涉及产线检测领域，尤其涉及一种生产检测系统。


背景技术：

2.随着人工智能技术的发展，视觉检测技术广泛应用于产线装配实时检测及告警系统。视觉检测技术通过图像摄取装置，经过运算提取检测目标的特征进行判别，并根据判别结果来给出提示或告警等信息。
3.目前的视觉检测技术对装配成品进行检测可实施性较差，例如摄像头清晰度不高，无法识别较小的目标件；受限于摄像头安装位置，镜头可能会被产线机器或其他物件遮挡，造成关键特征无法识别，进而无法分析组装成品是否合规。相较之下，对装配过程进行检测可实施性较高，但存在检测准确性低以及检测过程复杂繁琐的问题。
4.因此，如何简化生产检测流程，提高检测的准确性是目前亟待解决的问题。


技术实现要素：

5.本技术提供一种生产检测系统，以解决生产检测准确性低以及检测过程复杂的问题。
6.第一方面，本技术实施例提供一种生产检测系统，该系统包括至少一个处理装置和至少一个摄像头，比如，当采用分布式部署方式时，该系统包括至少一个处理装置和至少一个摄像头，处理装置与摄像头一一对应通信连接，处理装置可以为终端计算机、芯片以及服务器；当采用集中式部署方式时，该系统包括一个处理装置和多个摄像头，处理装置分别与各个摄像头建立通信连接，处理装置可以为算力较高的服务器；
7.在每个生产工位上分别布置至少一个摄像头，摄像头用于采集视频流；
8.处理装置包括画面检测模块和动作检测模块；其中，画面检测模块，用于基于至少一个检测区域，对视频流进行画面检测；
9.动作检测模块，用于若画面检测模块在视频流中检测到第一图像帧，则基于至少一个动作类别对第一图像帧进行动作检测，确定视频流中的生产动作是否合格；其中，第一图像帧所在的连续预设数量的图像帧中存在画面变化帧。
10.需要说明的是，本技术还可以采取端云结合的部署方式，在算力较低的终端设备上进行小数据量的运算，比如在算力较低的终端设备上进行画面检测；在算力较高的服务器上进行大数据量的运算，比如在算力较高的服务器上进行动作检测，同时可以采用深度学习的算法模型进行运算以进一步提高检测精度。
11.还需要说明的是，生产检测系统还可以包括预警装置或者外接产线的预警装置，在检测生产动作不合格时进行语音预警以及显示预警。另外，还可以对不合格的生产动作进行数据统计以及数据记录，方便之后追溯生产失败的原因。
12.综上，本实施例提供的生产检测系统通过对视频流进行画面检测和动作检测，检测视频流中的生产动作是否合格，进而通过检测生产动作是否合格来判断产品的良品率，
加快检测速度，并最终通过报错纠偏提高产品的良品率。
13.在一种可能的实施例中，摄像头采集视频流；
14.画面检测模块基于至少一个检测区域，对视频流中连续预设数量的图像帧进行画面检测；
15.若画面检测模块在连续预设数量的图像帧中检测到画面变化帧，则确定连续预设数量的图像帧中的每个图像帧为第一图像帧；
16.可以理解的是，第一图像帧可以是连续预设数量的图像帧中画面发生变化的图像帧，还可以是连续预设数量的图像帧中画面无变化但与画面变化帧邻近的图像帧。
17.示例性的，处理装置解析视频流，得到多个相邻的图像帧a/b/c/d/e/f，其中，a/b图像帧动作区域内的画面发生变化，处理装置将a/b图像帧识别为第一图像帧；c图像帧的动作区域内的画面未发生变化，但由于c图像帧与b图像帧相邻且连续预设数量为3个，因此c图像帧也是第一图像帧，比如c图像帧中是操作过程中的要求不变的动作，比如贴标签的动作需要持续按压标签一段时间；d/e/f图像帧连续三帧无变化，达到预设数量，比如在装配过程中，执行粘合固定件的按压时间过长或者长时间未执行生产动作，因此d/e/f图像帧画面无变化说明生产动作不合格。
18.动作检测模块基于至少一个动作类别，检测每个第一图像帧对应的动作类别；
19.若检测到存在对应动作类别的第一图像帧，则动作检测模块确定第一图像帧为待测图像帧；
20.示例性的，产线定制的模块化动作类别包括：放螺栓、放螺钉以及打螺钉三个动作类别，处理装置对第一图像帧a/b/c/d/e/f进行动作匹配和分类判定，检测到第一图像帧a为放螺栓动作、第一图像帧b/c为放螺钉动作、第一图像帧d为打螺钉动作、第一图像帧e/f无对应的作业动作。
21.若检测到无对应动作类别的第一图像帧，则动作检测模块确定视频流中的生产动作不合格。
22.还需要说明的是，对于检测到无对应动作类别的第一图像帧所在的视频流，可以放弃对此段视频流的后续检测，进一步节省算力。
23.比如，产线定制的模块化动作类别包括：放螺栓、放螺钉以及打螺钉三个作业动作，处理装置对第一图像帧a/b/c进行动作匹配和分类判定，检测到第一图像帧a为放螺栓动作、第一图像帧b/c为放螺钉动作，则检测到打螺钉动作无对应的第一图像帧，处理装置针对未执行打螺钉动作进行预警，并停止对此段缺失打螺钉动作的视频流的后续检测。
24.在一种可能的实施例中，画面检测模块，还用于若在视频流中未检测到第一图像帧，则确定视频流中的生产动作不合格。
25.在一种可能的实施例中，摄像头采集视频流；
26.画面检测模块基于至少一个检测区域，对视频流中连续预设数量的图像帧进行画面检测；
27.若在连续预设数量的图像帧中未检测到画面变化帧，则说明图像帧的画面中没有发生生产动作，因此画面检测模块可以确定视频流中生产动作不合格。
28.示例性的，若画面变化检测的结果显示图像帧a不存在检测区域，则说明可能存在摄像头没有对准工位、工位未开工以及画面遮挡等情况，或者，检测结果显示图像帧a/b/c
连续三帧画面无变化，达到预设数量，则说明可能存在未执行生产动作或执行动作超时等情况。因此，需要进一步预警及时纠偏，另外，可以进行数据统计以及数据记录，方便之后追溯生产失败的原因。
29.还需要说明的是，对于未检测到第一图像帧的视频流，可以放弃对此段视频流的后续检测，进一步节省算力。
30.在一种可能的实施例中，处理装置还包括规范检测模块，规范检测模块，用于基于每个动作类别对应的关键帧组合，对至少一个待测动作组合进行关键帧检测，确定视频流中的生产动作是否合格。
31.在一种可能的实施例中，规范检测模块对同一动作类别下的第一图像帧进行组合，得到至少一个待测动作组合；
32.规范检测模块基于每个动作类别对应的关键帧组合，检测至少一个待测动作组合中是否缺失关键帧；
33.若检测到待测动作组合中缺失关键帧，则规范检测模块确定视频流中的生产动作不合格。
34.比如，生产过程中未使用规定工具，螺钉安装位置错误等情况会导致图像帧中缺失关键帧的特征信息，从而导致待测动作组合中缺失关键帧。进一步可以生成预警信息及时纠偏，另外，还可以进行数据统计以及数据记录，方便之后追溯生产失败的原因。
35.示例性的，动作规范库中存储了动作类别a的关键帧a1～a3，动作类别b的关键帧b1～b3，c动作的关键帧c1～c3；若待测动作组合a对应动作类别a，且包括第一图像帧a1～a3，则将第一图像帧a1～a3与关键帧a1～a3进行匹配，当第一图像帧a1～a3的画面信息、时间信息等特征信息与关键帧a1～a3的特征信息完全匹配，则判定待测动作组合a不缺失关键帧。
36.以使用手持智能电机安装螺钉动作为例，关键帧的特征信息包括：手部像素信息、电机像素信息与安装点位坐标信息，以及各个信息的持续时间(即连续出现的帧数)，当在待测动作组合中捕捉到所有关键帧的特征信息才判定使用手持智能电机安装螺钉的动作已完成。
37.在一种可能的实施例中，处理装置还包括时序检测模块；
38.时序检测模块，用于基于至少一种设定动作顺序，对实际动作顺序进行时序检测，确定视频流中的生产动作是否合格。
39.在一种可能的实施例中，时序检测模块根据图像帧的时间戳，对待测图像帧对应的动作类别进行排序，得到实际动作顺序；
40.比如，第一图像帧a(时间戳0：01)对应放螺栓动作，第一图像帧b(时间戳0：02)对应放螺钉动作，第一图像帧c(时间戳0：03)对应打螺钉动作，则处理装置对第一图像帧a/b/c按时间戳进行排列，得到实际动作执行顺序：放螺栓-放螺钉-打螺钉。
41.时序检测模块基于至少一种设定动作顺序，对实际动作顺序进行时序检测；
42.若检测到实际动作顺序与设定动作顺序不匹配，则时序检测模块确定视频流中的生产动作不合格。
43.示例性的，时序逻辑库中存储有设定动作顺序1(动作1-动作2-动作3)、设定动作顺序2(动作1-动作3-动作2)、设定动作顺序3(动作2-动作1-动作3)；若实际动作顺序为动
作2-动作1-动作3，则处理装置检测到实际动作顺序符合设定动作顺序3，若实际动作顺序为动作3-动作2-动作1，则处理装置确定视频流中的生产动作不合格。
44.在一种可能的实施例中，处理装置还包括存储介质；
45.存储介质预存有动作区域库，动作区域库包括至少一个检测区域。
46.需要说明的是，可以根据产线的生产设计指导书确定上述检测区域，从而在画面变化检测过程中在图像帧的画面中准确地定位动作发生区域，并结合图像识别或深度学习等算法进行第一图像的静态搜索。
47.存储介质预存有动作类别库，动作类别库包括至少一个动作类别。
48.需要说明的是，动作类别库中预存产线定制的模块化动作类别。外部输入的视频流在终端设备的算法模块进行静态检测后，处理装置对画面检测得到的第一图像帧进行动作匹配和分类判定，检测第一图像帧对应的作业动作。
49.在一种可能的实施例中，存储介质预存有动作规范库，动作规范库包括每个动作类别对应的关键帧组合；其中，关键帧组合包括至少一个关键帧。
50.示例性的，动作规范库中预存有每种生产动作的关键帧规范化特征信息。
51.在一种可能的实施例中，存储介质预存有时序逻辑库，时序逻辑库包括至少一种设定动作顺序。
52.示例性的，可以根据生产指导书各个安装动作解耦编号，在保证生产质量的前提下，灵活组合动作，得到设定动作顺序1～n。
附图说明
53.图1a为本技术实施例提供的一种生产检测系统示意图；
54.图1b为本技术实施例提供的另一种生产检测系统示意图；
55.图2为本技术实施例提供的一种处理装置的结构示意图；
56.图3为本技术实施例提供的一种动作区域库示意图；
57.图4为本技术实施例提供的一种动作类别库示意图；
58.图5为本技术实施例提供的一种动作规范库示意图；
59.图6为本技术实施例提供的一种时序逻辑库示意图；
60.图7为本技术实施例提供的一种生产检测方法的流程示意图；
61.图8为本技术实施例提供的另一种生产检测方法的流程示意图。
具体实施方式
62.为了使本技术的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整的描述。
63.为便于理解本技术实施例，下面先对本技术实施例中涉及的术语进行解释说明：
64.一、图像识别技术
65.图像识别技术是指模拟人类图像识别过程，对图像进行对象识别的一种计算机程序。在工业生产的应用场景中，厂商一般会在生产的全工序装配结束后，利用图像识别技术，对装配成品进行图像检测。
66.二、运动目标识别技术
67.运动目标识别技术是指将图像序列中的前景运动区域在背景中提取出来并进行目标检测。在工业生产的应用场景中，厂商一般会通过工位上的摄像头获取实时组装视频，对视频流进行运动目标识别，从而判断是否完成规定的动作，进而判别是否完成安装。
68.为便于理解本技术实施例，下面对本技术实施例的应用场景进行说明：
69.目前，生产线已具备一定的机器自动化水平，但工厂流水线生产中仍频频出现错误的组装动作，进而存在作业违规或错漏装的可能。如果仅在全工序装配结束后进行检测，不仅会导致返工，费时费力，甚至导致问题件流入市场。
70.传统的解决办法是在很多组装工位配置摄像头，进一步采用yolo、slowfast network、two-stage cnn、temporal segment network、temporal relation network等深度学习算法进行模型训练，对目标特征进行识别和判断。但图像识别技术依赖于高精度的摄像设备，无法应用于工况恶劣、无法获取清晰图像的场景，例如存在油污飞溅、杂物遮挡等应用场景。其次，大多数的视觉识别框架依赖于高精度的模型，对部署算法的设备算力要求较高。再次，图像识别技术不能在错误操作发生时进行实时的告警及提示，从而导致产品返工造成资源浪费。
71.部分厂商会在全工序装配结束后，利用图像识别技术，对装配成品进行图像检测。但图像识别技术对装配成品进行检测，无法通过对成品进行图像识别判断是否安装完成。另外，摄像头清晰度不高时，无法识别较小的目标件；受限于摄像头安装位置，镜头可能会被机器或其他物件遮挡，造成关键特征无法识别。
72.可以看出，通过视觉检测技术对成品进行检测可实施性较差，因此部分厂商通过对视频流进行运动目标识别，判断是否完成规定的动作，进而判别安装是否完成。但这种方式无法检测到场景中的静止目标，另外，动作匹配需要收集大量的样本库，而产线中的操作动作并不统一，需要进行大量的定制优化，粘连目标的分离难度大。
73.因此，如何在简化生产检测过程，提高生产检测的准确性是目前亟待解决的问题。
74.下面结合上述描述的应用场景，参考附图来描述本技术示例性实施例提供的生产检测系统，需要注意的是，上述应用场景仅是为了便于理解本技术的原理而示出，本技术的实施例在此方面不受任何限制。
75.该系统包括至少一个处理装置和至少一个摄像头，摄像头用于采集对应工位的视频流。如图1a所示，对于依生产步骤排布的工位1～工位n的生产线，当采用分布式部署方式时，本技术的生产检测系统包括至少一个处理装置和至少一个摄像头，处理装置与摄像头一一对应通信连接，处理装置可以为终端计算机、芯片以及服务器；如图1b所示，对于依生产步骤排布的工位1～工位n的生产线，当采用集中式部署方式时，本技术的生产检测系统包括一个处理装置和多个摄像头，处理装置分别与各个摄像头建立通信连接，处理装置可以为算力较高的服务器。
76.需要说明的是，由于传统的视觉检测技术采用深度学习，全局全量的检索，比如卷积网络的卷积滑动技术，对设备算力要求过高，有很多重复无效的计算过程，导致算力浪费。本技术还可以采取端云结合的双侧部署方式，生产检测系统包括算力较低的处理装置和算力较高的处理装置，在算力较低的处理装置(比如本地计算机)上进行小数据量的运算，在算力较高的处理装置(比如服务器)上进行大数据量的运算，从而可以采用深度学习的算法模型进行运算以进一步提高检测精度和检测速度。
77.另外，若模块功能需要的算力要求不高或者检测实时性要求较高，本技术的生产检测系统可以全部应用产线近侧的处理装置，比如终端设备、本地服务器等等。类似的，若模块功能需要的算力需求较高，视频分辨率低或者检测实时性要求较低，本技术的生产检测系统可以全部应用算力更高的处理装置，比如云端服务器。
78.下面结合上述应用场景，对处理装置的组成模块进行说明：
79.在一种可能的实施例中，如图2所示，处理装置包括画面检测模块和动作检测模块：
80.画面检测模块，用于基于至少一个检测区域，对视频流进行画面检测；
81.画面检测模块，还用于若在视频流中未检测到第一图像帧，则确定视频流中的生产动作不合格。
82.动作检测模块，用于若画面检测模块在视频流中检测到第一图像帧，则基于至少一个动作类别对第一图像帧进行动作检测，确定视频流中的生产动作是否合格；其中，第一图像帧所在的连续预设数量的图像帧中存在画面变化帧。
83.在一种可能的实施例中，如图2所示，处理装置还包括规范检测模块：
84.规范检测模块，用于基于每个动作类别对应的关键帧组合，对至少一个待测动作组合进行关键帧检测，确定视频流中的生产动作是否合格。
85.在一种可能的实施例中，如图2所示，处理装置还包括时序检测模块；
86.时序检测模块，用于基于至少一种设定动作顺序，对实际动作顺序进行时序检测，确定视频流中的生产动作是否合格。
87.还需要说明的是，生产检测系统还可以包括预警装置或者外接产线的预警装置，在处理装置检测生产动作不合格时进行语音预警以及显示预警。另外，还可以对不合格的生产动作进行数据统计以及数据记录，方便之后追溯生产失败的原因。
88.在一种可能的实施例中，如图2所示，处理装置还包括存储介质：
89.存储介质预存有动作区域库，动作区域库包括至少一个检测区域，如图3所示，动作区域库包括检测区域1～n，画面检测模块可以调用存储介质中的动作区域库进行画面变化检测。
90.需要说明的是，可以根据产线的生产设计指导书确定上述检测区域，从而在画面变化检测过程中在图像帧的画面中准确地定位动作发生区域，并结合图像识别或深度学习等算法进行第一图像的静态搜索。
91.存储介质预存有动作类别库，动作类别库包括至少一个动作类别。如图4所示，动作类别库中预存有至少一个产线定制的模块化动作类别a～n，动作类别模块可以调用存储介质中的动作类别库进行动作类别检测。
92.需要说明的是，动作类别库中预存产线定制的模块化动作类别。外部输入的视频流在终端设备的算法模块进行静态检测后，处理装置对画面检测得到的第一图像帧进行动作匹配和分类判定，检测第一图像帧对应的作业动作。
93.示例性的，产线定制的模块化动作类别包括：放螺栓、放螺钉以及打螺钉三个动作类别，处理装置对第一图像帧a/b/c/d/e/f进行动作匹配和分类判定，检测到第一图像帧a为放螺栓动作、第一图像帧b/c为放螺钉动作、第一图像帧d为打螺钉动作、第一图像帧e/f无对应的作业动作。
94.示例性的，产线定制的模块化动作类别包括：放螺栓、放螺钉以及打螺钉三个作业动作，处理装置对第一图像帧a/b/c进行动作匹配和分类判定，检测到第一图像帧a为放螺栓动作、第一图像帧b/c为放螺钉动作，打螺钉动作无对应的第一图像帧。
95.在一种可能的实施例中，如图2所示，存储介质预存有动作规范库，动作规范库包括每个动作类别对应的关键帧组合；其中，关键帧组合包括至少一个关键帧。如图5所示，动作规范库包括动作类别a～n中每个动作类别对应的关键帧组合，每个关键帧组合包括至少一个关键帧。规范检测模块可以调用存储介质中的动作规则库进行关键帧检测。
96.示例性的，动作规范库中存储了动作类别a的关键帧a1～a3，动作类别b的关键帧b1～b3，c动作的关键帧c1～c3。
97.以使用手持智能电机安装螺钉动作为例，关键帧的特征信息包括：手部像素信息、电机像素信息与安装点位坐标信息，以及各个信息的持续时间(即连续出现的帧数)，当在待测动作组合中捕捉到所有关键帧的特征信息才判定使用手持智能电机安装螺钉的动作已完成。
98.在一种可能的实施例中，如图2所示，存储介质预存有时序逻辑库，时序逻辑库包括至少一种设定动作顺序。如图6所示，时序逻辑库中预存有设定动作顺序1～n；其中，设定动作顺序是根据生产指导书对各个安装动作解耦编号后的动作类别a～n，并在保证生产质量的前提下，对这些解耦后的动作灵活组合得到的。因此，通过这种组库方式，可以在降低检测过程运行消耗的同时提高校验灵活性。时序检测模块可以调用存储介质中的时序逻辑库进行时序逻辑检测。
99.下面结合上述部署方式对处理装置的运行方式进行说明：
100.摄像头采集视频流；
101.画面检测模块基于至少一个检测区域，对视频流中连续预设数量的图像帧进行画面检测；
102.若画面检测模块在连续预设数量的图像帧中检测到画面变化帧，则确定连续预设数量的图像帧中的每个图像帧为第一图像帧；
103.可以理解的是，第一图像帧可以是连续预设数量的图像帧中画面发生变化的图像帧，还可以是连续预设数量的图像帧中画面无变化但与画面变化帧邻近的图像帧。
104.示例性的，处理装置解析视频流，得到多个相邻的图像帧a/b/c/d/e/f，其中，a/b图像帧动作区域内的画面发生变化，处理装置将a/b图像帧识别为第一图像帧；c图像帧的动作区域内的画面未发生变化，但由于c图像帧与b图像帧相邻且连续预设数量为3个，因此c图像帧也是第一图像帧，比如c图像帧中是操作过程中的要求不变的动作，比如贴标签的动作需要持续按压标签一段时间；d/e/f图像帧连续三帧无变化，达到预设数量，比如在装配过程中，执行粘合固定件的按压时间过长或者长时间未执行生产动作，因此d/e/f图像帧画面无变化说明生产动作不合格。
105.若在连续预设数量的图像帧中未检测到画面变化帧，则说明图像帧的画面中没有发生生产动作，因此画面检测模块可以确定视频流中生产动作不合格。
106.示例性的，若画面变化检测的结果显示图像帧a不存在检测区域，则说明可能存在摄像头没有对准工位、工位未开工以及画面遮挡等情况，或者，检测结果显示图像帧a/b/c连续三帧画面无变化，达到预设数量，则说明可能存在未执行生产动作或执行动作超时等
情况。因此，需要进一步预警及时纠偏，另外，可以进行数据统计以及数据记录，方便之后追溯生产失败的原因。
107.还需要说明的是，对于未检测到第一图像帧的视频流，可以放弃对此段视频流的后续检测，进一步节省算力。
108.动作检测模块基于至少一个动作类别，检测每个第一图像帧对应的动作类别；
109.若检测到存在对应动作类别的第一图像帧，则动作检测模块确定第一图像帧为待测图像帧；
110.示例性的，产线定制的模块化动作类别包括：放螺栓、放螺钉以及打螺钉三个动作类别，处理装置对第一图像帧a/b/c/d/e/f进行动作匹配和分类判定，检测到第一图像帧a为放螺栓动作、第一图像帧b/c为放螺钉动作、第一图像帧d为打螺钉动作、第一图像帧e/f无对应的作业动作。
111.若检测到无对应动作类别的第一图像帧，则动作检测模块确定视频流中的生产动作不合格。
112.还需要说明的是，对于检测到无对应动作类别的第一图像帧所在的视频流，可以放弃对此段视频流的后续检测，进一步节省算力。
113.比如，产线定制的模块化动作类别包括：放螺栓、放螺钉以及打螺钉三个作业动作，处理装置对第一图像帧a/b/c进行动作匹配和分类判定，检测到第一图像帧a为放螺栓动作、第一图像帧b/c为放螺钉动作，则动作检测模块检测到打螺钉动作无对应的第一图像帧，处理装置针对未执行打螺钉动作进行预警，并停止对此段缺失打螺钉动作的视频流的后续检测。
114.在一种可能的实施例中，规范检测模块对同一动作类别下的第一图像帧进行组合，得到至少一个待测动作组合；
115.规范检测模块基于每个动作类别对应的关键帧组合，检测至少一个待测动作组合中是否缺失关键帧；
116.若检测到待测动作组合中缺失关键帧，则规范检测模块确定视频流中的生产动作不合格。
117.比如，生产过程中未使用规定工具，螺钉安装位置错误等情况会导致图像帧中缺失关键帧的特征信息，从而导致待测动作组合中缺失关键帧。进一步规范检测模块可以确定视频流中的生产动作不合格，并生成预警信息及时纠偏，另外，还可以进行数据统计以及数据记录，方便之后追溯生产失败的原因。
118.示例性的，动作规范库中存储了动作类别a的关键帧a1～a3，动作类别b的关键帧b1～b3，c动作的关键帧c1～c3；若待测动作组合a对应动作类别a，且包括第一图像帧a1～a3，则将第一图像帧a1～a3与关键帧a1～a3进行匹配，当第一图像帧a1～a3的画面信息、时间信息等特征信息与关键帧a1～a3的特征信息完全匹配，则判定待测动作组合a不缺失关键帧。
119.在一种可能的实施例中，时序检测模块根据图像帧的时间戳，对待测图像帧对应的动作类别进行排序，得到实际动作顺序。
120.示例性的，第一图像帧a(时间戳0：01)对应放螺栓动作，第一图像帧b(时间戳0：02)对应放螺钉动作，第一图像帧c(时间戳0：03)对应打螺钉动作，则时序检测模块对第一
图像帧a/b/c按时间戳进行排列，得到实际动作执行顺序：放螺栓-放螺钉-打螺钉。
121.时序检测模块基于至少一种设定动作顺序，对实际动作顺序进行时序检测；
122.若检测到实际动作顺序与设定动作顺序不匹配，则时序检测模块确定视频流中的生产动作不合格。
123.示例性的，时序逻辑库中存储有设定动作顺序1(动作1-动作2-动作3)、设定动作顺序2(动作1-动作3-动作2)、设定动作顺序3(动作2-动作1-动作3)；若实际动作顺序为动作2-动作1-动作3，则处理装置检测到实际动作顺序符合设定动作顺序3，若实际动作顺序为动作3-动作2-动作1，则时序检测模块确定视频流中的生产动作不合格。
124.应理解，上述处理装置对视频流的关键帧检测以及时序逻辑检测执行先后不作要求，关键帧检测以及时序逻辑检测可以并行进行；也可以先执行关键帧检测，再执行时序逻辑检测；也可以先执行时序逻辑检测，再执行关键帧检测。
125.综上，本技术提供一种生产检测系统，生产检测系统包括至少一个处理装置和至少一个摄像头；摄像头，用于采集视频流；处理装置可以调用存储介质中预存的动作区域库、动作类别库、动作规范库以及时序逻辑库，检测视频流中的生产动作是否合格；从而通过生产动作检测的方式以达到检测产品质量的目的，即生产动作合格说明产品质量良好，生产动作不合格则说明产品质量较差或者良品可能性较低；进而简化了生产检测流程，加快检测速度，并结合预警装置进行纠偏和预警，最终提高产品的良品率。
126.另外，生产检测系统可以应用产线近侧部署的处理装置，实现迅速检测，生产检测系统可以应用算力较高的处理装置，实现精准检测，生产检测系统还可以端云结合部署的处理装置，在对生产动作进行精准检测的同时实现对算力的合理分配。
127.基于相同的技术构思，本技术实施例还提供一种生产检测方法，该方法的实施可以参照上述生产检测系统的描述，重复之处不再赘述，生产检测方法应用于上述生产检测系统，如图7所示，以生产检测方法应用的处理装置在单次侧为例，比如处理装置为终端设备或者服务器，该方法包括：
128.步骤701，摄像头采集视频流。
129.步骤702，画面检测模块基于至少一个检测区域，对视频流中连续预设数量的图像帧进行画面检测。若在连续预设数量的图像帧中检测到画面变化帧，则执行步骤703；若在连续预设数量的图像帧中未检测到画面变化帧，则执行步骤704。
130.步骤703，画面检测模块确定连续预设数量的图像帧中的每个图像帧为第一图像帧。执行步骤705。
131.可以理解的是，第一图像帧可以是连续预设数量的图像帧中画面发生变化的图像帧，还可以是连续预设数量的图像帧中画面无变化但与画面变化帧邻近的图像帧。
132.步骤704，画面检测模块确定视频流中的生产动作不合格。
133.示例性的，处理装置解析视频流，得到多个相邻的图像帧a/b/c/d/e/f，其中，a/b图像帧动作区域内的画面发生变化，处理装置将a/b图像帧识别为第一图像帧；c图像帧的动作区域内的画面未发生变化，但由于c图像帧与b图像帧相邻且连续预设数量为3个，因此c图像帧也是第一图像帧，比如c图像帧中是操作过程中的要求不变的动作，比如贴标签的动作需要持续按压标签一段时间；d/e/f图像帧连续三帧无变化，达到预设数量，比如在装配过程中，执行粘合固定件的按压时间过长或者长时间未执行生产动作，因此d/e/f图像帧
画面无变化说明生产动作不合格。
134.步骤705，动作检测模块基于至少一个动作类别，检测每个第一图像帧对应的动作类别。若检测到无对应动作类别的第一图像帧，则执行步骤706；若检测到存在对应动作类别的第一图像帧，则执行步骤707。
135.示例性的，产线定制的模块化动作类别包括：放螺栓、放螺钉以及打螺钉三个动作类别，处理装置对第一图像帧a/b/c/d/e/f进行动作匹配和分类判定，检测到第一图像帧a为放螺栓动作、第一图像帧b/c为放螺钉动作、第一图像帧d为打螺钉动作、第一图像帧e/f无对应的作业动作。
136.步骤706，动作检测模块确定视频流中的生产动作不合格。
137.步骤707，规范检测模块对同一动作类别下的第一图像帧进行组合，得到至少一个待测动作组合。
138.步骤708，规范检测模块基于每个动作类别对应的关键帧组合，检测至少一个待测动作组合中是否缺失关键帧。若检测到待测动作组合中缺失关键帧，则执行步骤709；若检测到待测动作组合中不缺失关键帧，则执行步骤710。
139.示例性的，动作规范库中存储了动作类别a的关键帧a1～a3，动作类别b的关键帧b1～b3，c动作的关键帧c1～c3；若待测动作组合a对应动作类别a，且包括第一图像帧a1～a3，则将第一图像帧a1～a3与关键帧a1～a3进行匹配，当第一图像帧a1～a3的画面信息、时间信息等特征信息与关键帧a1～a3的特征信息完全匹配，则判定待测动作组合a不缺失关键帧。
140.步骤709，规范检测模块确定视频流中的生产动作不合格。
141.步骤710，时序检测模块根据图像帧的时间戳，对待测图像帧对应的动作类别进行排序，得到实际动作顺序。
142.示例性的，第一图像帧a(时间戳0：01)对应放螺栓动作，第一图像帧b(时间戳0：02)对应放螺钉动作，第一图像帧c(时间戳0：03)对应打螺钉动作，则时序检测模块对第一图像帧a/b/c按时间戳进行排列，得到实际动作执行顺序：放螺栓-放螺钉-打螺钉。
143.步骤711，时序检测模块基于至少一种设定动作顺序，对实际动作顺序进行时序检测；若检测到实际动作顺序与设定动作顺序不匹配，则执行步骤712；若检测到实际动作顺序与设定动作顺序匹配，则执行步骤713。
144.示例性的，时序逻辑库中存储有设定动作顺序1(动作1-动作2-动作3)、设定动作顺序2(动作1-动作3-动作2)、设定动作顺序3(动作2-动作1-动作3)；若实际动作顺序为动作2-动作1-动作3，则处理装置检测到实际动作顺序符合设定动作顺序3，若实际动作顺序为动作3-动作2-动作1，则时序检测模块确定视频流中的生产动作不合格。
145.步骤712，时序检测模块确定视频流中的生产动作不合格。
146.步骤713，时序检测模块确定视频流中的生产动作合格。
147.应理解，步骤707、步骤708、步骤709组成了关键帧检测流程，以及步骤710、步骤711、步骤712、步骤713组成了时序逻辑检测流程，且在图7中是先进行关键帧检测再进行时序逻辑检测；在实际应用中，也可以先进行时序逻辑检测，再进行关键帧检测；也可以关键帧检测与时序逻辑检测并行进行。具体实施过程可以参照前文中对模块运行的描述，对此不再赘述。
148.另外，可以理解的，若第一图像帧组成的视频流通过图7中的各个检测流程，则说明视频流中的生产动作合格，进一步的说明出现产品质量问题较小。
149.如图8所示，以生产检测方法应用的处理装置在二次侧为例，比如采用端云结合的方式，运行画面变化检测的处理装置为终端设备，运行动作类别检测、关键帧检测以及时序逻辑检测的处理装置为云端服务器，该方法包括：
150.步骤801，终端设备的接收模块接收摄像头采集的视频流，并将视频流解析为图像帧序列。
151.示例性的，终端设备可以通过开源计算机视觉库接口，获取各个摄像头录入的视频流信息，对视频流按规定帧率进行解析。
152.步骤802，终端设备的画面检测模块基于至少一个检测区域，对视频流中连续预设数量的图像帧进行画面检测。若在连续预设数量的图像帧中检测到画面变化帧，则执行步骤803；若在连续预设数量的图像帧中未检测到画面变化帧，则执行步骤805。
153.步骤803，终端设备的画面检测模块确定连续预设数量的图像帧中的每个图像帧为第一图像帧。
154.步骤804，终端设备的发送模块将第一图像帧发送至服务器。
155.步骤805，终端设备的画面检测模块确定视频流中的生产动作不合格。
156.步骤806，服务器的接收模块接收第一图像帧。
157.步骤807，服务器的动作检测模块基于至少一个动作类别，检测每个第一图像帧对应的动作类别。若检测到无对应动作类别的第一图像帧，则执行步骤808；若检测到存在对应动作类别的第一图像帧，则执行步骤809。
158.步骤808，服务器的动作检测模块确定视频流中的生产动作不合格。
159.步骤809，服务器的规范检测模块对同一动作类别下的第一图像帧进行组合，得到至少一个待测动作组合。
160.步骤810，服务器的规范检测模块基于每个动作类别对应的关键帧组合，检测至少一个待测动作组合中是否缺失关键帧。若检测到待测动作组合中缺失关键帧，则执行步骤811；若检测到待测动作组合中不缺失关键帧，则执行步骤812。
161.步骤811，服务器的规范检测模块确定视频流中的生产动作不合格。
162.步骤812，服务器的时序检测模块根据图像帧的时间戳，对待测图像帧对应的动作类别进行排序，得到实际动作顺序。
163.步骤813，服务器的时序检测模块基于至少一种设定动作顺序，对实际动作顺序进行时序检测；若检测到实际动作顺序与设定动作顺序不匹配，则执行步骤814；若检测到实际动作顺序与设定动作顺序匹配，则执行步骤815。
164.步骤814，服务器的时序检测模块确定视频流中的生产动作不合格。
165.步骤815，服务器的时序检测模块确定视频流中的生产动作合格。
166.应理解，步骤809、步骤810、步骤811组成了关键帧检测流程，以及步骤812、步骤813、步骤814、步骤815组成了时序逻辑检测流程，且在图8中是先进行关键帧检测再进行时序逻辑检测；在实际应用中，也可以先进行时序逻辑检测，再进行关键帧检测；也可以关键帧检测与时序逻辑检测并行进行。具体实施过程可以参照前文中对模块运行的描述，对此不再赘述。
167.另外，可以理解的，若第一图像帧组成的视频流通过图8中的各个检测流程，则说明视频流中的生产动作合格，进一步的说明出现产品质量问题较小。若第一图像帧组成的视频流未通过图8中的任一检测流程，即检测到视频流中的生产动作不合格，服务器可以进一步的将动作不合格的信息发送至终端设备或者其他设备进行预警和统计，从而及时纠偏并便于后期追溯错误来源。
168.除此之外，本技术还可以分别在终端设备和服务器上运行画面变化检测、运行动作类别检测、关键帧检测以及时序逻辑检测，并将终端设备的检测结果与服务器的检测结果进行比对，相互印证，提高动作检测的准确性。
169.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
170.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
171.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
172.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
173.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种生产检测系统，其特征在于，所述系统包括处理装置和摄像头，所述处理装置包括画面检测模块和动作检测模块；所述摄像头，用于采集视频流；所述画面检测模块，用于基于至少一个检测区域，对所述视频流进行画面检测；所述动作检测模块，用于若所述画面检测模块在所述视频流中检测到第一图像帧，则基于至少一个动作类别对所述第一图像帧进行动作检测，确定所述视频流中的生产动作是否合格；其中，所述第一图像帧所在的连续预设数量的图像帧中存在画面变化帧。2.如权利要求1所述的系统，其特征在于，所述摄像头采集所述视频流；所述画面检测模块基于所述至少一个检测区域，对所述视频流中连续预设数量的图像帧进行画面检测；若所述画面检测模块在所述连续预设数量的图像帧中检测到画面变化帧，则确定所述连续预设数量的图像帧中的每个图像帧为第一图像帧；所述动作检测模块基于所述至少一个动作类别，检测每个所述第一图像帧对应的动作类别；若检测到存在对应动作类别的第一图像帧，则所述动作检测模块确定所述第一图像帧为待测图像帧；若检测到无对应动作类别的第一图像帧，则所述动作检测模块确定所述视频流中的生产动作不合格。3.如权利要求1或2所述的系统，其特征在于，所述画面检测模块，还用于若在所述视频流中未检测到所述第一图像帧，则确定所述视频流中的生产动作不合格。4.如权利要求3所述的系统，其特征在于，所述摄像头采集所述视频流；所述画面检测模块基于所述至少一个检测区域，对所述视频流中连续预设数量的图像帧进行画面检测；若在所述连续预设数量的图像帧中未检测到画面变化帧，则所述画面检测模块确定所述视频流中的生产动作不合格。5.如权利要求4所述的系统，其特征在于，所述处理装置还包括规范检测模块，所述规范检测模块，用于基于每个动作类别对应的关键帧组合，对至少一个待测动作组合进行关键帧检测，确定所述视频流中的生产动作是否合格。6.如权利要求5所述的系统，其特征在于，所述规范检测模块对同一动作类别下的第一图像帧进行组合，得到所述至少一个待测动作组合；所述规范检测模块基于每个动作类别对应的关键帧组合，检测所述至少一个待测动作组合中是否缺失关键帧；若检测到所述待测动作组合中缺失关键帧，则所述规范检测模块确定所述视频流中的生产动作不合格。7.如权利要求4-6中任一所述的系统，其特征在于，所述处理装置还包括时序检测模块；所述时序检测模块，用于基于至少一种设定动作顺序，对实际动作顺序进行时序检测，确定所述视频流中的生产动作是否合格。8.如权利要求7所述的系统，其特征在于，所述时序检测模块根据图像帧的时间戳，对
所述待测图像帧对应的动作类别进行排序，得到实际动作顺序；所述时序检测模块基于所述至少一种设定动作顺序，对所述实际动作顺序进行时序检测；若检测到所述实际动作顺序与所述设定动作顺序不匹配，则所述时序检测模块确定所述视频流中的生产动作不合格。9.如权利要求1-8中任一所述的系统，其特征在于，所述处理装置还包括存储介质；所述存储介质预存有所述动作区域库，所述动作区域库包括至少一个检测区域；所述存储介质预存有所述动作类别库，所述动作类别库包括至少一个动作类别。10.如权利要求9所述的系统，其特征在于，所述存储介质预存有动作规范库，所述动作规范库包括每个动作类别对应的关键帧组合；其中，所述关键帧组合包括至少一个关键帧。11.如权利要求10所述的系统，其特征在于，所述存储介质预存有时序逻辑库，所述时序逻辑库包括至少一种设定动作顺序。

技术总结
本申请提供一种生产检测系统，该系统包括处理装置和摄像头，处理装置包括画面检测模块和动作检测模块；摄像头，用于采集视频流；画面检测模块，用于基于至少一个检测区域，对视频流进行画面检测；动作检测模块，用于若画面检测模块在视频流中检测到第一图像帧，则基于至少一个动作类别对第一图像帧进行动作检测，确定视频流中的生产动作是否合格；其中，第一图像帧所在的连续预设数量的图像帧中存在画面变化帧；本申请提供的生产检测系统通过对视频流进行画面检测和动作检测，检测视频流中的生产动作是否合格，进而通过检测生产动作是否合格来判断产品的良品率，加快检测速度，提高产品的良品率。品的良品率。品的良品率。


技术研发人员：陈晶 何东灵 邹丽霞 李文达
受保护的技术使用者：华为数字能源技术有限公司
技术研发日：2023.05.30
技术公布日：2023/9/14