一种交互式数字化生产管理系统及管理方法与流程

1.本发明涉及数字化生产管理技术领域，尤其涉及一种交互式数字化生产管理系统及管理方法。


背景技术：

2.在目前以人操作为主的工业生产中，特别是装配线生产中，通常是每位工人按照本岗位纸质的工艺文件和培训要求操作气动或者电动风枪等设备与工具，将指定的零部件装载到产品的指定位置上，并通过人工或者检验设备进行分步或者最终检查；装配线上多人合作，大家都采用类似的工作方式分别将各自不同的部件组装上去，最后共同组合出一个个完整的合格产品。
3.然而由于装配线生产是多人共同合作分段实施，最终产品的质量和产量非常依赖团队内每个人都严格按照操作工艺文件和培训技能要求进行装配和检验，同时与每个人的工作熟练度、工作积极性与认真程度、每段工作分配的合理性与均衡性等诸多方面关联显著，任何一个操作点的卡堵都将严重影响产品产量、质量与效率的提升，并且装配过程中出现任何问题或者需要针对性地提示帮助基本靠人一级级的口头书面传递，既不准确也比较耽误时间。
4.目前，缺乏一种针对员工进行有效生产指导和监督的交互式数字管理系统或方法；现有的生产管理方法主要针对工人事前进行培训管理，其虽然能够有效提高工人的工作专业度，但培训时间较长、培训成本较高，难以满足现有工人岗位流动性大或生产经常需要换线的生产场景；此外，现有生产管理方法缺乏对工作中作业人员的有效监控，致使生产线分工存在不合理性和不均衡性，进而导致整个装配生产线效率较低；为此，本发明提出一种交互式数字化生产管理系统及管理方法。


技术实现要素：

5.本发明的目的是解决现有技术中存在的缺陷，而提出的一种交互式数字化生产管理系统及管理方法。
6.为了实现上述目的，本发明采用了如下技术方案：
7.一种交互式数字化生产管理系统，所述系统包括第一数据采集模块、数据库服务器、交互式数字智能终端和条码扫描设备；
8.其中，所述交互式数字智能终端包括信息处理模块和可视化显示模块；
9.第一数据采集模块，用于采集位于操作感应区的当前人脸数据；
10.数据库服务器，用于将所述当前人脸数据与预存于数据库服务器内的员工人脸大数据进行认证分析，以生成终端控制指令；所述终端控制指令包括设备唤醒指令和识别错误指令；
11.信息处理模块，用于接收所述终端控制指令，并根据所述设备唤醒指令唤醒启动加工选择选项和plc程序控制器的控制柜，或根据识别错误指令进行认证错误反馈；所述
plc程序控制器的控制柜基于设备唤醒指令启动条码扫描设备和装配操作装置，并按指令要求控制相关设备和指示器具执行相应操作；所述相关设备包括但不限于各类数字化传感器、连接电路、打印机、数控装配检验设备、防盗设备、控制开关和指示灯；
12.条码扫描设备，用于采集半制品识别码，并上传至所述数据库服务器；
13.所述数据库服务器，还用于针对所述半制品识别码进行数据匹配，以获取对应类型半制品的对应操作工艺视频和装配要求；
14.所述可视化显示模块，用于基于对应类型半制品的对应操作工艺视频向本岗位工人进行图像可视化播放显示，以及文字和语音提示，指示本岗位工人对对应类型半制品进行装配操作。
15.进一步地，所述交互式数字智能终端还包括上报反馈模块；所述上报反馈模块获取所述本岗位工人对对应类型半制品进行装配操作的过程中输入的作业反馈信息，所述作业反馈信息包括操作问题信息、支援请求信息和报表上传信息。
16.进一步地，所述数据库服务器还用于识别作业反馈信息类型，并基于不同所述作业反馈信息类型进行数据调取和信息通知；
17.若识别为操作问题信息，则获取对应问题信息，并基于所述对应问题信息调取对应问题答复，并进行可视化反馈；
18.若识别为支援请求信息和报表上传信息，则确定信息发送岗位，并基于信息发送岗位将所述支援请求信息和报表上传信息发送至对应部分管理终端。
19.进一步地，还包括：
20.第二数据采集模块，用于实时采集获取所述本岗位工人的场景影像数据；所述场景影像数据包括当前半制品的装配状态的环节影像；
21.所述场景影像数据还包括工人行为状态信息，所述工人行为状态信息包含装配动作信息、装配完成环节量信息、装配时长信息和头部状态信息，所述头部状态信息包括眼球影像信息和面部影像信息。
22.进一步地，所述交互式数字智能终端还包括操作分析处理模块；
23.所述操作分析处理模块，用于调取所述对应类型半制品的对应操作工艺视频，并实时获取场景影像数据，基于所述对应类型半制品的对应操作工艺视频和场景影像数据进行操作分析处理，并基于其进行误操作判断，根据误操作判断结果进行误操作矫正反馈、同步和次同步操作指导；
24.所述操作分析处理的具体过程如下：
25.实时获取所述当前半制品的装配状态的环节影像，并根据预设规则截选所述当前半制品的装配状态的环节影像的状态关键帧，并将其作为第一比对数据；
26.所述预设规则的逻辑如下：获取预设时间范围下的当前半制品的装配状态的环节影像，将预设时间范围的起始时间点t获得的当前半制品的装配状态的环节影像标记为q1，同时以t时刻为时间基准搜索t+n时刻当前半制品的装配状态的环节影像q2、q2、q3、
…
、qm(m∈1、2、3
…
)，若存在一个m时刻当前半制品的装配状态的环节影像qm与m-1时刻当前半制品的装配状态的环节影像q
m-1
不同，则将m-1时刻当前半制品的装配状态的环节影像q
m-1
设定为状态关键帧，反之若不存在一个m时刻当前半制品的装配状态的环节影像qm与m-1时刻当前半制品的装配状态的环节影像q
m-1
不同，则将起始时间点t获得的当前半制品的装配状态
为非必要头部转动次数；
44.所述非必要头部转动次数获取过程如下：设定n个装配工作区域，基于n个装配工作区域提取面部影像信息中的每帧数据，若存在一帧面部影像信息无法识别，则记为一次非必要头部转动；
45.所述非必要眼球漂移次数获取过程如下：将每帧眼球影像信息划分为眼球区域和眼白区域，实时计算每帧眼球影像信息眼球区域和眼白区域面积，若存在一次眼白区域面积大于眼球区域面积，则记为一次非必要眼球漂移次数；
46.设置效率梯度阈值th1和th2，其中th1＞th2，将所述适应度－效率影响系数p(x)与效率梯度阈值th1和th2进行比对分析，若适应度－效率影响系数p(x)大于等于th1，则将其标记为一级装配效率等级，若适应度－效率影响系数p(x)小于th1且大于等于th2，则标记为二级装配效率等级，若适应度－效率影响系数p(x)小于th2，则标记为三级装配效率等级。
47.一种交互式数字化生产管理方法，所述方法包括：
48.s201：获取第一数据采集模块采集到的当前人脸数据，并将其发送至数据库服务器，以获取终端控制指令，所述数据库服务器将所述当前人脸数据与预存于数据库服务器内的员工人脸大数据进行认证分析，以生成终端控制指令；所述终端控制指令包括设备唤醒指令和识别错误指令；
49.s202：接收所述终端控制指令，并根据所述设备唤醒指令唤醒启动加工选择选项和plc程序控制器的控制柜，或根据识别错误指令进行认证错误反馈；所述plc程序控制器的控制柜基于设备唤醒指令启动条码扫描设备和装配操作装置，并按指令要求控制相关设备和指示器具执行相应操作；所述相关设备包括但不限于各类数字化传感器、连接电路、打印机、数控装配检验设备、防盗设备、控制开关和指示灯；
50.s203：接收所述条码扫描设备采集到的半制品识别码，并将其发送至所述数据库服务器，以获取对应类型半制品的对应操作工艺视频；
51.所述对应操作工艺视频的获取过程如下：
52.提取半制品识别码在所述数据库服务器中的对应操作序号；
53.基于所述数据库服务器预存序号表针对所述对应操作序号匹配搜索，以确定对应视频序号；
54.基于所述对应视频序号提取对应类型半制品的对应操作工艺视频；
55.s204：基于所述对应操作工艺视频向本岗位工人进行图像可视化播放显示，以及文字和语音提示，指示本岗位工人对对应类型半制品进行装配操作。
56.进一步地，还包括：
57.获取所述本岗位工人对对应类型半制品进行装配操作的过程中输入的作业反馈信息，所述作业反馈信息包括操作问题信息、支援请求信息和报表上传信息；
58.识别所述作业反馈信息类型，并基于不同所述作业反馈信息类型进行数据调取和信息通知；
59.若识别为操作问题信息，则获取对应问题信息，并基于所述对应问题信息调取对应问题答复，并进行可视化反馈；
60.若识别为支援请求信息和报表上传信息，则确定信息发送岗位，并基于信息发送
岗位将所述支援请求信息和报表上传信息发送至对应部分管理终端。
61.相比于现有技术，本发明的有益效果在于：
62.1、本发明提出的一种交互式数字化生产管理系统及管理方法，通过识别装配产品的识别码调取对应工序的操作工艺视频，可以帮助每个岗位的操作工更方便简化地完成自己的操作和相关信息获取，大大简化了工人的操作，提高了团队的合作效率；
63.2、本发明提出的一种交互式数字化生产管理系统及管理方法，通过根据场景影像数据和对应类型半制品的对应操作工艺视频进行操作分析处理，并基于其进行误操作反馈、实时同步和次同步操作指导，有利于实现对新手员工进行事中培训及作业，有利于满足现有工人岗位流动性大或生产经常需要换线的生产场景，极大程度提高了整个装配线的生产效率；此外，本发明还通过对误操作判断结果和工人行为状态信息进行分析处理，实现了对装配线作业人员的有效监督，同时分析得出不同环节不同操作点工人的装配效率层级，依据其进行岗位匹配，有利于对不同程度的作业人员进行高效合理安排，从而解决生产线分工存在不合理性和不均衡性的问题，进一步提高整个装配生产线的生产效率。
附图说明
64.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
65.图1为本发明实施例一提出的一种交互式数字化生产管理系统的整体结构框图；
66.图2为本发明实施例一提出的一种交互式数字化生产管理系统的整体结构框图；
67.图3为本发明实施例二提出的一种交互式数字化生产管理系统的整体结构框图；
68.图4为本发明实施例二提出的一种交互式数字化生产管理系统的整体结构框图；
69.图5为本发明实施例三提出的一种交互式数字化生产管理方法的整体流程图。
具体实施方式
70.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
71.在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
72.实施例一
73.请参阅图1和图2所示，本实施例公开提供了一种交互式数字化生产管理系统，所述系统包括第一数据采集模块110、数据库服务器130、交互式数字智能终端120和条码扫描设备140；所述第一数据采集模块110、数据库服务器130和条码扫描设备140与交互式数字智能终端120无线通信连接；
74.其中，所述交互式数字智能终端120包括信息处理模块121和可视化显示模块122；
75.需要说明的是：所述交互式数字智能终端通过互联网与各负责部门的部分管理终端通信连接；
76.第一数据采集模块110，用于采集位于操作感应区的当前人脸数据；
77.数据库服务器130，用于将所述当前人脸数据与预存于数据库服务器130内的员工人脸大数据进行认证分析，以生成终端控制指令；所述终端控制指令包括设备唤醒指令和识别错误指令；
78.信息处理模块121，用于接收所述终端控制指令，并根据所述设备唤醒指令唤醒启动加工选择选项和plc程序控制器的控制柜，或根据识别错误指令进行认证错误反馈；所述plc程序控制器的控制柜基于设备唤醒指令启动条码扫描设备和装配操作装置，并按指令要求控制相关设备和指示器具执行相应操作；所述相关设备包括但不限于各类数字化传感器、连接电路、打印机、数控装配检验设备、防盗设备、控制开关和指示灯；
79.条码扫描设备140，用于采集半制品识别码，并上传至所述数据库服务器130；
80.所述数据库服务器130，还用于针对所述半制品识别码进行数据匹配，以获取对应类型半制品的对应操作工艺视频和装配要求；
81.所述可视化显示模块122，用于基于对应类型半制品的对应操作工艺视频向本岗位工人进行图像可视化播放显示，以及文字和语音提示，指示本岗位工人对对应类型半制品进行装配操作；
82.在本实施例中，所述交互式数字智能终端120还包括上报反馈模块123；
83.所述上报反馈模块123获取所述本岗位工人对对应类型半制品进行装配操作的过程中输入的作业反馈信息，所述作业反馈信息包括操作问题信息、支援请求信息和报表上传信息；
84.在本实施例中，所述数据库服务器130还用于识别所述作业反馈信息类型，并基于不同所述作业反馈信息类型进行数据调取和信息通知；
85.具体的，若识别为操作问题信息，则获取对应问题信息，并基于所述对应问题信息调取对应问题答复，并进行可视化反馈；
86.若识别为支援请求信息和报表上传信息，则确定信息发送岗位，并基于信息发送岗位将所述支援请求信息和报表上传信息发送至对应部分管理终端。
87.实施例二
88.请参阅图3和图4所示，基于上述实施例一，针对上述方案进行进一步改进，本实施例公开提供了一种交互式数字化生产管理系统，所述系统还包括：
89.第二数据采集模块150，用于实时采集获取所述本岗位工人的场景影像数据；所述场景影像数据包括当前半制品的装配状态的环节影像；所述第二数据采集模块150与交互式数字智能终端120无线通信连接；
90.在本实施例中，所述交互式数字智能终端120还包括操作分析处理模块124；
91.所述操作分析处理模块124，用于调取所述对应类型半制品的对应操作工艺视频，同时实时获取所述场景影像数据，基于所述对应类型半制品的对应操作工艺视频和场景影像数据进行操作分析处理，并基于其进行误操作判断，根据误操作判断结果进行误操作矫正反馈、同步和次同步操作指导；
92.具体地，所述操作分析处理的具体过程如下：
93.实时获取所述当前半制品的装配状态的环节影像，并根据预设规则截选所述当前半制品的装配状态的环节影像的状态关键帧，并将其作为第一比对数据；
94.具体的，所述预设规则的逻辑如下：获取预设时间范围下的当前半制品的装配状
态的环节影像，将预设时间范围的起始时间点t获得的当前半制品的装配状态的环节影像标记为q1，同时以t时刻为时间基准搜索t+n时刻当前半制品的装配状态的环节影像q2、q2、q3、
…
、qm(m∈1、2、3
…
)，若存在一个m时刻当前半制品的装配状态的环节影像qm与m-1时刻当前半制品的装配状态的环节影像q
m-1
不同，则将m-1时刻当前半制品的装配状态的环节影像q
m-1
设定为状态关键帧，反之若不存在一个m时刻当前半制品的装配状态的环节影像qm与m-1时刻当前半制品的装配状态的环节影像q
m-1
不同，则将起始时间点t获得的当前半制品的装配状态的环节影像标记为q1并设定为状态关键帧。
95.确定当前操作环节，并基于其生成装配环节名，同时根据所述装配环节名搜索数据库服务器内的对应环节选取指令，以调取与当前操作环节相一致的对应操作环节的产品状态画面，将其作为第二比对数据；
96.在这需要说明的是：所述数据库服务器130内存储有任一产品不同装配环节的装配环节名以及对应环节选取指令；在这还需要说明的是：当前操作环节基于第一比对数据确定，其具体是将第一比对数据输入预设机器学习模型以生成相应的装配环节名；所述机器学习模型具体构建过程如下：获取若干个产品的不同环节的装配环节影像；针对每一产品的不同装配环节的装配环节影像进行产品类型和装配环节名标注，以生成训练集和测试集；构建分类器，将所述训练集输入所述分类器进行学习训练，并基于所述测试集进行模型验证，以生成符合要求的所述机器学习模型；通过机器学习模型进行搜索，极大程度提高了处理速度，所述分类器具体为svm、决策树，随机森林，朴素贝叶斯或knn中的一种。
97.将所述第一比对数据和第二比对数据进行向量转化，并基于相似度量模型进行计算，以获取相对度量系数；
98.具体的，所述相似度量模型的公式如下：式中：cosθ为相对度量系数，区间[0,1]；a为向量转化的第一比对数据；b为向量转化的第二比对数据；
[0099]
若相似度量系数满足预设阈值区间，则判断操作正确，即无误操作发生；
[0100]
反之，若相似度量系数不满足预设阈值区间，则判断发生误操作；
[0101]
根据误操作判断结果进行误操作语音矫正，同时显示同步和次同步操作指导画面。
[0102]
通过根据场景影像数据和对应类型半制品的对应操作工艺视频进行操作分析处理，并基于其进行误操作反馈、实时了对本岗位工人的同步和次同步操作指导，本发明能够对新手工人误操作进行实时反馈和指导，使其能够快速适应和熟悉不同半制品生产环节的生产线装配过程，无需对新手员工进行事前培训，极大程度提高了整个装配线的生产效率，有利于满足现有工人岗位流动性大或生产经常需要换线的生产场景。
[0103]
在本实施例中，所述场景影像数据还包括工人行为状态信息，所述工人行为状态信息包含装配动作信息、装配完成环节量信息、装配时长信息和头部状态信息，所述头部状态信息包括眼球影像信息和面部影像信息；
[0104]
在本实施例中，所述交互式数字智能终端120还包括监测分析处理模块125和岗位匹配模块126；
[0105]
所述监测分析处理模块125，用于获取所述操作分析处理模块得到的误操作判断结果，以及获取工人行为状态信息，并根据其进行作业效率分析处理，以获取每个不同操作
点装配工人的装配效率层级，所述装配效率层级包括一级装配效率等级、二级装配效率等级和三级装配效率等级；
[0106]
所述岗位匹配模块126，用于将根据每位工人的所述装配效率层级与预存储操作点装配效率进行岗位匹配，以实现合理性和均衡性的岗位调整安排；所述预存储操作点装配效率基于整个装配车间的不同产品及不同装配参数计算得到；
[0107]
具体地，所述作业效率分析处理的具体过程如下：
[0108]
基于误操作判断结果和工人行为状态信息计算适应度－效率影响系数p(x),式中：w为权重影响因子，
[0109]
w1》w2》w3》w4，a表示误操作判断结果(为方便计算针对误操作判断结果将其取固定值1，将无误操作判断结果取固定值2)，b为装配完成环节量信息，c为装配时长数据，d为工作认真度数据；所述工作认真度数据基于所述头部状态信息分析处理得到，其具体处理过程如下：
[0110]
基于眼球影像信息和面部影像信息获取非必要眼球漂移次数和非必要头部转动次数，计算工作认真度数据
[0111]
d＝e+(w5*m1+w6*m2)；式中：w为权重影响因子，
[0112]
w5》w6；e为额定基础数值，所述额定基础数值e≥10，m1为非必要眼球漂移次数，m2为非必要头部转动次数；
[0113]
所述非必要头部转动次数获取过程如下：设定n个装配工作区域，基于n个装配工作区域提取面部影像信息中的每帧数据，若存在一帧面部影像信息无法识别，则记为一次非必要头部转动；
[0114]
所述非必要眼球漂移次数获取过程如下：将每帧眼球影像信息划分为眼球区域和眼白区域，实时计算每帧眼球影像信息眼球区域和眼白区域面积，若存在一次眼白区域面积大于眼球区域面积，则记为一次非必要眼球漂移次数；
[0115]
需要解释的是：计算每帧眼球影像信息眼球区域和眼白区域面积的过程具体如下：基于预设眼睛区分模板针对每帧眼球影像信息进行区域分割，获取眼睛区域图像，对眼睛区域图像进行灰度化处理，并根据预设像素阈值区分眼球区域和眼白区域，进一步说明就是，将低于预设像素阈值的部分作为眼白区域，将高于预设像素阈值的部分作为眼球区域，最后分别每个遍历眼球区域和眼白区域的像素数量，并根据眼球区域和眼白区域的像素数量得到眼球区域和眼白区域的面积，需要说明的是，所述眼球区域和眼白区域的面积非实际物理面积，还需要说明的是，求得的眼球区域和眼白区域的面积非实际物理面积，所述预设眼睛区分模板为预设置眼睛大小的标准模板；
[0116]
需要说明一点的是：适应度－效率影响系数p(x)越大说明工作效率越高，即工人装配越熟练；反之，适应度－效率影响系数p(x)越小说明工作效率越低，即工人装配岗位适应度较低；
[0117]
设置效率梯度阈值th1和th2，其中th1＞th2，将所述适应度－效率影响系数p(x)与效率梯度阈值th1和th2进行比对分析，若适应度－效率影响系数p(x)大于等于th1，则将其标记为一级装配效率等级，若适应度－效率影响系数p(x)小于th1且大于等于th2，则标记为二级装配效率等级，若适应度－效率影响系数p(x)小于th2，则标记为三级装配效率等
级；
[0118]
需要说明的是：一级装配效率等级＞二级装配效率等级＞三级装配效率等级，即说明处于一级装配效率等级的工人装配效率高且适应度高，处于二级装配效率等级的工人装配效率适中且适应度一般；处于三级装配效率等级的工人装配效率较低且适应度较低。
[0119]
通过对误操作判断结果和工人行为状态信息进行分析处理，能够分析得出不同环节不同操作点工人的装配效率层级，之后基于装配效率层级和预存储操作点装配效率进行岗位匹配，本发明有利于对作业人员的有效监督评价和合理安排，从而解决生产线分工存在不合理性和不均衡性的问题，进而进一步提高整个装配生产线的生产效率。
[0120]
实施例三
[0121]
请参阅图5所示，本实施例公开提供了一种交互式数字化生产管理方法，所述方法应用于交互式数字智能终端中，包括：
[0122]
s201：获取第一数据采集模块采集到的当前人脸数据，并将其发送至数据库服务器，以获取终端控制指令，所述数据库服务器将所述当前人脸数据与预存于数据库服务器内的员工人脸大数据进行认证分析，以生成终端控制指令；所述终端控制指令包括设备唤醒指令和识别错误指令；
[0123]
具体的，所述第一数据采集模块具体为摄像头；
[0124]
需要说明的是：所述设备唤醒指令根据人脸数据认证正确结果自动生成；所述识别错误指令根据人脸数据认证错误结果自动生成；
[0125]
s202：接收所述终端控制指令，并根据所述设备唤醒指令唤醒启动加工选择选项和plc程序控制器的控制柜，或根据识别错误指令进行认证错误反馈；所述plc程序控制器的控制柜基于设备唤醒指令启动条码扫描设备和装配操作装置，并按指令要求控制相关设备和指示器具执行相应操作；所述相关设备包括但不限于各类数字化传感器、连接电路、打印机、数控装配检验设备、防盗设备、控制开关和指示灯；
[0126]
需要说明的是：所述装配操作装置用于对半制品进行装配，所述操作装置具体为气动或电动装配装置；
[0127]
还需要说明的是：本发明基于多分工式装配流水线研发，该多分工式装配流水线基于某一完整合格产品进行分段式的半制品组装作业，因此，上述所述对应操作工艺视频具体是指某一产品的不同生产环节，即不同操作点的对应半制品装配过程的演示视频；同时需要说明一点的是，若认证分析显示识别错误指令，则表明身份认证不一致，则认定当前工人不具备本岗位的操作资质，则无法启动对应操作点的气动或电动装配装置；通过对生产线工人进行身份认证，有利于防止工人误启动或非法启动非本岗位的装配装置；
[0128]
s203：接收所述条码扫描设备采集到的半制品识别码，并将其发送至所述数据库服务器，以获取对应类型半制品的对应操作工艺视频；
[0129]
具体地，所述对应操作工艺视频的获取过程如下：
[0130]
提取半制品识别码在所述数据库服务器中的对应操作序号；
[0131]
基于所述数据库服务器预存序号表针对所述对应操作序号匹配搜索，以确定所述对应视频序号；
[0132]
基于所述对应视频序号提取对应类型半制品的对应操作工艺视频；
[0133]
s204：基于所述对应操作工艺视频向本岗位工人进行图像可视化播放显示，以及
文字和语音提示，指示本岗位工人对对应类型半制品进行装配操作。
[0134]
在本实施例中，所述方法还包括：
[0135]
获取所述本岗位工人对对应类型半制品进行装配操作的过程中输入的作业反馈信息，所述作业反馈信息包括操作问题信息、支援请求信息和报表上传信息；
[0136]
识别所述作业反馈信息类型，并基于不同所述作业反馈信息类型进行数据调取和信息通知；
[0137]
需要说明的是：若识别为操作问题信息，则获取对应问题信息，并基于所述对应问题信息调取对应问题答复，并进行可视化反馈；
[0138]
若识别为支援请求信息和报表上传信息，则确定信息发送岗位，并基于信息发送岗位将所述支援请求信息和报表上传信息发送至对应部分管理终端。
[0139]
需要说明的是：上述实施例中的公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数以及阈值选取由本领域的技术人员根据实际情况进行设置。
[0140]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种交互式数字化生产管理系统，其特征在于，所述系统包括第一数据采集模块、数据库服务器、交互式数字智能终端和条码扫描设备；其中，所述交互式数字智能终端包括信息处理模块和可视化显示模块；第一数据采集模块，用于采集位于操作感应区的当前人脸数据；数据库服务器，用于将所述当前人脸数据与预存于数据库服务器内的员工人脸大数据进行认证分析，以生成终端控制指令；所述终端控制指令包括设备唤醒指令和识别错误指令；信息处理模块，用于接收所述终端控制指令，并根据所述设备唤醒指令唤醒启动加工选择选项和plc程序控制器的控制柜，或根据识别错误指令进行认证错误反馈；所述plc程序控制器的控制柜基于设备唤醒指令启动条码扫描设备和装配操作装置，并按指令要求控制相关设备和指示器具执行相应操作；条码扫描设备，用于采集半制品识别码，并上传至所述数据库服务器；所述数据库服务器，还用于针对所述半制品识别码进行数据匹配，以获取对应类型半制品的对应操作工艺视频和装配要求；所述可视化显示模块，用于基于对应类型半制品的对应操作工艺视频向本岗位工人进行图像可视化播放显示，以及文字和语音提示，指示本岗位工人对对应类型半制品进行装配操作。2.根据权利要求1所述的一种交互式数字化生产管理系统，其特征在于，所述交互式数字智能终端还包括上报反馈模块；所述上报反馈模块获取所述本岗位工人对对应类型半制品进行装配操作的过程中输入的作业反馈信息，所述作业反馈信息包括操作问题信息、支援请求信息和报表上传信息。3.根据权利要求2所述的一种交互式数字化生产管理系统，其特征在于，所述数据库服务器还用于识别作业反馈信息类型，并基于不同所述作业反馈信息类型进行数据调取和信息通知；若识别为操作问题信息，则获取对应问题信息，并基于所述对应问题信息调取对应问题答复，并进行可视化反馈；若识别为支援请求信息和报表上传信息，则确定信息发送岗位，并基于信息发送岗位将所述支援请求信息和报表上传信息发送至对应部分管理终端。4.根据权利要求3所述的一种交互式数字化生产管理系统，其特征在于，还包括：第二数据采集模块，用于实时采集获取所述本岗位工人的场景影像数据；所述场景影像数据包括当前半制品的装配状态的环节影像；所述场景影像数据还包括工人行为状态信息，所述工人行为状态信息包含装配动作信息、装配完成环节量信息、装配时长信息和头部状态信息，所述头部状态信息包括眼球影像信息和面部影像信息。5.根据权利要求4所述的一种交互式数字化生产管理系统，其特征在于，所述交互式数字智能终端还包括操作分析处理模块；所述操作分析处理模块，用于调取所述对应类型半制品的对应操作工艺视频，并实时获取场景影像数据，基于所述对应类型半制品的对应操作工艺视频和场景影像数据进行操作分析处理，并基于其进行误操作判断，根据误操作判断结果进行误操作矫正反馈、同步和
次同步操作指导；所述操作分析处理的具体过程如下：实时获取所述当前半制品的装配状态的环节影像，并根据预设规则截选所述当前半制品的装配状态的环节影像的状态关键帧，并将其作为第一比对数据；所述预设规则的逻辑如下：获取预设时间范围下的当前半制品的装配状态的环节影像，将预设时间范围的起始时间点t获得的当前半制品的装配状态的环节影像标记为q1，同时以t时刻为时间基准搜索t+n时刻当前半制品的装配状态的环节影像q2、q2、q3、
…
、q
m
(m∈1、2、3
…
)，若存在一个m时刻当前半制品的装配状态的环节影像q
m
与m-1时刻当前半制品的装配状态的环节影像q
m-1
不同，则将m-1时刻当前半制品的装配状态的环节影像q
m-1
设定为状态关键帧，反之若不存在一个m时刻当前半制品的装配状态的环节影像q
m
与m-1时刻当前半制品的装配状态的环节影像q
m-1
不同，则将起始时间点t获得的当前半制品的装配状态的环节影像标记为q1并设定为状态关键帧；确定当前操作环节，并基于其生成装配环节名，同时根据所述装配环节名搜索数据库服务器内的对应环节选取指令，以调取与当前操作环节相一致的对应操作环节的产品状态画面，将其作为第二比对数据；所述数据库服务器内存储有任一产品不同装配环节的装配环节名以及对应环节选取指令；当前操作环节基于第一比对数据确定，其具体是将第一比对数据输入预设机器学习模型以生成相应的装配环节名；所述机器学习模型具体构建过程如下：获取若干个产品的不同环节的装配环节影像；针对每一产品的不同装配环节的装配环节影像进行产品类型和装配环节名标注，以生成训练集和测试集；构建分类器，将所述训练集输入所述分类器进行学习训练，并基于所述测试集进行模型验证，以生成符合要求的所述机器学习模型；通过机器学习模型进行搜索；将所述第一比对数据和第二比对数据进行向量转化，并基于相似度量模型进行计算，以获取相对度量系数；所述相似度量模型的公式如下：式中：cosθ为相对度量系数，区间[0,1]；a为向量转化的第一比对数据；b为向量转化的第二比对数据；若相似度量系数满足预设阈值区间，则判断操作正确，即无误操作发生；反之，若相似度量系数不满足预设阈值区间，则判断发生误操作；根据误操作判断结果进行误操作语音矫正，同时显示同步和次同步操作指导画面。6.根据权利要求5所述的一种交互式数字化生产管理系统，其特征在于，所述交互式数字智能终端还包括监测分析处理模块和岗位匹配模块；所述监测分析处理模块，用于获取所述操作分析处理模块得到的误操作判断结果，以及获取工人行为状态信息，并根据其进行作业效率分析处理，以获取每个不同操作点装配工人的装配效率层级，所述装配效率层级包括一级装配效率等级、二级装配效率等级和三级装配效率等级；所述岗位匹配模块，用于将根据每位工人的所述装配效率层级与预存储操作点装配效率进行岗位匹配，以实现合理性和均衡性的岗位调整安排；所述预存储操作点装配效率基于整个装配车间的不同产品及不同装配参数计算得到；
所述作业效率分析处理的具体过程如下：基于误操作判断结果和工人行为状态信息计算适应度－效率影响系数p(x),式中：w为权重影响因子，w1>w2>w3>w4，a表示误操作判断结果，b为装配完成环节量信息，c为装配时长数据，d为工作认真度数据；所述工作认真度数据基于头部状态信息分析处理得到，其具体处理过程如下：基于眼球影像信息和面部影像信息获取非必要眼球漂移次数和非必要头部转动次数，计算工作认真度数据d＝e+(w5*m1+w6*m2)；式中：w为权重影响因子，w5>w6；e为额定基础数值，所述额定基础数值e≥10，m1为非必要眼球漂移次数，m2为非必要头部转动次数；所述非必要头部转动次数获取过程如下：设定n个装配工作区域，基于n个装配工作区域提取面部影像信息中的每帧数据，若存在一帧面部影像信息无法识别，则记为一次非必要头部转动；所述非必要眼球漂移次数获取过程如下：将每帧眼球影像信息划分为眼球区域和眼白区域，实时计算每帧眼球影像信息眼球区域和眼白区域面积，若存在一次眼白区域面积大于眼球区域面积，则记为一次非必要眼球漂移次数；设置效率梯度阈值th1和th2，其中th1＞th2，将所述适应度－效率影响系数p(x)与效率梯度阈值th1和th2进行比对分析，若适应度－效率影响系数p(x)大于等于th1，则将其标记为一级装配效率等级，若适应度－效率影响系数p(x)小于th1且大于等于th2，则标记为二级装配效率等级，若适应度－效率影响系数p(x)小于th2，则标记为三级装配效率等级。7.一种交互式数字化生产管理方法，其基于权利要求6所述的一种交互式数字化生产管理系统实现，其特征在于，所述方法包括：s201：获取第一数据采集模块采集到的当前人脸数据，并将其发送至数据库服务器，以获取终端控制指令，所述数据库服务器将所述当前人脸数据与预存于数据库服务器内的员工人脸大数据进行认证分析，以生成终端控制指令；所述终端控制指令包括设备唤醒指令和识别错误指令；s202：接收所述终端控制指令，并根据所述设备唤醒指令唤醒启动加工选择选项和plc程序控制器的控制柜，或根据识别错误指令进行认证错误反馈；所述plc程序控制器的控制柜基于设备唤醒指令启动条码扫描设备和装配操作装置，并按指令要求控制相关设备和指示器具执行相应操作；s203：接收所述条码扫描设备采集到的半制品识别码，并将其发送至所述数据库服务器，以获取对应类型半制品的对应操作工艺视频；所述对应操作工艺视频的获取过程如下：提取半制品识别码在所述数据库服务器中的对应操作序号；基于所述数据库服务器预存序号表针对所述对应操作序号匹配搜索，以确定对应视频序号；基于所述对应视频序号提取对应类型半制品的对应操作工艺视频；
s204：基于所述对应操作工艺视频向本岗位工人进行图像可视化播放显示，以及文字和语音提示，指示本岗位工人对对应类型半制品进行装配操作。8.根据权利要求7所述的一种交互式数字化生产管理方法，其特征在于，还包括：获取所述本岗位工人对对应类型半制品进行装配操作的过程中输入的作业反馈信息，所述作业反馈信息包括操作问题信息、支援请求信息和报表上传信息；识别所述作业反馈信息类型，并基于不同所述作业反馈信息类型进行数据调取和信息通知；若识别为操作问题信息，则获取对应问题信息，并基于所述对应问题信息调取对应问题答复，并进行可视化反馈；若识别为支援请求信息和报表上传信息，则确定信息发送岗位，并基于信息发送岗位将所述支援请求信息和报表上传信息发送至对应部分管理终端。

技术总结
本发明公开了一种交互式数字化生产管理系统及管理方法，属于数字化生产管理技术领域，包括：第一数据采集模块采集当前人脸数据；数据库服务器基于当前人脸数据进行认证分析，以生成终端控制指令；信息处理模块接收终端控制指令，并根据设备唤醒指令唤醒加工选择选项，或根据识别错误指令进行认证错误反馈；条码扫描设备采集半制品识别码；数据库服务器针对半制品识别码进行数据匹配，获取对应操作工艺视频；可视化显示模块对对应操作工艺视频播放显示；上报反馈模块获取工人在对对应类型半制品进行装配操作过程中输入的作业反馈信息，并进行数据调取和信息通知；本发明有利于帮助工人更方便地完成自己的装配、相关信息获取与反馈需要上报。反馈需要上报。反馈需要上报。


技术研发人员：钱有恒 郑文明 徐斌 邵建中 李漫婷
受保护的技术使用者：浙江乐恒动力科技股份有限公司
技术研发日：2023.04.19
技术公布日：2023/7/21