一种基于智能机器人的综合服务交互系统及方法与流程

1.本发明涉及智能机器人领域，具体为一种基于智能机器人的综合服务交互系统及方法。


背景技术：

2.在城市轨道交通运营过程中，由于整个城市轨道交通系统异常复杂，任何形式的故障都会造成一定程度的损失，根据道路交通行业调查数据统计显示，重特大交通事故中，因疲劳驾驶造成的事故所占比列达到40％，是发生重特大交通事故的三大原因之一，在引发交通事故死亡事件中所占比例高达21％，因此为了有效地保障地铁运营的稳定性与可持续性，采用高度自动化的列车运行控制系统控制列车运行、研发智能化的监测装备监督列车运行状态，但是对列车司机的驾驶风险几乎没有监督防护措施，如果在驾驶列车过程中发生司机注意力下降、打瞌睡等状况时，容易造成安全事故。


技术实现要素：

3.本发明的目的在于提供一种基于智能机器人的综合服务交互系统及方法，以解决上述背景技术中提出的问题。
4.为了解决上述技术问题，本发明提供如下技术方案：
5.一种基于智能机器人的综合服务交互方法，其特征在于，所述方法包括以下步骤：
6.s1、获取机车乘务组员信息，并核实电力机车司机和电力机车副司机信息；
7.s2、基于面部识别获取电力机车司机第一状态信息与电力机车副司机第一状态信息；
8.s3、分析电力机车司机健康状态；
9.s4、分析电力机车副司机健康状态；
10.s5、结合s3、s4分析结果对电力机车司机和电力机车副司机的健康状态进行评估，并发出预警信号。
11.进一步的，所述s1中获取机车乘务组员信息，并核实电力机车司机和电力机车副司机信息的方法包括以下步骤：
12.步骤1001、获取机车乘务组员值班信息表；
13.步骤1002、采集当日机车乘务组员指纹信息；
14.步骤1003、提取乘务组指纹库中先前录入的乘务组员指纹信息；
15.步骤1004、将当日采集的机车乘务组员指纹信息与提取的指纹信息进行审核；
16.步骤1005、提取电力机车司机和电力机车副司机的指纹信息进行二次审核；
17.步骤1006、通过审核的机车乘务组可以正常进行工作。
18.本发明通过获取机车乘务组员值班信息表，根据当日采集的机车乘务组员指纹信息进行认证，为后续分析电力机车司机和电力机车副司机健康状态提供数据参照。
19.进一步的，所述s2中基于面部识别获取电力机车司机第一状态信息与电力机车副
司机第一状态信息的方法包括以下步骤：
20.步骤2001、获取电力机车司机和电力机车副司机面部信息，并提取当前面部特征点位置信息；
21.步骤2002、根据电力机车司机和电力机车副司机脸型获取对应标准脸型的面部特征点位置信息；
22.步骤2003、将当前电力机车司机和电力机车副司机的面部特征点位置信息与标准面部特征点位置信息进行对比；
23.步骤2004、设定阈值差值范围，根据步骤2003对比结果，得出电力机车司机和电力机车副司机的面部特征点位置移动数据；
24.步骤2005、将面部特征点位置移动数据与阈值比较，当面部特征点位置移动数据在阈值范围内表明司机登车前健康状态良好。
25.进一步的，其特征在于，所述s3中分析电力机车司机健康状态的方法包括以下步骤：
26.步骤3001、实时获取电力机车司机驾驶过程的图像；
27.步骤3002、基于双边滤波对获取的图像进行预处理；
28.步骤3003、基于haar特征计算识别预处理图像中的人脸部分；
29.步骤3004、获取人脸部分中电力机车司机的眼睛状态和嘴巴状态，并通过分析评估电力机车司机实时健康状态。
30.进一步的，所述基于haar特征计算识别预处理图像中的人脸部分的方法包括以下步骤：
31.步骤3003-1、获取双边滤波器预处理后的图像，并获取预处理后图像的尺寸大小，记为w*h；
32.步骤3003-2、将预处理后的图像均匀分隔成w/a*h/a的矩形块，在预处理后的图像构建尺寸大小为w/10*h/10的矩形框，并将矩形框长和宽一边重合于图像左上角，其中a为常数，a的值为分割后的矩形块能够表示一个像素值，其中构建的矩形框所框选到的分隔矩形块，并将框选的矩形块像素值进行总和运算，将结果赋值到对应积分图中；
33.步骤3003-3、将矩形框在图像上进行从左向右水平一层一层逐一水平移动，并将矩形框中的图像像素值总和记录到对应积分图中，其中积分图中每一格数据代表对应矩形框中的图像像素总和；
34.步骤3003-4、获取图像中眼睛和嘴巴的像素值集合，记为眼睛像素值集合a，嘴巴像素值集合b；
35.步骤3003-5、通过归一化处理将集合中能够识别眼睛部分和嘴巴部分进行简化，表达式为：
[0036][0037]
其中g
eye
表示识别眼睛部分的归一化处理结果，g
mouth
表示识别嘴巴部分的归一化处理结构，∑za表示集合a中元素总和，zb表示集合b中元素值总和，ga表示集合a中元素的个
数，gb表示集合b中元素的个数，表示对眼睛部分计算的归一化因子，表示对嘴巴部分计算的归一化因子；
[0038]
步骤3003-6、获取图像中电力机车司机头部轮廓信息，并将其作为训练样本集s；
[0039]
步骤3003-7、获取训练样本集s中样本sd，初始化训练数据的权值分布，表达式为：
[0040][0041]
其中f表示激活函数t1，t2，t3，...，tn表示初始化训练数据的权值大小，表示初始化训练数据的权重为即训练初始概率分布，通过学习得到第一分类器h(x)；
[0042]
步骤3003-8、通过第一次迭代训练n个样本，计算得到弱分类器权重t
11
，表达式为：
[0043][0044]
其中e
t
表示误差率，其中i表示被错误分类的样本，yi表示样本标签；
[0045]
步骤3003-9、更新训练数据集的权重分布并进行第二次迭代训练，重复步骤3003-8；
[0046]
步骤3003-10、结合归一化处理后的眼睛和嘴巴特征值，通过级联分类器进行预处理后图像中的人脸检测，并根据特征值筛选出眼睛和嘴巴。
[0047]
本发明基于haar特征计算识别预处理图像中的人脸部分，结合归一化处理后的眼睛和嘴巴特征值，通过级联分类器进行预处理后图像中的人脸检测，并根据特征值筛选出眼睛和嘴巴，为后续对电力机车司机和电力机车副司机健康状态评估提供数据参照。
[0048]
进一步的，所述获取人脸部分中电力机车司机的眼睛状态和嘴巴状态，并通过分析评估电力机车司机实时健康状态的方法包括以下步骤：
[0049]
步骤4001、获取步骤3003-10中眼睛和嘴巴的位置信息；
[0050]
步骤4002、构建3个矩形框，使得识别到的眼睛和嘴巴分别内嵌于对应矩形框中；
[0051]
步骤4003、获取第一矩形框，即外嵌左眼的矩形框，设定左眼与矩形框上交点位置信息为c(x1,y1)，左眼与矩形框下交点位置信息为d(x2,y2)，计算上下交点间距，表达式为：
[0052]dze
＝|y
2-y1|，
[0053]
其中d
ze
表示左眼上下交点间距；
[0054]
步骤4004、同步步骤4003分析右眼上下交点间距和嘴巴上下交点间距，分别记为d
ye
和dz；
[0055]
步骤4005、获取步骤3003-6中人脸轮廓信息；
[0056]
步骤4007、实时监测人脸轮廓位置信息；
[0057]
步骤4008、设定眼睛位置阈值q1，嘴巴位置阈值q2和人脸轮廓位阈值q3，将眼睛间距小于阈值q1且持续时间为t时，则判定电力机车司机即将处于疲劳状态，将嘴巴间距小于阈值q2且持续时间为t时，则判定电力机车司机即将处于疲劳状态，将人脸轮廓位置小于阈
值q3且在时间t时发生移动频率大于5次，则判定电力机车司机即将处于疲劳状态；
[0058]
步骤4006、重复步骤3001、步骤3002、步骤3003和步骤3004，实时获取电力机车副司机的健康状态。
[0059]
进一步的，所述s5中结合s3、s4分析结果对电力机车司机和电力机车副司机的健康状态进行评估，并发出预警信号的方法包括以下步骤：
[0060]
步骤5001、获取电力机车司机和电力机车副司机健康状态信息；
[0061]
步骤5002、根据电力机车司机健康状态以及电力机车副司机健康状态进行评估，即
[0062]
当电力机车司机处于正常驾驶工作时，电力机车副司机处于正常工作时，记为正常，不发出预警；当电力机车司机处于正常驾驶工作时，电力机车副司机处于疲劳状态时，记为3级异常，不发出预警；当电力机车司机处于疲劳驾驶工作时，电力机车副司机处于正常工作时，记为2级异常，语音播报发出预警信号；当电力机车司机处于疲劳驾驶工作时，电力机车副司机处于疲劳驾驶工作时，记为1级异常，语音播报发出预警信号。
[0063]
一种基于智能机器人的综合服务交互系统，其特征在于，所述系统包括以下模块：
[0064]
信息识别模块：所述信息识别模块用于根据机车乘务组员排班信息表进行当日乘务组员信息识别。
[0065]
首次健康状态识别模块：所述首次健康状态识别模块用于基于面部识别获取电力机车司机第一状态信息与电力机车副司机第一状态信息；
[0066]
健康状态实时监测模块：所述健康状态实时监测模块用于分析电力机车司机和电力机车副司机的健康状态；
[0067]
机车行驶安全评估模块：所述机车行驶安全评估模块用于根据将健康状态实时监测模块的数据进行分析，并对分析结果进行评估，根据评估结果发出预警提示。
[0068]
进一步的，所述信息识别模块包括信息查询单元和指纹匹配单元、所述首次健康状态识别模块包括人脸识别单元和健康状态评估单元、所述健康状态实时监测模块包括特征值获取单元和监测单元、所述机车行驶安全评估模块包括数据分析单元和预警单元：
[0069]
所述信息查询单元用于实时获取当日机车乘务组排班信息；
[0070]
所述指纹匹配单元用于通过指纹识别进行机车乘务组人员信息认证；
[0071]
所述人脸识别单元用于获取电力机车司机和电力机车副司机的人脸信息；
[0072]
所述健康状态评估单元用于用于根据人脸识别单元获取的信息进行第一次健康状态评估；
[0073]
所述特征值获取单元用于获取电力机车司机和电力机车副司机眼睛、嘴巴和头部实时状态；
[0074]
所述监测单元用于实时监测电力机车司机和电力机车副司机状态；
[0075]
所述数据分析单元用于根据特征值获取单元得到的信息进行分析电力机车司机和电力机车副司机的状态；
[0076]
所述预警单元用于根据数据分析单元的结果进行评估并发出预警信号。
[0077]
本发明通过对电力机车司机和电力机车副司机的眼睛、嘴巴以及头部活动情况进行监测，通过监测的数据与设定阈值进行比较，从而实时评估电力机车司机的健康状态，通过不同情况发出预警信号，从而避免因司机疲劳驾驶而增加列车行驶安全隐患。
附图说明
[0078]
图1是本发明一种基于智能机器人的综合服务交互方法的流程示意图；
[0079]
图2是本发明一种基于智能机器人的综合服务交互系统的模块示意图；
具体实施方式
[0080]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0081]
请参阅图1-图2，本发明实施例中：一种基于智能机器人的综合服务交互系统及方法，所述综合服务交互的方法包括以下步骤：
[0082]
s1、获取机车乘务组员信息，并核实电力机车司机和电力机车副司机信息；
[0083]
s2、基于面部识别获取电力机车司机第一状态信息与电力机车副司机第一状态信息；
[0084]
s3、分析电力机车司机健康状态；
[0085]
s4、分析电力机车副司机健康状态；
[0086]
s5、结合s3、s4分析结果对电力机车司机和电力机车副司机的健康状态进行评估，并发出预警信号。
[0087]
所述s1中获取机车乘务组员信息，并核实电力机车司机和电力机车副司机信息的方法包括以下步骤：
[0088]
步骤1001、获取机车乘务组员值班信息表；
[0089]
步骤1002、采集当日机车乘务组员指纹信息；
[0090]
步骤1003、提取乘务组指纹库中先前录入的乘务组员指纹信息；
[0091]
步骤1004、将当日采集的机车乘务组员指纹信息与提取的指纹信息进行审核；
[0092]
步骤1005、提取电力机车司机和电力机车副司机的指纹信息进行二次审核；
[0093]
步骤1006、通过审核的机车乘务组可以正常进行工作。
[0094]
所述s2中基于面部识别获取电力机车司机第一状态信息与电力机车副司机第一状态信息的方法包括以下步骤：
[0095]
步骤2001、获取电力机车司机和电力机车副司机面部信息，并提取当前面部特征点位置信息；
[0096]
步骤2002、根据电力机车司机和电力机车副司机脸型获取对应标准脸型的面部特征点位置信息；
[0097]
步骤2003、将当前电力机车司机和电力机车副司机的面部特征点位置信息与标准面部特征点位置信息进行对比；
[0098]
步骤2004、设定阈值差值范围，根据步骤2003对比结果，得出电力机车司机和电力机车副司机的面部特征点位置移动数据；
[0099]
步骤2005、将面部特征点位置移动数据与阈值比较，当面部特征点位置移动数据在阈值范围内表明司机登车前健康状态良好。
[0100]
其特征在于，所述s3中分析电力机车司机健康状态的方法包括以下步骤：
[0101]
步骤3001、实时获取电力机车司机驾驶过程的图像；
[0102]
步骤3002、基于双边滤波对获取的图像进行预处理；
[0103]
步骤3003、基于haar特征计算识别预处理图像中的人脸部分；
[0104]
步骤3004、获取人脸部分中电力机车司机的眼睛状态和嘴巴状态，并通过分析评估电力机车司机实时健康状态。
[0105]
所述基于haar特征计算识别预处理图像中的人脸部分的方法包括以下步骤：
[0106]
步骤3003-1、获取双边滤波器预处理后的图像，并获取预处理后图像的尺寸大小，记为w*h；
[0107]
步骤3003-2、将预处理后的图像均匀分隔成w/a*h/a的矩形块，在预处理后的图像构建尺寸大小为w/10*h/10的矩形框，并将矩形框长和宽一边重合于图像左上角，其中a为常数，a的值为分割后的矩形块能够表示一个像素值；
[0108]
步骤3003-3、将矩形框在图像上进行从左向右水平一层一层逐一水平移动，并将矩形框中的图像像素值总和记录到对应积分图中，其中积分图中每一格数据代表对应矩形框中的图像像素总和；
[0109]
步骤3003-4、获取图像中眼睛和嘴巴的像素值集合，记为眼睛像素值集合a，嘴巴像素值集合b；
[0110]
步骤3003-5、通过归一化处理将集合中能够识别眼睛部分和嘴巴部分进行简化，表达式为：
[0111][0112]
其中g
eye
表示识别眼睛部分的归一化处理结果，g
mouth
表示识别嘴巴部分的归一化处理结构，∑za表示集合a中元素总和，zb表示集合b中元素值总和，ga表示集合a中元素的个数，gb表示集合b中元素的个数，表示对眼睛部分计算的归一化因子，表示对嘴巴部分计算的归一化因子；
[0113]
步骤3003-6、获取图像中电力机车司机头部轮廓信息，并将其作为训练样本集s；
[0114]
步骤3003-7、获取训练样本集s中样本sd，初始化训练数据的权值分布，表达式为：
[0115][0116]
其中f表示激活函数t1，t2，t3，...，tn表示初始化训练数据的权值大小，表示初始化训练数据的权重为即训练初始概率分布，通过学习得到第一分类器h(x)；
[0117]
步骤3003-8、通过第一次迭代训练n个样本，计算得到弱分类器权重t
11
，表达式为：
[0118][0119]
其中e
t
表示误差率，其中i表示被错误分
类的样本，yi表示样本标签；
[0120]
步骤3003-9、更新训练数据集的权重分布并进行第二次迭代训练，重复步骤3003-8；
[0121]
步骤3003-10、结合归一化处理后的眼睛和嘴巴特征值，通过级联分类器进行预处理后图像中的人脸检测，并根据特征值筛选出眼睛和嘴巴。
[0122]
所述获取人脸部分中电力机车司机的眼睛状态和嘴巴状态，并通过分析评估电力机车司机实时健康状态的方法包括以下步骤：
[0123]
步骤4001、获取步骤3003-10中眼睛和嘴巴的位置信息；
[0124]
步骤4002、构建3个矩形框，使得识别到的眼睛和嘴巴分别内嵌于对应矩形框中；
[0125]
步骤4003、获取第一矩形框，即外嵌左眼的矩形框，设定左眼与矩形框上交点位置信息为c(x1,y1)，左眼与矩形框下交点位置信息为d(x2,y2)，计算上下交点间距，表达式为：
[0126]dze
＝|y
2-y1|，
[0127]
其中d
ze
表示左眼上下交点间距；
[0128]
本实施例中，当|y
2-y1|＝0时，则表示眼睛处于闭合状态，当|y
2-y1|》阈值时，则表示电力机车司机处于正常状态，非疲劳驾驶，当0《|y
2-y1|≤阈值时，则表示电力司机处于打盹状态，判定此时电力机车司机处于疲劳驾驶状态，系统发出预警信号。
[0129]
步骤4004、同步步骤4003分析右眼上下交点间距和嘴巴上下交点间距，分别记为d
ye
和dz；
[0130]
步骤4005、获取步骤3003-6中人脸轮廓信息；
[0131]
步骤4007、实时监测人脸轮廓位置信息；
[0132]
步骤4008、设定眼睛位置阈值q1，嘴巴位置阈值q2和人脸轮廓位阈值q3，将眼睛间距小于阈值q1且持续时间为t时，则判定电力机车司机即将处于疲劳状态，将嘴巴间距小于阈值q2且持续时间为t时，则判定电力机车司机即将处于疲劳状态，将人脸轮廓位置小于阈值q3且在时间t时发生移动频率大于5次，则判定电力机车司机即将处于疲劳状态；
[0133]
步骤4006、重复步骤3001、步骤3002、步骤3003和步骤3004，实时获取电力机车副司机的健康状态。
[0134]
所述s5中结合s3、s4分析结果对电力机车司机和电力机车副司机的健康状态进行评估，并发出预警信号的方法包括以下步骤：
[0135]
步骤5001、获取电力机车司机和电力机车副司机健康状态信息；
[0136]
步骤5002、根据电力机车司机健康状态以及电力机车副司机健康状态进行评估，即
[0137]
当电力机车司机处于正常驾驶工作时，电力机车副司机处于正常工作时，记为正常，不发出预警；当电力机车司机处于正常驾驶工作时，电力机车副司机处于疲劳状态时，记为3级异常，不发出预警；当电力机车司机处于疲劳驾驶工作时，电力机车副司机处于正常工作时，记为2级异常，语音播报发出预警信号；当电力机车司机处于疲劳驾驶工作时，电力机车副司机处于疲劳驾驶工作时，记为1级异常，语音播报发出预警信号。
[0138]
一种基于智能机器人的综合服务交互系统，其特征在于，所述系统包括以下模块：
[0139]
信息识别模块：所述信息识别模块用于根据机车乘务组员排班信息表进行当日乘务组员信息识别。
[0140]
首次健康状态识别模块：所述首次健康状态识别模块用于基于面部识别获取电力机车司机第一状态信息与电力机车副司机第一状态信息；
[0141]
健康状态实时监测模块：所述健康状态实时监测模块用于分析电力机车司机和电力机车副司机的健康状态；
[0142]
机车行驶安全评估模块：所述机车行驶安全评估模块用于根据将健康状态实时监测模块的数据进行分析，并对分析结果进行评估，根据评估结果发出预警提示。
[0143]
所述信息识别模块包括信息查询单元和指纹匹配单元、所述首次健康状态识别模块包括人脸识别单元和健康状态评估单元、所述健康状态实时监测模块包括特征值获取单元和监测单元、所述机车行驶安全评估模块包括数据分析单元和预警单元：
[0144]
所述信息查询单元用于实时获取当日机车乘务组排班信息；
[0145]
所述指纹匹配单元用于通过指纹识别进行机车乘务组人员信息认证；
[0146]
所述人脸识别单元用于获取电力机车司机和电力机车副司机的人脸信息；
[0147]
所述健康状态评估单元用于用于根据人脸识别单元获取的信息进行第一次健康状态评估；
[0148]
所述特征值获取单元用于获取电力机车司机和电力机车副司机眼睛、嘴巴和头部实时状态；
[0149]
所述监测单元用于实时监测电力机车司机和电力机车副司机状态；
[0150]
所述数据分析单元用于根据特征值获取单元得到的信息进行分析电力机车司机和电力机车副司机的状态；
[0151]
所述预警单元用于根据数据分析单元的结果进行评估并发出预警信号。
[0152]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任和附图标记视为限制所涉及的权利要求。
[0153]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任和这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任和其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0154]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任和修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于智能机器人的综合服务交互方法，其特征在于，所述方法包括以下步骤：s1、获取机车乘务组员信息，并核实电力机车司机和电力机车副司机信息；s2、基于面部识别获取电力机车司机第一状态信息与电力机车副司机第一状态信息；s3、分析电力机车司机健康状态；s4、分析电力机车副司机健康状态；s5、结合s3、s4分析结果对电力机车司机和电力机车副司机的健康状态进行评估，并发出预警信号。2.根据权力要求1一种基于智能机器人的综合服务交互方法，其特征在于，所述s1中获取机车乘务组员信息，并核实电力机车司机和电力机车副司机信息的方法包括以下步骤：步骤1001、获取机车乘务组员值班信息表；步骤1002、采集当日机车乘务组员指纹信息；步骤1003、提取乘务组指纹库中先前录入的乘务组员指纹信息；步骤1004、将当日采集的机车乘务组员指纹信息与提取的指纹信息进行审核；步骤1005、提取电力机车司机和电力机车副司机的指纹信息进行二次审核；步骤1006、通过审核的机车乘务组可以正常进行工作。3.根据权力要求2一种基于智能机器人的综合服务交互方法，其特征在于，所述s2中基于面部识别获取电力机车司机第一状态信息与电力机车副司机第一状态信息的方法包括以下步骤：步骤2001、获取电力机车司机和电力机车副司机面部信息，并提取当前面部特征点位置信息；步骤2002、根据电力机车司机和电力机车副司机脸型获取对应标准脸型的面部特征点位置信息；步骤2003、将当前电力机车司机和电力机车副司机的面部特征点位置信息与标准面部特征点位置信息进行对比；步骤2004、设定阈值差值范围，根据步骤2003对比结果，得出电力机车司机和电力机车副司机的面部特征点位置移动数据；步骤2005、将面部特征点位置移动数据与阈值比较，当面部特征点位置移动数据在阈值范围内表明司机登车前健康状态良好。4.根据权力要求3一种基于智能机器人的综合服务交互方法，其特征在于，所述s3中分析电力机车司机健康状态的方法包括以下步骤：步骤3001、实时获取电力机车司机驾驶过程的图像；步骤3002、基于双边滤波对获取的图像进行预处理；步骤3003、基于haar特征计算识别预处理图像中的人脸部分；步骤3004、获取人脸部分中电力机车司机的眼睛状态和嘴巴状态，并通过分析评估电力机车司机实时健康状态。5.根据权力要求4一种基于智能机器人的综合服务交互方法，其特征在于，所述基于haar特征计算识别预处理图像中的人脸部分的方法包括以下步骤：步骤3003-1、获取双边滤波器预处理后的图像，并获取预处理后图像的尺寸大小，记为w*h；
步骤3003-2、将预处理后的图像均匀分隔成w/a*h/a的矩形块，在预处理后的图像构建尺寸大小为w/10*h/10的矩形框，并将矩形框长和宽一边重合于图像左上角，其中a为常数，a的值为分割后的矩形块能够表示一个像素值；步骤3003-3、将矩形框在图像上进行从左向右水平一层一层逐一水平移动，并将矩形框中的图像像素值总和记录到对应积分图中，其中积分图中每一格数据代表对应矩形框中的图像像素总和；步骤3003-4、获取图像中眼睛和嘴巴的像素值集合，记为眼睛像素值集合a，嘴巴像素值集合b；步骤3003-5、通过归一化处理将集合中能够识别眼睛部分和嘴巴部分进行简化，表达式为：其中g
eye
表示识别眼睛部分的归一化处理结果，g
mouth
表示识别嘴巴部分的归一化处理结构，∑z
a
表示集合a中元素总和，z
b
表示集合b中元素值总和，g
a
表示集合a中元素的个数，g
b
表示集合b中元素的个数，表示对眼睛部分计算的归一化因子，表示对嘴巴部分计算的归一化因子；步骤3003-6、获取图像中电力机车司机头部轮廓信息，并将其作为训练样本集s；步骤3003-7、获取训练样本集s中样本s
d
，初始化训练数据的权值分布，表达式为：其中f表示激活函数t1，t2，t3，...，t
n
表示初始化训练数据的权值大小，表示初始化训练数据的权重为即训练初始概率分布，通过学习得到第一分类器h(x)；步骤3003-8、通过第一次迭代训练n个样本，计算得到弱分类器权重t
11
，表达式为：其中e
t
表示误差率，其中i表示被错误分类的样本，y
i
表示样本标签；步骤3003-9、更新训练数据集的权重分布并进行第二次迭代训练，重复步骤3003-8；步骤3003-10、结合归一化处理后的眼睛和嘴巴特征值，通过级联分类器进行预处理后图像中的人脸检测，并根据特征值筛选出眼睛和嘴巴。6.根据权力要求5一种基于智能机器人的综合服务交互方法，其特征在于，所述获取人脸部分中电力机车司机的眼睛状态和嘴巴状态，并通过分析评估电力机车司机实时健康状态的方法包括以下步骤：步骤4001、获取步骤3003-10中眼睛和嘴巴的位置信息；
步骤4002、构建3个矩形框，使得识别到的眼睛和嘴巴分别内嵌于对应矩形框中；步骤4003、获取第一矩形框，即外嵌左眼的矩形框，设定左眼与矩形框上交点位置信息为c(x1,y1)，左眼与矩形框下交点位置信息为d(x2,y2)，计算上下交点间距，表达式为：d
ze
＝|y
2-y1|，其中d
ze
表示左眼上下交点间距；步骤4004、同步步骤4003分析右眼上下交点间距和嘴巴上下交点间距，分别记为d
ye
和d
z
；步骤4005、获取步骤3003-6中人脸轮廓信息；步骤4007、实时监测人脸轮廓位置信息；步骤4008、设定眼睛位置阈值q1，嘴巴位置阈值q2和人脸轮廓位阈值q3，将眼睛间距小于阈值q1且持续时间为t时，则判定电力机车司机即将处于疲劳状态，将嘴巴间距小于阈值q2且持续时间为t时，则判定电力机车司机即将处于疲劳状态，将人脸轮廓位置小于阈值q3且在时间t时发生移动频率大于5次，则判定电力机车司机即将处于疲劳状态；步骤4006、重复步骤3001、步骤3002、步骤3003和步骤3004，实时获取电力机车副司机的健康状态。7.根据权力要求3一种基于智能机器人的综合服务交互方法，其特征在于，所述s5中结合s3、s4分析结果对电力机车司机和电力机车副司机的健康状态进行评估，并发出预警信号的方法包括以下步骤：步骤5001、获取电力机车司机和电力机车副司机健康状态信息；步骤5002、根据电力机车司机健康状态以及电力机车副司机健康状态进行评估，即当电力机车司机处于正常驾驶工作时，电力机车副司机处于正常工作时，记为正常，不发出预警；当电力机车司机处于正常驾驶工作时，电力机车副司机处于疲劳状态时，记为3级异常，不发出预警；当电力机车司机处于疲劳驾驶工作时，电力机车副司机处于正常工作时，记为2级异常，语音播报发出预警信号；当电力机车司机处于疲劳驾驶工作时，电力机车副司机处于疲劳驾驶工作时，记为1级异常，语音播报发出预警信号。8.一种基于智能机器人的综合服务交互系统，其特征在于，所述系统包括以下模块：信息识别模块：所述信息识别模块用于根据机车乘务组员排班信息表进行当日乘务组员信息识别。首次健康状态识别模块：所述首次健康状态识别模块用于基于面部识别获取电力机车司机第一状态信息与电力机车副司机第一状态信息；健康状态实时监测模块：所述健康状态实时监测模块用于分析电力机车司机和电力机车副司机的健康状态；机车行驶安全评估模块：所述机车行驶安全评估模块用于根据将健康状态实时监测模块的数据进行分析，并对分析结果进行评估，根据评估结果发出预警提示。9.根据权力要求8所述一种基于智能机器人的综合服务交互系统，其特征在于，所述信息识别模块包括信息查询单元和指纹匹配单元、所述首次健康状态识别模块包括人脸识别单元和健康状态评估单元、所述健康状态实时监测模块包括特征值获取单元和监测单元、所述机车行驶安全评估模块包括数据分析单元和预警单元：所述信息查询单元用于实时获取当日机车乘务组排班信息；
所述指纹匹配单元用于通过指纹识别进行机车乘务组人员信息认证；所述人脸识别单元用于获取电力机车司机和电力机车副司机的人脸信息；所述健康状态评估单元用于用于根据人脸识别单元获取的信息进行第一次健康状态评估；所述特征值获取单元用于获取电力机车司机和电力机车副司机眼睛、嘴巴和头部实时状态；所述监测单元用于实时监测电力机车司机和电力机车副司机状态；所述数据分析单元用于根据特征值获取单元得到的信息进行分析电力机车司机和电力机车副司机的状态；所述预警单元用于根据数据分析单元的结果进行评估并发出预警信号。

技术总结
本发明涉及智能机器人领域，具体为一种基于智能机器人的综合服务交互系统及方法，所述系统包括信息识别模块、首次健康状态识别模块、健康状态实时监测模块和机车行驶安全评估模块，所述机车行驶安全评估模块用于根据将健康状态实时监测模块的数据进行分析，并对分析结果进行评估，根据评估结果发出预警提示，本发明通过对电力机车司机和电力机车副司机的眼睛、嘴巴以及头部活动情况进行监测，通过监测的数据与设定阈值进行比较，从而实时评估电力机车司机的健康状态，通过不同情况发出预警信号，从而避免因司机疲劳驾驶而增加列车行驶安全隐患。安全隐患。


技术研发人员：沈金星 夏勇 张磊
受保护的技术使用者：无锡鸿利成套电气设备有限公司
技术研发日：2022.12.30
技术公布日：2023/6/6