基于语音和图像识别的预警方法、装置、电子设备与流程

1.本发明涉及计算机技术领域，尤其涉及一种基于语音和图像识别的预警方法、装置、电子设备。


背景技术：

2.车辆的预警设备，可以在驾驶过程中辅助驾驶员做出一些决策或者给驾驶员提供安全警报，在驾驶员注意力不集中或者出现突发情况时发挥作用，避免产生道路交通事故，保障人身和财产安全。
3.现有的方案在预警过程中，根据车辆行驶方向的图像，判断是否存在障碍物，以及车辆与障碍物之间的距离。当存在障碍物并且车辆距离障碍物距离较近时，给驾驶员提供预警信息。或者识别车内驾驶员是否存在打瞌睡等疲劳驾驶行为，并提供预警信息。
4.然而，在目前方案中，仅仅根据车辆外部的环境信息或驾驶员疲劳驾驶的情况判断是否有突发情况发生，适用性不强，导致无法同时兼顾车内车外的环境进行预警的问题。


技术实现要素：

5.有鉴于此，本发明旨在提出一种基于语音和图像识别的预警方法、装置、电子设备，以解决现有技术无法兼顾车内车外的环境进行预警的问题。
6.为解决上述技术问题，本发明的实施方式提供了一种基于语音和图像识别的预警方法，包括：
7.获取车内多个位置的声音信号；
8.对所述声音信号进行识别，当识别到争吵行为时，则获取驾驶位的图像以及车外图像；
9.根据所述驾驶位的图像以及所述车外图像，得到危险系数；
10.根据所述危险系数，进行预警。
11.可选的，所述对所述声音信号进行识别，当识别到争吵行为时，则获取驾驶位的图像以及车外图像之前，还包括：
12.检测所述声音信号的音量，当检测到所述音量的变化率高于预设阈值时，开启语音识别功能，其中，所述语音识别功能用于对所述声音信号进行识别。
13.可选的，所述对所述声音信号进行识别，当识别到争吵行为时，则获取驾驶位的图像以及车外图像，包括：
14.对所述声音信号进行语义分析，并统计所述声音信号符合指定语义的频次；
15.当所述频次高于预设阈值时，确认存在争吵行为，获取所述驾驶位的图像以及所述车外图像。
16.可选的，所述根据所述驾驶位的图像以及所述车外图像，得到危险系数，包括：
17.根据所述驾驶位的图像得到驾驶员的驾驶状态；
18.根据车外图像中的物体和信号灯状态，确定车辆外部环境；
19.根据所述驾驶状态和所述车辆外部环境，得到所述危险系数。
20.可选的，所述根据所述驾驶位的图像得到驾驶员的驾驶状态，包括：
21.获取驾驶员的面部图像以及方向盘区域的图像；
22.通过所述面部图像，确定驾驶员的视线方向；
23.根据所述方向盘区域的图像，得到方向盘的操作状态，其中，所述方向盘的操作状态用于描述方向盘是否受到多人控制；
24.根据所述视线方向以及所述方向盘的操作状态，得到所述驾驶员的驾驶状态。
25.可选的，所述方向盘的操作状态是根据所述面部图像中的人脸数量，以及所述方向盘区域的图像中手的数量确定的。
26.可选的，所述根据所述驾驶位的图像以及所述车外图像，得到危险系数，包括：
27.构建模糊综合评价模型，通过所述模糊综合评价模型对所述车外图像和所述驾驶位的图像进行分析，得到所述危险系数。
28.可选的，所述根据所述危险系数，进行预警之后，还包括：
29.根据所述危险系数提供驾驶辅助行为，其中，所述驾驶辅助行为包括驾驶托管和制动。
30.本发明的实施方式还提供了一种基于语音和图像识别的预警装置，应用于车辆，包括：
31.声音信号获取模块：用于获取车内多个位置的声音信号；
32.图像获取模块：用于对所述声音信号进行识别，当识别到争吵行为，则获取驾驶位的图像以及车外图像；
33.危险系数计算模块：用于根据所述驾驶位的图像以及所述车外图像，得到危险系数；
34.预警模块：用于根据所述危险系数，进行预警。
35.可选的，所述图像获取模块之前，还包括：
36.语音识别开启模块：用于检测所述声音信号的音量，当检测到所述音量的变化率高于预设阈值时，开启语音识别功能，其中，所述语音识别功能用于对所述声音信号进行识别。
37.可选的，所述图像获取模块，包括：
38.语音分析子模块：用于对所述声音信号进行语义分析，并统计所述声音信号符合指定语义的频次；
39.图像获取子模块：用于当所述频次高于预设阈值时，确认存在争吵行为，获取所述驾驶位的图像以及所述车外图像。
40.可选的，所述危险系数计算模块，包括：
41.驾驶状态获取子模块：用于根据所述驾驶位的图像得到驾驶员的驾驶状态；
42.根据车外图像中的物体和信号灯状态，确定车辆外部环境；
43.根据所述驾驶状态和所述车辆外部环境，得到所述危险系数。
44.可选的，所述驾驶状态获取子模块，包括：
45.图像获取单元：用于获取驾驶员的面部图像以及方向盘区域的图像；
46.第一图像分析单元：用于通过所述面部图像，确定驾驶员的视线方向；
47.第二图像分析单元：用于根据所述方向盘区域的图像，得到方向盘的操作状态，其中，所述方向盘的操作状态用于描述方向盘是否受到多人控制；
48.驾驶状态获取单元：根据所述视线方向以及所述方向盘的操作状态，得到所述驾驶员的驾驶状态。
49.可选的，所述第二图像分析单元中，所述方向盘的操作状态是根据所述面部图像中的人脸数量，以及所述方向盘区域的图像中手的数量确定的。
50.可选的，所述危险系数计算模块，包括：
51.危险系数计算子模块：用于构建模糊综合评价模型，通过所述模糊综合评价模型对所述车外图像和所述驾驶位的图像进行分析，得到所述危险系数。
52.可选的，所述预警模块之后，还包括：
53.驾驶辅助模块：用于根据所述危险系数提供驾驶辅助行为，其中，所述驾驶辅助行为包括驾驶托管和制动。
54.本发明的实施方式还提供了一种电子设备，包括：
55.至少一个处理器；以及，
56.与所述至少一个处理器通信连接的存储器；其中，
57.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上所述的基于语音和图像识别的预警方法。
58.相对于现有技术，本发明所述的一种基于语音和图像识别的预警方法具有以下优势：
59.通过多个位置的声音信号，可以判断车内是否存在多人同时说话，模拟多人争吵场景的情况，提升对于争吵行为预判的准确性。当存在争吵行为时开始获取驾驶位的图像、车外的图像，能够避免长时间获取车内车外图像，造成资源浪费。综合驾驶位的图像、车外的图像分析行驶过程中的安全隐患，能够适应不同的驾驶情景，增强预警方法的适用性。同时，根据驾驶情景得到危险系数，并根据危险系数进行预警，能够在发生突发情况时能够保障人身和财产安全，由于危险系数是根据车内和车外图像得到的，解决了现有技术中无法同时兼顾车内车外的环境进行预警的问题。
附图说明
60.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
61.图1为本发明第一实施方式提供的一种基于语音和图像识别的预警方法的步骤流程图；
62.图2为本发明第二实施方式提供的一种基于语音和图像识别的预警方法的步骤流程图；
63.图3为本发明第三实施方式提供的一种基于语音和图像识别的预警方法的步骤流程图；
64.图4为本发明第四实施方式提供的一种基于语音和图像识别的预警装置的结构框
图；
65.图5是本发明第五实施方式提供的电子设备的结构示意图。
具体实施方式
66.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
67.在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
68.下面将参考附图并结合实施例来详细说明本发明。
69.本发明的第一实施方式涉及一种基于语音和图像识别的预警方法，其流程如图1所示，包括：
70.步骤101，获取车内多个位置的声音信号；
71.在本实施方式中，可以将用于收集声音信号的麦克风设置在车内的不同位置，通过车内多个位置的麦克风收集车内的声音信号。例如，当车内座舱共有4个座位，可以对应于4个座位设置麦克风。可以将车辆前排驾驶员和副驾驶座位对应的麦克风，设置在中控台的左右两侧，用于接收驾驶员和副驾驶的声音。用于接收后排乘客声音的麦克风可以设置在前排座椅的背后，以接收后排乘客的声音。由于后排均属于乘客座位，可能乘坐3人，对于后排也可以额外设置一个麦克风，用于接收后排中间座位的乘客声音。对于座舱座位数量超过4人的车辆，可以将麦克风设置在不同座位乘客的身边，保证能够接收到不同乘客的声音。
72.需要说明的是，多个位置的麦克风只要能够分别接收乘客和驾驶员的声音即可，本发明实施例不对麦克风具体的位置加以限制。也可以将用于接收声音的麦克风与车辆音响进行组合，设置在同一位置，用于节约车内空间。
73.步骤102，对声音信号进行识别，当识别到争吵行为时，则获取驾驶位的图像以及车外图像；
74.通过语音识别功能，对获取到的多个位置的声音信号进行识别。可以根据位置的不同区分出乘客的声音信号和驾驶员的声音信号，通过语音识别功能分别得到乘客的声音信号的特征和驾驶员的声音信号的特征。
75.声音信号的特征可以包括音量、频谱特征等。当然，以上仅为具体的举例说明，在实际的使用过程中声音信号的特征还可以包括其他参特征，此处不做一一赘述。
76.通过对驾驶员、乘客声音信号的特征进行分析，车内车内是否存在争吵行为。当存在争吵行为时，控制多个预设在车内和车外的摄像头获取驾驶位的图像以及车外的图像，车外图像包括实时的路况信息，例如信号灯状态、车辆附近的障碍物情况等。
77.可选的，对声音信号进行识别，当识别到争吵行为时，则获取驾驶位的图像以及车
外图像，包括：
78.对声音信号进行语义分析，并统计声音信号符合指定语义的频次；
79.当频次高于预设阈值时，确认存在争吵行为，获取所述驾驶位的图像以及车外图像。
80.可以通过本地或云端的语音识别引擎进行语义分析，通过符合指定语义的频次判断吵架的激烈程度，当频次达到预设阈值时控制多个预设在车内和车外的摄像头获取驾驶位的图像以及车外的图像。
81.通过语义和频次，能够分析车内的语音内容，从内容上分析是否存在争吵行为，提升对于争吵行为识别的准确性。
82.步骤103，根据驾驶位的图像以及车外图像，得到危险系数；
83.可以将得到的驾驶位的图像以及车外图像进行分析，利用图像识别模型识别出驾驶位的图像中所包含的物体以及驾驶员的行为。利用图像识别模型分析车外图像中的物体的位置以及距离。
84.对驾驶位中所包含的物体、驾驶员的行为、车外图像中的物体的位置、距离等不同要素，设置不同的权重和评分依据。对车内车外的不同要素的评分进行加权计算，得到危险系数。
85.还可以通过卷积神经网络对驾驶位的图像以及车外图像进行识别，得到危险系数，包括预先获取大量驾驶位的图像以及车外图像，作为数据集，对图像识别模型进行训练。通过训练完成的图像识别模型驾驶位的图像以及车外图像进行识别，得到危险系数。危险系数可以是用于描述车内存在危险驾驶行为的概率值，也可以是对于车内驾驶安全的评价等级或分值。在训练过程中可以将数据集划分为：训练集、验证集、测试集。可以将60％的数据划分为训练集，将20％的数据划分为验证集，20％的数据划分为测试集。训练集用来训练算法，验证集用来确保算法没有过拟合，测试集用来评估算法效果。
86.可选的，根据所述驾驶位的图像以及车外图像，得到危险系数，包括：
87.构建模糊综合评价模型，通过所述模糊综合评价模型对所述车外图像和所述驾驶位的图像进行分析，得到危险系数。
88.模糊综合评价模型，是一种应用模糊系统的原理的数学模型，能够从多个因素对被评判事物的隶属度等级状况进行综合评判，通过所述模糊综合评价模型对所述车外图像和所述驾驶位的图像进行分析后，可以得到一个区间在0-100之间的危险系数。
89.通过模糊综合评价模型能够量化评分，以具体分数表示危险系数，更直观地表示危险程度。
90.可选的，根据驾驶位的图像以及车外图像，得到危险系数，包括：
91.根据驾驶位的图像得到驾驶员的驾驶状态；
92.根据车外图像中的物体和信号灯状态，确定车辆外部环境；
93.根据驾驶状态和车辆外部环境，得到所述危险系数。
94.其中，车外图像中的物体包括车辆行驶方向上以及车辆周围存在的障碍物。
95.根据驾驶状态、物体和信号灯状态，从三个方面综合确定危险系数，提高危险系数的可靠性。
96.可选的，根据驾驶位的图像得到驾驶员的驾驶状态，包括：
97.获取驾驶员的面部图像以及方向盘区域的图像；
98.通过面部图像，确定驾驶员的视线方向；
99.根据方向盘区域的图像，得到方向盘的操作状态，其中，方向盘的操作状态用于描述方向盘是否受到多人控制；
100.根据所述视线方向以及所述方向盘的操作状态，得到所述驾驶员的驾驶状态。
101.可以获取驾驶员面部的图像，识别出驾驶员的视线是否面对车辆前方。当驾驶员的视线没有偏离驾驶方向时，认为车内存在步骤102中的争吵行为，但驾驶员的驾驶未受到车内争吵的影响，通过语音提醒车内人员，或主动播放音乐缓解车内气氛。
102.驾驶员的视线方向、方向盘状态是描述驾驶状态的重要依据，通过这两个要素能够有效分析驾驶员的驾驶状态是否存在隐患，准确分析驾驶员状态。
103.可选的，所述方向盘的操作状态是根据所述面部图像中的人脸数量，以及所述方向盘区域的图像中手的数量确定的。
104.根据方向盘区域的图像，识别方向盘区域试图控制方向盘的手的数量，以及每只手的图像特征，例如手掌轮廓、关节长度、肤色。可以根据手的图像特征分析判断图像中的手是否是同一个人的，确定方向盘是否受到多人控制，进而确定是否存在抢夺方向盘的行为。
105.还可以只分析手的数量，当存在3只或以上的手时，直接判定存在抢夺方向盘的行为。当存在2只手时，结合驾驶位图像中的人脸数量判断是否存在抢夺方向盘的行为，其中，当存在2只手时且驾驶位图像中存在多个人脸时，判断存在抢夺方向盘的行为。
106.通过人脸数量和手的数量，判断方向盘是否受到多人控制，避免由于驾驶员单手或双手的驾驶习惯不同带来的影响，提升识别准确性。
107.步骤104，根据危险系数，进行预警。
108.根据的危险系数，对车内乘客和驾驶员进行预警。根据危险系数未超过一定数值时，可以进行一次语音警报。当危险系数达到一定数值时，进行多次语音预警。还可以在车辆中控台上显示文字或图形预警信息，提醒驾驶员注意行车安全。
109.本发明实施方式相对于现有技术而言，通过多个位置的声音信号，可以判断车内是否存在多人同时说话，模拟多人争吵场景的情况，提升对于争吵行为预判的准确性。当存在争吵行为时开始获取驾驶位的图像、车外的图像，能够避免长时间获取车内车外图像，造成资源浪费。综合驾驶位的图像、车外的图像分析行驶过程中的安全隐患，能够适应不同的驾驶情景，增强预警方法的适用性。同时，根据驾驶情景得到危险系数，并根据危险系数进行预警，能够在发生突发情况时能够保障人身和财产安全，由于危险系数是根据车内和车外图像得到的，解决了现有技术中无法同时兼顾车内车外的环境进行预警的问题。
110.本发明的第二实施方式涉及一种基于语音和图像识别的预警方法，该方法与本发明的第一实施方式提供的基于语音和图像识别的预警方法基本相同，其区别在于，在步骤102之前，如图2所示，还包括：
111.步骤105，检测声音信号的音量，当检测到音量的变化率高于预设阈值时，开启语音识别功能，其中，语音识别功能用于对声音信号进行识别。
112.检测多个位置的声音信号的音量，当多个声音信号的音量突然升高，变化率高于预设阈值时，可以确定车内有多人发生争吵。当确定车内存在多人争吵时，开启语音识别功
能。
113.通过音量变化率，能够识别音量突然变化的争吵过程，避免仅仅由于声音大产生误判，提升识别准确性。当未发现存在多人争吵时，无需开启语音识别功能对声音信号进行识别，能够避免在正常行驶的过程中，由于长期开启语音识别功能造成软件、硬件资源的浪费。
114.本发明的第三实施方式涉及一种基于语音和图像识别的预警方法，该方法与本发明的第一实施方式提供的基于语音和图像识别的预警方法基本相同，其区别在于，在步骤104之后，如图3所示，还包括：
115.步骤106，根据危险系数提供驾驶辅助行为，其中，所述驾驶辅助行为包括驾驶托管和制动。
116.根据危险系数的数值，进行预警后。当驾驶员已经由于车内状况无法保持正常驾驶，或者方向盘受到抢夺时，即使接收到预警，也无法及时对于危险进行处置。可以预先设置驾驶辅助功能，当危险系数过高时，提供驾驶托管功能，辅助驾驶员驾驶。根据车外图像发现车辆行驶方向已经存在障碍物，或者前方交通信号灯是红灯时，可以通过驾驶辅助功能进行制动。
117.提供驾驶辅助行为，可以在车辆预警无法有效保证驾驶安全时，对车辆的驾驶状态进行干预，从而保障驾驶员和乘客的车辆财产安全，避免交通事故的发生。
118.本发明的第四实施方式涉及一种基于语音和图像识别的预警方法的装置，如图4所示，包括：
119.声音信号获取模块401：用于获取车内多个位置的声音信号；
120.图像获取模块402：用于对声音信号进行识别，当识别到争吵行为，则获取驾驶位的图像以及车外图像；
121.危险系数计算模块403：用于根据驾驶位的图像以及车外图像，得到危险系数；
122.预警模块404：用于根据危险系数，进行预警。
123.可选的，图像获取模块之前，还包括：
124.语音识别开启模块：用于检测所述声音信号的音量，当检测到音量的变化率高于预设阈值时，开启语音识别功能，其中，所述语音识别功能用于对声音信号进行识别。
125.可选的，图像获取模块，包括：
126.语音分析子模块：用于对声音信号进行语义分析，并统计声音信号符合指定语义的频次；
127.图像获取子模块：用于当频次高于预设阈值时，确认存在争吵行为，获取驾驶位的图像以及车外图像。
128.可选的，危险系数计算模块，包括：
129.驾驶状态获取子模块：用于根据驾驶位的图像得到驾驶员的驾驶状态；
130.根据车外图像中的物体和信号灯状态，确定车辆外部环境；
131.根据驾驶状态和车辆外部环境，得到危险系数。
132.可选的，驾驶状态获取子模块，包括：
133.图像获取单元：用于获取驾驶员的面部图像以及方向盘区域的图像；
134.第一图像分析单元：用于通过面部图像，确定驾驶员的视线方向；
135.第二图像分析单元：用于根据方向盘区域的图像，得到方向盘的操作状态，其中，方向盘的操作状态用于描述方向盘是否受到多人控制；
136.驾驶状态获取单元：根据视线方向以及方向盘的操作状态，得到驾驶员的驾驶状态。
137.可选的，第二图像分析单元中，方向盘的操作状态是根据面部图像中的人脸数量，以及方向盘区域的图像中手的数量确定的。
138.可选的，危险系数计算模块，包括：
139.危险系数计算子模块：用于构建模糊综合评价模型，通过模糊综合评价模型对车外图像和驾驶位的图像进行分析，得到危险系数。
140.可选的，预警模块之后，还包括：
141.驾驶辅助模块：用于根据危险系数提供驾驶辅助行为，其中，驾驶辅助行为包括驾驶托管和制动。
142.本发明的第四实施方式涉及一种基于语音和图像识别的预警方法的装置的具体实现方法，可以参见本发明的第一至三实施方式提供的基于语音和图像识别的预警方法所述，此处不再赘述。
143.本发明的第五实施方式涉及一种电子设备，如图5所示，包括：
144.至少一个处理器501；以及，
145.与所述至少一个处理器501通信连接的存储器502；其中，
146.所述存储器502存储有可被所述至少一个处理器501执行的指令，所述指令被所述至少一个处理器501执行，以使所述至少一个处理器501能够执行以上所述的基于语音和图像识别的预警方法。
147.其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
148.处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
149.本发明第六实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
150.即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
151.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
152.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
153.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。
154.本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

技术特征：
1.一种基于语音和图像识别的预警方法，应用于车辆，其特征在于，所述方法包括：获取车内多个位置的声音信号；对所述声音信号进行识别，当识别到争吵行为时，则获取驾驶位的图像以及车外图像；根据所述驾驶位的图像以及所述车外图像，得到危险系数；根据所述危险系数，进行预警。2.根据权利要求1所述的方法，其特征在于，所述对所述声音信号进行识别，当识别到争吵行为时，则获取驾驶位的图像以及车外图像之前，还包括：检测所述声音信号的音量，当检测到所述音量的变化率高于预设阈值时，开启语音识别功能，其中，所述语音识别功能用于对所述声音信号进行识别。3.根据权利要求1所述的方法，其特征在于，所述对所述声音信号进行识别，当识别到争吵行为时，则获取驾驶位的图像以及车外图像，包括：对所述声音信号进行语义分析，并统计所述声音信号符合指定语义的频次；当所述频次高于预设阈值时，确认存在争吵行为，获取所述驾驶位的图像以及所述车外图像。4.根据权利要求1所述的方法，其特征在于，所述根据所述驾驶位的图像以及所述车外图像，得到危险系数，包括：根据所述驾驶位的图像得到驾驶员的驾驶状态；根据车外图像中的物体和信号灯状态，确定车辆外部环境；根据所述驾驶状态和所述车辆外部环境，得到所述危险系数。5.根据权利要求4所述的方法，其特征在于，所述根据所述驾驶位的图像得到驾驶员的驾驶状态，包括：获取驾驶员的面部图像以及方向盘区域的图像；通过所述面部图像，确定驾驶员的视线方向；根据所述方向盘区域的图像，得到方向盘的操作状态，其中，所述方向盘的操作状态用于描述方向盘是否受到多人控制；根据所述视线方向以及所述方向盘的操作状态，得到所述驾驶员的驾驶状态。6.根据权利要求5所述的方法，其特征在于，所述方向盘的操作状态是根据所述面部图像中的人脸数量，以及所述方向盘区域的图像中手的数量确定的。7.根据权利要求1所述的方法，其特征在于，所述根据所述驾驶位的图像以及所述车外图像，得到危险系数，包括：构建模糊综合评价模型，通过所述模糊综合评价模型对所述车外图像和所述驾驶位的图像进行分析，得到所述危险系数。8.根据权利要求1所述的方法，其特征在于，所述根据所述危险系数，进行预警之后，还包括：根据所述危险系数提供驾驶辅助行为，其中，所述驾驶辅助行为包括驾驶托管和制动。9.一种基于语音和图像识别的预警装置，应用于车辆，其特征在于，所述装置包括：声音信号获取模块：用于获取车内多个位置的声音信号；图像获取模块：用于对所述声音信号进行识别，当识别到争吵行为，则获取驾驶位的图像以及车外图像；
危险系数计算模块：用于根据所述驾驶位的图像以及所述车外图像，得到危险系数；预警模块：用于根据所述危险系数，进行预警。10.一种电子设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任意一项基于语音和图像识别的预警方法。

技术总结
本发明实施例提供了一种基于语音和图像识别的预警方法、装置、电子设备，基于语音和图像识别的预警方法包括：获取车内多个位置的声音信号；对所述声音信号进行识别，当识别到争吵行为时，则获取驾驶位的图像以及车外图像；根据所述驾驶位的图像以及所述车外图像，得到危险系数；根据所述危险系数，进行预警。应用在车辆行驶过程中，达到兼顾车内车外的环境进行预警的目的。预警的目的。预警的目的。


技术研发人员：袁小文
受保护的技术使用者：博泰车联网（南京）有限公司
技术研发日：2022.01.29
技术公布日：2023/8/8