导航异常检测方法、装置、电子设备及可读存储介质与流程

1.本公开涉及导航数据检测技术领域，具体涉及一种导航异常检测方法、装置、电子设备及可读存储介质。


背景技术：

2.随着社会的发展和进步，越来越多的用户在出行导航时借助导航画面和导航语音播报的引导到达目的地。当遇到复杂路口时，导航应用会展示路口大图、车道线、黑卡等导航图面信息，以辅助用户做出正确的行驶判断，但这些导航图面信息与导航语音播报在某种因素的影响下，可能会出现导航内容不一致的情况，这就增加了用户决策的难度，而且通常导航过程中车速相对较快，上述导航内容不一致的情况很容易引起用户偏航，严重时还会引发事故，严重地影响了用户的体验。目前对于上述导航内容不一致的情况通常只能通过人工回放导航视频的方式来查找问题，但这种方式不仅路线覆盖度低，检测效率低下，还需要耗费大量的人工成本。因此，亟需一种能够快速、有效且能够降低人工成本的导航异常检测方案。


技术实现要素：

3.本公开实施例提供一种导航异常检测方法、装置、电子设备及可读存储介质。
4.第一方面，本公开实施例中提供了一种导航异常检测方法。
5.具体的，所述导航异常检测方法，包括：
6.获取目标导航视频；
7.将所述目标导航视频输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种，其中，所述预设异常情况包括：导航图面元素展示异常、导航播报元素异常、以及导航图面元素与导航播报元素不一致；
8.当所述目标导航视频存在所述预设异常情况中的一种或多种时，确定所述目标导航视频异常。
9.在本公开一种实现方式中，所述获取目标导航视频之后，还包括：
10.对所述目标导航视频进行分帧处理，得到所述目标导航视频的多个视频帧；
11.对所述视频帧进行预处理，得到目标视频帧；
12.提取所述目标导航视频中的导航播报音频；
13.将所述导航播报音频转换为文本信息，得到与所述目标视频帧对应的导航播报文本；
14.所述将所述目标导航视频输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种，包括：
15.将所述目标视频帧和对应的导航播报文本输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种。
16.在本公开一种实现方式中，所述导航异常检测模型包括导航图面元素识别子模型
和导航播报元素异常检测子模型；
17.所述将所述目标视频帧和对应的导航播报文本输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种，包括：
18.将所述目标视频帧输入至预先训练得到的导航图面元素识别子模型中，得到每一目标视频帧中的导航图面元素及其类别；
19.根据所述每一目标视频帧中的导航图面元素及其类别确定所述目标导航视频是否存在导航图面元素展示异常；
20.将所述导航播报文本输入至预先训练得到的导航播报元素异常检测子模型中，得到所述导航播报元素异常检测子模型识别得到的每一目标视频帧中的导航播报元素，以及所述目标导航视频是否存在导航播报元素异常的检测结果；
21.比较同一目标视频帧对应的导航图面元素及其类别与导航播报元素，确定所述目标导航视频是否存在导航图面元素与导航播报元素不一致的情况。
22.在本公开一种实现方式中，所述导航播报元素异常检测子模型包括导航播报文本分词子模型和导航播报元素异常分类子模型；
23.所述将所述导航播报文本输入至预先训练得到的导航播报元素异常检测子模型中，得到所述导航播报元素异常检测子模型识别得到的每一目标视频帧中的导航播报元素，以及所述目标导航视频是否存在导航播报元素异常的检测结果，包括：
24.将所述导航播报文本输入至预先训练得到的导航播报文本分词子模型中，得到与所述导航播报文本对应的分词结果；
25.从所述分词结果中提取得到导航播报元素；
26.将所述导航播报元素输入至预先训练得到的导航播报元素异常分类子模型中，得到所述目标导航视频是否存在导航播报元素异常的检测结果。
27.在本公开一种实现方式中，还包括：
28.对所述导航图面元素识别子模型和所述导航播报元素异常检测子模型进行训练。
29.第二方面，本公开实施例中提供了一种导航异常检测模型训练方法，其中，所述导航异常检测模型包括导航图面元素识别子模型和导航播报元素异常检测子模型。
30.具体的，所述导航异常检测模型训练方法，包括：
31.获取训练导航视频；
32.对所述训练导航视频进行分帧处理，得到所述训练导航视频的多个训练视频帧；
33.提取所述训练导航视频中的导航播报音频，将所述导航播报音频转换为文本信息，得到与所述训练视频帧对应的导航播报文本；
34.将所述训练视频帧作为训练数据，对所述导航图面元素识别子模型进行训练；
35.将与所述训练视频帧对应的导航播报文本作为训练数据，对所述导航播报元素异常检测子模型进行训练。
36.在本公开一种实现方式中，所述获取训练导航视频，包括：
37.获取用户历史导航路线；
38.基于所述用户历史导航路线进行模拟导航，得到导航图面元素和导航播报音频；
39.基于所述导航图面元素和导航播报音频生成所述训练导航视频。
40.在本公开一种实现方式中，所述将所述训练视频帧作为训练数据，对所述导航图
面元素识别子模型进行训练，包括：
41.对所述训练视频帧进行导航图面元素及其类别标注，得到与所述训练视频帧对应的导航图面元素及其类别标注结果；
42.将所述训练视频帧、与所述训练视频帧对应的导航图面元素及其类别标注结果作为所述导航图面元素识别子模型的训练输入数据，对所述导航图面元素识别子模型进行训练。
43.在本公开一种实现方式中，所述导航播报元素异常检测子模型包括导航播报文本分词子模型和导航播报元素异常分类子模型；
44.所述将与所述训练视频帧对应的导航播报文本作为训练数据，对所述导航播报元素异常检测子模型进行训练，包括：
45.对所述导航播报文本进行分词标注，得到与所述导航播报文本对应的分词标注结果；
46.将所述导航播报文本、与所述导航播报文本对应的分词标注结果作为所述导航播报文本分词子模型的训练输入数据，对所述导航播报文本分词子模型进行训练；
47.基于所述分词标注结果进行导航播报元素提取，得到导航播报元素；
48.对于所述导航播报元素进行异常分类标注，得到与所述导航播报元素对应的异常分类标注结果；
49.将所述导航播报元素、与所述导航播报元素对应的异常分类标注结果作为所述导航播报元素异常分类子模型的训练输入数据，对所述导航播报元素异常分类子模型进行训练；
50.将所述导航播报文本分词子模型和导航播报元素异常分类子模型级联起来，得到所述导航播报元素异常检测子模型。
51.第三方面，本公开实施例中提供了一种导航异常检测装置。
52.具体的，所述导航异常检测装置，包括：
53.第一获取模块，被配置为获取目标导航视频；
54.检测模块，被配置为将所述目标导航视频输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种，其中，所述预设异常情况包括：导航图面元素展示异常、导航播报元素异常、以及导航图面元素与导航播报元素不一致；
55.确定模块，被配置为当所述目标导航视频存在所述异常情况中的一种或多种时，确定所述目标导航视频异常。
56.第四方面，本公开实施例中提供了一种导航异常检测模型训练装置，其中，所述导航异常检测模型包括导航图面元素识别子模型和导航播报元素异常检测子模型。
57.具体的，所述导航异常检测模型训练装置，包括：
58.第二获取模块，被配置为获取训练导航视频；
59.分帧处理模块，被配置为对所述训练导航视频进行分帧处理，得到所述训练导航视频的多个训练视频帧；
60.音频转换模块，被配置为提取所述训练导航视频中的导航播报音频，将所述导航播报音频转换为文本信息，得到与所述训练视频帧对应的导航播报文本；
61.第一训练模块，被配置为将所述训练视频帧作为训练数据，对所述导航图面元素识别子模型进行训练；
62.第二训练模块，被配置为将与所述训练视频帧对应的导航播报文本作为训练数据，对所述导航播报元素异常检测子模型进行训练。
63.第五方面，本公开实施例提供了一种电子设备，包括存储器和至少一个处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述至少一个处理器执行以实现上述方法。
64.第六方面，本公开实施例提供了一种计算机可读存储介质，用于存储上述装置所用的计算机指令，其包含用于执行上述方法为上述装置所涉及的计算机指令。
65.第七方面，本公开实施例提供了一种计算机程序产品，包括计算机程序/指令，其中，该计算机程序/指令被处理器执行时实现上述方法。
66.本公开实施例提供的技术方案可以包括以下有益效果：
67.上述技术方案借助预先训练得到的导航异常检测模型对于目标导航视频存在导航图面元素展示异常、导航播报元素异常和/或导航图面元素与导航播报元素不一致的情况进行检测。该技术方案不仅能够快速、有效地对于导航过程中出现的异常情况进行检测，而且还能够大大降低人工成本，从而有效地提升了用户的使用体验。
68.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
69.结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
70.图1示出根据本公开一实施方式的导航异常检测方法的流程图；
71.图2a示出根据本公开一实施方式的导航图面元素示意图；
72.图2b示出根据本公开一实施方式的导航异常检测方法的整体流程图；
73.图3示出根据本公开一实施方式的导航异常检测模型训练方法的流程图；
74.图4示出根据本公开一实施方式的导航异常检测装置的结构框图；
75.图5示出根据本公开一实施方式的导航异常检测模型训练装置的结构框图；
76.图6示出根据本公开一实施方式的电子设备的结构框图；
77.图7是适于用来实现根据本公开一实施方式的导航异常检测/导航异常检测模型训练方法的计算机系统的结构示意图。
具体实施方式
78.下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
79.在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
80.另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
81.本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
82.本公开实施例提供的技术方案借助预先训练得到的导航异常检测模型对于目标导航视频存在导航图面元素展示异常、导航播报元素异常和/或导航图面元素与导航播报元素不一致的情况进行检测。该技术方案不仅能够快速、有效地对于导航过程中出现的异常情况进行检测，而且还能够大大降低人工成本，从而有效地提升了用户的使用体验。
83.图1示出根据本公开一实施方式的导航异常检测方法的流程图，如图1所示，所述导航异常检测方法包括以下步骤s101-s103：
84.在步骤s101中，获取目标导航视频；
85.在步骤s102中，将所述目标导航视频输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种，其中，所述预设异常情况包括：导航图面元素展示异常、导航播报元素异常、以及导航图面元素与导航播报元素不一致；
86.在步骤s103中，当所述目标导航视频存在所述预设异常情况中的一种或多种时，确定所述目标导航视频异常。
87.上文提及，随着社会的发展和进步，越来越多的用户在出行导航时借助导航画面和导航语音播报的引导到达目的地。当遇到复杂路口时，导航应用会展示路口大图、车道线、黑卡等导航图面信息，以辅助用户做出正确的行驶判断，但这些导航图面信息与导航语音播报在某种因素的影响下，可能会出现导航内容不一致的情况，这就增加了用户决策的难度，而且通常导航过程中车速相对较快，上述导航内容不一致的情况很容易引起用户偏航，严重时还会引发事故，严重地影响了用户的体验。目前对于上述导航内容不一致的情况通常只能通过人工回放导航视频的方式来查找问题，但这种方式不仅路线覆盖度低，检测效率低下，还需要耗费大量的人工成本。因此，亟需一种能够快速、有效且能够降低人工成本的导航异常检测方案。
88.考虑到上述缺陷，在该实施方式中，提供一种导航异常检测方法，该方法借助预先训练得到的导航异常检测模型对于目标导航视频存在导航图面元素展示异常、导航播报元素异常和/或导航图面元素与导航播报元素不一致的情况进行检测。该技术方案不仅能够快速、有效地对于导航过程中出现的异常情况进行检测，而且还能够大大降低人工成本，从而有效地提升了用户的使用体验。
89.在本公开一实施方式中，所述导航异常检测方法可适用于对于导航异常情况进行检测的计算机、计算设备、电子设备、服务器、服务集群等等。
90.在本公开一实施方式中，所述目标导航视频指的是已经存在的、需要对其进行检测，以确定其中是否存在导航图面元素展示异常、导航播报元素异常、导航图面元素与导航播报元素不一致等异常情况的导航视频。
91.在本公开一实施方式中，所述导航图面元素指的是在导航图面上进行展示的、用
于渲染用户行驶行为引导信息的元素，所述导航图面元素可包括以下元素中的一种或多种：导航提示区域；路口大图；车道引导区域，其中，所述导航图面元素根据其渲染的用户行驶行为引导信息的不同设置有不同的类别，所述导航图面元素的类别可设置为以下类别中的一种：左转、右转、直行、调头，等等。
92.其中，所述导航提示区域通常设置在导航界面的顶部，如图2a所示。所述导航提示区域中渲染的用户行驶行为引导信息可为以下信息中的一种：左转、右转、直行、调头、相应的距离信息等等。比如，图2a中的导航提示区域中渲染的用户行驶行为引导信息为“393米”与左转箭头，该导航提示区域的引导含义是提示用户将在行驶393米后左转，那么所述导航提示区域的类别即为左转。
93.其中，所述路口大图通常设置在导航界面的中部，如图2a所示。所述路口大图中渲染的用户行驶行为引导信息可为以下信息中的一种：左转、右转、直行、调头等等。比如，图2a中的路口大图中渲染的用户行驶行为引导信息为左转箭头，该路口大图的引导含义是提示用户在下一路口左转，那么所述路口大图的类别即为左转。
94.其中，所述车道引导区域通常设置在路口大图的底部，如图2a所示。所述车道引导区域中渲染的用户行驶行为引导信息可为以下信息中的一种：全部车道信息、可行驶车道信息，等等。比如，图2a中的车道引导区域中渲染的用户行驶行为引导信息为5个直行的可行驶车道信息以及1个右转的不可行驶车道信息，该车道引导区域的引导含义是提示用户可在5个直行车道上直行行驶，那么所述车道引导区域的类别即为直行。
95.在本公开一实施方式中，所述导航播报元素指的是嵌入在导航播报语音中的、用于引导用户行驶行为的元素，所述导航播报元素可包括以下元素中的一种或多种：“一百米红绿灯路口右转”等对于用户行驶行为来说相对比较重要的主行驶行为元素；“前方有测速拍照”等对于用户行驶行为来说相对不太重要的辅行驶行为元素；等等。
96.在本公开一实施方式中，所述导航图面元素展示异常指的是导航图面元素在展示时存在逻辑矛盾等异常情况。比如，图2a中，导航提示区域的类别为左转，路口大图的类别亦为左转，可以看出，导航提示区域与路口大图这两个导航图面元素的识别是一致的，但车道引导区域的类别却是直行，很显然，车道引导区域与导航提示区域和路口大图的类别不一致，存在逻辑矛盾，这种情况就可认为是存在导航图面元素展示异常。
97.在本公开一实施方式中，所述导航播报元素异常指的是导航播报元素在播报时存在逻辑矛盾等异常情况。比如，对于“走右侧两车道，红绿灯路口左转”这一导航播报内容来说，导航播报元素可提取为“走右侧两车道”和“红绿灯路口左转”，其中，“走右侧两车道”的引导含义是提示用户接下来需要右转，而“红绿灯路口左转”的引导含义则是提示用户接下来需要左转，显然，这两个导航播报元素提示的内容是存在逻辑矛盾的，这种情况就可认为是存在导航播报元素异常。
98.在本公开一实施方式中，所述导航图面元素与导航播报元素不一致指的是对于同一视频帧而言，导航图面元素类别与导航播报元素提示的内容不一致，存在逻辑上的矛盾。比如，若导航图面元素的类别为右转，而与此同时的导航播报元素却是用户左转，这就存在导航图面元素与导航播报元素不一致的情况。
99.在本公开一实施方式中，所述导航异常检测模型指的是预先训练得到的、用于对于导航视频中是否存在导航图面元素展示异常、导航播报元素异常以及导航图面元素与导
航播报元素不一致等异常情况进行检测的模型。进一步地，在本公开一实施方式中，所述导航异常检测模型可以神经网络模型作为初始形态模型，即在模型训练时，可以预先设置的神经网络模型作为初始模型进行训练，训练完成后，即可得到能够对于导航视频中是否存在异常情况进行检测的导航异常检测模型。其中，所述导航异常检测模型的初始形态模型可根据实际应用的需要进行选择，本公开对于所述导航异常检测模型的初始形态模型不做特别限定。
100.在上述实施方式中，首先获取待检测的目标导航视频；然后将所述目标导航视频输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在导航图面元素展示异常、导航播报元素异常、以及导航图面元素与导航播报元素不一致等预设异常情况；若所述目标导航视频存在所述预设异常情况中的任意一种或多种，则均可确定所述目标导航视频异常。
101.在本公开一实施方式中，所述步骤s101，即获取目标导航视频的步骤之后，所述方法还可包括以下步骤：
102.对所述目标导航视频进行分帧处理，得到所述目标导航视频的多个视频帧；
103.对所述视频帧进行预处理，得到目标视频帧；
104.提取所述目标导航视频中的导航播报音频；
105.将所述导航播报音频转换为文本信息，得到与所述目标视频帧对应的导航播报文本。
106.为了方便对于所述目标导航视频的导航图面元素以及导航播报元素的检测，需要将所述目标导航视频的导航图面和导航播报音频分离出来，因此，在该实施方式中，首先对所述目标导航视频进行分帧处理，得到所述目标导航视频的多个目标视频帧；然后提取所述目标导航视频中的导航播报音频，并将所述导航播报音频通过语音转文字工具转换为文本信息，进而可以得到与所述目标视频帧对应的导航播报文本。进一步地，考虑到所述目标视频帧中可能存在一些噪声视频帧，或者某些视频帧大小不符合预设要求，因此，在提取所述目标导航视频中的导航播报音频之前，还可对于所述目标视频帧进行预处理，其中，所述预处理可包括以下处理方式中的一种或多种：去噪、将视频帧调整为预设大小等等。
107.进一步地，在该实施方式中，所述将所述目标导航视频输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种，可被实施为：
108.将所述目标视频帧和对应的导航播报文本输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种。
109.在本公开一实施方式中，所述导航异常检测模型包括导航图面元素识别子模型和导航播报元素异常检测子模型，其中，所述导航图面元素识别子模型用于识别目标视频帧中的导航图面元素及其类型，以供后续对于所述目标导航视频是否存在导航图面元素展示异常的情况进行检测，所述导航播报元素异常检测子模型用于识别目标视频帧中的导航播报元素，并检测所述目标导航视频是否存在导航播报元素异常的情况。
110.在该实施方式中，所述将所述目标视频帧和对应的导航播报文本输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种，可包括以下步骤：
111.将所述目标视频帧输入至预先训练得到的导航图面元素识别子模型中，得到每一目标视频帧中的导航图面元素及其类别；
112.根据所述每一目标视频帧中的导航图面元素及其类别确定所述目标导航视频是否存在导航图面元素展示异常；
113.将所述导航播报文本输入至预先训练得到的导航播报元素异常检测子模型中，得到所述导航播报元素异常检测子模型识别得到的每一目标视频帧中的导航播报元素，以及所述目标导航视频是否存在导航播报元素异常的检测结果；
114.比较同一目标视频帧对应的导航图面元素及其类别与导航播报元素，确定所述目标导航视频是否存在导航图面元素与导航播报元素不一致的情况。
115.在该实施方式中，首先将所述目标视频帧输入至预先训练得到的导航图面元素识别子模型中，得到每一目标视频帧中的导航图面元素及其类别；然后比较所述每一目标视频帧中的导航图面元素及其类别，根据所述每一目标视频帧中导航图面元素及其类别之间是否存在逻辑一致性，来判断所述目标导航视频是否存在导航图面元素展示异常；然后将所述导航播报文本输入至预先训练得到的导航播报元素异常检测子模型中，得到所述导航播报元素异常检测子模型识别出的每一目标视频帧中的导航播报元素，以及所述目标导航视频是否存在导航播报元素异常的检测结果；最后，对于所述导航图面元素识别子模型识别得到的每一目标视频帧中的导航图面元素及其类别，以及所述导航播报元素异常检测子模型识别出的每一目标视频帧中的导航播报元素进行比较，即比较同一目标视频帧对应的导航图面元素及其类别与导航播报元素是否一致，以确定所述目标导航视频是否存在导航图面元素与导航播报元素不一致的情况。
116.其中，考虑到有些视频帧在显示时不一定对应播放有导航音频，也就是说，所述导航播报文本不一定与所述目标视频帧一一对应，即所述目标视频帧的数量有可能会大于所述导航播报文本的数量，在这种情况下，仍然是将所述目标视频帧输入至导航图面元素识别子模型中，将提取得到的导航播报文本输入至导航播报元素异常检测子模型中进行识别和检测，只是在比较同一目标视频帧对应的导航图面元素及其类别与导航播报元素时，只对同时具有导航图面元素和导航播报元素的目标视频帧进行导航图面元素及其类别与导航播报元素的比较。
117.进一步地，在本公开一实施方式中，所述导航图面元素识别子模型还可识别得到的每一目标视频帧中导航图面元素的数量，为了后续便于数据的查找，所述导航图面元素识别子模型识别得到的每一目标视频帧中导航图面元素、类别及其数量，可按照预设数据要求生成树形结构等结构化数据并进行存储，作为所述导航图面元素识别子模型的输出之一。
118.进一步地，在本公开一实施方式中，为了后续便于数据的查找，所述导航播报元素异常检测子模型识别得到的存在导航播报元素异常的导航播报文本，及与该导航播报文本对应的导航播报元素，也可按照预设数据要求生成树形结构等结构化数据并进行存储，作为所述导航播报元素异常检测子模型的输出之一。
119.进一步地，在本公开一实施方式中，所述导航播报元素异常检测子模型包括导航播报文本分词子模型和导航播报元素异常分类子模型。
120.其中，所述导航播报文本分词子模型用于对于导航播报文本进行分词处理，得到
与测试需求相关的分词结果，比如，对于“前方有测速拍照，请注意慢行，一百米红绿灯路口右转”这一导航播报文本，经分词处理后可得到“一百米红绿灯路口右转”和“前方有测速拍照”与测试需求有关的词组，而“请注意慢行”为与测试需求无关的词组，不作为最终的分词结果。在得到所述导航播报文本的分词处理结果后，还可对于得到的词组进行导航播报元素的确定，比如，“一百米红绿灯路口右转”为与测试需求有关的主行驶行为词组，可确定为主行驶行为元素，“前方有测速拍照”为与测试需求有关的辅行驶行为词组，可确定为辅行驶行为元素。
121.其中，所述导航播报元素异常分类子模型用于对于所述导航播报元素进行分类处理，以确定是否存在导航播报元素不一致等异常的情况。
122.由上可知，所述导航播报文本分词子模型和导航播报元素异常分类子模型为级联关系，所述导航播报文本分词子模型的输出为所述导航播报元素异常分类子模型的间接输入。
123.在该实施方式中，所述将所述导航播报文本输入至预先训练得到的导航播报元素异常检测子模型中，得到所述导航播报元素异常检测子模型识别得到的每一目标视频帧中的导航播报元素，以及所述目标导航视频是否存在导航播报元素异常的检测结果的步骤，可包括以下步骤：
124.将所述导航播报文本输入至预先训练得到的导航播报文本分词子模型中，得到与所述导航播报文本对应的分词结果；
125.从所述分词结果中提取得到导航播报元素；
126.将所述导航播报元素输入至预先训练得到的导航播报元素异常分类子模型中，得到所述目标导航视频是否存在导航播报元素异常的检测结果。
127.在上述实施方式中，首先将所述导航播报文本输入至所述导航播报文本分词子模型中，得到与所述导航播报文本对应的分词结果；然后从所述分词结果中根据预设规则提取得到导航播报元素；最后将所述导航播报元素输入至所述导航播报元素异常分类子模型中，即可得到所述目标导航视频是否存在导航播报元素异常的检测结果。
128.在本公开一实施方式中，所述方法还可包括以下步骤：
129.对所述导航图面元素识别子模型和所述导航播报元素异常检测子模型进行训练。
130.进一步地，在本公开一实施方式中，所述对所述导航图面元素识别子模型和所述导航播报元素异常检测子模型进行训练，包括：
131.获取训练导航视频；
132.对所述训练导航视频进行分帧处理，得到所述训练导航视频的多个视频帧；
133.对所述视频帧进行预处理，得到训练视频帧；
134.提取所述训练导航视频中的导航播报音频；
135.将所述导航播报音频转换为文本信息，得到与所述训练视频帧对应的导航播报文本；
136.将所述训练视频帧作为训练数据，对所述导航图面元素识别子模型进行训练；
137.将与所述训练视频帧对应的导航播报文本作为训练数据，对所述导航播报元素异常检测子模型进行训练。
138.在该实施方式中，与上文提及的导航异常检测流程类似，首先需要获取训练导航
视频；然后对于所述训练导航视频进行分帧处理，得到所述训练导航视频的多个视频帧；然后对所述视频帧进行去噪、调整大小等预处理，得到训练视频帧；然后提取所述训练导航视频中的导航播报音频；并将所述导航播报音频转换为文本信息，得到与所述训练视频帧对应的导航播报文本；之后，可将得到的所述训练视频帧作为训练数据，对于所述导航图面元素识别子模型进行训练；将得到的与所述训练视频帧对应的导航播报文本作为训练数据，对于所述导航播报元素异常检测子模型进行训练。
139.进一步地，在本公开一实施方式中，所述获取训练导航视频的步骤，可包括以下步骤：
140.获取用户历史导航路线；
141.基于所述用户历史导航路线进行模拟导航，得到导航图面元素和导航播报音频；
142.基于所述导航图面元素和导航播报音频生成所述训练导航视频。
143.在该实施方式中，在获取训练导航视频时，首先获取用户历史导航路线，其中，所述用户历史导航路线指的是在预设历史时间段内导航应用真实生成的用户导航路线，另外，在获取用户历史导航路线时，可根据检测的需要有针对性地选择包括复杂路口的、包含简单路口的、或具有其他特点的导航路线；然后基于所述用户历史导航路线进行模拟导航，得到导航图面元素和导航播报音频；最后基于所述导航图面元素和导航播报音频，借助视频录制工具，即可生成所述训练导航视频。
144.进一步地，在本公开一实施方式中，所述将所述训练视频帧作为训练数据，对所述导航图面元素识别子模型进行训练，包括：
145.对所述训练视频帧进行导航图面元素及其类别标注，得到与所述训练视频帧对应的导航图面元素及其类别标注结果；
146.将所述训练视频帧、与所述训练视频帧对应的导航图面元素及其类别标注结果作为所述导航图面元素识别子模型的训练输入数据，对所述导航图面元素识别子模型进行训练。
147.在该实施方式中，在对所述导航图面元素识别子模型进行训练时，首先对于所述训练视频帧进行导航图面元素及其类别的标注，得到与所述训练视频帧对应的导航图面元素及其类别标注结果，其中，所述导航图面元素标注指的是标注出所述训练视频帧中哪些元素为导航图面元素，以及这些导航图面元素的类别分别是什么；然后将所述训练视频帧、与所述训练视频帧对应的导航图面元素及其类别标注结果作为所述导航图面元素识别子模型的训练输入数据，对所述导航图面元素识别子模型进行训练，在对所述导航图面元素识别子模型进行训练时，可采用迁移学习等模型训练方法。
148.在本公开一实施方式中，所述导航图面元素识别子模型还可进一步分为两类子模型，比如对于路口大图这种特征比较明显，对于标注要求不太高的导航图面元素，可以使用图像分类类别的模型，而对于导航提示区域、车道引导区域这种特征不那么明显，对于标注要求相对较高的导航图面元素，可以使用目标检测类别的模型。当然，所述导航图面元素识别子模型也可以只使用目标检测类别的模型。上述对于模型类型的选择可根据实际应用的需要进行确定，本公开对其不做特别限定。
149.上文提及，所述导航播报元素异常检测子模型包括导航播报文本分词子模型和导航播报元素异常分类子模型。
150.在该实施方式中，所述将与所述训练视频帧对应的导航播报文本作为训练数据，对所述导航播报元素异常检测子模型进行训练，包括：
151.对所述导航播报文本进行分词标注，得到与所述导航播报文本对应的分词标注结果；
152.将所述导航播报文本、与所述导航播报文本对应的分词标注结果作为所述导航播报文本分词子模型的训练输入数据，对所述导航播报文本分词子模型进行训练；
153.基于所述分词标注结果进行导航播报元素提取，得到导航播报元素；
154.对于所述导航播报元素进行异常分类标注，得到与所述导航播报元素对应的异常分类标注结果；
155.将所述导航播报元素、与所述导航播报元素对应的异常分类标注结果作为所述导航播报元素异常分类子模型的训练输入数据，对所述导航播报元素异常分类子模型进行训练；
156.将所述导航播报文本分词子模型和导航播报元素异常分类子模型级联起来，得到所述导航播报元素异常检测子模型。
157.在上述实施方式中，在对所述导航播报元素异常检测子模型进行训练时，首先对于所述导航播报文本进行分词标注，得到与所述导航播报文本对应的分词标注结果，即将所述导航播报文本标注出可分为哪些词组；然后将所述导航播报文本、与所述导航播报文本对应的分词标注结果作为所述导航播报文本分词子模型的训练输入数据，对所述导航播报文本分词子模型进行训练，得到所述导航播报文本分词子模型；然后对于所述分词标注结果根据预设规则进行导航播报元素的提取，得到与所述导航播报文本对应的导航播报元素；然后对于所述导航播报元素进行异常分类标注，得到与所述导航播报元素对应的异常分类标注结果，即标注出导航播报元素是否存在不一致的异常情况；然后将所述导航播报元素、与所述导航播报元素对应的异常分类标注结果作为所述导航播报元素异常分类子模型的训练输入数据，对所述导航播报元素异常分类子模型进行训练，得到所述导航播报元素异常分类子模型；最后将所述导航播报文本分词子模型和导航播报元素异常分类子模型级联起来，得到用于对于导航播报元素进行异常检测的导航播报元素异常检测子模型。
158.进一步地，在训练得到所述导航图面元素识别子模型和导航播报元素异常检测子模型之后，还可获取验证数据对于所述导航图面元素识别子模型和导航播报元素异常检测子模型进行验证，验证通过的导航图面元素识别子模型和导航播报元素异常检测子模型可用作实际导航视频的异常检测。
159.图2b示出根据本公开一实施方式的导航异常检测方法的整体流程图，如图2b所示，在对于目标导航视频进行异常检测时，首先获取用户历史导航路线；基于所述用户历史导航路线进行模拟导航，得到导航图面元素和导航播报音频；基于所述导航图面元素和导航播报音频生成训练导航视频；对所述训练导航视频进行分帧处理，得到所述训练导航视频的多个视频帧；对所述视频帧进行预处理，得到训练视频帧；提取所述训练导航视频中的导航播报音频；将所述导航播报音频转换为文本信息，得到与所述训练视频帧对应的导航播报文本；对所述训练视频帧进行导航图面元素及其类别标注，得到与所述训练视频帧对应的导航图面元素及其类别标注结果；将所述训练视频帧、与所述训练视频帧对应的导航图面元素及其类别标注结果作为导航图面元素识别子模型的训练输入数据，对所述导航图
面元素识别子模型进行训练和验证，得到所述导航图面元素识别子模型，其中，所述导航图面元素识别子模型可包括目标检测模型和图像分类模型；对所述导航播报文本进行分词标注，得到与所述导航播报文本对应的分词标注结果；将所述导航播报文本、与所述导航播报文本对应的分词标注结果作为导航播报文本分词子模型的训练输入数据，对所述导航播报文本分词子模型进行训练和验证，得到导航播报文本分词子模型；基于所述分词标注结果根据预设规则进行导航播报元素的提取，得到导航播报元素；对于所述导航播报元素进行异常分类标注，得到与所述导航播报元素对应的异常分类标注结果；将所述导航播报元素、与所述导航播报元素对应的异常分类标注结果作为导航播报元素异常分类子模型的训练输入数据，对所述导航播报元素异常分类子模型进行训练和验证，得到导航播报元素异常分类子模型，其中，所述导航播报文本分词子模型和导航播报元素异常分类子模型级联组成导航播报元素异常检测子模型。
160.获取目标导航视频；对所述目标导航视频进行分帧处理，得到所述目标导航视频的多个视频帧；对所述视频帧进行预处理，得到目标视频帧；提取所述目标导航视频中的导航播报音频；将所述导航播报音频转换为文本信息，得到与所述目标视频帧对应的导航播报文本；将所述目标视频帧输入至所述导航图面元素识别子模型中，得到每一目标视频帧中的导航图面元素及其类别；根据所述每一目标视频帧中的导航图面元素及其类别确定所述目标导航视频是否存在导航图面元素展示异常；将所述导航播报文本输入至所述导航播报文本分词子模型中，得到与所述导航播报文本对应的分词结果；从所述分词结果中根据预设规则提取得到导航播报元素；将所述导航播报元素输入至所述导航播报元素异常分类子模型中，得到所述目标导航视频是否存在导航播报元素异常的检测结果；比较同一目标视频帧对应的导航图面元素及其类别与导航播报元素，确定所述目标导航视频是否存在导航图面元素与导航播报元素不一致的情况；当所述目标导航视频存在导航图面元素展示异常、导航播报元素异常和/或导航图面元素与导航播报元素不一致等异常情况时，确定所述目标导航视频异常，后续可将出现异常的目标导航视频发送至技术人员处，以对相应的导航应用部分进行问题修复，从而有效提升用户的使用体验。
161.图3示出根据本公开一实施方式的导航异常检测模型训练方法的流程图，如图3所示，所述导航异常检测模型训练方法包括以下步骤s301-s305：
162.在步骤s301中，获取训练导航视频；
163.在步骤s302中，对所述训练导航视频进行分帧处理，得到所述训练导航视频的多个训练视频帧；
164.在步骤s303中，提取所述训练导航视频中的导航播报音频，将所述导航播报音频转换为文本信息，得到与所述训练视频帧对应的导航播报文本；
165.在步骤s304中，将所述训练视频帧作为训练数据，对所述导航图面元素识别子模型进行训练；
166.在步骤s305中，将与所述训练视频帧对应的导航播报文本作为训练数据，对所述导航播报元素异常检测子模型进行训练。
167.上文提及，随着社会的发展和进步，越来越多的用户在出行导航时借助导航画面和导航语音播报的引导到达目的地。当遇到复杂路口时，导航应用会展示路口大图、车道线、黑卡等导航图面信息，以辅助用户做出正确的行驶判断，但这些导航图面信息与导航语
音播报在某种因素的影响下，可能会出现导航内容不一致的情况，这就增加了用户决策的难度，而且通常导航过程中车速相对较快，上述导航内容不一致的情况很容易引起用户偏航，严重时还会引发事故，严重地影响了用户的体验。目前对于上述导航内容不一致的情况通常只能通过人工回放导航视频的方式来查找问题，但这种方式不仅路线覆盖度低，检测效率低下，还需要耗费大量的人工成本。因此，亟需一种能够快速、有效且能够降低人工成本的导航异常检测方案。
168.考虑到上述缺陷，在该实施方式中，提供一种导航异常检测模型训练方法，该方法能够训练得到对于目标导航视频存在导航图面元素展示异常、导航播报元素异常和/或导航图面元素与导航播报元素不一致的情况进行检测的模型。该技术方案训练方法简单，训练得到的导航异常检测模型鲁棒性强。
169.在本公开一实施方式中，所述导航异常检测模型训练方法可适用于对于导航异常检测模型进行训练的计算机、计算设备、电子设备、服务器、服务集群等等。
170.在上述实施方式中，与上文提及的导航异常检测流程类似，首先需要获取训练导航视频；然后对于所述训练导航视频进行分帧处理，得到所述训练导航视频的多个训练视频帧；然后提取所述训练导航视频中的导航播报音频；并将所述导航播报音频转换为文本信息，得到与所述训练视频帧对应的导航播报文本；之后，可将得到的所述训练视频帧作为训练数据，对于所述导航图面元素识别子模型进行训练；将得到的与所述训练视频帧对应的导航播报文本作为训练数据，对于所述导航播报元素异常检测子模型进行训练。
171.进一步地，在本公开一实施方式中，所述得到所述训练导航视频的多个训练视频帧之后，还可包括以下步骤：
172.对所述训练视频帧进行预处理。
173.其中，所述预处理可包括以下处理中的一种或多种：去噪、调整大小等等。
174.进一步地，在本公开一实施方式中，所述获取训练导航视频的步骤，可包括以下步骤：
175.获取用户历史导航路线；
176.基于所述用户历史导航路线进行模拟导航，得到导航图面元素和导航播报音频；
177.基于所述导航图面元素和导航播报音频生成所述训练导航视频。
178.在该实施方式中，在获取训练导航视频时，首先获取用户历史导航路线，其中，所述用户历史导航路线指的是在预设历史时间段内导航应用真实生成的用户导航路线，另外，在获取用户历史导航路线时，可根据检测的需要有针对性地选择包括复杂路口的、包含简单路口的、或具有其他特点的导航路线；然后基于所述用户历史导航路线进行模拟导航，得到导航图面元素和导航播报音频；最后基于所述导航图面元素和导航播报音频，借助视频录制工具，即可生成所述训练导航视频。
179.进一步地，在本公开一实施方式中，所述将所述训练视频帧作为训练数据，对所述导航图面元素识别子模型进行训练，包括：
180.对所述训练视频帧进行导航图面元素及其类别标注，得到与所述训练视频帧对应的导航图面元素及其类别标注结果；
181.将所述训练视频帧、与所述训练视频帧对应的导航图面元素及其类别标注结果作为所述导航图面元素识别子模型的训练输入数据，对所述导航图面元素识别子模型进行训
练。
182.在该实施方式中，在对所述导航图面元素识别子模型进行训练时，首先对于所述训练视频帧进行导航图面元素及其类别的标注，得到与所述训练视频帧对应的导航图面元素及其类别标注结果，其中，所述导航图面元素标注指的是标注出所述训练视频帧中哪些元素为导航图面元素，以及这些导航图面元素的类别分别是什么；然后将所述训练视频帧、与所述训练视频帧对应的导航图面元素及其类别标注结果作为所述导航图面元素识别子模型的训练输入数据，对所述导航图面元素识别子模型进行训练，在对所述导航图面元素识别子模型进行训练时，可采用迁移学习等模型训练方法。
183.在本公开一实施方式中，所述导航图面元素识别子模型还可进一步分为两类子模型，比如对于路口大图这种特征比较明显，对于标注要求不太高的导航图面元素，可以使用图像分类类别的模型，而对于导航提示区域、车道引导区域这种特征不那么明显，对于标注要求相对较高的导航图面元素，可以使用目标检测类别的模型。当然，所述导航图面元素识别子模型也可以只使用目标检测类别的模型。上述对于模型类型的选择可根据实际应用的需要进行确定，本公开对其不做特别限定。
184.上文提及，所述导航播报元素异常检测子模型包括导航播报文本分词子模型和导航播报元素异常分类子模型。
185.在该实施方式中，所述将与所述训练视频帧对应的导航播报文本作为训练数据，对所述导航播报元素异常检测子模型进行训练，包括：
186.对所述导航播报文本进行分词标注，得到与所述导航播报文本对应的分词标注结果；
187.将所述导航播报文本、与所述导航播报文本对应的分词标注结果作为所述导航播报文本分词子模型的训练输入数据，对所述导航播报文本分词子模型进行训练；
188.基于所述分词标注结果进行导航播报元素提取，得到导航播报元素；
189.对于所述导航播报元素进行异常分类标注，得到与所述导航播报元素对应的异常分类标注结果；
190.将所述导航播报元素、与所述导航播报元素对应的异常分类标注结果作为所述导航播报元素异常分类子模型的训练输入数据，对所述导航播报元素异常分类子模型进行训练；
191.将所述导航播报文本分词子模型和导航播报元素异常分类子模型级联起来，得到所述导航播报元素异常检测子模型。
192.在上述实施方式中，在对所述导航播报元素异常检测子模型进行训练时，首先对于所述导航播报文本进行分词标注，得到与所述导航播报文本对应的分词标注结果，即将所述导航播报文本标注出可分为哪些词组；然后将所述导航播报文本、与所述导航播报文本对应的分词标注结果作为所述导航播报文本分词子模型的训练输入数据，对所述导航播报文本分词子模型进行训练，得到所述导航播报文本分词子模型；然后对于所述分词标注结果根据预设规则进行导航播报元素的提取，得到与所述导航播报文本对应的导航播报元素；然后对于所述导航播报元素进行异常分类标注，得到与所述导航播报元素对应的异常分类标注结果，即标注出导航播报元素是否存在不一致的异常情况；然后将所述导航播报元素、与所述导航播报元素对应的异常分类标注结果作为所述导航播报元素异常分类子模
型的训练输入数据，对所述导航播报元素异常分类子模型进行训练，得到所述导航播报元素异常分类子模型；最后将所述导航播报文本分词子模型和导航播报元素异常分类子模型级联起来，得到用于对于导航播报元素进行异常检测的导航播报元素异常检测子模型。
193.进一步地，在训练得到所述导航图面元素识别子模型和导航播报元素异常检测子模型之后，还可获取验证数据对于所述导航图面元素识别子模型和导航播报元素异常检测子模型进行验证，验证通过的导航图面元素识别子模型和导航播报元素异常检测子模型可用作实际导航视频的异常检测。
194.下述为本公开装置实施例，可以用于执行本公开方法实施例。
195.图4示出根据本公开一实施方式的导航异常检测装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图4所示，所述导航异常检测装置包括：
196.第一获取模块401，被配置为获取目标导航视频；
197.检测模块402，被配置为将所述目标导航视频输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种，其中，所述预设异常情况包括：导航图面元素展示异常、导航播报元素异常、以及导航图面元素与导航播报元素不一致；
198.确定模块403，被配置为当所述目标导航视频存在所述异常情况中的一种或多种时，确定所述目标导航视频异常。
199.上文提及，随着社会的发展和进步，越来越多的用户在出行导航时借助导航画面和导航语音播报的引导到达目的地。当遇到复杂路口时，导航应用会展示路口大图、车道线、黑卡等导航图面信息，以辅助用户做出正确的行驶判断，但这些导航图面信息与导航语音播报在某种因素的影响下，可能会出现导航内容不一致的情况，这就增加了用户决策的难度，而且通常导航过程中车速相对较快，上述导航内容不一致的情况很容易引起用户偏航，严重时还会引发事故，严重地影响了用户的体验。目前对于上述导航内容不一致的情况通常只能通过人工回放导航视频的方式来查找问题，但这种方式不仅路线覆盖度低，检测效率低下，还需要耗费大量的人工成本。因此，亟需一种能够快速、有效且能够降低人工成本的导航异常检测方案。
200.考虑到上述缺陷，在该实施方式中，提供一种导航异常检测装置，该装置借助预先训练得到的导航异常检测模型对于目标导航视频存在导航图面元素展示异常、导航播报元素异常和/或导航图面元素与导航播报元素不一致的情况进行检测。该技术方案不仅能够快速、有效地对于导航过程中出现的异常情况进行检测，而且还能够大大降低人工成本，从而有效地提升了用户的使用体验。
201.在本公开一实施方式中，所述导航异常检测装置可实现为对于导航异常情况进行检测的计算机、计算设备、电子设备、服务器、服务集群等等。
202.在本公开一实施方式中，所述目标导航视频指的是已经存在的、需要对其进行检测，以确定其中是否存在导航图面元素展示异常、导航播报元素异常、导航图面元素与导航播报元素不一致等异常情况的导航视频。
203.在本公开一实施方式中，所述导航图面元素指的是在导航图面上进行展示的、用于渲染用户行驶行为引导信息的元素，所述导航图面元素可包括以下元素中的一种或多
种：导航提示区域；路口大图；车道引导区域，其中，所述导航图面元素根据其渲染的用户行驶行为引导信息的不同设置有不同的类别，所述导航图面元素的类别可设置为以下类别中的一种：左转、右转、直行、调头，等等。
204.其中，所述导航提示区域通常设置在导航界面的顶部，如图2a所示。所述导航提示区域中渲染的用户行驶行为引导信息可为以下信息中的一种：左转、右转、直行、调头、相应的距离信息等等。比如，图2a中的导航提示区域中渲染的用户行驶行为引导信息为“393米”与左转箭头，该导航提示区域的引导含义是提示用户将在行驶393米后左转，那么所述导航提示区域的类别即为左转。
205.其中，所述路口大图通常设置在导航界面的中部，如图2a所示。所述路口大图中渲染的用户行驶行为引导信息可为以下信息中的一种：左转、右转、直行、调头等等。比如，图2a中的路口大图中渲染的用户行驶行为引导信息为左转箭头，该路口大图的引导含义是提示用户在下一路口左转，那么所述路口大图的类别即为左转。
206.其中，所述车道引导区域通常设置在路口大图的底部，如图2a所示。所述车道引导区域中渲染的用户行驶行为引导信息可为以下信息中的一种：全部车道信息、可行驶车道信息，等等。比如，图2a中的车道引导区域中渲染的用户行驶行为引导信息为5个直行的可行驶车道信息以及1个右转的不可行驶车道信息，该车道引导区域的引导含义是提示用户可在5个直行车道上直行行驶，那么所述车道引导区域的类别即为直行。
207.在本公开一实施方式中，所述导航播报元素指的是嵌入在导航播报语音中的、用于引导用户行驶行为的元素，所述导航播报元素可包括以下元素中的一种或多种：“一百米红绿灯路口右转”等对于用户行驶行为来说相对比较重要的主行驶行为元素；“前方有测速拍照”等对于用户行驶行为来说相对不太重要的辅行驶行为元素；等等。
208.在本公开一实施方式中，所述导航图面元素展示异常指的是导航图面元素在展示时存在逻辑矛盾等异常情况。比如，图2a中，导航提示区域的类别为左转，路口大图的类别亦为左转，可以看出，导航提示区域与路口大图这两个导航图面元素的识别是一致的，但车道引导区域的类别却是直行，很显然，车道引导区域与导航提示区域和路口大图的类别不一致，存在逻辑矛盾，这种情况就可认为是存在导航图面元素展示异常。
209.在本公开一实施方式中，所述导航播报元素异常指的是导航播报元素在播报时存在逻辑矛盾等异常情况。比如，对于“走右侧两车道，红绿灯路口左转”这一导航播报内容来说，导航播报元素可提取为“走右侧两车道”和“红绿灯路口左转”，其中，“走右侧两车道”的引导含义是提示用户接下来需要右转，而“红绿灯路口左转”的引导含义则是提示用户接下来需要左转，显然，这两个导航播报元素提示的内容是存在逻辑矛盾的，这种情况就可认为是存在导航播报元素异常。
210.在本公开一实施方式中，所述导航图面元素与导航播报元素不一致指的是对于同一视频帧而言，导航图面元素类别与导航播报元素提示的内容不一致，存在逻辑上的矛盾。比如，若导航图面元素的类别为右转，而与此同时的导航播报元素却是用户左转，这就存在导航图面元素与导航播报元素不一致的情况。
211.在本公开一实施方式中，所述导航异常检测模型指的是预先训练得到的、用于对于导航视频中是否存在导航图面元素展示异常、导航播报元素异常以及导航图面元素与导航播报元素不一致等异常情况进行检测的模型。进一步地，在本公开一实施方式中，所述导
航异常检测模型可以神经网络模型作为初始形态模型，即在模型训练时，可以预先设置的神经网络模型作为初始模型进行训练，训练完成后，即可得到能够对于导航视频中是否存在异常情况进行检测的导航异常检测模型。其中，所述导航异常检测模型的初始形态模型可根据实际应用的需要进行选择，本公开对于所述导航异常检测模型的初始形态模型不做特别限定。
212.在上述实施方式中，首先获取待检测的目标导航视频；然后将所述目标导航视频输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在导航图面元素展示异常、导航播报元素异常、以及导航图面元素与导航播报元素不一致等预设异常情况；若所述目标导航视频存在所述预设异常情况中的任意一种或多种，则均可确定所述目标导航视频异常。
213.在本公开一实施方式中，所述第一获取模块可被配置为：
214.对所述目标导航视频进行分帧处理，得到所述目标导航视频的多个视频帧；
215.对所述视频帧进行预处理，得到目标视频帧；
216.提取所述目标导航视频中的导航播报音频；
217.将所述导航播报音频转换为文本信息，得到与所述目标视频帧对应的导航播报文本。
218.为了方便对于所述目标导航视频的导航图面元素以及导航播报元素的检测，需要将所述目标导航视频的导航图面和导航播报音频分离出来，因此，在该实施方式中，首先对所述目标导航视频进行分帧处理，得到所述目标导航视频的多个目标视频帧；然后提取所述目标导航视频中的导航播报音频，并将所述导航播报音频通过语音转文字工具转换为文本信息，进而可以得到与所述目标视频帧对应的导航播报文本。进一步地，考虑到所述目标视频帧中可能存在一些噪声视频帧，或者某些视频帧大小不符合预设要求，因此，在提取所述目标导航视频中的导航播报音频之前，还可对于所述目标视频帧进行预处理，其中，所述预处理可包括以下处理方式中的一种或多种：去噪、将视频帧调整为预设大小等等。
219.进一步地，在该实施方式中，所述将所述目标导航视频输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种的部分，可被配置为：
220.将所述目标视频帧和对应的导航播报文本输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种。
221.在本公开一实施方式中，所述导航异常检测模型包括导航图面元素识别子模型和导航播报元素异常检测子模型，其中，所述导航图面元素识别子模型用于识别目标视频帧中的导航图面元素及其类型，以供后续对于所述目标导航视频是否存在导航图面元素展示异常的情况进行检测，所述导航播报元素异常检测子模型用于识别目标视频帧中的导航播报元素，并检测所述目标导航视频是否存在导航播报元素异常的情况。
222.在该实施方式中，所述将所述目标视频帧和对应的导航播报文本输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种的部分，可被配置为：
223.将所述目标视频帧输入至预先训练得到的导航图面元素识别子模型中，得到每一目标视频帧中的导航图面元素及其类别；
224.根据所述每一目标视频帧中的导航图面元素及其类别确定所述目标导航视频是否存在导航图面元素展示异常；
225.将所述导航播报文本输入至预先训练得到的导航播报元素异常检测子模型中，得到所述导航播报元素异常检测子模型识别得到的每一目标视频帧中的导航播报元素，以及所述目标导航视频是否存在导航播报元素异常的检测结果；
226.比较同一目标视频帧对应的导航图面元素及其类别与导航播报元素，确定所述目标导航视频是否存在导航图面元素与导航播报元素不一致的情况。
227.在该实施方式中，首先将所述目标视频帧输入至预先训练得到的导航图面元素识别子模型中，得到每一目标视频帧中的导航图面元素及其类别；然后比较所述每一目标视频帧中的导航图面元素及其类别，根据所述每一目标视频帧中导航图面元素及其类别之间是否存在逻辑一致性，来判断所述目标导航视频是否存在导航图面元素展示异常；然后将所述导航播报文本输入至预先训练得到的导航播报元素异常检测子模型中，得到所述导航播报元素异常检测子模型识别出的每一目标视频帧中的导航播报元素，以及所述目标导航视频是否存在导航播报元素异常的检测结果；最后，对于所述导航图面元素识别子模型识别得到的每一目标视频帧中的导航图面元素及其类别，以及所述导航播报元素异常检测子模型识别出的每一目标视频帧中的导航播报元素进行比较，即比较同一目标视频帧对应的导航图面元素及其类别与导航播报元素是否一致，以确定所述目标导航视频是否存在导航图面元素与导航播报元素不一致的情况。
228.其中，考虑到有些视频帧在显示时不一定对应播放有导航音频，也就是说，所述导航播报文本不一定与所述目标视频帧一一对应，即所述目标视频帧的数量有可能会大于所述导航播报文本的数量，在这种情况下，仍然是将所述目标视频帧输入至导航图面元素识别子模型中，将提取得到的导航播报文本输入至导航播报元素异常检测子模型中进行识别和检测，只是在比较同一目标视频帧对应的导航图面元素及其类别与导航播报元素时，只对同时具有导航图面元素和导航播报元素的目标视频帧进行导航图面元素及其类别与导航播报元素的比较。
229.进一步地，在本公开一实施方式中，所述导航图面元素识别子模型还可识别得到的每一目标视频帧中导航图面元素的数量，为了后续便于数据的查找，所述导航图面元素识别子模型识别得到的每一目标视频帧中导航图面元素、类别及其数量，可按照预设数据要求生成树形结构等结构化数据并进行存储，作为所述导航图面元素识别子模型的输出之一。
230.进一步地，在本公开一实施方式中，为了后续便于数据的查找，所述导航播报元素异常检测子模型识别得到的存在导航播报元素异常的导航播报文本，及与该导航播报文本对应的导航播报元素，也可按照预设数据要求生成树形结构等结构化数据并进行存储，作为所述导航播报元素异常检测子模型的输出之一。
231.进一步地，在本公开一实施方式中，所述导航播报元素异常检测子模型包括导航播报文本分词子模型和导航播报元素异常分类子模型。
232.其中，所述导航播报文本分词子模型用于对于导航播报文本进行分词处理，得到与测试需求相关的分词结果，比如，对于“前方有测速拍照，请注意慢行，一百米红绿灯路口右转”这一导航播报文本，经分词处理后可得到“一百米红绿灯路口右转”和“前方有测速拍
照”与测试需求有关的词组，而“请注意慢行”为与测试需求无关的词组，不作为最终的分词结果。在得到所述导航播报文本的分词处理结果后，还可对于得到的词组进行导航播报元素的确定，比如，“一百米红绿灯路口右转”为与测试需求有关的主行驶行为词组，可确定为主行驶行为元素，“前方有测速拍照”为与测试需求有关的辅行驶行为词组，可确定为辅行驶行为元素。
233.其中，所述导航播报元素异常分类子模型用于对于所述导航播报元素进行分类处理，以确定是否存在导航播报元素不一致等异常的情况。
234.由上可知，所述导航播报文本分词子模型和导航播报元素异常分类子模型为级联关系，所述导航播报文本分词子模型的输出为所述导航播报元素异常分类子模型的间接输入。
235.在该实施方式中，所述将所述导航播报文本输入至预先训练得到的导航播报元素异常检测子模型中，得到所述导航播报元素异常检测子模型识别得到的每一目标视频帧中的导航播报元素，以及所述目标导航视频是否存在导航播报元素异常的检测结果的部分，可被配置为：
236.将所述导航播报文本输入至预先训练得到的导航播报文本分词子模型中，得到与所述导航播报文本对应的分词结果；
237.从所述分词结果中提取得到导航播报元素；
238.将所述导航播报元素输入至预先训练得到的导航播报元素异常分类子模型中，得到所述目标导航视频是否存在导航播报元素异常的检测结果。
239.在上述实施方式中，首先将所述导航播报文本输入至所述导航播报文本分词子模型中，得到与所述导航播报文本对应的分词结果；然后从所述分词结果中根据预设规则提取得到导航播报元素；最后将所述导航播报元素输入至所述导航播报元素异常分类子模型中，即可得到所述目标导航视频是否存在导航播报元素异常的检测结果。
240.在本公开一实施方式中，所述装置还可包括：
241.第三训练模块，被配置为对所述导航图面元素识别子模型和所述导航播报元素异常检测子模型进行训练。
242.进一步地，在本公开一实施方式中，所述第三训练模块可被配置为：
243.获取训练导航视频；
244.对所述训练导航视频进行分帧处理，得到所述训练导航视频的多个视频帧；
245.对所述视频帧进行预处理，得到训练视频帧；
246.提取所述训练导航视频中的导航播报音频；
247.将所述导航播报音频转换为文本信息，得到与所述训练视频帧对应的导航播报文本；
248.将所述训练视频帧作为训练数据，对所述导航图面元素识别子模型进行训练；
249.将与所述训练视频帧对应的导航播报文本作为训练数据，对所述导航播报元素异常检测子模型进行训练。
250.在该实施方式中，与上文提及的导航异常检测流程类似，首先需要获取训练导航视频；然后对于所述训练导航视频进行分帧处理，得到所述训练导航视频的多个视频帧；然后对所述视频帧进行去噪、调整大小等预处理，得到训练视频帧；然后提取所述训练导航视
频中的导航播报音频；并将所述导航播报音频转换为文本信息，得到与所述训练视频帧对应的导航播报文本；之后，可将得到的所述训练视频帧作为训练数据，对于所述导航图面元素识别子模型进行训练；将得到的与所述训练视频帧对应的导航播报文本作为训练数据，对于所述导航播报元素异常检测子模型进行训练。
251.进一步地，在本公开一实施方式中，所述获取训练导航视频的部分，可被配置为：
252.获取用户历史导航路线；
253.基于所述用户历史导航路线进行模拟导航，得到导航图面元素和导航播报音频；
254.基于所述导航图面元素和导航播报音频生成所述训练导航视频。
255.在该实施方式中，在获取训练导航视频时，首先获取用户历史导航路线，其中，所述用户历史导航路线指的是在预设历史时间段内导航应用真实生成的用户导航路线，另外，在获取用户历史导航路线时，可根据检测的需要有针对性地选择包括复杂路口的、包含简单路口的、或具有其他特点的导航路线；然后基于所述用户历史导航路线进行模拟导航，得到导航图面元素和导航播报音频；最后基于所述导航图面元素和导航播报音频，借助视频录制工具，即可生成所述训练导航视频。
256.进一步地，在本公开一实施方式中，所述将所述训练视频帧作为训练数据，对所述导航图面元素识别子模型进行训练的部分，可被配置为：
257.对所述训练视频帧进行导航图面元素及其类别标注，得到与所述训练视频帧对应的导航图面元素及其类别标注结果；
258.将所述训练视频帧、与所述训练视频帧对应的导航图面元素及其类别标注结果作为所述导航图面元素识别子模型的训练输入数据，对所述导航图面元素识别子模型进行训练。
259.在该实施方式中，在对所述导航图面元素识别子模型进行训练时，首先对于所述训练视频帧进行导航图面元素及其类别的标注，得到与所述训练视频帧对应的导航图面元素及其类别标注结果，其中，所述导航图面元素标注指的是标注出所述训练视频帧中哪些元素为导航图面元素，以及这些导航图面元素的类别分别是什么；然后将所述训练视频帧、与所述训练视频帧对应的导航图面元素及其类别标注结果作为所述导航图面元素识别子模型的训练输入数据，对所述导航图面元素识别子模型进行训练，在对所述导航图面元素识别子模型进行训练时，可采用迁移学习等模型训练方法。
260.在本公开一实施方式中，所述导航图面元素识别子模型还可进一步分为两类子模型，比如对于路口大图这种特征比较明显，对于标注要求不太高的导航图面元素，可以使用图像分类类别的模型，而对于导航提示区域、车道引导区域这种特征不那么明显，对于标注要求相对较高的导航图面元素，可以使用目标检测类别的模型。当然，所述导航图面元素识别子模型也可以只使用目标检测类别的模型。上述对于模型类型的选择可根据实际应用的需要进行确定，本公开对其不做特别限定。
261.上文提及，所述导航播报元素异常检测子模型包括导航播报文本分词子模型和导航播报元素异常分类子模型。
262.在该实施方式中，所述将与所述训练视频帧对应的导航播报文本作为训练数据，对所述导航播报元素异常检测子模型进行训练的部分，可被配置为：
263.对所述导航播报文本进行分词标注，得到与所述导航播报文本对应的分词标注结
果；
264.将所述导航播报文本、与所述导航播报文本对应的分词标注结果作为所述导航播报文本分词子模型的训练输入数据，对所述导航播报文本分词子模型进行训练；
265.基于所述分词标注结果进行导航播报元素提取，得到导航播报元素；
266.对于所述导航播报元素进行异常分类标注，得到与所述导航播报元素对应的异常分类标注结果；
267.将所述导航播报元素、与所述导航播报元素对应的异常分类标注结果作为所述导航播报元素异常分类子模型的训练输入数据，对所述导航播报元素异常分类子模型进行训练；
268.将所述导航播报文本分词子模型和导航播报元素异常分类子模型级联起来，得到所述导航播报元素异常检测子模型。
269.在上述实施方式中，在对所述导航播报元素异常检测子模型进行训练时，首先对于所述导航播报文本进行分词标注，得到与所述导航播报文本对应的分词标注结果，即将所述导航播报文本标注出可分为哪些词组；然后将所述导航播报文本、与所述导航播报文本对应的分词标注结果作为所述导航播报文本分词子模型的训练输入数据，对所述导航播报文本分词子模型进行训练，得到所述导航播报文本分词子模型；然后对于所述分词标注结果根据预设规则进行导航播报元素的提取，得到与所述导航播报文本对应的导航播报元素；然后对于所述导航播报元素进行异常分类标注，得到与所述导航播报元素对应的异常分类标注结果，即标注出导航播报元素是否存在不一致的异常情况；然后将所述导航播报元素、与所述导航播报元素对应的异常分类标注结果作为所述导航播报元素异常分类子模型的训练输入数据，对所述导航播报元素异常分类子模型进行训练，得到所述导航播报元素异常分类子模型；最后将所述导航播报文本分词子模型和导航播报元素异常分类子模型级联起来，得到用于对于导航播报元素进行异常检测的导航播报元素异常检测子模型。
270.进一步地，在训练得到所述导航图面元素识别子模型和导航播报元素异常检测子模型之后，还可获取验证数据对于所述导航图面元素识别子模型和导航播报元素异常检测子模型进行验证，验证通过的导航图面元素识别子模型和导航播报元素异常检测子模型可用作实际导航视频的异常检测。
271.图5示出根据本公开一实施方式的导航异常检测模型训练装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图5所示，所述导航异常检测模型训练装置包括：
272.第二获取模块501，被配置为获取训练导航视频；
273.分帧处理模块502，被配置为对所述训练导航视频进行分帧处理，得到所述训练导航视频的多个训练视频帧；
274.音频转换模块503，被配置为提取所述训练导航视频中的导航播报音频，将所述导航播报音频转换为文本信息，得到与所述训练视频帧对应的导航播报文本；
275.第一训练模块504，被配置为将所述训练视频帧作为训练数据，对所述导航图面元素识别子模型进行训练；
276.第二训练模块505，被配置为将与所述训练视频帧对应的导航播报文本作为训练数据，对所述导航播报元素异常检测子模型进行训练。
277.上文提及，随着社会的发展和进步，越来越多的用户在出行导航时借助导航画面和导航语音播报的引导到达目的地。当遇到复杂路口时，导航应用会展示路口大图、车道线、黑卡等导航图面信息，以辅助用户做出正确的行驶判断，但这些导航图面信息与导航语音播报在某种因素的影响下，可能会出现导航内容不一致的情况，这就增加了用户决策的难度，而且通常导航过程中车速相对较快，上述导航内容不一致的情况很容易引起用户偏航，严重时还会引发事故，严重地影响了用户的体验。目前对于上述导航内容不一致的情况通常只能通过人工回放导航视频的方式来查找问题，但这种方式不仅路线覆盖度低，检测效率低下，还需要耗费大量的人工成本。因此，亟需一种能够快速、有效且能够降低人工成本的导航异常检测方案。
278.考虑到上述缺陷，在该实施方式中，提供一种导航异常检测模型训练装置，该装置能够训练得到对于目标导航视频存在导航图面元素展示异常、导航播报元素异常和/或导航图面元素与导航播报元素不一致的情况进行检测的模型。该技术方案训练方法简单，训练得到的导航异常检测模型鲁棒性强。
279.在本公开一实施方式中，所述导航异常检测模型训练装置可实现为对于导航异常检测模型进行训练的计算机、计算设备、电子设备、服务器、服务集群等等。
280.在上述实施方式中，与上文提及的导航异常检测流程类似，首先需要获取训练导航视频；然后对于所述训练导航视频进行分帧处理，得到所述训练导航视频的多个训练视频帧；然后提取所述训练导航视频中的导航播报音频；并将所述导航播报音频转换为文本信息，得到与所述训练视频帧对应的导航播报文本；之后，可将得到的所述训练视频帧作为训练数据，对于所述导航图面元素识别子模型进行训练；将得到的与所述训练视频帧对应的导航播报文本作为训练数据，对于所述导航播报元素异常检测子模型进行训练。
281.进一步地，在本公开一实施方式中，所述分帧处理模块之后，还可包括：
282.预处理模块，被配置为对所述训练视频帧进行预处理。
283.其中，所述预处理可包括以下处理中的一种或多种：去噪、调整大小等等。
284.进一步地，在本公开一实施方式中，所述第二获取模块可被配置为：
285.获取用户历史导航路线；
286.基于所述用户历史导航路线进行模拟导航，得到导航图面元素和导航播报音频；
287.基于所述导航图面元素和导航播报音频生成所述训练导航视频。
288.在该实施方式中，在获取训练导航视频时，首先获取用户历史导航路线，其中，所述用户历史导航路线指的是在预设历史时间段内导航应用真实生成的用户导航路线，另外，在获取用户历史导航路线时，可根据检测的需要有针对性地选择包括复杂路口的、包含简单路口的、或具有其他特点的导航路线；然后基于所述用户历史导航路线进行模拟导航，得到导航图面元素和导航播报音频；最后基于所述导航图面元素和导航播报音频，借助视频录制工具，即可生成所述训练导航视频。
289.进一步地，在本公开一实施方式中，所述第一训练模块可被配置为：
290.对所述训练视频帧进行导航图面元素及其类别标注，得到与所述训练视频帧对应的导航图面元素及其类别标注结果；
291.将所述训练视频帧、与所述训练视频帧对应的导航图面元素及其类别标注结果作为所述导航图面元素识别子模型的训练输入数据，对所述导航图面元素识别子模型进行训
练。
292.在该实施方式中，在对所述导航图面元素识别子模型进行训练时，首先对于所述训练视频帧进行导航图面元素及其类别的标注，得到与所述训练视频帧对应的导航图面元素及其类别标注结果，其中，所述导航图面元素标注指的是标注出所述训练视频帧中哪些元素为导航图面元素，以及这些导航图面元素的类别分别是什么；然后将所述训练视频帧、与所述训练视频帧对应的导航图面元素及其类别标注结果作为所述导航图面元素识别子模型的训练输入数据，对所述导航图面元素识别子模型进行训练，在对所述导航图面元素识别子模型进行训练时，可采用迁移学习等模型训练方法。
293.在本公开一实施方式中，所述导航图面元素识别子模型还可进一步分为两类子模型，比如对于路口大图这种特征比较明显，对于标注要求不太高的导航图面元素，可以使用图像分类类别的模型，而对于导航提示区域、车道引导区域这种特征不那么明显，对于标注要求相对较高的导航图面元素，可以使用目标检测类别的模型。当然，所述导航图面元素识别子模型也可以只使用目标检测类别的模型。上述对于模型类型的选择可根据实际应用的需要进行确定，本公开对其不做特别限定。
294.上文提及，所述导航播报元素异常检测子模型包括导航播报文本分词子模型和导航播报元素异常分类子模型。
295.在该实施方式中，所述第二训练模块可被配置为：
296.对所述导航播报文本进行分词标注，得到与所述导航播报文本对应的分词标注结果；
297.将所述导航播报文本、与所述导航播报文本对应的分词标注结果作为所述导航播报文本分词子模型的训练输入数据，对所述导航播报文本分词子模型进行训练；
298.基于所述分词标注结果进行导航播报元素提取，得到导航播报元素；
299.对于所述导航播报元素进行异常分类标注，得到与所述导航播报元素对应的异常分类标注结果；
300.将所述导航播报元素、与所述导航播报元素对应的异常分类标注结果作为所述导航播报元素异常分类子模型的训练输入数据，对所述导航播报元素异常分类子模型进行训练；
301.将所述导航播报文本分词子模型和导航播报元素异常分类子模型级联起来，得到所述导航播报元素异常检测子模型。
302.在上述实施方式中，在对所述导航播报元素异常检测子模型进行训练时，首先对于所述导航播报文本进行分词标注，得到与所述导航播报文本对应的分词标注结果，即将所述导航播报文本标注出可分为哪些词组；然后将所述导航播报文本、与所述导航播报文本对应的分词标注结果作为所述导航播报文本分词子模型的训练输入数据，对所述导航播报文本分词子模型进行训练，得到所述导航播报文本分词子模型；然后对于所述分词标注结果根据预设规则进行导航播报元素的提取，得到与所述导航播报文本对应的导航播报元素；然后对于所述导航播报元素进行异常分类标注，得到与所述导航播报元素对应的异常分类标注结果，即标注出导航播报元素是否存在不一致的异常情况；然后将所述导航播报元素、与所述导航播报元素对应的异常分类标注结果作为所述导航播报元素异常分类子模型的训练输入数据，对所述导航播报元素异常分类子模型进行训练，得到所述导航播报元
素异常分类子模型；最后将所述导航播报文本分词子模型和导航播报元素异常分类子模型级联起来，得到用于对于导航播报元素进行异常检测的导航播报元素异常检测子模型。
303.进一步地，在训练得到所述导航图面元素识别子模型和导航播报元素异常检测子模型之后，还可获取验证数据对于所述导航图面元素识别子模型和导航播报元素异常检测子模型进行验证，验证通过的导航图面元素识别子模型和导航播报元素异常检测子模型可用作实际导航视频的异常检测。
304.本公开还公开了一种电子设备，图6示出根据本公开一实施方式的电子设备的结构框图，如图6所示，所述电子设备600包括存储器601和处理器602；其中，
305.所述存储器601用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器602执行以实现上述方法步骤。
306.图7是适于用来实现根据本公开一实施方式的导航异常检测/导航异常检测模型训练方法的计算机系统的结构示意图。
307.如图7所示，计算机系统700包括处理单元701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行上述实施方式中的各种处理。在ram703中，还存储有计算机系统700操作所需的各种程序和数据。处理单元701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
308.以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。其中，所述处理单元701可实现为cpu、gpu、tpu、fpga、npu等处理单元。
309.特别地，根据本公开的实施方式，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行所述方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。
310.附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
311.描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可
以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
312.作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
313.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

技术特征：
1.一种导航异常检测方法，包括：获取目标导航视频；将所述目标导航视频输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种，其中，所述预设异常情况包括：导航图面元素展示异常、导航播报元素异常、以及导航图面元素与导航播报元素不一致；当所述目标导航视频存在所述预设异常情况中的一种或多种时，确定所述目标导航视频异常。2.根据权利要求1所述的方法，所述获取目标导航视频之后，还包括：对所述目标导航视频进行分帧处理，得到所述目标导航视频的多个视频帧；对所述视频帧进行预处理，得到目标视频帧；提取所述目标导航视频中的导航播报音频；将所述导航播报音频转换为文本信息，得到与所述目标视频帧对应的导航播报文本；所述将所述目标导航视频输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种，包括：将所述目标视频帧和对应的导航播报文本输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种。3.根据权利要求2所述的方法，其中，所述导航异常检测模型包括导航图面元素识别子模型和导航播报元素异常检测子模型；所述将所述目标视频帧和对应的导航播报文本输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种，包括：将所述目标视频帧输入至预先训练得到的导航图面元素识别子模型中，得到每一目标视频帧中的导航图面元素及其类别；根据所述每一目标视频帧中的导航图面元素及其类别确定所述目标导航视频是否存在导航图面元素展示异常；将所述导航播报文本输入至预先训练得到的导航播报元素异常检测子模型中，得到所述导航播报元素异常检测子模型识别得到的每一目标视频帧中的导航播报元素，以及所述目标导航视频是否存在导航播报元素异常的检测结果；比较同一目标视频帧对应的导航图面元素及其类别与导航播报元素，确定所述目标导航视频是否存在导航图面元素与导航播报元素不一致的情况。4.根据权利要求3所述的方法，其中，所述导航播报元素异常检测子模型包括导航播报文本分词子模型和导航播报元素异常分类子模型；所述将所述导航播报文本输入至预先训练得到的导航播报元素异常检测子模型中，得到所述导航播报元素异常检测子模型识别得到的每一目标视频帧中的导航播报元素，以及所述目标导航视频是否存在导航播报元素异常的检测结果，包括：将所述导航播报文本输入至预先训练得到的导航播报文本分词子模型中，得到与所述导航播报文本对应的分词结果；从所述分词结果中提取得到导航播报元素；将所述导航播报元素输入至预先训练得到的导航播报元素异常分类子模型中，得到所述目标导航视频是否存在导航播报元素异常的检测结果。
5.根据权利要求3或4所述的方法，还包括：对所述导航图面元素识别子模型和所述导航播报元素异常检测子模型进行训练。6.一种导航异常检测模型训练方法，其中，所述导航异常检测模型包括导航图面元素识别子模型和导航播报元素异常检测子模型，所述方法包括：获取训练导航视频；对所述训练导航视频进行分帧处理，得到所述训练导航视频的多个训练视频帧；提取所述训练导航视频中的导航播报音频，将所述导航播报音频转换为文本信息，得到与所述训练视频帧对应的导航播报文本；将所述训练视频帧作为训练数据，对所述导航图面元素识别子模型进行训练；将与所述训练视频帧对应的导航播报文本作为训练数据，对所述导航播报元素异常检测子模型进行训练。7.根据权利要求6所述的方法，其中，所述获取训练导航视频，包括：获取用户历史导航路线；基于所述用户历史导航路线进行模拟导航，得到导航图面元素和导航播报音频；基于所述导航图面元素和导航播报音频生成所述训练导航视频。8.根据权利要求6所述的方法，其中，所述将所述训练视频帧作为训练数据，对所述导航图面元素识别子模型进行训练，包括：对所述训练视频帧进行导航图面元素及其类别标注，得到与所述训练视频帧对应的导航图面元素及其类别标注结果；将所述训练视频帧、与所述训练视频帧对应的导航图面元素及其类别标注结果作为所述导航图面元素识别子模型的训练输入数据，对所述导航图面元素识别子模型进行训练。9.根据权利要求6所述的方法，其中，所述导航播报元素异常检测子模型包括导航播报文本分词子模型和导航播报元素异常分类子模型；所述将与所述训练视频帧对应的导航播报文本作为训练数据，对所述导航播报元素异常检测子模型进行训练，包括：对所述导航播报文本进行分词标注，得到与所述导航播报文本对应的分词标注结果；将所述导航播报文本、与所述导航播报文本对应的分词标注结果作为所述导航播报文本分词子模型的训练输入数据，对所述导航播报文本分词子模型进行训练；基于所述分词标注结果进行导航播报元素提取，得到导航播报元素；对于所述导航播报元素进行异常分类标注，得到与所述导航播报元素对应的异常分类标注结果；将所述导航播报元素、与所述导航播报元素对应的异常分类标注结果作为所述导航播报元素异常分类子模型的训练输入数据，对所述导航播报元素异常分类子模型进行训练；将所述导航播报文本分词子模型和导航播报元素异常分类子模型级联起来，得到所述导航播报元素异常检测子模型。10.一种导航异常检测装置，包括：第一获取模块，被配置为获取目标导航视频；检测模块，被配置为将所述目标导航视频输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种，其中，所述预设异常情
况包括：导航图面元素展示异常、导航播报元素异常、以及导航图面元素与导航播报元素不一致；确定模块，被配置为当所述目标导航视频存在所述异常情况中的一种或多种时，确定所述目标导航视频异常。11.一种导航异常检测模型训练装置，其中，所述导航异常检测模型包括导航图面元素识别子模型和导航播报元素异常检测子模型，所述装置包括：第二获取模块，被配置为获取训练导航视频；分帧处理模块，被配置为对所述训练导航视频进行分帧处理，得到所述训练导航视频的多个训练视频帧；音频转换模块，被配置为提取所述训练导航视频中的导航播报音频，将所述导航播报音频转换为文本信息，得到与所述训练视频帧对应的导航播报文本；第一训练模块，被配置为将所述训练视频帧作为训练数据，对所述导航图面元素识别子模型进行训练；第二训练模块，被配置为将与所述训练视频帧对应的导航播报文本作为训练数据，对所述导航播报元素异常检测子模型进行训练。12.一种电子设备，包括存储器和至少一个处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述至少一个处理器执行以实现权利要求1-9任一项所述的方法。13.一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现权利要求1-9任一项所述的方法。

技术总结
本公开实施例公开了一种导航异常检测方法、装置、电子设备及可读存储介质，所述导航异常检测方法包括：获取目标导航视频；将所述目标导航视频输入至预先训练得到的导航异常检测模型中，确定所述目标导航视频是否存在预设异常情况中的一种或多种，其中，所述预设异常情况包括：导航图面元素展示异常、导航播报元素异常、以及导航图面元素与导航播报元素不一致；当所述目标导航视频存在所述预设异常情况中的一种或多种时，确定所述目标导航视频异常。该技术方案不仅能够快速、有效地对于导航过程中出现的异常情况进行检测，而且还能够大大降低人工成本，从而有效地提升了用户的使用体验。体验。体验。


技术研发人员：王颖 龚兴发 李倩倩
受保护的技术使用者：阿里巴巴（中国）有限公司
技术研发日：2023.03.29
技术公布日：2023/7/12