智能导流的方法、装置、指示牌和存储介质与流程

1.本发明涉及图像处理技术领域，特别涉及一种智能导流的方法、装置、指示牌和存储介质。


背景技术：

2.在马路路口、分叉路口、公园道路、地铁站中，由于路线较多，为了对人群进行道路指引，通常会设置指示牌进行道路指引；而目前的指示牌通常指引的路线是一成不变的，不会根据实际情况进行路线的调整。对于道路中出现拥堵时，无法规划出更多的合理路线，也无法做出对应的道路指示。


技术实现要素：

3.本发明的主要目的为提供一种智能导流的方法、装置、指示牌和存储介质，旨在克服无法检测道路拥堵以及规划出可行路线的缺陷。
4.为实现上述目的，本发明提供了一种智能导流的方法，包括以下步骤：获取指示牌所在的目标环境的环境图像，采用预设的分割模型对所述环境图像进行图像分割，得到所述环境图像中包括道路的道路图像；获取指示牌所在的目标环境中的环境声音；获取在历史数据中当前时间段的道路拥堵情况；基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵；若出现拥堵，则获取当前在所述目标环境中的可行路线；基于所述可行路线，在所述指示牌中生成对应的路线指引提示；其中，所述指引提示包括声音提示以及路线的图像指引。
5.进一步地，所述获取当前在所述目标环境中的可行路线的步骤，包括：获取所述指示牌所在的第一道路节点，以及获取预设范围之内所有与所述第一道路节点具有关联关系的第二道路节点；其中，所述关联关系包括道路相连关系；获取所述第一道路节点、第二道路节点中直接相连的节点之间的路径关系；其中，所述路径关系至少包括距离信息以及选择此路径通行的权重值；基于所述第一道路节点、第二道路节点，以及第一道路节点、第二道路节点中直接相连的节点之间的路径关系，构建关系节点结构；其中，将所述第一道路节点、第二道路节点分别作为所述关系节点结构中的节点，将所述节点之间的路径关系作为所述关系节点结构的边；基于所述关系节点结构，生成特征矩阵数据；将所述特征矩阵数据输入至路径生成模型中进行卷积运算，输出推荐度最高的节点路径；将所述推荐度最高的节点路径作为当前在所述目标环境中的可行路线；其中，所述路径生成模型为预先经过训练的神经网络模型。
6.进一步地，所述基于所述关系节点结构，生成特征矩阵数据的步骤，包括：以所述关系节点结构中的每个节点为索引节点，构建每个节点的节点关系矩阵、节点边关系矩阵以及节点关系权重矩阵；将所述节点关系矩阵、节点边关系矩阵以及节点关系权重矩阵依次相乘得到所述特征矩阵数据。
7.进一步地，所述以所述关系节点结构中的每个节点为索引节点，构建每个节点的节点关系矩阵、节点边关系矩阵以及节点关系权重矩阵的步骤，包括：以所述关系节点结构中的每个节点为索引节点，将与所述索引节点直接相连的下一个节点作为一级关系节点，将与所述一级关系节点直接相连的下一个节点作为二级关系节点；将所有索引节点及其对应的一级关系节点、二级关系节点构成所述节点关系矩阵；以所述关系节点结构中的每个节点为索引节点，将所述索引节点与所述一级关系节点的距离信息作为一级关系边，将所述一级关系节点与所述二级关系节点的距离信息作为二级关系边；将所有索引节点及其对应的一级关系边、二级关系边构成所述节点边关系矩阵；以所述关系节点结构中的每个节点为索引节点，将所述索引节点与所述一级关系节点的权重值作为一级关系权重，将所述一级关系节点与所述二级关系节点的权重值作为二级关系权重；将所有索引节点及其对应的一级关系权重、二级关系权重构成所述节点关系权重矩阵。
8.进一步地，所述基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵的步骤，包括：将所述目标环境的道路图像输入至第一检测模型进行检测，得到所述目标环境的道路图像表征为拥堵的第一概率；所述第一检测模型为基于深度学习图像模型预先训练得到；将所述目标环境中的环境声音输入至第二检测模型进行检测，得到所述目标环境中的环境声音表征为拥堵的第二概率；所述第二检测模型为基于深度学习语音模型预先训练得到；根据所述在历史数据中当前时间段的道路拥堵情况，获取当前时间段出现拥堵的第三概率；将所述第一概率、第二概率、第三概率输入至预设公式中进行计算，得到所述目标环境出现拥堵的概率，判断所述目标环境出现拥堵的概率的是否大于阈值，若大于，则判定出现拥堵。
9.进一步地，所述将所述第一概率、第二概率、第三概率输入至预设公式中进行计算的步骤，包括：检测所述道路图像中的人数，基于所述人数在数据库中匹配对应的第一权重；检测所述环境声音的分贝值，基于所述分贝值在数据库中匹配对应的第二权重；基于所述第一权重、第二权重，计算所述第三概率对应的第三权重；其中，所述第一权重、第二权重以及第三权重的和为1。
10.进一步地，所述基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵的步骤，包括：
将所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况输入至预设的道路拥堵检测模型中；其中，所述道路拥堵检测模型基于深度学习模型训练得到，包括嵌入层、中间层以及分类层，所述嵌入层包括图嵌入层、音频嵌入层以及词嵌入层；基于所述图嵌入层提取所述道路图像对应的第一特征向量；基于所述音频嵌入层提取所述环境声音对应的第二特征向量；基于所述词嵌入层提取所述在历史数据中当前时间段的道路拥堵情况对应的第三特征向量；将所述第一特征向量、第二特征向量以及所述第三特征向量进行融合之后输入至所述中间层，提取得到目标环境特征向量；将所述目标环境特征向量输入至所述分类层中进行分类，得到所述目标环境是否出现拥堵的分类结果。
11.本发明还提供了一种智能导流的装置，包括：第一获取单元，用于获取指示牌所在的目标环境的环境图像，采用预设的分割模型对所述环境图像进行图像分割，得到所述环境图像中包括道路的道路图像；第二获取单元，用于获取指示牌所在的目标环境中的环境声音；第三获取单元，用于获取在历史数据中当前时间段的道路拥堵情况；检测单元，用于基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵；第四获取单元，用于若出现拥堵，则获取当前在所述目标环境中的可行路线；提示单元，用于基于所述可行路线，在所述指示牌中生成对应的路线指引提示；其中，所述指引提示包括声音提示以及路线的图像指引。
12.本发明还提供一种指示牌，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
13.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
14.本发明提供的智能导流的方法、装置、指示牌和存储介质，包括：获取指示牌所在的目标环境的道路图像；获取指示牌所在的目标环境中的环境声音；获取在历史数据中当前时间段的道路拥堵情况；基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵；若出现拥堵，则获取当前在所述目标环境中的可行路线；基于所述可行路线，在所述指示牌中生成对应的路线指引提示；其中，所述指引提示包括声音提示以及路线的图像指引。本发明不仅可以对道路的拥堵进行检测，而且在出现拥堵时，还可以获取到当前的可行路线进行指引提示。
附图说明
15.图1是本发明一实施例中智能导流的方法步骤示意图；图2是本发明一实施例中智能导流的装置结构框图；图3是本发明一实施例的指示牌的结构示意框图。
16.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
18.参照图1，本发明一实施例中提供了一种智能导流的方法，包括以下步骤：步骤s1，获取指示牌所在的目标环境的环境图像，采用预设的分割模型对所述环境图像进行图像分割，得到所述环境图像中包括道路的道路图像；步骤s2，获取指示牌所在的目标环境中的环境声音；步骤s3，获取在历史数据中当前时间段的道路拥堵情况；步骤s4，基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵；步骤s5，若出现拥堵，则获取当前在所述目标环境中的可行路线；步骤s6，基于所述可行路线，在所述指示牌中生成对应的路线指引提示；其中，所述指引提示包括声音提示以及路线的图像指引。
19.在本实施例中，上述方案应用于对目标环境进行拥堵检测以及在目标环境出现拥堵时，规划出当前的可行路线。上述目标环境可以是分叉路口、十字路口、地铁站、机场、公园等。上述指示牌为智能指示牌，设置于上述目标环境中，可以理解的是上述指示牌中可以集成有摄像头、麦克风等用来采集图像、声音；也可以是通过其它外部的装置获取图像、声音，在本实施例中不做限定。
20.具体地，如上述步骤s1-s3所述的，在需要对当前的道路进行拥堵检测时，可以获取到指示牌所在目标环境的多个参数，根据多个参数进行综合判断是否出现拥堵，可以明显增加检测的准确性。具体地，可以获取目标环境的环境图像，采用预设的分割模型对所述环境图像进行图像分割，得到所述环境图像中包括道路的道路图像，同时，还可以获取道路中的环境声音、在历史数据中当前时间段的道路拥堵情况，可以理解的是，当道路图像中出现的人群/车辆数较多，则出现拥堵的概率更大；而当环境声音中包括很嘈杂的声音，则出现拥堵的概率也会增大；在历史数据中当前时间段若出现拥堵，则当前出现拥堵的概率也会增大。在本实施例中，获取多维度的上述参数，多维度进行评判，便于提升后续检测道路出现拥堵的准确率。
21.如上述步骤s4所述的，基于上述过程获取到的目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵；具体地，检测上述目标环境是否出现拥堵可以采用深度学习模型进行检测，也可以是将上述获取到的目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况转换为定量，并基于预设的函数公式计算目标环境出现拥堵的概率。值得注意的是，在检测上述目标环境是否出现拥堵时，可以是根据目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况分别独立进行拥堵检测，再进行融合计算得到最终的出现拥堵概率；也可以是先将上述多维度的几个参数进行融合之后，再进行拥堵概率的检测。上述融合过程可以采用加权计算的方式进行参数融合，在此不进行一一赘述。
22.如上述步骤s5所述的，当上述目标环境出现拥堵时，将获取当前在目标环境中的可行路线，该可行路线指的是拥堵时可以通行的道路。可以理解的是，上述可行路线至少包
括一条，用于减缓拥堵；当可行路线为多条时，可以更进一步地减缓拥堵。
23.若上述目标环境未出现拥堵时，则无需获取可行路线的操作。
24.如上述步骤s6所述的，获取到上述可行路线之后，在所述指示牌中生成对应的路线指引提示；其中，所述指引提示包括声音提示以及路线的图像指引，上述指引方式便于引导人群通往顺畅的路段，便于疏散人群，减缓拥堵。
25.在一实施例中，所述获取当前在所述目标环境中的可行路线的步骤s5，包括：步骤s51，获取所述指示牌所在的第一道路节点，以及获取预设范围之内所有与所述第一道路节点具有关联关系的第二道路节点；其中，所述关联关系包括道路相连关系；步骤s52，获取所述第一道路节点、第二道路节点中直接相连的节点之间的路径关系；其中，所述路径关系至少包括距离信息以及选择此路径通行的权重值；步骤s53，基于所述第一道路节点、第二道路节点，以及第一道路节点、第二道路节点中直接相连的节点之间的路径关系，构建关系节点结构；其中，将所述第一道路节点、第二道路节点分别作为所述关系节点结构中的节点，将所述节点之间的路径关系作为所述关系节点结构的边；步骤s54，基于所述关系节点结构，生成特征矩阵数据；步骤s55，将所述特征矩阵数据输入至路径生成模型中进行卷积运算，输出推荐度最高的节点路径；将所述推荐度最高的节点路径作为当前在所述目标环境中的可行路线；其中，所述路径生成模型为预先经过训练的神经网络模型。
26.在本实施例中，上述神经网络模型为图神经网络模型，其经过训练之后，得到上述路径生成模型；上述图神经网络模型可以学习到节点之间更为细致的关系特征。如上述步骤s51-s52，上述第一道路节点为当前道路中的节点，其可以是道路中的拐弯点、分叉点等；上述第二道路节点是与所述第一道路节点具有道路相连关系的节点，其同样可以是道路中的拐弯点、分叉点等。其中，上述第二道路节点有些是直接与上述第一道路节点相连，而有些是间接相连。
27.如上述步骤s53所述的，分别将第一道路节点、第二道路节点作为关系节点结构中的节点，例如第一道路节点可以表示为m0，第二道路节点可以表示为m1、m2等，同时m0与m1，m1与m2之间可以用边进行相连，而上述连接所用的边可以采用节点之间的路径关系进行标注，上述路径关系包括距离信息以及权重值。经过上述过程，得到一个节点之间的图结构，即上述关系节点结构。
28.如上述步骤s54-s55所述的，基于上述关系节点结构，生成特征矩阵数据，将非结构化关系的图结构数据转化为结构化的数据，方便后续输入路径生成模型进行运算。在本实施例中，上述路径生成模型借助了无相有权图结构的特性，将带有距离关系以及权重关系的关系特征输入至路径生成模型中进行运算，使得可以更加细致准确的预测出节点路径，从而从中选择出推荐度最高的节点路径作为当前在所述目标环境中的可行路线，当然，也可以选择推荐度排列在前列的几条节点路径均作为上述可行路线，在本实施例中不作具体限制。
29.在一实施例中，所述基于所述关系节点结构，生成特征矩阵数据的步骤s54，包括：以所述关系节点结构中的每个节点为索引节点，构建每个节点的节点关系矩阵、节点边关系矩阵以及节点关系权重矩阵；
将所述节点关系矩阵、节点边关系矩阵以及节点关系权重矩阵依次相乘得到所述特征矩阵数据。
30.具体地，所述以所述关系节点结构中的每个节点为索引节点，构建每个节点的节点关系矩阵、节点边关系矩阵以及节点关系权重矩阵的步骤，包括：以所述关系节点结构中的每个节点为索引节点，将与所述索引节点直接相连的下一个节点作为一级关系节点，将与所述一级关系节点直接相连的下一个节点作为二级关系节点；将所有索引节点及其对应的一级关系节点、二级关系节点构成所述节点关系矩阵；以所述关系节点结构中的每个节点为索引节点，将所述索引节点与所述一级关系节点的距离信息作为一级关系边，将所述一级关系节点与所述二级关系节点的距离信息作为二级关系边；将所有索引节点及其对应的一级关系边、二级关系边构成所述节点边关系矩阵；以所述关系节点结构中的每个节点为索引节点，将所述索引节点与所述一级关系节点的权重值作为一级关系权重，将所述一级关系节点与所述二级关系节点的权重值作为二级关系权重；将所有索引节点及其对应的一级关系权重、二级关系权重构成所述节点关系权重矩阵。
31.在一实施例中，举例说明上述节点关系矩阵、节点边关系矩阵以及节点关系权重矩阵的构建过程。
32.其中节点关系矩阵如下：索引节点一级关系节点二级关系节点m0m1m2m0m3m4m1m2m5上述节点关系矩阵，指的是目标环境中各个节点之间的连接关系。
33.节点边关系矩阵如下：索引节点一级关系边二级关系边m0s1s2m0s3s4m1s2s5上述节点边关系矩阵，指的是目标环境中两个节点之间的距离关系。
34.节点关系权重矩阵如下：索引节点一级关系权重二级关系权重m0v1v2m0v3v4m1v2v5上述节点关系权重矩阵指的是两个节点之间的权重关系，上述权重关系由上述路径关系中的权重值所决定。
35.在得到上述三个矩阵之后，便可以将上述三个矩阵依次相乘得到所述特征矩阵数据，进而再将所述特征矩阵数据输入至路径生成模型中进行卷积运算，输出推荐度最高的节点路径。
36.在一实施例中，所述基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵的步骤s4，包括：步骤s41，将所述目标环境的道路图像输入至第一检测模型进行检测，得到所述目标环境的道路图像表征为拥堵的第一概率；所述第一检测模型为基于深度学习图像模型预先训练得到；步骤s42，将所述目标环境中的环境声音输入至第二检测模型进行检测，得到所述目标环境中的环境声音表征为拥堵的第二概率；所述第二检测模型为基于深度学习语音模型预先训练得到；步骤s43，根据所述在历史数据中当前时间段的道路拥堵情况，获取当前时间段出现拥堵的第三概率；步骤s44，将所述第一概率、第二概率、第三概率输入至预设公式中进行计算，得到所述目标环境出现拥堵的概率，判断所述目标环境出现拥堵的概率的是否大于阈值，若大于，则判定出现拥堵。
37.在本实施例中，采用第一检测模型对道路图像进行检测，采用第二检测模型对环境声音进行检测；针对不同的参数，采用不同的检测模型，使得其更加具有针对性，准确性更高。进而，再结合在历史数据中当前时间段的道路拥堵情况，获取当前时间段出现拥堵的第三概率；最后，将第一检测模型检测的第一概率，第二检测模型检测的第二概率以及上述第三概率进行融合计算，得到所述目标环境出现拥堵的概率；经过上述融合计算的过程，结合了各种参数的特性，使得对拥堵的判断准确率更高。
38.在一实施例中，所述将所述第一概率、第二概率、第三概率输入至预设公式中进行计算的步骤，包括：检测所述道路图像中的人数，基于所述人数在数据库中匹配对应的第一权重；检测所述环境声音的分贝值，基于所述分贝值在数据库中匹配对应的第二权重；基于所述第一权重、第二权重，计算所述第三概率对应的第三权重；其中，所述第一权重、第二权重以及第三权重的和为1。
39.在本实施例中，上述第一权重与上述第一概率对应，上述第二权重与上述第二概率对应，上述第三权重与上述第三概率相对应；通常情况下，上述权重为不变的定量，但是在本实施例中，为了进一步地提升上述拥堵计算的合理性，可以根据实际情况调节上述第一权重、第二权重的值，但是应当注意的是，调节上述第一权重以及第二权重时，其也是在一个合理范围内进行调节。具体地，在上述道路图像中的人数越多时，其对应的第一权重的值越大；上述环境声音的分贝值越高，上述第二权重的值越大。上述第一权重以及第二权重的确定可以采用映射表的形式进行确定，即在该映射表中，不同的人数、分贝值，对应不同的权重。
40.在又一实施例中，所述基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵的步骤s4，包括：步骤s401，将所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况输入至预设的道路拥堵检测模型中；其中，所述道路拥堵检测模型基于深度学习模型训练得到，包括嵌入层、中间层以及分类层，所述嵌入层包括图嵌入层、音频嵌入层以及词嵌入层；
步骤s402，基于所述图嵌入层提取所述道路图像对应的第一特征向量；基于所述音频嵌入层提取所述环境声音对应的第二特征向量；基于所述词嵌入层提取所述在历史数据中当前时间段的道路拥堵情况对应的第三特征向量；步骤s403，将所述第一特征向量、第二特征向量以及所述第三特征向量进行融合之后输入至所述中间层，提取得到目标环境特征向量；步骤s404，将所述目标环境特征向量输入至所述分类层中进行分类，得到所述目标环境是否出现拥堵的分类结果。
41.在本实施例中，上述道路拥堵检测模型为改良之后的bert模型，bert模型是一种基于transformer网络结构的双向编码表示深度学习网络。由于bert模型网络结构的先进性，使得其具有强大的对输入数据进行自动特征捕获和学习的能力。所述道路拥堵检测模型包括嵌入层、中间层以及分类层，所述嵌入层包括图嵌入层、音频嵌入层以及词嵌入层；在本实施例中，预先对上述改良之后的深度学习模型进行训练，得到上述道路拥堵检测模型，该道路拥堵检测模型可以针对不同类型的数据进行处理，无需使用其他的数据转换模型，明显降低了数据处理量，简化了处理方式。在本实施例中，针对道路图像采用图嵌入层进行第一特征向量的提取，具体可以是先提取特征图，再提取特征图对应的特征向量；针对环境声音，采用音频嵌入层提取对应的第二特征向量；针对在历史数据中当前时间段的道路拥堵情况，则采用词嵌入层进行第三特征向量的提取。
42.在本实施例中，不同的嵌入层实现对不同数据的特征提取，进而再经过中间层的融合计算，最后经过分类成的分类，得到分类结果，上述方式不仅结合了多维度的参数进行综合检测，同时还只需要采用一个训练完成的深度学习模型便可实现，降低数据处理量，提升了检测准确性。
43.参照图2，本发明一实施例中还提供了一种智能导流的装置，包括：第一获取单元，用于获取指示牌所在的目标环境的环境图像，采用预设的分割模型对所述环境图像进行图像分割，得到所述环境图像中包括道路的道路图像；第二获取单元，用于获取指示牌所在的目标环境中的环境声音；第三获取单元，用于获取在历史数据中当前时间段的道路拥堵情况；检测单元，用于基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵；第四获取单元，用于若出现拥堵，则获取当前在所述目标环境中的可行路线；提示单元，用于基于所述可行路线，在所述指示牌中生成对应的路线指引提示；其中，所述指引提示包括声音提示以及路线的图像指引。
44.在一实施例中，所述第四获取单元，包括：第一获取子单元，用于获取所述指示牌所在的第一道路节点，以及获取预设范围之内所有与所述第一道路节点具有关联关系的第二道路节点；其中，所述关联关系包括道路相连关系；第二获取子单元，用于获取所述第一道路节点、第二道路节点中直接相连的节点之间的路径关系；其中，所述路径关系至少包括距离信息以及选择此路径通行的权重值；构建子单元，用于基于所述第一道路节点、第二道路节点，以及第一道路节点、第二道路节点中直接相连的节点之间的路径关系，构建关系节点结构；其中，将所述第一道路
节点、第二道路节点分别作为所述关系节点结构中的节点，将所述节点之间的路径关系作为所述关系节点结构的边；生成子单元，用于基于所述关系节点结构，生成特征矩阵数据；运算子单元，用于将所述特征矩阵数据输入至路径生成模型中进行卷积运算，输出推荐度最高的节点路径；将所述推荐度最高的节点路径作为当前在所述目标环境中的可行路线；其中，所述路径生成模型为预先经过训练的神经网络模型。
45.在一实施例中，所述生成子单元，包括：构建模块，用于以所述关系节点结构中的每个节点为索引节点，构建每个节点的节点关系矩阵、节点边关系矩阵以及节点关系权重矩阵；相乘模块，用于将所述节点关系矩阵、节点边关系矩阵以及节点关系权重矩阵依次相乘得到所述特征矩阵数据。
46.在本实施例中，上述构建模块具体用于：以所述关系节点结构中的每个节点为索引节点，将与所述索引节点直接相连的下一个节点作为一级关系节点，将与所述一级关系节点直接相连的下一个节点作为二级关系节点；将所有索引节点及其对应的一级关系节点、二级关系节点构成所述节点关系矩阵；以所述关系节点结构中的每个节点为索引节点，将所述索引节点与所述一级关系节点的距离信息作为一级关系边，将所述一级关系节点与所述二级关系节点的距离信息作为二级关系边；将所有索引节点及其对应的一级关系边、二级关系边构成所述节点边关系矩阵；以所述关系节点结构中的每个节点为索引节点，将所述索引节点与所述一级关系节点的权重值作为一级关系权重，将所述一级关系节点与所述二级关系节点的权重值作为二级关系权重；将所有索引节点及其对应的一级关系权重、二级关系权重构成所述节点关系权重矩阵。
47.在一实施例中，所述检测单元用于：将所述目标环境的道路图像输入至第一检测模型进行检测，得到所述目标环境的道路图像表征为拥堵的第一概率；所述第一检测模型为基于深度学习图像模型预先训练得到；将所述目标环境中的环境声音输入至第二检测模型进行检测，得到所述目标环境中的环境声音表征为拥堵的第二概率；所述第二检测模型为基于深度学习语音模型预先训练得到；根据所述在历史数据中当前时间段的道路拥堵情况，获取当前时间段出现拥堵的第三概率；将所述第一概率、第二概率、第三概率输入至预设公式中进行计算，得到所述目标环境出现拥堵的概率，判断所述目标环境出现拥堵的概率的是否大于阈值，若大于，则判定出现拥堵。
48.在本实施例中，所述检测单元，将所述第一概率、第二概率、第三概率输入至预设公式中进行计算，具体包括：检测所述道路图像中的人数，基于所述人数在数据库中匹配对应的第一权重；检测所述环境声音的分贝值，基于所述分贝值在数据库中匹配对应的第二权重；
基于所述第一权重、第二权重，计算所述第三概率对应的第三权重；其中，所述第一权重、第二权重以及第三权重的和为1。
49.在另一实施例中，所述检测单元用于：将所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况输入至预设的道路拥堵检测模型中；其中，所述道路拥堵检测模型基于深度学习模型训练得到，包括嵌入层、中间层以及分类层，所述嵌入层包括图嵌入层、音频嵌入层以及词嵌入层；基于所述图嵌入层提取所述道路图像对应的第一特征向量；基于所述音频嵌入层提取所述环境声音对应的第二特征向量；基于所述词嵌入层提取所述在历史数据中当前时间段的道路拥堵情况对应的第三特征向量；将所述第一特征向量、第二特征向量以及所述第三特征向量进行融合之后输入至所述中间层，提取得到目标环境特征向量；将所述目标环境特征向量输入至所述分类层中进行分类，得到所述目标环境是否出现拥堵的分类结果。
50.在本实施例中，上述智能导流的装置实施例中各个单元、子单元、模块的具体实现，请参照上述智能导流的的方法实施例中所述，在此不再进行赘述。
51.参照图3，本发明实施例中还提供一种指示牌，该指示牌内部结构可以如图3所示。该指示牌包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该指示牌的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该指示牌的数据库用于存储图像数据、声音数据等。该指示牌的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种智能导流的方法。
52.本领域技术人员可以理解，图3中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的指示牌的限定。
53.本发明一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种智能导流的方法。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。
54.综上所述，为本发明实施例中提供的智能导流的方法、装置、指示牌和存储介质，包括：获取指示牌所在的目标环境的道路图像；获取指示牌所在的目标环境中的环境声音；获取在历史数据中当前时间段的道路拥堵情况；基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵；若出现拥堵，则获取当前在所述目标环境中的可行路线；基于所述可行路线，在所述指示牌中生成对应的路线指引提示；其中，所述指引提示包括声音提示以及路线的图像指引。本发明不仅可以对道路的拥堵进行检测，而且在出现拥堵时，还可以获取到当前的可行路线进行指引提示。
55.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，
本发明所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram通过多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双速据率sdram（ssrsdram）、增强型sdram（esdram）、同步链路（synchlink）dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
56.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
57.以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种智能导流的方法，其特征在于，包括以下步骤：获取指示牌所在的目标环境的环境图像，采用预设的分割模型对所述环境图像进行图像分割，得到所述环境图像中包括道路的道路图像；获取指示牌所在的目标环境中的环境声音；获取在历史数据中当前时间段的道路拥堵情况；基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵；若出现拥堵，则获取当前在所述目标环境中的可行路线；基于所述可行路线，在所述指示牌中生成对应的路线指引提示；其中，所述指引提示包括声音提示以及路线的图像指引。2.根据权利要求1所述的智能导流的方法，其特征在于，所述获取当前在所述目标环境中的可行路线的步骤，包括：获取所述指示牌所在的第一道路节点，以及获取预设范围之内所有与所述第一道路节点具有关联关系的第二道路节点；其中，所述关联关系包括道路相连关系；获取所述第一道路节点、第二道路节点中直接相连的节点之间的路径关系；其中，所述路径关系至少包括距离信息以及选择此路径通行的权重值；基于所述第一道路节点、第二道路节点，以及第一道路节点、第二道路节点中直接相连的节点之间的路径关系，构建关系节点结构；其中，将所述第一道路节点、第二道路节点分别作为所述关系节点结构中的节点，将所述节点之间的路径关系作为所述关系节点结构的边；基于所述关系节点结构，生成特征矩阵数据；将所述特征矩阵数据输入至路径生成模型中进行卷积运算，输出推荐度最高的节点路径；将所述推荐度最高的节点路径作为当前在所述目标环境中的可行路线；其中，所述路径生成模型为预先经过训练的神经网络模型。3.根据权利要求2所述的智能导流的方法，其特征在于，所述基于所述关系节点结构，生成特征矩阵数据的步骤，包括：以所述关系节点结构中的每个节点为索引节点，构建每个节点的节点关系矩阵、节点边关系矩阵以及节点关系权重矩阵；将所述节点关系矩阵、节点边关系矩阵以及节点关系权重矩阵依次相乘得到所述特征矩阵数据。4.根据权利要求3所述的智能导流的方法，其特征在于，所述以所述关系节点结构中的每个节点为索引节点，构建每个节点的节点关系矩阵、节点边关系矩阵以及节点关系权重矩阵的步骤，包括：以所述关系节点结构中的每个节点为索引节点，将与所述索引节点直接相连的下一个节点作为一级关系节点，将与所述一级关系节点直接相连的下一个节点作为二级关系节点；将所有索引节点及其对应的一级关系节点、二级关系节点构成所述节点关系矩阵；以所述关系节点结构中的每个节点为索引节点，将所述索引节点与所述一级关系节点的距离信息作为一级关系边，将所述一级关系节点与所述二级关系节点的距离信息作为二级关系边；将所有索引节点及其对应的一级关系边、二级关系边构成所述节点边关系矩阵；
以所述关系节点结构中的每个节点为索引节点，将所述索引节点与所述一级关系节点的权重值作为一级关系权重，将所述一级关系节点与所述二级关系节点的权重值作为二级关系权重；将所有索引节点及其对应的一级关系权重、二级关系权重构成所述节点关系权重矩阵。5.根据权利要求1所述的智能导流的方法，其特征在于，所述基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵的步骤，包括：将所述目标环境的道路图像输入至第一检测模型进行检测，得到所述目标环境的道路图像表征为拥堵的第一概率；所述第一检测模型为基于深度学习图像模型预先训练得到；将所述目标环境中的环境声音输入至第二检测模型进行检测，得到所述目标环境中的环境声音表征为拥堵的第二概率；所述第二检测模型为基于深度学习语音模型预先训练得到；根据所述在历史数据中当前时间段的道路拥堵情况，获取当前时间段出现拥堵的第三概率；将所述第一概率、第二概率、第三概率输入至预设公式中进行计算，得到所述目标环境出现拥堵的概率，判断所述目标环境出现拥堵的概率的是否大于阈值，若大于，则判定出现拥堵。6.根据权利要求5所述的智能导流的方法，其特征在于，所述将所述第一概率、第二概率、第三概率输入至预设公式中进行计算的步骤，包括：检测所述道路图像中的人数，基于所述人数在数据库中匹配对应的第一权重；检测所述环境声音的分贝值，基于所述分贝值在数据库中匹配对应的第二权重；基于所述第一权重、第二权重，计算所述第三概率对应的第三权重；其中，所述第一权重、第二权重以及第三权重的和为1。7.根据权利要求1所述的智能导流的方法，其特征在于，所述基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵的步骤，包括：将所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况输入至预设的道路拥堵检测模型中；其中，所述道路拥堵检测模型基于深度学习模型训练得到，包括嵌入层、中间层以及分类层，所述嵌入层包括图嵌入层、音频嵌入层以及词嵌入层；基于所述图嵌入层提取所述道路图像对应的第一特征向量；基于所述音频嵌入层提取所述环境声音对应的第二特征向量；基于所述词嵌入层提取所述在历史数据中当前时间段的道路拥堵情况对应的第三特征向量；将所述第一特征向量、第二特征向量以及所述第三特征向量进行融合之后输入至所述中间层，提取得到目标环境特征向量；将所述目标环境特征向量输入至所述分类层中进行分类，得到所述目标环境是否出现拥堵的分类结果。8.一种智能导流的装置，其特征在于，包括：第一获取单元，用于获取指示牌所在的目标环境的环境图像，采用预设的分割模型对
所述环境图像进行图像分割，得到所述环境图像中包括道路的道路图像；第二获取单元，用于获取指示牌所在的目标环境中的环境声音；第三获取单元，用于获取在历史数据中当前时间段的道路拥堵情况；检测单元，用于基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵；第四获取单元，用于若出现拥堵，则获取当前在所述目标环境中的可行路线；提示单元，用于基于所述可行路线，在所述指示牌中生成对应的路线指引提示；其中，所述指引提示包括声音提示以及路线的图像指引。9.一种指示牌，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本发明涉及图像处理技术领域，提供了一种智能导流的方法、装置、指示牌和存储介质，包括：获取指示牌所在的目标环境的道路图像；获取指示牌所在的目标环境中的环境声音；获取在历史数据中当前时间段的道路拥堵情况；基于所述目标环境的道路图像、环境声音以及在历史数据中当前时间段的道路拥堵情况，检测所述目标环境是否出现拥堵；若出现拥堵，则获取当前在所述目标环境中的可行路线；基于所述可行路线，在所述指示牌中生成对应的路线指引提示；其中，所述指引提示包括声音提示以及路线的图像指引。本发明不仅可以对道路的拥堵进行检测，而且在出现拥堵时，还可以获取到当前的可行路线进行指引提示。行路线进行指引提示。行路线进行指引提示。


技术研发人员：王卫文 钟林 钟玉
受保护的技术使用者：深圳柯赛标识智能科技有限公司
技术研发日：2023.04.18
技术公布日：2023/5/23