基于语音控制的水电站泄洪应急管理系统及方法与流程

1.本发明涉及数据采集及同步领域，具体涉及一种基于语音控制的水电站泄洪应急管理系统、方法、装置及介质。


背景技术：

2.大型水电站一般都配置了应急喊话设备，用于泄洪前对下游喊话预警，以防止泄洪对下游人身财产造成损害。同时，运行值班员在喊话期间，还需通过图像监控系统调取相应区域摄像头，检查泄洪流道是否正常，下游河道有无船只人员。
3.当前运行人员在开闸泄洪前启动喊话时，存在操作不便及流程繁琐的问题：
4.(1)启动应急喊话系统及电站图像监控系统时，需手动输入账号密码登录。在应急泄洪前，运行人员需耗费较多时间用于手动输入密码登录相关系统，进行相关准备工作，可能造成应急泄洪时机延误。
5.(2)电站的图像监控系统用于采集全厂摄像头的图像，点多面广，泄洪前需运行值班员手动选择泄洪区域摄像头，进行流道及下游区域检查，操作不便、耗费时间。
6.因此需要一种可以实现自动生成喊话内容并确定重点监控区域以进行显示的基于语音控制的水电站泄洪应急管理系统及方法。


技术实现要素：

7.本发明的目的在于提供一种基于语音控制的水电站泄洪应急管理系统。以期解决背景技术中存在的技术问题。
8.为了实现上述目的，本发明采用以下技术方案：
9.一种基于语音控制的水电站泄洪应急管理系统，包括：
10.语音输入模块，用于获取语音数据；
11.图像监控模块，用于获取泄洪区域图像；
12.数据处理模块，用于对所述语音数据、所述泄洪区域图像进行处理，生成第一控制指令和第二控制指令；
13.广播模块，用于基于所述第一控制指令，播放目标语音；
14.可视化模块，用于基于所述第二控制指令，播放目标图像或目标视频；
15.所述数据处理模块分别与所述语音输入模块、所述图像监控模块、所述广播模块、所述可视化模块通信连接。
16.在一些实施例中，所述语音输入模块包括麦克风以及语音处理元件，所述语音处理元件用于对采集的所述语音数据进行预处理。
17.在一些实施例中，所述数据处理模块进一步用于：
18.基于所述语音数据，确定所述目标语音的语句要素及播放参数；所述播放参数至少包括所述目标语音的播放次数；
19.基于所述语句要素及所述播放参数，生成所述第一控制指令；
20.基于对所述泄洪区域图像的处理，确定目标区域；
21.基于所述目标区域，确定第二控制指令。
22.在一些实施例中，所述数据处理模块进一步用于：
23.基于语音预测模型对所述语音数据的处理，确定目标语音的语句要素及播放参数；
24.基于图像分析模型对泄洪区域图像的处理，确定目标区域；
25.所述语音预测模型、图像分析模型为机器学习模型。
26.在一些实施例中，所述广播模块包括数据库和语音合成单元，所述数据库用于存储所述语句要素，所述语音合成单元用于基于所述第一控制指令，生成所述目标语音并播放。
27.同时，本发明还公开了一种基于语音控制的水电站泄洪应急管理方法，所述方法上述的基于语音控制的水电站泄洪应急管理系统的数据处理模块实现，所述方法包括：
28.基于语音输入模块获取语音数据；
29.基于图像监控模块获取泄洪区域图像；
30.基于对所述语音数据、所述泄洪区域图像进行处理，生成第一控制指令和第二控制指令；
31.基于所述第一控制指令，控制广播模块播放目标语音；
32.基于所述第二控制指令，控制可视化模块播放目标图像或目标视频。
33.同时，本发明还公开了一种基于语音控制的水电站泄洪应急管理装置，所述装置包括至少一个处理器以及至少一个存储器；
34.所述至少一个存储器用于存储计算机指令；
35.所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现上述的方法。
36.同时，本发明还公开了一种计算机可读存储介质，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现上述的基于语音控制的水电站泄洪应急管理系统。
37.有益效果
38.本发明与现有技术相比，其显著优点是：
39.本发明的技术方案实现了水电站泄洪应急喊话的流程化、集成化、智能化，极大缩减了应急喊话耗时，减小了运行值班员工作量，解决了现有泄洪应急喊话系统存在的数据孤立、自动化程度低、操作繁琐等问题。
附图说明
40.图1是本实施例涉及基于语音控制的水电站泄洪应急管理系统的示意图；
41.图2是本实施例涉及的基于语音控制的水电站泄洪应急管理方法的流程示意图；
42.图3是本发明的一些实施例中的语音预测模型的示意图；
43.图4是本发明的一些实施例中的图像分析模型的示意图。
具体实施方式
44.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
相关的内容，则可以确定语句要素为“开启应急泄洪广播”关联的内容。
62.在一些实施例中，数据处理模块可以采取如关键字识别等方式获取语句特征，并基于查表等方式，通过语句特征确定需要播报的内容，并确定该播报内容对应的语句要素。
63.在一些实施例中，数据处理模块可以通过关键词识别的方式，从采集的语音数据中获取到如广播播放系数等特征作为播放参数。
64.在一些实施例中，数据处理模块可以基于图像比对等方式对泄洪区域图像的处理，确定目标区域。目标区域可以是存在异常的泄洪区域或泄洪点。例如，数据处理模块可以将各个泄洪区域摄像头采集的对应点位的图像与该点位正常时的标准图像进行比对，将与标准图像的图像差异大于预设阈值的图像对应的点位作为异常区域，进而基于多个异常区域确定目标区域。如将所有异常区域作为目标区域。
65.在一些实施例中，数据处理模块可以基于如像素比较等方式确定各个泄洪区域摄像头采集的对应点位的图像与该点位正常时的标准图像的图像差异。
66.在一些实施例中，目标区域可以是工作人员需要重点排查的区域，如存在遮挡物、有无关人员等区域。在一些实施例中，通过自动比对确定目标区域并进行重点显示，可以实现自动检测及预警，以减少工作人员一一查看的工作量。
67.在一些实施例中，也可以在基于语音数据确定需要开启泄洪等预设操作时，通过图像监控模块自动调取所有区域的图像，并通过数据处理模块传递至可视化模块进行自动播放。或者仅是将目标区域的图像进行重点播放(如放在界面正中并进行更大界面的播放等)。
68.在一些实施例中，所述数据处理模块进一步用于：
69.基于语音预测模型对所述语音数据的处理，确定目标语音的语句要素及播放参数；
70.基于图像分析模型对泄洪区域图像的处理，确定目标区域；
71.所述语音预测模型、图像分析模型为机器学习模型。关于语音预测模型、图像分析模型的进一步说明参见图3和图4的相应内容。
72.广播模块用于基于所述第一控制指令，播放目标语音。
73.在一些实施例中，所述广播模块包括数据库和语音合成单元，所述数据库用于存储所述语句要素，所述语音合成单元用于基于所述第一控制指令，生成所述目标语音并播放。
74.例如，广播模块具备ss语音合成功能，并配备有预置喊话内容的广播喇叭。该模块的作用为接受数据处理模块传输来的语音信息，并使用ss语音合成功能通过广播喇叭播放。
75.可视化模块用于基于所述第二控制指令，播放目标图像或目标视频。在一些实施例中，可视化模块具备视频解码功能，并有一块用于监控视频播放的显示屏。该模块的作用为接收数据处理模块传输来的视频信息，解码处理后在终端显示屏上实时播放。
76.在一些实施例中，以上功能模块中，语音输入模块、数据处理模块、可视化模块以及外部接口集成安装在一台终端设备上，通过外接220v的电源模块对其供电。广播模块安装在电站外侧两岸及各处泄洪流道。数据处理模块与广播模块、数据处理模块外部接口与电站图像监控系统之间通信均采用以太网双绞线实现。
77.如图2所示，本发明还公开了一种基于语音控制的水电站泄洪应急管理方法，所述方法上述的基于语音控制的水电站泄洪应急管理系统的数据处理模块实现，所述方法200包括：
78.步骤210，基于语音输入模块获取语音数据。
79.例如，值班员在接收到泄洪指令后，通过语音控制下达“开启应急泄洪广播”指令。语音输入模块通过vad语言检测功能，检测出语音指令的开始和结束，并采用ns噪声抑制、sd混响消除功能进一步消除环境噪声。处理后的语音信号通过asr语言识别、nlu自然语言识别功能，识别值班员的意图，产生结构化的指令数据传输至数据处理模块。
80.步骤220，基于图像监控模块获取泄洪区域图像。
81.例如，电站图像监控系统调取相应区域摄像头画面后，再通过外部接口将画面数据传输回图像监控模块，以进一步传递至数据处理模块。数据处理模块可以通过外部接口向图像监控模块的电站图像监控系统发出查看泄洪区域摄像头的请求。
82.步骤230，基于对所述语音数据、所述泄洪区域图像进行处理，生成第一控制指令和第二控制指令。
83.步骤240，基于所述第一控制指令，控制广播模块播放目标语音。
84.步骤250，基于所述第二控制指令，控制可视化模块播放目标图像或目标视频。
85.例如，应急喊话系统的语音模块在接收到“开启应急泄洪广播”的语音指令后，数据处理模块解锁系统并进行后续的应急喊话任务，即生成对应的第一控制指令。在接收到“重复播放x遍”的语音指令后，数据处理模块立即选择应急喊话模板至广播模块。由广播模块的ss语音合成功能，将应急喊话模板解析生成语音信号，通过广播喇叭进行应急喊话并重复播放x遍，播放完自动停止播放。
86.同时，数据处理模块将图像监控画面传输至可视化模块，可视化模块将视频解码后，由终端显示屏实时播放监控画面。终端显示屏同步播放泄洪区域摄像头监控画面。值班员在检查确认流道及下游正常后即可进行开闸泄洪操作。
87.开闸泄洪操作结束后，语音模块接收到“退出运行”语音指令，并通过语音模块将“退出运行”的指令传输至数据处理模块。数据处理模块停止接收电站图像监控系统的监控信号，并控制可视化模块停止播放监控视频，广播模块停止播报应急喊话，系统退出运行。
88.如图3所示为本实施了公开的语音预测模型的示意图。
89.在一些实施例中，语音预测模型可以为机器学习模型，例如，神经网络模型或其他智能学习网络构建的模型。
90.在一些实施例中，语音预测模型320的输入为语音输入模块采集的语音数据310。如经降噪等预处理后得到的工作人员录入的语音数据。语音预测模型的输出为目标语音的语句要素及播放参数330。如目标语音的核心内容及播放次数等。
91.在一些实施例中，语音预测模型可以基于大量的第一训练数据340(包括带有第一标签的第一训练样本)训练得到。第一训练样本可以是历史采集的历史喊话语音数据，第一标签可以是该样本对应的目标语音的语句要素及播放参数。
92.在一些实施例中，语音预测模型的训练包括：将第一训练样本输入初始语音预测模型350，得到该第一训练样本对应的目标语音的语句要素及播放参数。训练过程中，语音预测模型可以基于标签和输出结果，构建损失函数。同时，基于损失函数对语音预测模型的
参数进行更新，直至预设条件被满足，训练完成。其中，预设条件可以包括损失函数小于阈值、收敛，或者训练周期达到阈值等中的一种或多种。
93.如图4所示为本实施了公开的图像分析模型的示意图。
94.在一些实施例中，图像分析模型可以为机器学习模型，例如，神经网络模型或其他智能学习网络构建的模型。
95.在一些实施例中，图像分析模型320的输入为图像监控系统采集的泄洪区域图像410。图像分析模型的输出为需要工作人员重点检测的目标区域430。
96.在一些实施例中，图像分析模型可以基于大量的第二训练数据440(包括带有第二标签的第二训练样本)训练得到。第二训练样本可以是历史采集的监控图像，第二标签可以是该样本对应的目标区域，如有闲杂人员或其他障碍物的区域。
97.在一些实施例中，图像分析模型的训练包括：将第二训练样本输入初始图像分析模型350，得到该第二训练样本对应的目标区域。训练过程中，图像分析模型可以基于标签和输出结果，构建损失函数。同时，基于损失函数对图像分析模型的参数进行更新，直至预设条件被满足，训练完成。其中，预设条件可以包括损失函数小于阈值、收敛，或者训练周期达到阈值等中的一种或多种。
98.通过模型自动处理语音数据及图像数据，可以进一步提升数据处理的速度及可靠性，降低人工处理量。
99.综上可知，本方案通过语音控制应急喊话系统进行喊话及监控视频调取，无需输入密码解锁及手动启动应急喊话，减少了应急开闸泄洪前的准备时间及运行值班员的工作量。同时，可以实现应急喊话系统与电站图像监控系统互通，泄洪区域摄像头监控视频可直接在终端显示屏上实时播放，运行值班员无需手动操作电站图像监控系统调取监控视频。将以往两套系统的功能整合至一套系统实现，解决了运行值班员因来回操作两套系统所导致的耗时较长及操作繁琐的问题。最终实现将应急喊话系统与电站图像监控系统的部分功能集成到一个终端上，实现在开启应急喊话的同时查看相应泄洪区域图像监控的功能。将原本分散的业务流程化、集中化，大大减少运行值班员在启动泄洪前的工作量，提高了工作效率。
100.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于语音控制的水电站泄洪应急管理系统，其特征在于，包括：语音输入模块，用于获取语音数据；图像监控模块，用于获取泄洪区域图像；数据处理模块，用于对所述语音数据、所述泄洪区域图像进行处理，生成第一控制指令和第二控制指令；广播模块，用于基于所述第一控制指令，播放目标语音；可视化模块，用于基于所述第二控制指令，播放目标图像或目标视频；所述数据处理模块分别与所述语音输入模块、所述图像监控模块、所述广播模块、所述可视化模块通信连接。2.根据权利要求1所述的基于语音控制的水电站泄洪应急管理系统，其特征在于，所述语音输入模块包括麦克风以及语音处理元件，所述语音处理元件用于对采集的所述语音数据进行预处理。3.根据权利要求1所述的基于语音控制的水电站泄洪应急管理系统，其特征在于，所述数据处理模块进一步用于：基于所述语音数据，确定所述目标语音的语句要素及播放参数；所述播放参数至少包括所述目标语音的播放次数；基于所述语句要素及所述播放参数，生成所述第一控制指令；基于对所述泄洪区域图像的处理，确定目标区域；基于所述目标区域，确定第二控制指令。4.根据权利要求3所述的基于语音控制的水电站泄洪应急管理系统，其特征在于，所述广播模块包括数据库和语音合成单元，所述数据库用于存储所述语句要素，所述语音合成单元用于基于所述第一控制指令，生成所述目标语音并播放。5.一种基于语音控制的水电站泄洪应急管理方法，所述方法基于如权利要求1所述的基于语音控制的水电站泄洪应急管理系统的数据处理模块实现，所述方法包括：基于语音输入模块获取语音数据；基于图像监控模块获取泄洪区域图像；基于对所述语音数据、所述泄洪区域图像进行处理，生成第一控制指令和第二控制指令；基于所述第一控制指令，控制广播模块播放目标语音；基于所述第二控制指令，控制可视化模块播放目标图像或目标视频。6.根据权利要求5所述的基于语音控制的水电站泄洪应急管理方法，其特征在于，所述语音输入模块包括麦克风以及语音处理元件，所述语音处理元件用于对采集的所述语音数据进行预处理。7.根据权利要求5所述的基于语音控制的水电站泄洪应急管理方法，其特征在于，所述基于对所述语音数据、所述泄洪区域图像进行处理，生成第一控制指令和第二控制指令包括：基于所述语音数据，确定所述目标语音的语句要素及播放参数；所述播放参数至少包括所述目标语音的播放次数；基于所述语句要素及所述播放参数，生成所述第一控制指令；
基于对所述泄洪区域图像的处理，确定目标区域；基于所述目标区域，确定第二控制指令。8.根据权利要求7所述的基于语音控制的水电站泄洪应急管理方法，其特征在于，所述广播模块包括数据库和语音合成单元，所述数据库用于存储所述语句要素，所述语音合成单元用于基于所述第一控制指令，生成所述目标语音并播放。9.一种基于语音控制的水电站泄洪应急管理装置，其特征在于，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现权利要求5至8中任意一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要5至8中任意一项所述的方法。

技术总结
本发明提供了一种基于语音控制的水电站泄洪应急管理系统，包括：语音输入模块，用于获取语音数据；图像监控模块，用于获取泄洪区域图像；数据处理模块，用于对所述语音数据、所述泄洪区域图像进行处理，生成第一控制指令和第二控制指令；广播模块，用于基于所述第一控制指令，播放目标语音；可视化模块，用于基于所述第二控制指令，播放目标图像或目标视频，可以实现自动生成喊话内容并确定重点监控区域以进行显示。进行显示。进行显示。


技术研发人员：唐翔 郁光 章栋 舒君侠 李华
受保护的技术使用者：三峡金沙江川云水电开发有限公司
技术研发日：2023.04.28
技术公布日：2023/8/23