水声数据可视化态势展示系统及其方法与流程

1.本技术属于综合态势展示技术领域，具体地涉及基于水声数据可视化综合态势展示系统及其方法。


背景技术：

2.仿真应用(simulation application，sa)的特点就是在于能够直观、真实的模拟与展示出态势数据情况与武器装备详细信息。
3.但在军事领域,实现战场综合态势展示主要还是通过传统对电子地图上标绘的各类符号以及沙盘方式来对战场环境以及敌我双方力量部署情况进行一个整体模拟展示。综合态势包括指定区域内的当前状态与发展变化趋势。当前状态包括多种场景元素、环境与目标的种类、属性、位置、运动参数等信息。发展变化趋势包括目标隐含的意图、能力、相关关系以及对我方的威胁等的描述。需要利用利用计算机技术以图形的方式实时展示综合态势。
4.中国专利申请cn110866887a提供了一种基于多传感器的目标态势融合感知方法和系统。中国专利申请cn102663959a提供了基于地图标号处理的综合态势直观展示系统及实现方法。


技术实现要素：

5.在涉及水声情报数据的综合态势中，由于水声情报数据庞大、繁琐、复杂、专业程度高并且指挥人员往往需要对战场综合态势及时作出正常的反馈与决策，传统的海图标绘功能与沙盘模拟技术由于人机交互能力薄弱、目标数据进行融合分析能力差、把控决策分析数据准确率低等问题，已无法满足用户对数据可视化的要求。战场综合态势反映了多样且复杂的信息。例如，目标航迹源于持续的数据源，且需要被实时展示。目标种类与数量多样化，且单一目标可由多种不同类型的数据源表达，在综合态势中需要对多种数据分析并综合展示。数据源还可选地需要被采集，而采集方式的复杂性(诸如网络延迟)，也影响数据采集与处理过程，并导致对数据的可视化展示的复杂性。综合态势的展示还源于(多位)用户的操作。用户操作可以是基于图形用户界面的操作，可以是通过远程计算机的操作。用户的操作及相应处理也需要在图形界面中展示，并融合于对综合态势的展示中。在大数据场景下，用户操作的处理时延各不相同，还需要避免用户操作的延迟影响显示画面的更新与实时性。海洋战场的环境也是持续变化的。在不同层级的显示需求中，海洋区域的范围(大小)各不相同，环境与气象条件各异，对应的展示方式也不同。
6.针对上述现有技术所存在的问题和不足，本发明提供了基于水声数据处理的综合态势可视化实现方法，能够给指挥者快速提供所关心区域的直观态势功能,有利于指挥人员进行快速决策，同时还能实时查看当前任务执行情况与判定结果,形成从事件发生到事件处置结束整个过程的实时态势直观综合显示。
7.为了解决上述一种或多种问题需要一种新的综合态势可视化展示方法，来满足复
杂的综合态势展示需求。
8.根据本技术的实施例，提供了水声数据可视化综合态势展示系统实施的方法，其中所述水声数据可视化综合态势展示系统包括并行运行的ui线程、一个或多个tp线程、bm线程、图形绘制线程与opengl渲染线程；所述方法包括：响应于用户操作所述水声数据可视化综合态势展示系统的图形界面，所述ui线程生成ui事件，并以异步方式将生成的ui事件提供给所述bm线程；所述bm线程根据获取的ui事件产生任务并分发给所述tp线程来处理所产生的任务；所述tp线程根据所产生的任务从多种外部数据源获取多种数据，对所述多种数据进行数据融合并生成具有统一格式的自定义数据结构数据，并将所述自定义数据结构数据提供给所述图形绘制线程，其中自定义数据结构数据描述了所述水声数据可视化综合态势展示系统要展示的元素，所述元素关联于所述多种数据；所述图形绘制线程根据所述自定义数据结构数据对不同元素进行态势融合与分类绘制；所述opengl渲染线程对绘制的元素进行渲染，并将渲染结果提供给所述ui线程；所述ui线程对渲染结果进行综合态势展示。
9.根据本技术实施例的水声数据可视化综合态势展示系统实施的方法，还包括：响应于所述水声数据可视化综合态势展示系统要展示来自外部数据源的目标，所述tp线程接收来自多种外部数据源的多种数据，所述来自多种外部数据源的多种数据包括目标航迹与目标信息，通过数据融合将所述多种数据关联于所述目标，并生成所述具有统一格式的自定义数据结构数据。
10.根据本技术实施例的水声数据可视化综合态势展示系统实施的方法，还包括：所述tp线程融合多个外部数据源的数据，所述多个外部数据源关联于相同的目标。
11.根据本技术实施例的水声数据可视化综合态势展示系统实施的方法，其中，响应于所述水声数据可视化综合态势展示系统要显示来自新外部数据源的目标数据，获取可用的tp线程接收来自所述新外部数据源的数据，并生成所述具有统一格式的自定义数据结构数据。
12.根据本技术实施例的水声数据可视化综合态势展示系统实施的方法，其中，所述tp线程获取态势显示需求，为要展示的元素根据态势显示需求匹配对应的态势展示方式，并在要展示的元素对应的自定义数据结构中记录所匹配的态势展示方式。
13.根据本技术实施例的水声数据可视化综合态势展示系统实施的方法，其中，所述自定义数据结构指示了要展示的元素的绘制操作类型，以及绘制元素所需的信息。
14.根据本技术实施例的水声数据可视化综合态势展示系统实施的方法，还包括：图形绘制线程根据自定义数据结构对要展示的元素进行态势展示分类处理与图形预处理，在图形预处理完成后将数据共享给opengl渲染线程进行渲染绘制。
15.根据本技术实施例的水声数据可视化综合态势展示系统实施的方法，还包括：响应于所述水声数据可视化综合态势展示系统进行模拟态势展示，根据当前要模拟的态势，生成模拟的态势数据与辅助决策信息；将模拟的态势数据以及辅助决策信息作为外部数据源被提供给tp线程，所述tp线程根据来自外部数据源的数据生成自定义数据结构数据来请求图形绘制线程绘制元素。
16.根据本技术实施例的水声数据可视化综合态势展示系统实施的方法，还包括：响应于所述水声数据可视化综合态势展示系统对综合态势复盘重现，通过ui线程选中指定态
terface)线程(也称为图像汇集显示线程)、tp(transactionprocessing)线程(任务处理线程)、bm(businessmanagement)线程(业务控制线程)、图形绘制线程与opengl渲染线程。
31.基于水声数据可视化综合态势展示系统中，ui线程作为主线程，并启动其他线程，ui线程负责向用户展示综合态势，维护底层态势图层，接收用户基于图形用户界面提供的多种ui事件(例如，基于菜单、按钮产生的操作命令)。
32.bm线程负责基于水声数据可视化综合态势展示系统的各线程的调度，并协同各线程的工作。bm线程控制各线程需要被调度执行的时机(例如，出现任务处理请求，所需处理的数据已准备好等)，以及还根据系统负载和/或待处理任务的规模来确定处理任务被分发的时机与数量。例如，bm线程接收ui线程产生的ui事件，并识别ui事件所对应的任务来调度tp线程或图形绘制线程来处理基于ui事件而产生的任务。例如，一些ui事件需要获取外部数据源数据或需要进行数据查询，由tp线程从外部数据源接收数据或从本地缓存查询数据，再进行后续的绘制，从而bm线程将此类ui事件提供给tp线程处理。一些ui事件无需获取数据而是例如改变显示方式，bm线程可将此类ui线程提供给图形绘制线程处理。
33.tp线程包括一个或多个，分别处理相同或不同的任务。tp线程还接收外部数据源并创建业务数据实体来处理所接收的数据。tp线程还将多种数据源的数据进行融合并封装为具有统一格式的自定义数据结构提供给图形绘制线程。提供给图形绘制线程的自定义数据结构的实例被置于例如缓存中，以使得tp线程与图形绘制可被分别调度。tp线程还向bm线程告知已从外部数据源接收了数据或者向缓存添加了自定义数据结构的实例，以请求其他线程来继续处理。
34.tp线程接收的数据源包括多种数据，这些数据可关联于多种元素中的相同元素或不同元素。在数据融合中，将例如关联于相同元素的数据汇集在一起，以避免多样数据在显示时彼此冲突，也便于对多样数据关联地显示。元素是例如基于水声数据可视化综合态势展示系统中被识别并要展示的船只。可选地，一些外部数据源或者数据源中的部分数据(例如部分时间段的数据)，不关联于任何元素(例如，该部分数据中没有被识别的船只)，tp线程还例如本地缓存(不需要随时提供给其他线程)这些数据，以供将来查询需要。
35.依然可选地，tp线程与对应的外部数据源保持长连接，以随时从外部数据源接收数据。可选地，tp线程根据例如ui线程传递的用户指示而选择连接指定的外部数据源。例如，bm线程在调度tp线程时一并将用户ui事件中携带的外部数据源信息传递给tp线程，并tp线程基于获取的用户指示来连接该外部数据源。
36.图形绘制线程根据自定义数据结构所传递的信息，识别其图像绘制需求，对不同元素分类绘制，例如绘制不同数据来源的元素(如目标、干扰物、平台、各种器材等)。可选地，自定义数据结构还索引了绘制元素所需的数据的缓存地址，从而自定义数据结构的尺寸可以被限制，而图形绘制线程从例如缓存获取要绘制所需的数据。图形绘制线程还处理例如态势融合。元素可能关联于多种要绘制数据，而向用户展示所有要绘制数据可能是不利的，因为会导致显示区域混乱并掩盖关键信息。图形绘制线程还根据绘制策略(基于用户指定的绘制需求，或分析出的对用户有利的绘制方式)将多种要绘制数据进行态势融合，以向用户展示关键信息。图形绘制线程还处理元素展示中的关联性，例如多种关联的元素被一并展示。
37.可以理解地，图形绘制线程对元素进行绘制，但绘制结果未必被呈现给用户，而是
保存在缓存中。由ui线程决定哪些元素何时被在屏幕上呈现。从而屏幕上未呈现的一些元素(例如，在ui上被隐藏的元素，或者用户未开启显示的元素)，图形绘制线程可在后台实时地根据获取的数据进行绘制，从而在用户切换或指示呈现这些元素时，可以快速地向用户展现元素，以提升用户体验。可选地，一些当前未呈现的元素无需被绘制，以降低系统负载。例如，对于当前指定海区的多艘船只目标，图形绘制线程对其都在后台绘制，由ui线程确定将哪些船只在屏幕上呈现；而对于其他海区的元素，则无需绘制。
38.可选地或进一步地，还利用opengl渲染线程对图形绘制线程的绘制结果进行进一步处理，来增强显示效果。opengl渲染线程封装opengl图形库，利用图形加速硬件进行图形渲染。可以理解地，综合态势的一些场景的展示中，open gl渲染线程(利用图形硬件加速图形渲染)不是必须的，而可由图形绘制线程完成的元素的绘制。图形绘制线程与opengl渲染线程完成绘制的元素被提供给ui线程，用于进行态势展示。
39.图形绘制线程和/或opengl线程各自绘制完成的结果，也被提供给ui线程。由ui线程决定哪些元素何时被在屏幕上呈现。可选地，图形绘制线程和/或ope ngl线程各自就绘制完成的结果通知bm线程，bm线程调度ui线程来获取绘制结果。从而bm线程得以根据例如当前负载、任务处理情况、用户的操作等因素选择合适时机来调度ui线程更新屏幕上显示的内容。
40.图1a中展示的缓存被用于在各线程直接传递或共享数据。例如，tp线程对从外部数据源获取的数据进行数据融合后放入缓存，供图形绘制线程使用。图形绘制线程/opengl线程绘制的结果放入缓存，供ui线程使用。在ui线程产生的ui事件对应数据查询任务时，缓存还作为数据源提供数据查询结果。
41.ui线程、bm线程、tp线程、图形绘制线程与opengl渲染线程各自并行的处理各自的任务。线程之间通过队列、信号、共享存储器等机制实现通信。单一线程被阻塞或处理时延不影响其他线程的处理。
42.图1b展示了根据本技术实施例的基于水声数据可视化综合态势展示系统的泳道图。
43.基于水声数据可视化综合态势展示系统启动后，ui线程启动。ui线程作为主线程，还启动bm线程、一个或多个tp线程、图形绘制线程以及可选的open gl渲染线程。ui线程例如在屏幕上绘制出底层态势图层以及图形用户界面。
44.在基于水声数据可视化综合态势展示系统运行过程中，响应于用户操作图形用户界面，ui线程产生ui事件。ui事件包括鼠标、键盘、输入输出等事件。ui线程利用队列缓存ui事件，并例如通过信号数据管道将缓存的ui事件发送给bm线程。缓存ui事件而不是立即处理ui事件，以避免ui事件的处理影响综合态势显示，特别是处理时间长或易于引起卡顿的ui事件导致综合态势显示中的一种或多种元素的绘制被延迟，导致影响综合态势显示的实时性与显示效果。
45.队列中的ui事件例如按顺序提供给bm线程。bm线程以及其他线程对对ui事件的处理不会阻塞ui线程，从而避免ui事件处理引起ui线程阻塞并影响综合态势展示。可选地，bm线程还就ui事件处理完成而通知ui线程，使得ui线程得以获取要在屏幕上显示的结果。
46.bm线程从信号数据管道接收ui事件。可选地，操作系统依据信号数据管道中存在要发送给bm线程的ui事件而调度bm线程，从而在没有ui事件时，bm线程可不被调度而节约
处理器资源。bm线程识别ui事件所描述的任务，创建任务并将任务分发给tp线程。ui事件所描述的任务例如加载数据、创建目标、设置战场区域等。任务有对应的任务处理代码或函数。在tp线程内加载并运行任务处理代码，使得任务处理代码本身的处理时间与处理状况(处理中、处理失败等)得以被tp线程管理而减少对综合态势展示的影响。多个tp线程被组织为例如线程池。bm线程在分发任务时从线程池获取可用的tp线程，并将所需执行的任务处理代码设置给tp线程，并调度tp线程来管理任务处理代码的执行。
47.可选地，除了处理ui事件，根据本技术实施例的基于水声数据可视化综合态势展示系统还实时从外部数据源接收数据。基于配置，一个或多个tp线程被用于接收外部数据源，例如，接收代表目标航迹的外部数据源。不同数据源有各自的数据分发方式，不同数据源有各自的目标展示方式。外部数据源提供的数据还可能具有相对低的信息密度，从而大量的数据中与目标的显示相关的部分在整体数据中的占比可以较低且变化。通过tp线程封装多样化的数据源，使得根据本技术实施例的基于水声数据可视化综合态势展示系统能够容纳多样化的数据源。依然可选地，基于水声数据可视化综合态势展示系统被部署后，依然可增加新的数据源或改变数据源的数据分发方式，以便于新的数据源或新的目标被添加到综合态势。tp线程还可选地融合多种数据源，以通过例如多种数据源(例如，多台声纳、多台雷达)反映并生成同一目标的航迹。可选地，数据融合中还将目标的其他信息(例如识别结果、风险等级)关联于同一目标。虽然数据源是多样的，而数据源所反映的目标也是多样的，tp线程对多种数据源进行数据融合，生成统一的自定义数据结构来将相同待显示元素的多种数据关联在一起。依然可选地，有其他维度来融合多种数据源。例如，根据指定的任务来将多种数据关联于该任务。生成统一的自定义数据结构的过程中，无关的数据被剔除或缓存，为了便于显示的目的，一些数据值被归一化，使得多种数据源的数据在一同显示时具有可比性。从外部数据源获得数据中还存在未关联显示目标的数据，这些数据被tp线程记录在本地缓存，以便将来可能的使用。
48.自定义数据结构定义了根据本技术实施例的图形绘制线程所处理的多种元素，例如列表、图标、线条、要展示的目标等。自定义数据结构还包括绘制元素所需的多种信息，例如，显示区域、与绘制元素相关的数据(位置、速度)、风险等级等。通过设置自定义数据结构，将综合态势显示中的多样化元素的不同显示方式归类为指定数量的绘制操作类型，以使得图形绘制线程根据绘制操作类型对不同的元素(数据)进行绘制操作。例如，根据目标的航迹与显示区域绘制并更新目标的移动轨迹。即使综合态势显示的元素发生改变，例如添加新的目标(即使具有新的图标)，图形绘制线程也能在不重新修改代码并部署的情况下，基于自定义数据结构所描述的绘制操作类型完成对新目标的绘制。自定义数据结构描述了tp线程与图形绘制线程之间的接口。由tp线程来适配待显示元素的多样性，而向图形绘制线程交付统一形式的自定义数据结构描述所需的绘制操作类型与相关数据。
49.新目标、新数据源和/或新的ui事件的处理方式由tp线程所加载的任务处理代码实现。任务处理代码可由tp线程动态加载，而无需重启根据本技术实施例的基于水声数据可视化综合态势展示系统。任务处理代码生成统一的自定义数据结构，并发送给图形绘制线程实施元素绘制。
50.图形绘制线程还负责态势融合，以用户友好的方式呈现元素或呈现从多种元素中分析或归纳出的综合态势。例如受到显示区域的限制，多个目标被同时显示可能因杂乱而
带来糟糕的用户体验。通过将同类目标融合(将多个同类目标展示为单一的显示元素，而非显示每个目标的所有信息)来向用户呈现。依然可选地，多个待显示元素虽不同类但具有关联性(例如，待显示的目标与其属性信息)，这些元素被融合以一同显示。
51.图形绘制线程根据自定义数据结构对应的绘制操作类型与相关数据实施元素绘制。为了获得更好的显示效果(例如抗锯齿)，一些元素绘制结果被提供给opengl渲染线程进行进一步渲染。可选地，元素绘制结果被直接提供给ui线程，而无需opengl线程处理。由ui线程组织和管理对绘制结果的展示。例如，ui线程根据当前窗口的大小、位置和/或遮挡情况，调整对各元素的显示。依然可选地，一些元素绘制结果没有被ui线程获取并显示，而是保留在图形绘制线程或opengl线程的缓存中，在需要时再被ui线程通过产生ui事件来获取。
52.ui线程的综合态势显示可以不依赖于tp线程、图形绘制线程以及opengl渲染线程最新且完成的绘制/渲染结果，而可以根据已经接收到的绘制/渲染结果进行展示。并在收到图形绘制线程以及opengl渲染线程更新的绘制/渲染结果后(例如通过bm线程)，ui线程根据更新的绘制/渲染结果进行展示，从而tp线程、图形绘制线程以及opengl渲染线程各自的处理延迟与负载不影响ui线程对综合态势的显示。可选地，自定义数据结构中还包括时间戳，当时间戳与当前时间差距较大时，代表堆积了较多待绘制操作或待显示元素，相应地，通过忽略部分自定义数据结构来快速处理堆积的操作。
53.图2展示了根据本技术实施例的目标态势融合展示的工作流程图。
54.参看图2，为了构建用户界面(ui)来融合展示目标态势，启动ui线程，在ui线程启动的同时，附属在ui线程上面的图形绘制线程与tp线程也同时进行运行时初始化过程。
55.tp线程运行期间，例如从外部数据源接收包含有目标轨迹信息数据与目标跟踪信息数据(包含位置信息与方位信息等)，在接收到数据时创建出相应的业务数据实体(即以一种类似工厂模式的形式将数据抽象为一个抽象数据对象，随后衍生出具体的不同类型的数据对象来分别处理不同数据源的数据)。不同数据源有不同的通信方式和/或数据格式，业务数据实体处理这些不同数据源的差异，从中获取有效数据并缓存。tp线程还对多种数据进行融合(数据融合)，例如基于要显示的元素或目标将多种数据关联于一起。
56.tp线程处理产生自定义数据结构。规整结构格式的自定义数据结构数据通过数据管道来与图形绘制线程进行数据流转。图形绘制线程在接收到自定义数据结构数据后，绘制待处理显示的图形元素(如目标形状、目标威胁度等)，并可选地提供给ui线程来对图形对象进行整体的态势展示，并对相应的态势数据做临时备份存储处理。图形绘制线程依据指定规则对数据进行分析处理的同时对数据进行常规分类(如按照常见类型、常见条目数、常见来源等进行分类)并将数据寄存于临时缓冲区中。图形绘制线程也将初步生成的数据共享给opengl线程，最终通过信号数据管道送达到ui界面来将融合态势进行完整复现。
57.通过tp线程与图形绘制线程对数据进行数据态势融合，得到最终融合态势。通过图形绘制线程将处理后的自定义数据结构(数据包含目标数据、绘制数据、交互数据、剪辑数据等信息)进行分类规整寄存于缓存区中，同时对缓存区中目标数据(如威胁等级、威胁方位、威胁类型等)进行融合处理(例如，将来自不同的数据源的跟踪数据进行汇总，将“别人”看到的转化为“我”看到的)，匹配出需求处理后将数据归还给ui线程对融合后的数据进行态势展示。
58.在通过ui线程初始化tp线程与图形绘制线程之后，通过图形绘制线程创建基于opengl的双缓冲渲染环境。最终ui体现出来的二维态势是通过opengl技术渲染来实现的。
59.opengl是广泛使用的图形学接口,在各个平台都可以实现。opengl是一个开放的三维图形软件包,它独立于窗口系统和操作系统,以它为基础开发的应用程序可以十分方便地在各种平台间移植。opengl便于实现有关计算和图形算法,可保证算法的正确性和可靠性。opengl使用简便,效率高。此外,opengl还具有以下功能：
60.1、建模,opengl图形库除了提供基本的点、线、多边形的绘制函数外,还提供了复杂曲线和曲面绘制函数。
61.2、位图显示和图象增强图象功能除了基本的拷贝和像素读写外,还提供融合、抗锯齿和雾的特殊图象效果处理,以上三条可使被仿真物更具真实感,增强图形显示的效果。
62.3、双缓存，动画双缓存即前台缓存和后台缓存,即后台缓存计算场景,生成画面,前台缓存显示后台缓存已画好的画面。
63.此外,利用opengl还能实现深度暗示、运动模糊等特殊效果。从而实现了消隐算法。
64.图3展示了根据本技术实施例的人机界面交互的工作流程图。
65.根据本技术实施例的基于水声数据可视化综合态势展示系统提供友好的人机交互方法，向用户显示综合态势，并接收用户基于综合态势的操作。通过计算态势展示区域与数据展示区域的是否有交点及交点的坐标，来对ui事件进行响应,实现用户的交互功能。其中以鼠标、键盘为主要人机交互方式。用户通过如选中或者点击的方式来对关注区域与态势融合显示区域进行操作，包含有对区域情况同步放大、区域文字信息量级控制、区域目标情况延展能力、区域兵团互换等操作。
66.人机交互过程可参考如图3。ui线程启动后监视并捕获所发生的ui事件。例如用户在对绘制的图形进行鼠标单击操作时，ui线程通过事件传播机制得到在绘制的图形中发生的事件。ui线程将ui事件(如鼠标、键盘、输入输出等事件)存储在事件队列，按主次关系分为至少两个队列来对ui事件进行分发，并提供给tp线程。通过信号数据管道将ui事件发送到tp线程。可选地，从包括多个tp线程的线程池中调度tp线程进行处理。可根据ui事件类型与数据来启动多个tp线程同时进行处理，转为统一化的自定义数据结构。可选地，通过bm线程对来自ui线程的由ui事件所代表的任务分发给tp线程。bm线程还等待tp线程中的任务处理完成，并使用blockingdeque(双向队列)存储tp线程的返回结果。bm线程检查tp线程执行任务的结果，若有失败结果出现，bm线程标记状态告知tp线程回滚，将程序控制权再次交给ui线程或图形绘制线程。bm线程还根据负载情况，确定ui事件到tp线程的分发时机。
67.图形绘制线程根据tp线程执行任务的结果对显示元素进行绘制，绘制的结果发送给ui线程显示。可选地，通过opengl线程对图形绘制线程生成的场景与各元素进行场景渲染；通过信号数据管道里将渲染后的图像发送到ui线程对分类完成的数据进行聚簇显示。
68.处理ui事件所需的数据来自例如外部数据源和/或缓存。例如，ui事件要显示指定目标，tp线程从一个或多个外部数据源获取关联于指定目标的数据，并通过统一的自定义数据结构提供给图形绘制线程进行绘制。又例如，ui事件要查询或显示历史数据，tp线程从例如本地缓存获取相关数据。
69.ui事件还例如向tp线程提供要连接的数据源的配置信息，向图形绘制线程提供有
关绘制策略或态势融合测试的配置信息。从而告知tp线程连接或断开连接哪些数据源，显示或不显示哪些元素等。
70.可选地，在增加新的ui事件时，相应调整tp线程对ui事件的处理方式，并生成统一的自定义数据结构来向图形绘制线程描述所需的绘制操作，从而无需修改图形绘制线程，降低了开发负担。
71.图4展示了根据本技术实施例的tp线程的工作流程图。
72.根据本技术实施例，综合态势包括基于水声数据、作战数据以及其他数据所绘制的元素。tp线程处理多种数据，并生成统一格式的自定义数据结构，由图形绘制线程进行元素绘制。参看图4，tp线程接收来自于水声数据、作战数据以及其他数据并处理，并且通过接口方法实现对不同数据类型归类处理，通过类别关系建立、模板化处理与大数据量数据预加载方式对多种数据进行归一化处理，将数据按照指定的自定义数据结构，提供给后续的图形绘制线程，对后续绘制以及渲染提供便捷，极大地提高了本方法对于程序的适配性与移植性。而数据的统一更是可以降低多种情报数据规整的繁琐与复杂度，利于指挥者操作使用。
73.图4中，水声数据、作战数据以及其他数据来自外部数据源或tp线程的本地缓存。在tp线程中，为应对多种数据源与本地缓存的数据形式，对接收的数据对处理方式进行归类。处理数据类型是例如预先建立的，例如对时序数据、谱图数据、目标属性数据，依据数据类型特点，采用对应的接收和处理方式。在接收数据时，识别出数据的类别关系，根据不同类别采用对应的处理方式(例如通过与类别对应的模板)。在大量待处理数据的情况的为加快数据处理速度，还对数据批量预加载并处理，例如对外部数据源的接收数据缓存，并对缓存的一定量数据集中地加载处理，以降低与数据源的网络通信过程引入的暂停。
74.数据处理过程中还可选地进行数据融合。以将相关的多种数据关联地存储。在数据融合中，还进行例如数据归一化，以融合不同数据源的不同数据表示方式。
75.图5展示了根据本技术实施例的预案部署态势可视化的工作流程图。
76.在一些情况下，用户需要一个模拟的对抗态势，所模拟的对抗态势面向多个其他用户进行展示。此时，可以在没有其他一种或多种用于综合态势展示的数据(或数据源)的情况下，用户可以根据经验、想法与见解来对所模拟的对抗态势进行整体展示。为此目的，根据本技术的实施例，根据当前要模拟的态势，生成模拟的态势数据与辅助决策信息。辅助数据例如作为外部数据源被提供给tp线程，从而tp线程以处理外部数据源的类似方式处理辅助数据，从而在无需外部数据源提供真实数据的情况下生成自定义数据结构来请求图形绘制线程绘制元素。
77.根据本技术的实施例还可支持对综合态势复盘重现。通过ui将特定态势区域进行选中后将缓存的态势数据(如水声信号数据、水声采集数据等)处理后生成统一的自定义数据结构，提供给图形绘制线程。图形绘制线程将数据入队列寄存于临时缓冲区后与opengl渲染线程并行处理，最终呈现给用户设定的最终态势。
78.可选地，用户通过ui线程对预案部署的显示区域进行选择，便于确定部署区域的海情与海况。同时将所选区域数据进行框选细分处理以便于确定各自的显示范围。ui线程通过ui事件将选择的显示区域信息提供(例如通过bm线程与tp线程)给图形绘制线程。图形绘制线程对来自于ui线程的海区数据进行汇总分类，并通过对每个划分的海区根据不同海
情与海况进行颜色区分，最终得到规整好的态势信息以便于为后续渲染与绘制提供数据支持。为提高渲染细腻程度，通过opengl渲染线程对预案部署(即模拟态势)进行图形化渲染，得到图形渲染结果。通过管道通信将数据共享到ui线程将渲染后的海图模推演准备情况与海区态势情况进行汇集展示，最终得到预案推演态势。
79.可选地，生成模拟的ui事件来模拟用户对图形界面的操作，例如，模拟用户通过图形界面所施加的部署或命令。模拟的ui事件与ui线程产生的真实ui事件以例如相同的方式提供给bm线程，bm线程根据ui事件创建任务并分发给tp线程处理任务。可选地，bm线程还将ui事件导出来记录例如用户所做的部署与决策。
80.图6展示了根据本技术实施例的可视化数据分类方法的工作流程图。
81.根据本技术的实施例，允许用户定制态态势展示方式。tp线程根据用户的设置或配置信息对一种或多种元素的展示方式做整理，并通过统一的自定义数据结构提供给图形绘制线程。用户个性化的态势展示方式可通过ui事件提供给tp线程，或通过预设的配置信息提供给tp线程。一些情况下，tp线程还记录并分析用户对态势的查看习惯、历史行为而为用户匹配其期待的态势展示方式。
82.ui线程启动后将tp线程、图形绘制线程与opengl线程同时启动。tp线程从数据缓冲区获取待处理的数据。通过用户设置或配置信息获取用户的态势显示需求。态势显示需求包括对不同类型元素的不同展示方式。例如，根据要显示的目标类型、目标威胁等级等，匹配对应的态势展示方式(如局部数据展示、数据全览、详细数据展示等)，确定出符合用户预期的绘制状态生成统一的自定义数据结构提供图形绘制线程。
83.图形绘制线程将来自于tp线程的数据存储于缓冲区中并对数据进行态势展示分类处理。在图形预处理(如文字加载、图像处理等)完成后将数据提供给opengl线程进行渲染绘制，最终得到渲染结果共享给ui线程。ui线程根据共享数据来对态势展示界面信息状态与控制进行规划调整(如自动布局、自动设定位置等)，做到与用户期望一致，使得态势展示数据信息能够清晰展现，对综合态势一目了然。
84.通过本技术的实施例中，提供了综合态势可视化方法，该方法应用于应用程序，应用程序包含用户界面的ui线程、图形绘制线程与opengl渲染线程，tp线程与bm线程。bm线程对数据业务进行提取分析，tp线程对综合数据进行分析归类处理，随后将数据发送于图形绘制线程进行图形化初步生成与操作事件建立，随后通过opengl线程对初步生成的图像进行渲染得到结果后共享给ui线程，ui线程以二维贴图形式进行展示。
85.根据本技术实施例提供得种基于数据的综合态势可视化方法，可以实现无需以沙盘摆放或者人工标绘等方式来进行，而是通过将数据按照接口方式直接注入便可以自动生成即时综合态势信息与辅助决策可视化信息，决策者还可根据态势做出相应的人机交互操作，提高了指挥者的决策效率。
86.实现本技术实施例提供的运行环境/客户端包括例如计算机、服务器或其他信息处理设备。这些设备包括例如直接或间接地耦合到总线的存储器、一个或更多处理器、一个或更多呈现组件、i/o组件以及电源。总线所代表的可以是一种或更多种总线(比如地址总线、数据总线或其组合)。
87.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优
选实施例以及落入本技术范围的所有变更和修改。显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.水声数据可视化综合态势展示系统实施的方法，其中所述水声数据可视化综合态势展示系统包括并行运行的ui线程、一个或多个tp线程、bm线程、图形绘制线程与opengl渲染线程；所述方法包括：响应于用户操作所述水声数据可视化综合态势展示系统的图形界面，所述ui线程生成ui事件，并以异步方式将生成的ui事件提供给所述bm线程；所述bm线程根据获取的ui事件产生任务并分发给所述tp线程来处理所产生的任务；所述tp线程根据所产生的任务从多种外部数据源获取多种数据，对所述多种数据进行数据融合并生成具有统一格式的自定义数据结构数据，并将所述自定义数据结构数据提供给所述图形绘制线程，其中自定义数据结构数据描述了所述水声数据可视化综合态势展示系统要展示的元素，所述元素关联于所述多种数据；所述图形绘制线程根据所述自定义数据结构数据对不同元素进行态势融合与分类绘制；所述opengl渲染线程对绘制的元素进行渲染，并将渲染结果提供给所述ui线程；所述ui线程对渲染结果进行综合态势展示。2.根据权利要求1所述的方法，还包括：响应于所述水声数据可视化综合态势展示系统要展示来自外部数据源的目标，所述tp线程接收来自多种外部数据源的多种数据，所述来自多种外部数据源的多种数据包括目标航迹与目标信息，通过数据融合将所述多种数据关联于所述目标，并生成所述具有统一格式的自定义数据结构数据。3.根据权利要求2所述的方法，还包括：所述tp线程融合多个外部数据源的数据，所述多个外部数据源关联于相同的目标。4.根据权利要求3所述的方法，其中，响应于所述水声数据可视化综合态势展示系统要显示来自新外部数据源的目标数据，获取可用的tp线程接收来自所述新外部数据源的数据，并生成所述具有统一格式的自定义数据结构数据。5.根据权利要求4所述的方法，其中，所述tp线程获取态势显示需求，为要展示的元素根据态势显示需求匹配对应的态势展示方式，并在要展示的元素对应的自定义数据结构中记录所匹配的态势展示方式。6.根据权利要求5所述的方法，其中，所述自定义数据结构指示了要展示的元素的绘制操作类型，以及绘制元素所需的信息。7.根据权利要求6所述的方法，还包括：图形绘制线程根据自定义数据结构对要展示的元素进行态势展示分类处理与图形预处理，在图形预处理完成后将数据共享给opengl渲染线程进行渲染绘制。8.根据权利要求7所述的方法，还包括：响应于所述水声数据可视化综合态势展示系统进行模拟态势展示，根据当前要模拟的态势，生成模拟的态势数据与辅助决策信息；将模拟的态势数据以及辅助决策信息作为外部数据源被提供给tp线程，所述tp线程根据来自外部数据源的数据生成自定义数据结构数
据来请求图形绘制线程绘制元素。9.根据权利要求8所述的方法，还包括：响应于用户对预案部署的显示区域进行选择，ui线程将选择的区域信息存储于缓冲区将数据共享给图形绘制线程；所述图形绘制线程对区域数据进行汇总分类，并通过对每个划分的区域根据不同海情与海况进行颜色区分，最终得到规整好的态势信息；所述opengl渲染线程对模拟态势进行图形化渲染，得到图形渲染结果；通过管道通信将数据共享到ui线程将渲染后的海区态势情况进行汇集展示势。10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现根据权利要求1-9之一所述的方法。

技术总结
提供了水声数据可视化态势展示系统及其方法。水声数据可视化态势展示系统包括展示用户界面的UI线程、图形绘制线程与OpenGL渲染线程，TP线程与BM线程。BM线程对数据业务进行提取分析，TP线程对综合数据进行分析归类处理，随后将数据发送于图形绘制线程进行图形化初步生成与操作事件建立，随后通过OpenGL线程对初步生成的图像进行渲染得到结果后共享给UI线程，UI线程以二维贴图形式进行展示。UI线程以二维贴图形式进行展示。UI线程以二维贴图形式进行展示。


技术研发人员：于博 于淋豪 谢东方 李羽弘 刘尚麟 刘夙阳 何君义 曲云鹏
受保护的技术使用者：青岛海讯数字科技有限公司
技术研发日：2023.07.12
技术公布日：2023/10/15