一种舰船动力系统装备任务仿真方法及系统与流程

1.本发明属于舰船rms仿真建模装备任务仿真领域，更具体地，涉及一种舰船动力系统装备任务仿真方法及系统。
背景技术：
：：2.舰船装备是一种多级分配、结构复杂的装备系统，既存在需要长时间运行的机电设备和电子设备，也存在着以值更方式间隙工作的辅助战斗装备，舰船动力系统作为支撑舰船相关任务的核心装备系统，需要对其进行精准的rms建模仿真，准确有效的实现对舰船动力系统装备在某一任务序列过程中的各个典型任务剖面的时序关系进行有效梳理，可以充分利用有限资源，满足舰船的作战效能和续航能力。3.现有的对舰船动力装备任务模型的建立方法主要是利用传统的经验分析方法和数学解析方法，利用vensim软件构建相应的存量流量图，采用固定的生长曲线模型，结合主观的专家打分综合评估方法，对模型的建模和仿真运行进行分析评估。这种方法的缺点在于建模利用的模型参数和数据不是实时产生波动的，而是利用以往实验记录下的数据进行参数赋值，导致模型的建立本身存在着滞后性和低匹配性，从而导致模型对实时发生的动力装备任务执行序列只具有参考意义，而不能实现准确有效的实时指导功能。另一方面，模型的分析评估采用的是主观评估方法，完全依赖于评估专家的技能水平和经验积累。这导致对模型的效能分析会因为经验教条的固定化和模板化出现严重的偏差。因此，计算机建模仿真作为一种先进技术手段，能更加准确有效的解决复杂系统仿真问题，计算机利用建立的实际系统仿真模型实现对系统运行状态及其时间变化规律的模拟，再通过对仿真运行过程的观察和统计，得到被仿真系统的仿真输出参数和基本特征，以此来估计和推断实际系统的真实参数和性能。是一种具有良好可控性，无破坏性，高效经济的仿真技术手段。技术实现要素：4.针对现有技术的缺陷，本发明的目的在于提供一种舰船动力系统装备任务仿真方法及系统，旨在解决现有的对舰船动力装备任务模型，本身存在着滞后性和低匹配性，从而导致模型对实时发生的动力装备任务执行序列只具有参考意义，而不能实现准确有效的实时指导功能，并且对模型的效能分析会因为经验教条的固定化和模板化出现严重偏差的问题。5.为实现上述目的，本发明提供了一种舰船动力系统装备任务仿真方法，包括以下步骤：6.d1：创建动力任务序列，并将战斗方法中动力装备的实体信息补充至动力系统任务序列中；其中，动力系统任务序列是对舰船动力装备中的执行任务进行总结后随机排序生成的任务序列；7.d2：根据战斗方法中动力装备的实体信息，建立第一环境信息池；其中，第一环境信息池由随机事件发生时刻产生的随机变量构成；随机事件为动力系统零件库某一机械零件在执行任务期间的状况；8.d3：对第一环境信息池中的每项环境信息加载各个动力装备的实体信息和各个动力装备的仿真战斗任务，并将各个装备信息和仿真战斗任务分别形成装备队列和事件队列；9.d4：采用事件队列建立第二动作信息池；10.d5：将事件队列中的仿真战斗任务分配至第二动作信息池中的各个第二动作信息，得到各个第二动作信息池的执行动作队列；11.d6：以固定步长时间推进机制为仿真时钟推进仿真进程，采用装备队列搭建奖赏函数，确定当前系统仿真时钟大小；仿真战斗任务只存在于固定步长时间内，其时间间隔中不存在仿真战斗任务；12.d7：基于第二动作信息池中各项第二动作信息，根据当前系统仿真时钟大小对每项第二动作信息对应的事件队列中各项仿真战斗任务执行仿真，直至执行完每项第二动作信息所对应的执行动作队列代表的各个战斗任务事件。13.进一步优选地，随机变量的获取方法，包括以下步骤：14.利用线性同余发生器生成[0,1]区间内均匀分布的随机数序列；[0015]采用模数对随机数序列作归一化处理；[0016]利用归一化后的随机数序列进行逆变换法和函数变换法得到随机变量。[0017]进一步优选地，采用仿真战斗任务信息建立第二动作信息池的方法为：[0018]对仿真战斗任务信息的结构层次进行聚类树状图分析，建立任务逻辑，由任务剖面和每项任务剖面对应的任务阶段对第二动作信息池每项动作信息进行数字化描述；[0019]其中，每项动作信息为：a代表每项动作信息，同时代表q-learning算法中基于markovdecisionprocess中动作空间的执行动作；为从任务剖面j中取一个任务；为从任务阶段jk中取一个任务阶段；任务剖面为对空作战、对舰攻击、对潜攻击和对陆攻击；任务阶段为完成每个任务剖面的动作阶段；第二动作信息池中的第二动作信息数量为[0020]其中，nj为任务剖面j的数量；为任务阶段的数量；[0021]第二动作信息池中有四类动作集，分别为对空作战集、对舰攻击集、对潜攻击集和对陆攻击集。[0022]进一步优选地，d7具体包括以下步骤：[0023]d7.1：将动力系统任务序列中的初始事件设置为随机状态；[0024]d7.2：基于动力系统任务序列判断当前系统仿真时刻是否处于固定步长时间内，若是，则获取当前系统仿真时钟，转至d7.3；否则，从每项第二动作信息各自对应的执行动作队列中获取在当前系统仿真时钟下对应的仿真战斗任务，转至d7.4；[0025]d7.3：将当前系统仿真时刻对应的固定步长时间结束时间设置为当前系统仿真时刻时间，转至d7.2；[0026]d7.4：根据每项第二动作信息判断当前系统仿真时刻是否小于当前仿真战斗任务的结束时刻，若是，则转至d7.5；否则，将当前仿真战斗任务移动到历史事件队列中，转至d7.6；[0027]d7.5：将每项第二动作信息执行动作与第一环境信息池内不同环境信息进行交互，得到样本序列和回报序列，引入q-learning算法中状态-动作价值函数进行仿真迭代运行，将仿真过程和仿真结果缓存；[0028]d7.6：根据每项第二动作信息判断是否均已执行对应的执行动作，若是，则转至d7.7；否则，每项第二动作信息剩下对应的执行动作序列分别在固定步长内连续被执行，并返回d7.5；[0029]d7.7：根据动力系统任务序列判断第二动作信息池是否均已被执行，若是，则输出缓存结果；否则，调整固定步长时间，转入步骤7.2。[0030]另一方面，本发明提供了一种舰船动力系统装备任务仿真系统，包括：[0031]动力任务序列构建模块，用于创建动力任务序列，并将战斗方法中动力装备的实体信息补充至动力系统任务序列中；其中，所述动力系统任务序列是对舰船动力装备中的执行任务进行总结后随机排序生成的任务序列；[0032]第一环境信息池构建模块，用于根据战斗方法中动力装备的实体信息，建立第一环境信息池；其中，第一环境信息池由随机事件发生时刻产生的随机变量构成；随机事件为动力系统零件库某一机械零件在执行任务期间的状况；[0033]装备-事件队列构建模块，用于对第一环境信息池中的每项环境信息加载各个动力装备的实体信息和各个动力装备的仿真战斗任务，并将各个装备信息和仿真战斗任务分别形成装备队列和事件队列；[0034]第二动作信息池构建模块，用于采用事件队列建立第二动作信息池；[0035]执行动作队列构建模块，用于将事件队列中的仿真战斗任务分配至第二动作信息池中的各个第二动作信息，得到各个第二动作信息池的执行动作队列；[0036]当前系统仿真时钟确定模块，用于以固定步长时间推进机制为仿真时钟推进仿真进程，采用装备队列搭建奖赏函数，确定当前系统仿真时钟大小；仿真战斗任务只存在于固定步长时间内，其时间间隔中不存在仿真战斗任务；[0037]仿真执行模块，用于基于第二动作信息池中各项第二动作信息，根据当前系统仿真时钟大小对每项第二动作信息对应的事件队列中各项仿真战斗任务执行仿真，直至执行完每项第二动作信息所对应的执行动作队列代表的各个战斗任务事件。[0038]进一步优选地，随机变量的获取方法，包括以下步骤：[0039]利用线性同余发生器生成[0,1]区间内均匀分布的随机数序列；[0040]采用模数对随机数序列作归一化处理；[0041]利用归一化后的随机数序列进行逆变换法和函数变换法得到随机变量。[0042]进一步优选地，第二动作信息池构建模块建立第二动作信息池的方法为：[0043]对仿真战斗任务信息的结构层次进行聚类树状图分析，建立任务逻辑，由任务剖面和每项任务剖面对应的任务阶段对第二动作信息池每项动作信息进行数字化描述；[0044]其中，每项动作信息为：a代表每项动作信息，同时代表q-learning算法中基于markovdecisionprocess中动作空间的执行动作；为从任务剖面j中取一个任务；为从任务阶段jk中取一个任务阶段；任务剖面为对空作战、对舰攻击、对潜攻击和对陆攻击；任务阶段为完成每个任务剖面的动作阶段；第二动作信息池中的第二动作信息数量为[0045]其中，nj为任务剖面j的数量；为任务阶段的数量；[0046]第二动作信息池中有四类动作集，分别为对空作战集、对舰攻击集、对潜攻击集和对陆攻击集。[0047]进一步优选地，所述仿真执行模块包括：[0048]初始事件设置单元，用于将动力系统任务序列中的初始事件设置为随机状态；[0049]当前系统仿真时刻判定单元，用于基于动力系统任务序列判断当前系统仿真时刻是否处于固定步长时间内，若是，则获取当前系统仿真时钟，将当前系统仿真时刻对应的固定步长时间结束时间设置为当前系统仿真时刻时间；根据每项第二动作信息判断当前系统仿真时刻是否小于当前仿真战斗任务的结束时刻，若不是，则将当前仿真战斗任务移动到历史事件队列中；[0050]仿真战斗任务获取单元，用于从每项第二动作信息各自对应的执行动作队列中获取在当前系统仿真时钟下对应的仿真战斗任务；[0051]仿真单元，用于将每项第二动作信息执行动作与第一环境信息池内不同环境信息进行交互，得到样本序列和回报序列，引入q-learning算法中状态-动作价值函数进行仿真迭代运行，将仿真过程和仿真结果缓存；[0052]执行动作的执行判定单元，用于根据每项第二动作信息判断是否均已执行对应的执行动作，若否，则每项第二动作信息剩下对应的执行动作序列分别在固定步长内连续被执行，驱动仿真单元执行；[0053]第二动作信息池的执行判定单元，用于根据动力系统任务序列判断第二动作信息池是否均已被执行，若是，则输出缓存结果；否则，调整固定步长时间，驱动当前系统仿真时刻判定单元运行。[0054]总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下[0055]有益效果：[0056]本发明提供了一种舰船动力系统装备任务仿真方法及系统，本发明通过动力系统任务序列构建的第一环境信息池中的每项第一环境信息，对每个动力装备信息和仿真战斗任务实施加载，搭建马尔可夫决策模型中的状态空间，提高了各项动力装备与战斗任务的匹配逻辑关系。[0057]本发明提供了一种舰船动力系统装备任务仿真方法及系统，其中，通过动力系统任务序列相关仿真参数和固定步长仿真时钟推进机制，实时生成仿真时间点，推进仿真进程，通过动力系统任务序列将事件队列中的仿真战斗任务分配至第二动作信息池中的各个第二动作信息，得到各个第二动作信息的可执行动作队列，建立了马尔科夫决策模型中的动作空间；各项第二动作信息根据当前系统仿真时刻，被agent依次选取可执行动作序列中每个可执行动作，并与环境信息不断产生交互，在马尔科夫决策模型奖赏函数的引领下，直至每项动作信息的可执行动作队列都被选取执行一次，得到每项战斗任务在被选取执行后所得到的一个装备信息状态的改变和即时奖赏，从而实时更新优化动力装备任务序列。并在仿真时钟的推进下，得到任务序列下的任务剖面之间战斗任务的相对启动间隔时间和允许延误时间，并在此基础上，建立起任务与装备的关系，得到一个完整的动力系统装备任务仿真方法，此方法有效地节约时间成本，提高舰船大规模离散战斗任务仿真效率，并且由于强化学习定义模型需要的约束更少，因此实现了动力装备信息与仿真战斗任务的灵活加载，更贴近于实际舰船执行战斗任务情况，得到更符合实际准确的舰船动力系统任务仿真方法，为整体的舰船rms仿真建模提供了一种可调用的基础模块。附图说明[0058]图1是本发明实施例提供的舰船动力系统装备任务模型建立方法流程图；[0059]图2是本发明实施例提供的任务层次描述图。具体实施方式[0060]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。[0061]如图1所示，本发明提供了一种舰船动力系统装备任务仿真方法，包括以下步骤：[0062]步骤1：创建动力系统任务序列，并将战斗方法中动力装备的实体信息补充至动力系统任务序列中；[0063]其中，动力系统任务序列是对舰船动力装备中涉及到的执行任务进行总结，并将所有执行任务随机排序生成任务序列；[0064]步骤2：根据战斗方法中动力装备的实体信息，建立第一环境信息池；更为具体地：[0065]根据动力装备的实体信息建立的第一环境信息池是对装备在寿命期间内平时训练或战时执行任务期间的故障情况，随机抽样得到各装备产生的各种随机事件，而各项随机事件发生时刻产生的随机变量构成第一环境信息池；更为具体地，随机事件表述为动力系统零件库某一机械零件处于正常、磨损、变形或断裂；随机变量表述为各种随机事件发生的时刻；例如第1030s动力系统-推进装置-主机-连杆变形与管路系统-冷却管路系统-调温阀断裂，第5800秒动力系统-辅助装置-船舶电站-配电板磨损与传动装置-离合器磨损与传动轴-中间轴断裂；[0066]进一步优选地，随机变量的获取方法如下：[0067]利用线性同余发生器生成[0,1]区间内均匀分布的随机数序列，公式为：[0068]xn+1＝(axn+c)(modm)n≥0[0069]其中，m是模数，a是乘数，c是增量，初始值x0为种子，且m＞0，m＞a，m＞c，x0＜m；利用乘同余法进行计算；其中，随机数列表示为(0.3，0.6，0.8，0.2……)，数列的长度由模数m确定；[0070]利用模数对整数随机数序列作归一化处理：[0071][0072]得到[0,1]区间上的随机数rn(n＝1,2,...)，其中，0≤xn≤(m-1)；[0073]利用在[0,1]区间上的均匀分布的随机数进行逆变换法和函数变换法得到随机变量；[0074]步骤3：在第一环境信息池中的每项环境信息中加载各个动力装备的实体信息和涉及到该装备的仿真战斗任务，并将各个装备的实体信息和仿真战斗任务分别构建成装备队列和事件队列；[0075]步骤4：采用仿真战斗任务信息建立第二动作信息池；其中，第二动作信息池中有四类动作集，分别为对空作战集、对舰攻击集、对潜攻击集、对陆攻击集，其中，执行对舰攻击集中存在航渡接迪，战术展开，攻击、撤离四种执行动作；[0076]更为具体地，步骤4具体包括以下步骤：[0077]如图2所示，对仿真战斗任务信息的结构层次进行聚类树状图分析，建立任务逻辑，由任务剖面j和每项j对应的任务阶段jk对第二动作信息池每项动作信息进行数字化描述，其公式表示为：[0078][0079]其中，a代表每项动作信息，同时代表q-learning算法中基于markovdecisionprocess中动作空间的执行动作；为从任务剖面j中取一个任务；为从任务阶段jk中取一个任务阶段；任务剖面为对空作战、对舰攻击、对潜攻击和对陆攻击；任务阶段为完成每个任务剖面的动作阶段；[0080]由图2所示对公式进行解释，任务剖面cj为4，每项任务剖面存在四种任务阶段cjk；某动作信息可以由公式进行选取；[0081]第二动作信息池中的第二动作信息数量为[0082]其中，nj为任务剖面j的数量；为任务阶段的数量；[0083]步骤5：将事件队列中的仿真战斗任务分配给第二动作信息池中的各个第二动作信息，得到各个第二动作信息池的执行动作队列；[0084]步骤6：以固定步长时间推进机制为仿真时钟推进仿真进程，采用装备队列搭建奖赏函数，确定当前系统仿真全局时钟time大小；奖赏函数为动力系统任务序列在执行第二动作信息池中各项动作后，第一环境信息池各项环境信息发生改变时，动力系统任务序列获得的回报大小；其中，仿真战斗任务只存在于固定步长时间内，其时间间隔中不存在仿真战斗任务；[0085]其中，奖赏函数公式为：[0086][0087]其中，pt代表时间优先级；pm代表任务优先级，且pm取值范围为[0.2,0.4,0.6,0.8]，k为权重参数；λ为事件执行所需时间；α(t)为t时刻智能体agent选择执行的动作，s(t)为t时刻环境状态；[0088]步骤7：基于第二动作信息池中各项第二动作信息，根据当前系统仿真时钟大小对每项第二动作信息对应的事件队列中各项仿真战斗任务执行仿真，直至执行完每项第二动作信息所对应的执行动作队列代表的各个战斗任务事件；具体包括以下步骤：[0089]步骤7.1：将动力系统任务序列中的初始事件设置为随机状态；[0090]步骤7.2：基于动力系统任务序列判断当前仿真时刻是否处于固定步长时间内，若是，则获取当前系统仿真时钟，进入步骤7.3；若不是，则从每项第二动作信息各自对应的执行动作队列中获取在当前系统仿真时钟下对应的仿真战斗任务，进入步骤7.4；[0091]步骤7.3：将当前系统仿真时刻对应的固定步长时段结束时间设置为当前系统仿真时刻时间，并返回步骤7.2；[0092]步骤7.4：根据每项第二动作信息判断当前系统仿真时刻是否小于当前仿真战斗任务的结束时刻，若是，则进入步骤7.5；否则，将当前仿真战斗任务移动到历史事件队列中，转至步骤7.6；[0093]步骤7.5：将每项第二动作信息执行动作与第一环境信息池内不同环境信息进行交互，得到大量样本序列对应的回报序列为引入q-learning算法中状态-动作价值函数进行仿真迭代运行，其表现形式为：将仿真过程和仿真结果缓存；[0094]步骤7.6：根据每项第二动作信息判断是否均已执行对应的执行动作，若是，则转至步骤7.7；否则，每项动作信息剩下对应的执行动作序列分别在固定步长内连续被执行，并返回步骤7.5；[0095]步骤7.7：根据动力系统任务序列判断第二动作信息池是否均已被执行，若是，则输出缓存结果；否则，调整固定步长时间，转入步骤7.2。[0096]另一方面，本发明提供了一种舰船动力系统装备任务仿真系统，包括：[0097]动力任务序列构建模块，用于创建动力任务序列，并将战斗方法中动力装备的实体信息补充至动力系统任务序列中；其中，所述动力系统任务序列是对舰船动力装备中的执行任务进行总结后随机排序生成的任务序列；[0098]第一环境信息池构建模块，用于根据战斗方法中动力装备的实体信息，建立第一环境信息池；其中，第一环境信息池由随机事件发生时刻产生的随机变量构成；随机事件为动力系统零件库某一机械零件在执行任务期间的状况；[0099]装备-事件队列构建模块，用于对第一环境信息池中的每项环境信息加载各个动力装备的实体信息和各个动力装备的仿真战斗任务，并将各个装备信息和仿真战斗任务分别形成装备队列和事件队列；[0100]第二动作信息池构建模块，用于采用事件队列建立第二动作信息池；[0101]执行动作队列构建模块，用于将事件队列中的仿真战斗任务分配至第二动作信息池中的各个第二动作信息，得到各个第二动作信息池的执行动作队列；[0102]当前系统仿真时钟确定模块，用于以固定步长时间推进机制为仿真时钟推进仿真进程，采用装备队列搭建奖赏函数，确定当前系统仿真时钟大小；仿真战斗任务只存在于固定步长时间内，其时间间隔中不存在仿真战斗任务；[0103]仿真执行模块，用于基于第二动作信息池中各项第二动作信息，根据当前系统仿真时钟大小对每项第二动作信息对应的事件队列中各项仿真战斗任务执行仿真，直至执行完每项第二动作信息所对应的执行动作队列代表的各个战斗任务事件。[0104]进一步优选地，随机变量的获取方法，包括以下步骤：[0105]利用线性同余发生器生成[0,1]区间内均匀分布的随机数序列；[0106]采用模数对随机数序列作归一化处理；[0107]利用归一化后的随机数序列进行逆变换法和函数变换法得到随机变量。[0108]进一步优选地，第二动作信息池构建模块建立第二动作信息池的方法为：[0109]对仿真战斗任务信息的结构层次进行聚类树状图分析，建立任务逻辑，由任务剖面和每项任务剖面对应的任务阶段对第二动作信息池每项动作信息进行数字化描述；[0110]其中，每项动作信息为：a代表每项动作信息，同时代表q-learning算法中基于markovdecisionprocess中动作空间的执行动作；为从任务剖面j中取一个任务；为从任务阶段jk中取一个任务阶段；任务剖面为对空作战、对舰攻击、对潜攻击和对陆攻击；任务阶段为完成每个任务剖面的动作阶段；第二动作信息池中的第二动作信息数量为[0111]其中，nj为任务剖面j的数量；为任务阶段的数量；[0112]第二动作信息池中有四类动作集，分别为对空作战集、对舰攻击集、对潜攻击集和对陆攻击集。[0113]进一步优选地，所述仿真执行模块包括：[0114]初始事件设置单元，用于将动力系统任务序列中的初始事件设置为随机状态；[0115]当前系统仿真时刻判定单元，用于基于动力系统任务序列判断当前系统仿真时刻是否处于固定步长时间内，若是，则获取当前系统仿真时钟，将当前系统仿真时刻对应的固定步长时间结束时间设置为当前系统仿真时刻时间；根据每项第二动作信息判断当前系统仿真时刻是否小于当前仿真战斗任务的结束时刻，若不是，则将当前仿真战斗任务移动到历史事件队列中；[0116]仿真战斗任务获取单元，用于从每项第二动作信息各自对应的执行动作队列中获取在当前系统仿真时钟下对应的仿真战斗任务；[0117]仿真单元，用于将每项第二动作信息执行动作与第一环境信息池内不同环境信息进行交互，得到样本序列和回报序列，引入q-learning算法中状态-动作价值函数进行仿真迭代运行，将仿真过程和仿真结果缓存；[0118]执行动作的执行判定单元，用于根据每项第二动作信息判断是否均已执行对应的执行动作，若否，则每项第二动作信息剩下对应的执行动作序列分别在固定步长内连续被执行，驱动仿真单元执行；[0119]第二动作信息池的执行判定单元，用于根据动力系统任务序列判断第二动作信息池是否均已被执行，若是，则输出缓存结果；否则，调整固定步长时间，驱动当前系统仿真时刻判定单元运行。[0120]实施例[0121]如图1所示，本发明提供了一种基于q-learning的舰船动力系统装备任务模型建立方法，包括以下步骤：[0122]步骤1：创建动力系统任务序列；[0123]开始仿真建模前，首先初步建立q-table表格形式，拟定任务序列；[0124]步骤2：将战斗方案中动力装备的实体信息补充至动力系统任务序列中；[0125]将战斗方法中选取待仿真战斗任务并提取所涉及到待仿真战斗任务的装备实体信息补充至本实施例的动力系统任务序列中；[0126]步骤3：基于动力系统任务序列，根据战斗方法中动力装备信息，建立第一环境信息池；[0127]本实施例的动力系统任务序列建立第一环境信息池，第一环境信息池中的环境信息数量由线性同余发生器生成[0,1]区间内均匀分布的随机数表示为：[0128]xn+1＝(axn+c)(modm)n≥0[0129]其中，m是模数，a是乘数，c是增量；初始值x0为种子，且m＞0，m＞a，m＞c，x0＜m；利用乘同余法进行计算；[0130]利用模数对整数随机数序列作归一化处理：[0131][0132]得到[0,1]区间上的随机数rn(n＝1,2,...)，其中，0≤xn≤(m-1)；[0133]本实施例中的动力装备实体包括主机、推进器、推进轴系、燃油管路系统、冷却管路系统、排气管路系统等各种类型动力产生装置和传动装置与；[0134]步骤4：对第一环境信息池中的每项环境信息加载各个动力装备基本信息和涉及到该装备的仿真战斗任务，并将各个装备信息和仿真战斗任务分别形成装备队列和事件队列；[0135]采用本实施例的动力系统任务序列将战斗方法任务，交由第一环境信息池每项环境信息进行加载，并将所涉及的各个装备实体的实体信息和仿真战斗任务分别形成装备队列和事件队列；[0136]本实施例的实体信息包括装备编号、装备型号、装备名称、装备状态(正常、故障)、可靠性分布函数类型和维修性分布函数类型等；[0137]本实施例的仿真战斗任务包括对空作战、对舰攻击、对潜攻击、对陆攻击；仿真战斗任务信息包括开始与结束时间，战斗开始触发模式，战斗开始触发参数，战斗结束触发模式和战斗结束触发参数；[0138]步骤5：采用动力系统任务序列建立第二动作信息池；[0139]第二动作信息池的每项动作信息数量为：[0140]a代表每项动作信息，同时代表q-learning算法中基于markovdecisionprocess中动作空间的执行动作；[0141]第二动作信息池中的第二动作信息数量为[0142]步骤6：采用动力系统任务序列将事件队列中的仿真战斗任务分配给第二动作信息池中的各个第二动作信息，得到各个第二动作信息池的执行动作队列；[0143]对舰攻击：第一个仿真战斗任务为航渡接迪，第二个仿真任务为战术展开；对空作战：第一个仿真战斗任务为炮台转位，第二个仿真战斗任务为攻击；[0144]步骤7：采用动力系统任务序列以固定步长时间推进机制为仿真时钟推进仿真进程；采用固定步长时间推进机制，以符合强化学习序列决策的特点，引入强化学习算法，开始进行推动仿真进程；[0145]步骤8：采用动力系统任务序列搭建奖赏函数，确定当前系统仿真全局时钟time大小；[0146]对舰攻击：第一个仿真战斗任务为航渡接迪，开始时间500秒，结束时间2000秒；第二个仿真任务为战术展开，开始时间700秒，结束时间1300秒；[0147]对空作战：第一个仿真战斗任务为炮台转位，开始时间900秒，结束时间1000秒；第二个仿真任务为攻击，开始时间为1400秒，结束时间为3000秒；[0148]通过对上述活动的开始结束时间取并集，取固定步长时间为500秒、1000秒、1500秒和2000秒分四次进行仿真时钟的仿真推进；[0149]奖赏函数公式为：[0150][0151]其中，pt代表时间优先级；pm代表任务优先级，且pm取值范围为[0.2,0.4,0.6,0.8]，k为权重参数；λ为事件执行所需时间；[0152]步骤9：采用各项第二动作信息根据当前系统仿真时钟大小对每项第二动作信息对应的事件队列中各项仿真战斗任务执行仿真，直至每项第二动作信息执行完所对应的执行动作队列代表的各个战斗任务事件；[0153]本实施例的第二动作信息池每项动作信息被agent依次选取可执行动作序列中每个可执行动作，并与环境信息不断发生交互，具体包括以下步骤：[0154]步骤9.1：将动力系统任务序列中的初始事件设置为空白状态；[0155]步骤9.2：采用动力系统任务序列判断当前仿真时刻是否处于固定步长时间内，若是，则获取当前系统仿真时钟，进入步骤9.3；若不是，则每项第二动作信息从各自对应的执行动作队列中获取在当前仿真时钟下对应的各自战斗任务，进入步骤9.4；[0156]如此刻以1000秒固定时间步长向前推进，有战术展开、炮台转位两项可执行动作，在此时间步长内，利用ε-greedy贪心法则对执行动作进行探索和利用；[0157]步骤9.3：采用动力系统任务序列将当前仿真时刻对应的固定步长时段结束时间设置为当前仿真时刻时间，并返回步骤9.2；[0158]步骤9.4：根据每项第二动作信息判断当前时刻是否小于当前仿真战斗任务的结束时刻，若是，则进入步骤9.5；否则，将当前仿真战斗任务移动到历史事件队列中，转至步骤9.6；[0159]如时刻以1500秒固定时间步长向前推进，攻击任务时间1600秒，则暂时将该执行动作调出历史事件队列中；[0160]步骤9.5：将每项第二动作信息执行动作与第一环境信息池内不同环境信息进行交互，得到大量样本序列对应的回报序列为引入q-learning算法中状态-动作价值函数进行仿真迭代运行，其表现形式为：将仿真过程和仿真结果缓存；[0161]步骤9.6：根据每项第二动作信息判断是否均已执行对应的执行动作，若是，则转至步骤9.7；否则，每项动作信息剩下对应的执行动作序列分别在固定步长内连续被执行，并返回步骤9.5；[0162]q-learning的计算公式为bellman公式的td法表现形式，具体公式为：[0163][0164]利用该公式建立算法逻辑，进行计算机建模仿真；[0165]步骤9.7：根据动力系统任务序列判断第二动作信息池是否均已被执行，若是，则输出缓存结果；否则，调整固定步长时间，转入步骤9.2。[0166]在马尔科夫决策模型奖赏函数的引领下，直至每项动作信息的可执行动作队列都被选取执行过一次，得到每项战斗任务在被选取执行后所得到的一个装备信息状态的改变和即时奖赏，从而实时更新优化动力装备任务序列，并在仿真时钟的推进下，得到任务序列下的任务剖面之间战斗任务的相应启动间隔时间和允许延误时间，并在此基础上，建立起任务与装备的关系。[0167]本发明提出的基于最优价值思想的集序列决策、ε-greedy贪心法则、off-policy策略评估方法等特点的基于q-learning的舰船动力系统装备任务模型建立方法，形成了建立舰船动力系统装备任务模型的一整套理论方法，强化学习应用在舰船rms仿真设计的首创。[0168]本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。当前第1页12当前第1页12
技术特征：
1.一种舰船动力系统装备任务仿真方法，其特征在于，包括以下步骤：d1：创建动力系统任务序列，并将战斗方法中动力装备的实体信息补充至动力系统任务序列中；其中，所述动力系统任务序列是对舰船动力装备中的执行任务进行总结后随机排序生成的任务序列；d2：根据战斗方法中动力装备的实体信息，建立第一环境信息池；其中，所述第一环境信息池由随机事件发生时刻产生的随机变量构成；所述随机事件为动力系统零件库某一机械零件在执行任务期间的状况；d3：对第一环境信息池中的每项环境信息加载各个动力装备的实体信息和各个动力装备的仿真战斗任务，并将各个装备信息和仿真战斗任务分别形成装备队列和事件队列；d4：采用事件队列建立第二动作信息池；d5：将事件队列中的仿真战斗任务分配至第二动作信息池中的各个第二动作信息，得到各个第二动作信息池的执行动作队列；d6：以固定步长时间推进机制为仿真时钟推进仿真进程，采用装备队列搭建奖赏函数，确定当前系统仿真全局时钟大小；其中，仿真战斗任务只存在于固定步长时间内，其时间间隔中不存在仿真战斗任务；d7：基于第二动作信息池中各项第二动作信息，根据当前系统仿真全局时钟大小对每项第二动作信息对应的事件队列中各项仿真战斗任务执行仿真，直至执行完每项第二动作信息所对应的执行动作队列代表的各个战斗任务事件。2.根据权利要求1所述的舰船动力系统装备任务仿真方法，其特征在于，所述随机变量的获取方法，包括以下步骤：利用线性同余发生器生成[0,1]区间内均匀分布的随机数序列；采用模数对随机数序列作归一化处理；利用归一化后的随机数序列进行逆变换法和函数变换法得到随机变量。3.根据权利要求1或2所述的舰船动力系统装备任务仿真方法，其特征在于，采用仿真战斗任务信息建立第二动作信息池的方法为：对仿真战斗任务信息的结构层次进行聚类树状图分析，建立任务逻辑，由任务剖面和每项任务剖面对应的任务阶段对第二动作信息池每项动作信息进行数字化描述；其中，每项动作信息为：a代表每项动作信息，同时代表q-learning算法中基于markov decision process中动作空间的执行动作；为从任务剖面j中取一个任务；为从任务阶段j
k
中取一个任务阶段；任务剖面为对空作战、对舰攻击、对潜攻击和对陆攻击；任务阶段为完成每个任务剖面的动作阶段；第二动作信息池中的第二动作信息数量为其中，n
j
为任务剖面j的数量；为任务阶段的数量；第二动作信息池中有四类动作集，分别为对空作战集、对舰攻击集、对潜攻击集和对陆攻击集。4.根据权利要求3所述的舰船动力系统装备任务仿真方法，其特征在于，d7具体包括以下步骤：d7.1：将动力系统任务序列中的初始事件设置为随机状态；d7.2：基于动力系统任务序列判断当前仿真时刻是否处于固定步长时间内，若是，则获取当前系统仿真时钟，转至d7.3；否则，从每项第二动作信息各自对应的执行动作队列中获
取在当前系统仿真时钟下对应的仿真战斗任务，转至d7.4；d7.3：将当前系统仿真时刻对应的固定步长时间结束时间设置为当前系统仿真时刻时间，转至d7.2；d7.4：根据每项第二动作信息判断当前系统仿真时刻是否小于当前仿真战斗任务的结束时刻，若是，则转至d7.5；否则，将当前仿真战斗任务移动到历史事件队列中，转至d7.6；d7.5：将每项第二动作信息执行动作与第一环境信息池内不同环境信息进行交互，得到样本序列和回报序列，引入q-learning算法中状态-动作价值函数进行仿真迭代运行，将仿真过程和仿真结果缓存；d7.6：根据每项第二动作信息判断是否均已执行对应的执行动作，若是，则转至d7.7；否则，每项第二动作信息剩下对应的执行动作序列分别在固定步长内连续被执行，并返回d7.5；d7.7：根据动力系统任务序列判断第二动作信息池是否均已被执行，若是，则输出缓存结果；否则，调整固定步长时间，转入步骤7.2。5.一种舰船动力系统装备任务仿真系统，其特征在于，包括：动力任务序列构建模块，用于创建动力任务序列，并将战斗方法中动力装备的实体信息补充至动力系统任务序列中；其中，所述动力系统任务序列是对舰船动力装备中的执行任务进行总结后随机排序生成的任务序列；第一环境信息池构建模块，用于根据战斗方法中动力装备的实体信息，建立第一环境信息池；其中，第一环境信息池由随机事件发生时刻产生的随机变量构成；随机事件为动力系统零件库某一机械零件在执行任务期间的状况；装备-事件队列构建模块，用于对第一环境信息池中的每项环境信息加载各个动力装备的实体信息和各个动力装备的仿真战斗任务，并将各个装备信息和仿真战斗任务分别形成装备队列和事件队列；第二动作信息池构建模块，用于采用事件队列建立第二动作信息池；执行动作队列构建模块，用于将事件队列中的仿真战斗任务分配至第二动作信息池中的各个第二动作信息，得到各个第二动作信息池的执行动作队列；当前系统仿真时钟确定模块，用于以固定步长时间推进机制为仿真时钟推进仿真进程，采用装备队列搭建奖赏函数，确定当前系统仿真时钟大小；仿真战斗任务只存在于固定步长时间内，其时间间隔中不存在仿真战斗任务；仿真执行模块，用于基于第二动作信息池中各项第二动作信息，根据当前系统仿真时钟大小对每项第二动作信息对应的事件队列中各项仿真战斗任务执行仿真，直至执行完每项第二动作信息所对应的执行动作队列代表的各个战斗任务事件。6.根据权利要求5所述的舰船动力系统装备任务仿真系统，其特征在于，随机变量的获取方法，包括以下步骤：利用线性同余发生器生成[0,1]区间内均匀分布的随机数序列；采用模数对随机数序列作归一化处理；利用归一化后的随机数序列进行逆变换法和函数变换法得到随机变量。7.根据权利要求5或6所述的舰船动力系统装备任务仿真系统，其特征在于，所述第二动作信息池构建模块建立第二动作信息池的方法为：
对仿真战斗任务信息的结构层次进行聚类树状图分析，建立任务逻辑，由任务剖面和每项任务剖面对应的任务阶段对第二动作信息池每项动作信息进行数字化描述；其中，每项动作信息为：a代表每项动作信息，同时代表q-learning算法中基于markov decision process中动作空间的执行动作；为从任务剖面j中取一个任务；为从任务阶段j
k
中取一个任务阶段；任务剖面为对空作战、对舰攻击、对潜攻击和对陆攻击；任务阶段为完成每个任务剖面的动作阶段；第二动作信息池中的第二动作信息数量为其中，n
j
为任务剖面j的数量；为任务阶段的数量；第二动作信息池中有四类动作集，分别为对空作战集、对舰攻击集、对潜攻击集和对陆攻击集。8.根据权利要求7所述的舰船动力系统装备任务仿真系统，其特征在于，所述仿真执行模块包括：初始事件设置单元，用于将动力系统任务序列中的初始事件设置为随机状态；当前系统仿真时刻判定单元，用于基于动力系统任务序列判断当前系统仿真时刻是否处于固定步长时间内，若是，则获取当前系统仿真时钟，将当前系统仿真时刻对应的固定步长时间结束时间设置为当前系统仿真时刻时间；根据每项第二动作信息判断当前系统仿真时刻是否小于当前仿真战斗任务的结束时刻，若不是，则将当前仿真战斗任务移动到历史事件队列中；仿真战斗任务获取单元，用于从每项第二动作信息各自对应的执行动作队列中获取在当前系统仿真时钟下对应的仿真战斗任务；仿真单元，用于将每项第二动作信息执行动作与第一环境信息池内不同环境信息进行交互，得到样本序列和回报序列，引入q-learning算法中状态-动作价值函数进行仿真迭代运行，将仿真过程和仿真结果缓存；执行动作的执行判定单元，用于根据每项第二动作信息判断是否均已执行对应的执行动作，若否，则每项第二动作信息剩下对应的执行动作序列分别在固定步长内连续被执行，驱动仿真单元执行；第二动作信息池的执行判定单元，用于根据动力系统任务序列判断第二动作信息池是否均已被执行，若是，则输出缓存结果；否则，调整固定步长时间，驱动当前系统仿真时刻判定单元运行。

技术总结
本发明提供了一种舰船动力系统装备任务仿真方法及系统，属于舰船RMS仿真建模装备任务模型仿真领域，方法包括：创建动力系统任务序列；根据战斗方法中动力装备的实体信息，建立第一环境信息池；第一环境信息池每项环境信息加载对应的实体信息和仿真战斗任务；实体信息和仿真战斗任务分别构建装备队列和事件队列，采用事件队列建立第二动作信息池；以固定步长时间推进机制为仿真时钟推进仿真进程，采用装备队列搭建奖赏函数，确定当前系统仿真全局时钟大小；基于各项第二动作信息，根据当前系统仿真全局时钟对事件队列中各项仿真战斗任务执行仿真。本发明有效地节约时间成本，提高舰船离散战斗任务仿真效率。高舰船离散战斗任务仿真效率。高舰船离散战斗任务仿真效率。


技术研发人员：徐巍 程力旻 张文俊 熊尧 孙玉平 常可庆 朱振桥
受保护的技术使用者：中国船舶集团有限公司第七一九研究所
技术研发日：2023.03.17
技术公布日：2023/7/21