数据迁移性能监控方法、装置、计算机设备和存储介质与流程
未命名
08-12
阅读:86
评论:0
1.本技术涉及计算机技术领域,特别是涉及一种数据迁移性能监控方法、装置、计算机设备和存储介质。
背景技术:
2.在灾备场景中,通常需要利用数据迁移工具来执行数据的迁移工作,例如,该数据迁移工具可以是用于在不同卡夫卡(kafka)集群之间进行数据迁移的跨集群同步工具(mirrormaker),因此,往往需要通过数据迁移期间的性能指标来验证数据迁移工具的抗灾能力。
3.但是,目前的数据迁移工具并不具备可视化的性能监控功能,从而导致用户无法直观对数据迁移的性能(如数据迁移时延、成功率、迁移速率等)进行了解的问题。
技术实现要素:
4.基于此,有必要针对上述技术问题,提供一种能够实现数据迁移性能可视化监控的数据迁移性能监控方法、装置、计算机设备和存储介质。
5.第一方面,本技术提供了一种数据迁移性能监控方法。所述方法包括:
6.在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳;
7.根据各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标;
8.若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,对数据迁移并发数进行更新;
9.根据更新后的数据迁移并发数,和/或性能指标,输出报警通知。
10.在其中一个实施例中,若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,对数据迁移并发数进行更新,包括:
11.若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,确定各消息数据所需的新增并发数;
12.根据新增并发数,对数据迁移并发数进行更新。
13.在其中一个实施例中,若性能指标超过预设的性能阈值,根据时延指标和时延阈值,确定各消息数据所需的新增并发数,包括:
14.若性能指标超过预设的性能阈值,则获取本地处理器的当前使用率、本地内存的当前使用率和当前的数据迁移并发数;
15.根据本地处理器的当前使用率与预设的处理器使用率阈值,确定处理器支持临时并发数;
16.根据本地内存的当前使用率与预设的内存使用率阈值,确定内存支持临时并发数;
17.根据数据迁移并发数与并发数阈值,确定消息支持临时并发数;
18.根据时延指标、时延阈值,以及当前时刻与历史时刻之间的延时变化值,确定消息所需临时并发数;
19.若处理器支持临时并发数、内存支持临时并发数、消息支持临时并发数和消息所需临时并发数均大于零,则将消息所需临时并发数确定为各消息数据所需的新增并发数。
20.在其中一个实施例中,根据各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标,包括:
21.根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标;
22.根据预设时段内的时延指标、消息数据总数和消息数据迁移成功数,确定性能指标。
23.在其中一个实施例中,根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标,包括:
24.根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的迁移成功的消息数据;
25.根据迁移成功的消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标。
26.在其中一个实施例中,根据预设时段内的时延指标、消息数据总数和消息数据迁移成功数,确定性能指标,包括如下至少一项:
27.根据预设时段内的时延指标,与预设时段内的消息数据总数,确定性能指标中的时延均值;
28.根据预设时段内的时延指标,确定性能指标中的时延峰值;
29.根据预设时段内的消息数据总数与预设时长,确定性能指标中的迁移速率;
30.根据预设时段内的消息数据迁移成功数与消息数据总数,确定性能指标中的迁移成功率。在其中一个实施例中,
31.在其中一个实施例中,若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,对数据迁移并发数进行更新,包括:
32.若性能指标超过预设的性能阈值,且超过性能阈值的持续时长满足预设时长,则根据时延指标和时延阈值,对数据迁移并发数进行更新。
33.在其中一个实施例中,该方法还包括:
34.若性能指标未超过预设的性能阈值,则判断当前的数据迁移并发数是否进行过更新;
35.若进行过更新,则判断性能指标是否低于历史预设时段内的性能指标的均值;
36.若低于,则根据数据迁移并发数的历史更新数据,对数据迁移并发数进行更新。
37.第二方面,本技术还提供了一种数据迁移性能监控装置。所述装置包括:
38.时间获取模块,用于在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳;
39.指标确定模块,用于根据各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标;
40.并发更新模块,用于若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,对数据迁移并发数进行更新;
41.报警模块,用于根据更新后的数据迁移并发数,和/或性能指标,输出报警通知。
42.第三方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
43.在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳;
44.根据各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标;
45.若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,对数据迁移并发数进行更新;
46.根据更新后的数据迁移并发数,和/或性能指标,输出报警通知。
47.第四方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
48.在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳;
49.根据各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标;
50.若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,对数据迁移并发数进行更新;
51.根据更新后的数据迁移并发数,和/或性能指标,输出报警通知。
52.第五方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
53.在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳;
54.根据各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标;
55.若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,对数据迁移并发数进行更新;
56.根据更新后的数据迁移并发数,和/或性能指标,输出报警通知。
57.上述数据迁移性能监控方法、装置、计算机设备和存储介质,通过获取在数据迁移过程中消息数据的上传时间戳和下载时间戳,并基于获取到的上传时间戳和下载时间戳计算出时延指标和性能指标,通过设置性能阈值判断数据迁移工具的性能是否异常,并在性能指标发生异常后,通过时延指标和时延阈值对数据迁移并发数进行调整,同时生成报警通知发送给用户,使得用户可以通过告警通知,实时对数据迁移工具的性能指标进行可视化的监控,以此来解决用户无法直观了解数据迁移工具的性能指标的问题,另外,本方案可以实现在数据迁移性能不佳时,自动调整数据并发数据,以提高数据迁移的效率。
附图说明
58.图1为本实施例提供的一种数据迁移性能监控方法的应用环境图;
59.图2为本实施例提供的第一种数据迁移性能监控方法的流程示意图;
60.图3为本实施例提供的一种更新并发数的流程示意图;
61.图4为本实施例提供的一种确定时延指标和性能指标的流程示意图;
62.图5为本实施例提供的一种监控数据迁移性能的流程示意图;
63.图6为本实施例提供的第二种数据迁移性能监控方法的流程示意图;
64.图7为本实施例提供的第一种数据迁移性能监控装置的结构框图;
65.图8为本实施例提供的第二种数据迁移性能监控装置的结构框图;
66.图9为本实施例提供的第三种数据迁移性能监控装置的结构框图;
67.图10为本实施例提供的第四种数据迁移性能监控装置的结构框图;
68.图11为本实施例提供的一种计算机设备的内部结构图。
具体实施方式
69.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
70.本技术实施例提供的数据迁移性能监控方法,可以应用于如图1所示的应用环境中。在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储消息数据、时间戳、时延指标、性能指标、并发数和报警通知等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信,以将报警通知传输至外部的终端。该计算机程序被处理器执行时以实现一种数据迁移性能监控方法。
71.本实施例给出了一种数据迁移性能监控方法,在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳,并根据各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标,若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,对数据迁移并发数进行更新,根据更新后的数据迁移并发数,和/或性能指标,输出报警通知。
72.在一个实施例中,如图2所示,提供了一种数据迁移性能监控方法,以该方法应用于图1中的服务器为例进行说明,具体可以应用于服务器中安装的数据迁移工具,即由服务器中安装的数据迁移工具来执行本实施例提供的数据迁移性能监控方法,包括以下步骤:
73.s201在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳。
74.其中,数据迁移可以是对数据进行迁移的操作。可选地,数据迁移可以是将数据在不同集群设备(如服务器)之间进行迁移的过程,也可以是在同一集群设备中的不同文件夹之间进行迁移过程,本技术对此不做限定。
75.其中,消息数据可以是需要进行迁移的数据。可选地,该消息数据可以是需要进行数据迁移的集群设备中的全部消息数据,或人工设置的部分消息数据。
76.其中,上传时间戳可以是将消息数据上传至目标集群设备(即接收消息数据的集群设备)过程中产生的时间戳。可选地,该上传时间戳可以包括上传开始时间戳(即消息数据开始上传的时刻)和上传完成时间戳(即消息数据上传完成的时刻)。
77.其中,下载时间戳可以是将消息数据从源集群设备(即需要进行消息数据的迁移的集群设备)下载过程中产生的时间戳。可选地,该下载时间戳可以包括下载开始时间戳
(即消息数据开始下载的时刻)和下载完成时间戳(即消息数据下载完成的时刻)。
78.可选地,在利用数据迁移工具进行数据迁移的过程中,数据迁移工具中的拦截器会实时获取各消息数据从源集群设备下载过程中产生的下载时间戳,即下载开始时间戳和下载完成时间戳,同时拦截器还会实时获取该消息数据上传至目标集群设备过程中产生的上传时间戳,即上传开始时间戳和上传完成时间戳。
79.需要说明的是,在利用数据迁移工具进行数据迁移的过程中,数据迁移工具还可以设置初始的数据迁移并发数,使得消息数据可以根据初始的数据迁移并发数同时进行多个消息数据的迁移,以提高数据迁移工具进行数据迁移的效率。其中,数据迁移并发数可以表征可以同时进行消息数据的数据迁移的数量。
80.s202根据各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标。
81.其中,时延指标可以是表征消息数据在数据迁移过程中延迟时间的指标。可选地,该时延指标可以包括上传时延指标、下载时延指标和迁移时延指标。其中,上传时延指标可以是消息数据在上传至目标集群设备过程中产生的时延指标,下载时延指标可以是消息数据从源集群设备下载过程中产生的时延指标,迁移时延指标可以是消息数据从源集群设备迁移至目标集群设备过程中产生的时延指标。
82.其中,性能指标可以是表征数据迁移工具对消息数据进行迁移的性能的指标。可选地,该性能指标可以包括时延均值、时延峰值、迁移速率和迁移成功率。其中,时延均值可以是预设时段内数据迁移过程中产生的所有时延指标的均值,时延峰值可以是预设时段内数据迁移过程中产生的所有时延指标的最大值,迁移速率可以是预设时段内数据迁移过程中迁移消息数据的效率,迁移成功率可以是预设时段内完成数据迁移的成功率。
83.可选地,根据各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标的可选方式,可以是根据各消息数据的上传时间戳和下载时间戳,计算上传时间戳和下载时间戳之间的差值,并将该差值作为该消息数据的时延指标,同时根据时延指标通过预先设置的性能指标表中,查找出该时延指标对应的性能指标;也可以是通过预先训练的指标模型,将各消息数据的上传时间戳和下载时间戳输入至该指标模型中,该指标模型会对消息数据的上传时间戳和下载时间戳进行计算,最终获取得到消息数据对应的时延指标和性能指标。
84.s203若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,对数据迁移并发数进行更新。
85.可选地,若获取到的性能指标超过性能阈值,则证明在数据迁移过程中消息数据迁移的时延较长,需提高对消息数据的数据迁移速度,因此,通过预先设置的并发数计算逻辑,根据时延指标与时延阈值计算出当前时刻的数据迁移并发数,并根据该当前时刻数据迁移并发数完成对数据迁移并发数的更新,并通过该更新后的数据迁移并发数继续完成对消息数据的迁移。
86.优选地,当性能指标短暂超过性能阈值又恢复至正常水平时,由于数据迁移工具已判定性能指标超过了性能阈值,所以此时数据迁移工具仍会对数据迁移并发数进行更新,但当数据迁移并发数更新后,可能会造成数据迁移并发数过多导致较多的资源浪费,因此,为减少资源浪费,本实施例可以引入预设时长来避免性能指标短暂性超过性能阈值引
起的数据迁移并发数更新。具体的,若性能指标超过预设的性能阈值,且超过性能阈值的持续时长满足预设时长,则根据时延指标和时延阈值,对数据迁移并发数进行更新。即,若性能指标超过预设的性能阈值,则开启计时器判断预设时长内的性能指标是否持续超过性能阈值,若否,则不对数据迁移并发数进行更新,若是,则根据时延指标和时延阈值,对数据迁移并发数进行更新。
87.s204根据更新后的数据迁移并发数,和/或性能指标,输出报警通知。
88.可选地,当性能指标短暂超过性能阈值,但超过性能阈值的持续时长未满足预设时长时,则认为性能指标仅短暂性的超过了性能阈值,并不影响数据迁移的效率,因此,可以仅根据超过性能阈值的性能指标生成报警通知,并通过终端输出该报警通知;当性能指标短暂超过性能阈值,且超过性能阈值的持续时长满足预设时长时,则认为性能指标超过了性能阈值,且对数据迁移的效率产生了一定的影响,因此,可以仅根据更新后的数据迁移并发数生成报警通知,并通过终端输出该报警通知,也可以根据更新后的数据迁移并发数和超过性能阈值的性能指标生成报警通知,并通过终端输出该报警通知,生成报警通知具体所需数据可以根据用户的设置来确定。
89.上述数据迁移性能监控方法、装置、计算机设备和存储介质,通过获取在数据迁移过程中消息数据的上传时间戳和下载时间戳,并基于获取到的上传时间戳和下载时间戳计算出时延指标和性能指标,通过设置性能阈值判断数据迁移工具的性能是否异常,并在性能指标发生异常后,通过时延指标和时延阈值对数据迁移并发数进行调整,同时生成报警通知发送给用户,使得用户可以通过告警通知,实时对数据迁移工具的性能指标进行可视化的监控,以此来解决用户无法直观了解数据迁移工具的性能指标的问题,另外,本方案可以实现在数据迁移性能不佳时,自动调整数据并发数据,以提高数据迁移的效率。
90.图3为一个实施例中更新并发数的流程示意图。本实施例中,当性能指标超过性能阈值时,证明在数据迁移过程中消息数据迁移的时延较长,即数据迁移的速度较慢,所以,提高对数据迁移的速度至关重要,本实施例引入对并发数的更新,以使得更多的消息数据可以同时进行迁移,进一步提高数据迁移的速度,因此,本实施例给出了一种更新并发数的可选方式,包括如下步骤:
91.s301若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,确定各消息数据所需的新增并发数。
92.其中,新增并发数可以是根据消息数据确定出的需要增加的并发数。
93.可选地,若性能指标超过预设的性能阈值,则获取本地处理器的当前使用率、本地内存的当前使用率和当前的数据迁移并发数,根据本地处理器的当前使用率与预设的处理器使用率阈值,确定处理器支持临时并发数,根据本地内存的当前使用率与预设的内存使用率阈值,确定内存支持临时并发数,根据数据迁移并发数与并发数阈值,确定消息支持临时并发数,根据时延指标、时延阈值,以及当前时刻与历史时刻之间的延时变化值,确定消息所需临时并发数,若处理器支持临时并发数、内存支持临时并发数、消息支持临时并发数和消息所需临时并发数均大于零,则将消息所需临时并发数确定为各消息数据所需的新增并发数。
94.其中,本地处理器可以是数据迁移工具所在服务器的处理器。处理器支持临时并发数可以是处理器在当前时刻能够新增的并发数的最大值。本地内存可以是数据迁移工具
所在服务器的内存。内存支持临时并发数可以是内存在当前时刻能够新增的并发数的最大值。消息支持临时并发数可以是消息数据在当前时刻能够新增的并发数的最大值。消息所需临时并发数可以是在当前时刻需要新增的并发数的数量。
95.具体的,若性能指标超过预设的性能阈值,则获取本地处理器的当前使用率、本地内存的当前使用率和当前的数据迁移并发数,同时,计算本地处理器的当前使用率与预设的处理器使用率阈值之间的处理器差值,再计算出该处理器差值与单个消息数据所需本地处理器使用率之间的处理器商值,并将该处理器商值作为确定出的处理器支持临时并发数;计算本地内存的当前使用率与预设的内存使用率阈值之间的内存差值,再计算出该内存差值与单个消息数据所需本地内存使用率之间的内存商值,并将该内存商值作为确定出的内存支持临时并发数;计算出当前时刻的迁移并发数与并发数阈值之间的并发数差值,并将该并发数差值作为消息支持临时并发数;计算出时延指标与时延阈值之间的时延差值,同时计算出当前时刻的时延指标与预设的历史时刻的时延指标之间的延时变化值,最后计算该时延差值与延时变化值之间的需求商值,并将该需求商值作为消息所需临时并发数;基于获取到的处理器支持临时并发数、内存支持临时并发数、消息支持临时并发数和消息所需临时并发数,判断处理器支持临时并发数、内存支持临时并发数、消息支持临时并发数和消息所需临时并发数是否均大于零,若否,则不允许进行数据迁移并发数的更新,若是,则将消息所需临时并发数作为各消息数据所需的新增并发数。
96.示例性的,处理器支持临时并发数的计算方式可以是,处理器支持临时并发数=(处理器使用率阈值-本地处理器的当前使用率)/单个消息数据所需本地处理器使用率;内存支持临时并发数的计算方式可以是,内存支持临时并发数=(内存使用率阈值-本地内存的当前使用率)/单个消息数据所需本地内存使用率;消息支持临时并发数的计算方式可以是,消息支持临时并发数=并发数阈值-当前时刻的迁移并发数;消息所需临时并发数的计算方式可以是,消息所需临时并发数=(时延阈值-时延指标)/(当前时刻的时延指标-历史时刻的时延指标)。
97.s302根据新增并发数,对数据迁移并发数进行更新。
98.可选地,根据获取到的新增并发数,计算该新增并发数与初始并发数之间的和值,并将该和值作为数据迁移并发数,完成对数据迁移并发数进行更新。
99.上述更新并发数方法,若性能指标超过预设的性能阈值,则证明当前时刻数据迁移的效率较低,因此可以根据时延指标和时延阈值,确定各消息数据所需的新增并发数,并根据新增并发数,对数据迁移并发数进行更新,即通过增加并发数的方式,使得较多的消息数据能够同时进行数据迁移,进一步提高数据迁移的效率。
100.图4为一个实施例中确定时延指标和性能指标的流程示意图。为了保证数据迁移的效率和准确率,如何准确获取时延指标和性能指标至关重要,因此,在上述实施例的基础上,本实施例给出了一种确定时延指标和性能指标的可选方式,包括如下步骤:
101.s401根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标。
102.可选地,根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标的方式有多种,本技术对此不做限定。
103.其中一种可选实现方式可以是,根据各消息数据的上传时间戳和下载时间戳,计算上传时间戳和下载时间戳之间的差值,并将该差值作为该消息数据的时延指标。
104.另一种可选实现方式可以是,根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的迁移成功的消息数据,根据迁移成功的消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标。具体的,根据各消息数据的上传时间戳和下载时间戳,确定该消息数据的上传时间戳和下载时间戳是否完整,即该消息数据应当携带有上传开始时间戳、上传完成时间戳、下载开始时间戳和下载完成时间戳这四个时间戳。若是,则证明该消息数据迁移成功,若否,则证明该消息数据迁移不成功。并确定预设时段内(如1分钟内)迁移成功的消息数据的数量。同时,根据获取到的迁移成功的消息数据,计算该消息数据的上传开始时间戳和上传完成时间戳之间的上传差值,并将该上传差值作为时延指标中的上传时延指标;计算该消息数据的下载开始时间戳和下载完成时间戳之间的下载差值,并将该下载差值作为时延指标中的下载时延指标;计算该消息数据的上传开始时间戳和下载完成时间戳之间的迁移差值,并将该迁移差值作为时延指标中的迁移时延指标。
105.示例性的,上传时延指标的计算方式可以是,上传时延指标=上传完成时间戳-上传开始时间戳;下载时延指标的计算方式可以是,下载时延指标=下载完成时间戳-下载开始时间戳;迁移时延指标的计算方式可以是,迁移时延指标=下载完成时间戳-上传开始时间戳。
106.s402根据预设时段内的时延指标、消息数据总数和消息数据迁移成功数,确定性能指标。
107.其中,消息数据总数可以是预设时段内所有进行数据迁移操作的消息数据的数量。
108.其中,消息数据迁移成功数可以是预设时段内进行数据迁移操作且迁移成功的消息数据的数量。
109.可选地,根据预设时段内的时延指标、消息数据总数和消息数据迁移成功数,确定性能指标的方式有多种,本技术对此不做限定。
110.其中一种可选实现方式可以是,通过预先训练的性能指标模型,将预设时段内的时延指标、消息数据总数和消息数据迁移成功数输入至该性能指标模型中,该性能指标模型会对预设时段内的时延指标、消息数据总数和消息数据迁移成功数进行解析,获取得到性能指标。
111.另一种可选实现方式可以是,根据预设时段内的时延指标,与预设时段内的消息数据总数,确定性能指标中的时延均值;根据预设时段内的时延指标,确定性能指标中的时延峰值,根据预设时段内的消息数据总数与预设时长,确定性能指标中的迁移速率,根据预设时段内的消息数据迁移成功数与消息数据总数,确定性能指标中的迁移成功率。具体的,计算预设时段内的时延指标,与预设时段内的消息数据总数之间的时延商值,并将该时延商值作为性能指标中的时延均值;从预设时段内的所有时延指标中选取出最大值作为性能指标中的时延峰值;计算预设时段内的消息数据总数与预设时长(如60秒)之间的速率商值,并将该速率商值作为性能指标中的迁移速率;计算预设时段内的消息数据迁移成功数与消息数据总数之间的成功率商值,并将该成功率商值作为性能指标中的迁移成功率。
112.示例性的,时延均值的计算方式可以是,时延均值=时延指标/消息数据总数;迁移速率的计算方式可以是,迁移速率=消息数据总数/60;迁移成功率的计算方式可以是,迁移成功率=迁移成功消息数据数量/消息数据总数。
113.上述确定时延指标和性能指标方法,根据各消息数据的上传时间戳和下载时间戳,能够更加准确的确定预设时段内的时延指标,根据预设时段内的时延指标、消息数据总数和消息数据迁移成功数,考虑到多种因素对性能指标的影响,能够更加合理的确定性能指标,以便于用户对数据迁移性能的监控,同时为后续判断是否需要更新数据迁移并发数提供数据支持和保障。
114.图5为一个实施例中监控数据迁移性能的流程示意图。本实施例中,在确定出数据迁移的性能指标后,根据性能指标与性能阈值之间的关系,确定如何对数据迁移并发数进行调整,从而实现在保证数据迁移的效率和准确率的同时,使得本地设备损耗较小,具体的,本实施例给出了一种监控数据迁移性能的可选方式,包括如下步骤:
115.s501在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳。
116.s502根据各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标。
117.s503判断性能指标是否超过预设的性能阈值,若是,则执行步骤s504,若否,则执行步骤s505。
118.s504若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,对数据迁移并发数进行更新,根据更新后的数据迁移并发数,和/或性能指标,输出报警通知。
119.s505若性能指标未超过预设的性能阈值,则判断当前的数据迁移并发数是否进行过更新,若是,则执行步骤s506,若否,则返回执行获取各消息数据的上传时间戳和下载时间戳的操作。
120.可选地,当性能指标未超过预设的性能阈值时,则证明当前的数据迁移效率较高,此时,则需判断数据迁移并发数是否进行过更新,若否,则证明数据迁移并发数并未增加过,数据迁移并发数在合理范围内,不存在资源浪费的可能,返回执行获取各消息数据的上传时间戳和下载时间戳的操作即可;若是,则证明数据迁移并发数进行过更新操作,即当前时刻的数据迁移并发数是在初始并发数的基础上增加了新增并发数得到的,因此,可能存在资源浪费,则需继续执行步骤s506,以便判断是否需要对数据迁移并发数进行调整。
121.s506若进行过更新,则判断性能指标是否低于历史预设时段内的性能指标的均值,若是,则执行步骤s507,若否,则返回执行获取各消息数据的上传时间戳和下载时间戳的操作。
122.可选地,若数据迁移并发数进行过更新操作,则证明当前时刻的数据迁移并发数可能会造成资源的浪费,因此,需进一步判断当前时刻的性能指标是否低于历史预设时段内的性能指标的均值,若否,则证明在当前时刻的数据迁移并发数既能满足数据迁移保持较高效率,又不会造成较多的资源浪费,因此,返回执行获取各消息数据的上传时间戳和下载时间戳的操作即可;若是,则证明当前时刻的性能指标已经低于历史的性能指标的均值,即当前时刻的数据迁移效率虽然高,但会造成一定的资源浪费,因此,为减少资源浪费,应当对数据迁移并发数进行调整,即需执行步骤s507。
123.s507若低于,则根据数据迁移并发数的历史更新数据,对数据迁移并发数进行更新。
124.其中,历史更新数据可以是历史进行数据迁移并发数更新时增加或减少的数据迁移并发数。
125.可选地,若性能指标低于历史预设时段内的性能指标的均值,则证明当前时刻的数据迁移会造成一定的资源浪费,因此,需减少数据迁移并发数的数量,即,根据计算当前时刻数据迁移并发数与历史更新数据之间的差值,并将该差值作为当前时刻的数据迁移并发数,完成对数据迁移并发数进行更新。
126.上述监控数据迁移性能方法,若性能指标未超过预设的性能阈值,则证明当前时刻的数据迁移效率满足预设要求,需进一步判断数据迁移是否存在资源浪费,即判断当前的数据迁移并发数是否是进行过更新,若进行过更新,则证明当前时刻的数据迁移并发数是进行过增加操作的,所以存在资源浪费的可能,因此需再进一步判断当前时刻的数据迁移是否确定存在资源浪费,即判断性能指标是否低于历史预设时段内的性能指标的均值,若低于,则证明当前时刻的数据迁移确实存在资源浪费,因此,根据数据迁移并发数的历史更新数据,对数据迁移并发数进行更新,即减少当前的数据迁移并发数,以达到在不降低数据迁移的效率的基础上,减少较多的资源浪费。
127.在一个实施例中,本实施例给出了一种数据迁移性能监控的可选方式,以该方法应用于服务器为例进行说明。如图6所示,该方法包括如下步骤:
128.s601在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳。
129.s602根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的迁移成功的消息数据。
130.s603根据迁移成功的消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标。
131.s604根据预设时段内的时延指标,与预设时段内的消息数据总数,确定性能指标中的时延均值。
132.s605根据预设时段内的时延指标,确定性能指标中的时延峰值。
133.s606根据预设时段内的消息数据总数与预设时长,确定性能指标中的迁移速率。
134.s607根据预设时段内的消息数据迁移成功数与消息数据总数,确定性能指标中的迁移成功率。
135.s608判断性能指标是否超过性能阈值,若是,则执行步骤s609,若否,则执行步骤s617。
136.s609若性能指标超过预设的性能阈值,则获取本地处理器的当前使用率、本地内存的当前使用率和当前的数据迁移并发数。
137.s610根据本地处理器的当前使用率与预设的处理器使用率阈值,确定处理器支持临时并发数。
138.s611根据本地内存的当前使用率与预设的内存使用率阈值,确定内存支持临时并发数。
139.s612根据数据迁移并发数与并发数阈值,确定消息支持临时并发数。
140.s613根据时延指标、时延阈值,以及当前时刻与历史时刻之间的延时变化值,确定消息所需临时并发数。
141.s614若处理器支持临时并发数、内存支持临时并发数、消息支持临时并发数和消息所需临时并发数均大于零,则将消息所需临时并发数确定为各消息数据所需的新增并发数。
142.s615根据新增并发数,对数据迁移并发数进行更新。
143.s616根据更新后的数据迁移并发数,和/或性能指标,输出报警通知。
144.s617若性能指标未超过预设的性能阈值,则判断当前的数据迁移并发数是否进行过更新,若是,则执行步骤s618,若否,则返回执行获取各消息数据的上传时间戳和下载时间戳的操作。
145.s618若进行过更新,则判断性能指标是否低于历史预设时段内的性能指标的均值,若是,则执行步骤s619,若否,则返回执行获取各消息数据的上传时间戳和下载时间戳的操作。
146.s619若低于,则根据数据迁移并发数的历史更新数据,对数据迁移并发数进行更新。
147.应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
148.基于同样的发明构思,本技术实施例还提供了一种用于实现上述所涉及的数据迁移性能监控方法的数据迁移性能监控装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个数据迁移性能监控装置实施例中的具体限定可以参见上文中对于数据迁移性能监控方法的限定,在此不再赘述。
149.在一个实施例中,如图7所示,提供了一种数据迁移性能监控装置1,包括:时间获取模块10、指标确定模块11、并发更新模块12和报警模块13,其中:
150.时间获取模块10,用于在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳。
151.指标确定模块11,用于根据各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标。
152.并发更新模块12,用于若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,对数据迁移并发数进行更新。
153.报警模块13,用于根据更新后的数据迁移并发数,和/或性能指标,输出报警通知。
154.在一个实施例中,如图8所示,图7中的并发更新模块12,包括:
155.新增确定单元120,用于若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,确定各消息数据所需的新增并发数。
156.并发更新单元121,用于根据新增并发数,对数据迁移并发数进行更新。
157.在一个实施例中,图7中的新增确定单元120,包括:
158.数据获取子单元,用于若性能指标超过预设的性能阈值,则获取本地处理器的当前使用率、本地内存的当前使用率和当前的数据迁移并发数。
159.处理器并发数确定子单元,根据本地处理器的当前使用率与预设的处理器使用率阈值,确定处理器支持临时并发数。
160.内存并发数确定子单元,根据本地内存的当前使用率与预设的内存使用率阈值,确定内存支持临时并发数。
161.消息并发数确定子单元,根据数据迁移并发数与并发数阈值,确定消息支持临时并发数。
162.所需并发数确定子单元,根据时延指标、时延阈值,以及当前时刻与历史时刻之间的延时变化值,确定消息所需临时并发数。
163.新增并发数确定子单元,若处理器支持临时并发数、内存支持临时并发数、消息支持临时并发数和消息所需临时并发数均大于零,则将消息所需临时并发数确定为各消息数据所需的新增并发数。
164.在一个实施例中,如图9所示,图7中的指标确定模块11,包括:
165.时延确定单元110,用于根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标。
166.性能确定单元111,用于根据预设时段内的时延指标、消息数据总数和消息数据迁移成功数,确定性能指标。
167.在一个实施例中,图9中的时延确定单元110,包括:
168.迁移成功子单元,用于根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的迁移成功的消息数据。
169.时延确定子单元,用于根据迁移成功的消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标。
170.在一个实施例中,图9中的性能确定单元111,包括:
171.均值确定子单元,用于根据预设时段内的时延指标,与预设时段内的消息数据总数,确定性能指标中的时延均值。
172.峰值确定子单元,用于根据预设时段内的时延指标,确定性能指标中的时延峰值。
173.速率确定子单元,用于根据预设时段内的消息数据总数与预设时长,确定性能指标中的迁移速率。
174.成功率确定子单元,用于根据预设时段内的消息数据迁移成功数与消息数据总数,确定性能指标中的迁移成功率。
175.在一个实施例中,图7中的并发更新模块12还用于若性能指标超过预设的性能阈值,且超过性能阈值的持续时长满足预设时长,则根据时延指标和时延阈值,对数据迁移并发数进行更新。
176.在一个实施例中,如图10所示,图7中的数据迁移性能监控装置1还包括:
177.更新判断模块14,用于若性能指标未超过预设的性能阈值,则判断当前的数据迁移并发数是否进行过更新。
178.指标比较模块15,用于若进行过更新,则判断性能指标是否低于历史预设时段内的性能指标的均值。
179.并发调整模块16,用于若低于,则根据数据迁移并发数的历史更新数据,对数据迁移并发数进行更新。
180.上述数据迁移性能监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软
件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
181.在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据迁移性能监控方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
182.本领域技术人员可以理解,图11中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
183.在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
184.在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳;
185.根据各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标;
186.若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,对数据迁移并发数进行更新;
187.根据更新后的数据迁移并发数,和/或性能指标,输出报警通知。
188.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
189.若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,确定各消息数据所需的新增并发数;
190.根据新增并发数,对数据迁移并发数进行更新。
191.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
192.若性能指标超过预设的性能阈值,则获取本地处理器的当前使用率、本地内存的当前使用率和当前的数据迁移并发数;
193.根据本地处理器的当前使用率与预设的处理器使用率阈值,确定处理器支持临时并发数;
194.根据本地内存的当前使用率与预设的内存使用率阈值,确定内存支持临时并发数;
195.根据数据迁移并发数与并发数阈值,确定消息支持临时并发数;
196.根据时延指标、时延阈值,以及当前时刻与历史时刻之间的延时变化值,确定消息所需临时并发数;
197.若处理器支持临时并发数、内存支持临时并发数、消息支持临时并发数和消息所需临时并发数均大于零,则将消息所需临时并发数确定为各消息数据所需的新增并发数。
198.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
199.根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标;
200.根据预设时段内的时延指标、消息数据总数和消息数据迁移成功数,确定性能指标。
201.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
202.根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的迁移成功的消息数据;
203.根据迁移成功的消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标。
204.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
205.根据预设时段内的时延指标,与预设时段内的消息数据总数,确定性能指标中的时延均值;
206.根据预设时段内的时延指标,确定性能指标中的时延峰值;
207.根据预设时段内的消息数据总数与预设时长,确定性能指标中的迁移速率;
208.根据预设时段内的消息数据迁移成功数与消息数据总数,确定性能指标中的迁移成功率。
209.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
210.若性能指标超过预设的性能阈值,且超过性能阈值的持续时长满足预设时长,则根据时延指标和时延阈值,对数据迁移并发数进行更新。
211.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
212.若性能指标未超过预设的性能阈值,则判断当前的数据迁移并发数是否进行过更新;
213.若进行过更新,则判断性能指标是否低于历史预设时段内的性能指标的均值;
214.若低于,则根据数据迁移并发数的历史更新数据,对数据迁移并发数进行更新。
215.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
216.在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳;
217.根据各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标;
218.若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,对数据迁移并发数进行更新;
219.根据更新后的数据迁移并发数,和/或性能指标,输出报警通知。
220.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
221.若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,确定各消息数据所需的新增并发数;
222.根据新增并发数,对数据迁移并发数进行更新。
223.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
224.若性能指标超过预设的性能阈值,则获取本地处理器的当前使用率、本地内存的当前使用率和当前的数据迁移并发数;
225.根据本地处理器的当前使用率与预设的处理器使用率阈值,确定处理器支持临时并发数;
226.根据本地内存的当前使用率与预设的内存使用率阈值,确定内存支持临时并发数;
227.根据数据迁移并发数与并发数阈值,确定消息支持临时并发数;
228.根据时延指标、时延阈值,以及当前时刻与历史时刻之间的延时变化值,确定消息所需临时并发数;
229.若处理器支持临时并发数、内存支持临时并发数、消息支持临时并发数和消息所需临时并发数均大于零,则将消息所需临时并发数确定为各消息数据所需的新增并发数。
230.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
231.根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标;
232.根据预设时段内的时延指标、消息数据总数和消息数据迁移成功数,确定性能指标。
233.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
234.根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的迁移成功的消息数据;
235.根据迁移成功的消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标。
236.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
237.根据预设时段内的时延指标,与预设时段内的消息数据总数,确定性能指标中的时延均值;
238.根据预设时段内的时延指标,确定性能指标中的时延峰值;
239.根据预设时段内的消息数据总数与预设时长,确定性能指标中的迁移速率;
240.根据预设时段内的消息数据迁移成功数与消息数据总数,确定性能指标中的迁移成功率。
241.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
242.若性能指标超过预设的性能阈值,且超过性能阈值的持续时长满足预设时长,则根据时延指标和时延阈值,对数据迁移并发数进行更新。
243.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
244.若性能指标未超过预设的性能阈值,则判断当前的数据迁移并发数是否进行过更新;
245.若进行过更新,则判断性能指标是否低于历史预设时段内的性能指标的均值;
246.若低于,则根据数据迁移并发数的历史更新数据,对数据迁移并发数进行更新。
247.在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
248.在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳;
249.根据各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标;
250.若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,对数据迁移并发
数进行更新;
251.根据更新后的数据迁移并发数,和/或性能指标,输出报警通知。
252.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
253.若性能指标超过预设的性能阈值,则根据时延指标和时延阈值,确定各消息数据所需的新增并发数;
254.根据新增并发数,对数据迁移并发数进行更新。
255.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
256.若性能指标超过预设的性能阈值,则获取本地处理器的当前使用率、本地内存的当前使用率和当前的数据迁移并发数;
257.根据本地处理器的当前使用率与预设的处理器使用率阈值,确定处理器支持临时并发数;
258.根据本地内存的当前使用率与预设的内存使用率阈值,确定内存支持临时并发数;
259.根据数据迁移并发数与并发数阈值,确定消息支持临时并发数;
260.根据时延指标、时延阈值,以及当前时刻与历史时刻之间的延时变化值,确定消息所需临时并发数;
261.若处理器支持临时并发数、内存支持临时并发数、消息支持临时并发数和消息所需临时并发数均大于零,则将消息所需临时并发数确定为各消息数据所需的新增并发数。
262.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
263.根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标;
264.根据预设时段内的时延指标、消息数据总数和消息数据迁移成功数,确定性能指标。
265.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
266.根据各消息数据的上传时间戳和下载时间戳,确定预设时段内的迁移成功的消息数据;
267.根据迁移成功的消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标。
268.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
269.根据预设时段内的时延指标,与预设时段内的消息数据总数,确定性能指标中的时延均值;
270.根据预设时段内的时延指标,确定性能指标中的时延峰值;
271.根据预设时段内的消息数据总数与预设时长,确定性能指标中的迁移速率;
272.根据预设时段内的消息数据迁移成功数与消息数据总数,确定性能指标中的迁移成功率。
273.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
274.若性能指标超过预设的性能阈值,且超过性能阈值的持续时长满足预设时长,则根据时延指标和时延阈值,对数据迁移并发数进行更新。
275.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
276.若性能指标未超过预设的性能阈值,则判断当前的数据迁移并发数是否进行过更
新;
277.若进行过更新,则判断性能指标是否低于历史预设时段内的性能指标的均值;
278.若低于,则根据数据迁移并发数的历史更新数据,对数据迁移并发数进行更新。
279.需要说明的是,本技术所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
280.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
281.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
282.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
技术特征:
1.一种数据迁移性能监控方法,其特征在于,所述方法包括:在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳;根据所述各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标;若所述性能指标超过预设的性能阈值,则根据所述时延指标和时延阈值,对数据迁移并发数进行更新;根据更新后的数据迁移并发数,和/或所述性能指标,输出报警通知。2.根据权利要求1所述的方法,其特征在于,所述若所述性能指标超过预设的性能阈值,则根据所述时延指标和时延阈值,对数据迁移并发数进行更新,包括:若性能指标超过预设的性能阈值,则根据所述时延指标和时延阈值,确定各消息数据所需的新增并发数;根据所述新增并发数,对数据迁移并发数进行更新。3.根据权利要求2所述的方法,其特征在于,所述若性能指标超过预设的性能阈值,根据所述时延指标和时延阈值,确定各消息数据所需的新增并发数,包括:若性能指标超过预设的性能阈值,则获取本地处理器的当前使用率、本地内存的当前使用率和当前的数据迁移并发数;根据所述本地处理器的当前使用率与预设的处理器使用率阈值,确定处理器支持临时并发数;根据所述本地内存的当前使用率与预设的内存使用率阈值,确定内存支持临时并发数;根据所述数据迁移并发数与并发数阈值,确定消息支持临时并发数;根据所述时延指标、时延阈值,以及当前时刻与历史时刻之间的延时变化值,确定消息所需临时并发数;若所述处理器支持临时并发数、所述内存支持临时并发数、所述消息支持临时并发数和所述消息所需临时并发数均大于零,则将所述消息所需临时并发数确定为各消息数据所需的新增并发数。4.根据权利要求1所述的方法,其特征在于,所述根据所述各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标,包括:根据所述各消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标;根据预设时段内的时延指标、消息数据总数和消息数据迁移成功数,确定性能指标。5.根据权利要求4所述的方法,其特征在于,所述根据所述各消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标,包括:根据所述各消息数据的上传时间戳和下载时间戳,确定预设时段内的迁移成功的消息数据;根据迁移成功的消息数据的上传时间戳和下载时间戳,确定预设时段内的时延指标。6.根据权利要求4所述的方法,其特征在于,所述根据预设时段内的时延指标、消息数据总数和消息数据迁移成功数,确定性能指标,包括如下至少一项:根据预设时段内的时延指标,与预设时段内的消息数据总数,确定性能指标中的时延均值;
根据预设时段内的时延指标,确定性能指标中的时延峰值;根据预设时段内的消息数据总数与预设时长,确定性能指标中的迁移速率;根据预设时段内的消息数据迁移成功数与消息数据总数,确定性能指标中的迁移成功率。7.根据权利要求1所述的方法,其特征在于,所述若所述性能指标超过预设的性能阈值,则根据所述时延指标和时延阈值,对数据迁移并发数进行更新,包括:若所述性能指标超过预设的性能阈值,且超过所述性能阈值的持续时长满足预设时长,则根据所述时延指标和时延阈值,对数据迁移并发数进行更新。8.根据权利要求1至7任意一项所述的方法,其特征在于,所述方法还包括:若所述性能指标未超过预设的性能阈值,则判断当前的所述数据迁移并发数是否进行过更新;若进行过更新,则判断所述性能指标是否低于历史预设时段内的性能指标的均值;若低于,则根据所述数据迁移并发数的历史更新数据,对所述数据迁移并发数进行更新。9.一种数据迁移性能监控装置,其特征在于,所述装置包括:时间获取模块,用于在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳;指标确定模块,用于根据所述各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标;并发更新模块,用于若所述性能指标超过预设的性能阈值,则根据所述时延指标和时延阈值,对数据迁移并发数进行更新;报警模块,用于根据更新后的数据迁移并发数,和/或所述性能指标,输出报警通知。10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。12.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
技术总结
本申请涉及一种数据迁移性能监控方法、装置、计算机设备和存储介质。涉及计算机技术领域,可用于金融科技领域或其他相关领域。所述方法包括:在数据迁移过程中,获取各消息数据的上传时间戳和下载时间戳,根据所述各消息数据的上传时间戳和下载时间戳,确定消息数据的时延指标和性能指标,若所述性能指标超过预设的性能阈值,则根据所述时延指标和时延阈值,对数据迁移并发数进行更新,根据所述更新后的数据迁移并发数,和/或所述性能指标,输出报警通知。采用本方法能够实时对数据迁移工具的性能指标进行可视化的监控,并且可以实现在数据迁移性能不佳时,自动调整数据并发数据,以提高数据迁移的效率。高数据迁移的效率。高数据迁移的效率。
技术研发人员:冯子杰 梁海燕 易照埔 蒋子豪
受保护的技术使用者:中国工商银行股份有限公司
技术研发日:2023.05.15
技术公布日:2023/8/9
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
