一种基于可视化管理的分布式证券数据清洗系统的制作方法

1.本发明涉及证券数据清洗技术领域，更具体地说，涉及一种基于可视化管理的分布式证券数据清洗系统。


背景技术：

2.证券数据是指与证券市场和证券交易相关的各种数据，包括证券的交易信息、市场行情、财务指标、公司公告等，这些数据可以用于证券市场的分析、投资决策和风险管理等方面，数据清洗是对原始数据进行处理和筛选，以确保数据的质量和准确性，在证券数据中，数据清洗具有重要的必要性，可以提高数据的质量和准确性，确保数据的一致性和完整性，帮助用户进行更准确、可靠的投资决策，但是现有技术中的证券数据在数据中心进行保存和处理，一旦数据中心的数据受到盗取，就会有很大的安全隐患，不利于数据安全有效运作；为此，我们提出一种基于可视化管理的分布式证券数据清洗系统。


技术实现要素：

3.本发明的目的在于提供一种基于可视化管理的分布式证券数据清洗系统，以解决上述背景技术中提出的问题：现有技术中的证券数据在数据中心进行保存和处理，一旦数据中心的数据受到盗取，就会有很大的安全隐患，不利于数据安全有效运作。
4.一种基于可视化管理的分布式证券数据清洗系统，包括权限控制模块、数据校验模块、分布式数据清洗模块、监控和报告模块、可视化输出模块；所述权限控制模块对证券数据进行权限控制，具备权限的用户可访问和改动，不具备权限的用户禁止访问和改动，同时支持多用户协作和权限管理；所述数据校验模块对证券数据进行校验和验证，包括数据格式、数据完整性、数据一致性的检查，并将检查不合格的数据删除，将检查合格的数据传输给数据清洗模块；所述分布式数据清洗模块利用分布式计算技术处理数据校验模块验证合格的数据，并进行缺失值处理、异常值处理以及重复值删除操作；所述监控和报告模块可以实时监控数据清洗过程的进展情况，并生成清洗报告和统计指标；所述可视化输出模块包括数据转换模块、数据选择模块、图表处理模块、视觉展示模块。
5.优选地，所述权限控制模块包括权限定制模块、审计日志模块、多用户协作模块；所述权限定制模块根据用户身份和权限设置访问控制策略，经过授权的用户具有访问特定的数据和功能的权限，并且用户在访问之前需进行身份验证；所述审计日志模块记录用户的操作日志，包括登录信息、数据访问、数据修改操作，并提供审计功能，允许管理员对日志进行审计和分析；
所述多用户协作模块提供用户管理功能，允许管理员创建、删除和管理用户账户，并且支持角色和权限的定义，管理员为不同的用户分配适当的角色和权限，控制其对数据和功能的访问级别，还支持细粒度的权限控制，允许管理员根据具体需求对数据和功能进行细致的权限控制。
6.优选的，所述数据校验模块包括格式检查模块、完整性检查模块、一致性检查模块。
7.优选地，所述格式检查模块检查数据类型，检查每个字段的数据类型是否符合规定数据类型，包括日期字段、数字字段、文本字段，并删除不符合规定数据类型的数据，所述规定数据类型与具体的证券数据对应；所述格式检查模块检查数据长度，检查字段的长度是否在规定范围内，包括最大字符数、数字的位数，删除不符合规定的数据，所述规定范围与具体的证券数据对应；所述格式检查模块检查枚举值，检查字段的取值是否在预定义的枚举值列表中，并删除不在枚举值列表中的数据，所述预定义的枚举值列表与具体的证券数据对应。
8.优选地，所述完整性检查模块对必填字段检查，检查是否所有必填字段都有值，并删除缺少字段的数据，所述必填字段与具体的证券数据对应；所述完整性检查模块对引用关系检查，检查证券代码和证券名称之间的一致性，删除关系检查不过关的数据并留存记录。
9.优选的，所述一致性检查模块对逻辑关系检查，检查数据之间的逻辑关系是否符合预期，包括数据的日期先后顺序、字段的约束条件，并删除逻辑关系有误的数据；对多个字段进行交叉验证，删除交叉验证不过关的数据并留存记录。
10.优选的，所述分布式数据清洗模块利用分布式计算技术处理数据校验模块验证合格的数据包括以下步骤：步骤1、数据分片和分布式存储，将大规模的证券数据划分成多个证券数据分片，每个证券数据分片包含部分证券数据及相关数据记录，将这些证券数据分片存储在hadoop分布式文件系统中；步骤2、并行任务调度和执行，将分布式数据清洗模块的数据处理任务划分成多个子任务，利用任务调度器，将这些子任务分配给多个计算节点并行执行，每个计算节点处理自己负责的证券数据分片，对其进行相应的数据处理操作；步骤3、数据并行处理，在每个计算节点上，将数据分片加载到内存中进行并行处理，利用并行处理框架apache spark，对每个数据分片应用相同的数据处理算法和操作，每个计算节点独立地处理其分配的数据分片，不对其他计算节点的数据进行访问；步骤4、任务结果的合并，对每个计算节点完成自己的数据处理任务后，将各个节点的处理结果合并，利用分布式计算框架数据聚合、数据合并，最终得到整体的数据处理结果；步骤5、动态负载均衡，在分布式计算环境中，动态调整任务的负载，根据计算节点的负载情况，自动调度和分配任务。
11.优选地，所述分布式数据清洗模块对缺失值通过线性插值填充；所述分布式数据清洗模块通过lof算法对异常值检查，检查数据中是否存在异常值，包括超出范围的数值、不合理的比率；
所述分布式数据清洗模块对数据重复性检查，比较数据记录的各个属性值，包括相同的证券代码和日期的重复记录，判断是否存在完全相同或相似的记录，进行重复值删除。
12.优选地，所述数据转换模块将字段的数据类型进行转换，将字符串类型转换为数值类型、日期格式的转换；所述数据转换模块对字段中的数值进行单位转换，包括货币单位、量纲单位；所述数据转换模块将字段中的编码格式进行转换，包括字符编码、日期格式；所述数据转换模块对字段提取和衍生，将一个字段拆分成多个字段，将日期字段拆分成年、月、日；所述数据转换模块将合并姓名字段分为姓和名；基于现有字段创建新的衍生字段，包括计算指标、加权平均值；所述数据转换模块数据合并和连接，所述数据转换模块将多个证券交易所的数据合并为一个数据集；所述数据转换模块根据共享的字段将基于证券代码连接股票基本信息和交易数据进行连接数据。
13.优选的，所述数据选择模块中展示用户权限范围内的分布式数据清洗模块处理完后的数据，用户根据自己需求选择所需要的数据类型；用户使用数据选择模块设置条件筛选，选择满足特定条件的数据记录进行保留或排除；用户使用数据选择模块根据抽样规则选择数据的子集；用户使用数据选择模块对数据根据字段进行升序以及降序排序。
14.优选地，所述图表处理模块将用力使用数据选择模块选择出的数据进行图表制作，包括柱状图、折线图。
15.优选的，所述视觉展示模块将图表制作模块制作出的图表展示给用户观看。
16.（1）提高数据质量和准确性：通过数据清洗、校验和验证等操作，可以消除数据中的错误、缺失值、异常值等问题，提高数据的质量和准确性，使得基于这些数据的分析和决策更可靠。
17.（2）增强数据一致性：通过数据转换、整理和交叉验证等操作，可以确保不同数据源之间的一致性，避免数据之间的不一致性导致的错误决策，提高数据的一致性和可靠性。
18.（3）简化数据处理流程：通过可视化界面和拖放操作，用户无需编写复杂的代码，可以直观、易用地完成数据清洗和处理任务，降低了数据处理的门槛和复杂度。
19.（4）提高数据处理效率和性能：利用分布式计算技术和并行处理，可以加速对大规模证券数据的处理，提高数据处理的效率和性能，缩短处理时间，提升用户的工作效率。
20.（5）数据安全和权限控制：系统具备数据安全和权限控制机制，可以保护用户的数据不受未授权访问和篡改，同时支持多用户协作和权限管理，确保数据的安全性和隐私保护。
21.（6）便于数据分析和决策：通过数据转换、衍生字段和指标计算等操作，可以将原始数据转化为更有价值的信息，为后续的数据分析和决策提供基础，帮助用户更好地理解市场趋势、发现规律和做出准确的决策。
附图说明
22.图1为本发明的基于可视化管理的分布式证券数据清洗系统图。
具体实施方式
23.实施例1：请参阅图1所示，一种基于可视化管理的分布式证券数据清洗系统，包括权限控制模块、数据校验模块、分布式数据清洗模块、监控和报告模块、可视化输出模块；权限控制模块对证券数据进行权限控制，具备权限的用户可访问和改动，不具备权限的用户禁止访问和改动，同时支持多用户协作和权限管理；数据校验模块对证券数据进行校验和验证，包括数据格式、数据完整性、数据一致性的检查，并将检查不合格的数据删除，将检查合格的数据传输给数据清洗模块；分布式数据清洗模块利用分布式计算技术处理数据校验模块验证合格的数据，并进行缺失值处理、异常值处理以及重复值删除操作；监控和报告模块可以实时监控数据清洗过程的进展情况，并生成清洗报告和统计指标；可视化输出模块包括数据转换模块、数据选择模块、图表处理模块、视觉展示模块。
24.该系统通过自动化的数据清洗算法和可视化界面的交互，帮助用户对证券数据进行清洗、校验、转换和整理，以提高数据质量和准确性，提高工作效率，帮助用户更好地理解和利用证券数据。
25.权限控制模块包括权限定制模块、审计日志模块、多用户协作模块；权限定制模块根据用户身份和权限设置访问控制策略，经过授权的用户具有访问特定的数据和功能的权限，并且用户在访问之前需进行身份验证。
26.审计日志模块记录用户的操作日志，包括登录信息、数据访问、数据修改操作，并提供审计功能，允许管理员对日志进行审计和分析。
27.多用户协作模块提供用户管理功能，允许管理员创建、删除和管理用户账户，并且支持角色和权限的定义，管理员为不同的用户分配适当的角色和权限，控制其对数据和功能的访问级别，还支持细粒度的权限控制，允许管理员根据具体需求对数据和功能进行细致的权限控制。
28.数据安全和权限控制是保护用户数据不受未授权访问和篡改的重要机制，可以防止未经授权的用户违规操作，保证数据的安全性。
29.数据校验模块包括格式检查模块、完整性检查模块、一致性检查模块。
30.格式检查模块检查数据类型，检查每个字段的数据类型是否符合规定数据类型，包括日期字段、数字字段、文本字段，并删除不符合规定数据类型的数据，规定数据类型与具体的证券数据对应；确保数据的类型符合预期，避免后续分析和应用中因数据类型不匹配而引发的错误和问题。
31.格式检查模块检查数据长度，检查字段的长度是否在规定范围内，包括最大字符数、数字的位数，删除不符合规定的数据，规定范围与具体的证券数据对应；确保数据的长度符合预期，防止因超长或不完整的数据导致的数据质量问题和分析误差。
32.格式检查模块检查枚举值，检查字段的取值是否在预定义的枚举值列表中，并删除不在枚举值列表中的数据，预定义的枚举值列表与具体的证券数据对应，确保数据的取值符合预期的范围和规定，避免因非法或异常取值引发的错误分析和结果偏差。
33.完整性检查模块对必填字段检查，检查是否所有必填字段都有值，并删除缺少字段的数据，必填字段与具体的证券数据对应，确保数据的完整性，防止因缺少必要信息而导致的数据不完整和分析错误。同时，保证数据符合规定的录入要求和标准；完整性检查模块对引用关系检查，检查证券代码和证券名称之间的一致性，删除关系检查不过关的数据并留存记录，确保引用关系的一致性，避免因引用关系错误而导致的数据不一致和分析结果的偏差，保证证券代码和证券名称的匹配和准确性。
34.一致性检查模块对逻辑关系检查，检查数据之间的逻辑关系是否符合预期，包括数据的日期先后顺序、字段的约束条件，并删除逻辑关系有误的数据；对多个字段进行交叉验证，删除交叉验证不过关的数据并留存记录。
35.交叉验证包括以下步骤：步骤1、确定交叉验证规则，确定需要进行交叉验证的字段和它们之间的关系。例如，假设我们有证券数据包含证券代码、证券名称和证券类型三个字段，我们希望验证证券代码和证券名称之间的一致性。
36.步骤2、执行交叉验证操作：针对每条记录，对于每一条数据记录，获取该记录中的相关字段的值（例如，证券代码和证券名称）。
37.步骤3、进行比对，比对字段的值，检查它们是否一致。如果一致，则记录通过交叉验证；如果不一致，则记录未通过交叉验证。
38.步骤4、记录结果，根据比对结果，可以将通过和未通过交叉验证的记录进行标记或分类。
39.步骤5、分析交叉验证结果，统计指标，根据通过和未通过交叉验证的记录数量，可以计算通过率、不一致率统计指标，以评估字段之间的一致性。
40.步骤6、探索原因，对未通过交叉验证的记录进行进一步分析，查找不一致的原因。可能的原因包括数据错误、数据更新不及时、数据录入问题。
41.步骤7、数据修正，对于发现的不一致情况，根据实际情况进行数据修正。可以手动更正不一致的字段值，或者通过其他方式获取正确的值。
42.步骤8、数据更新，如果不一致是由于数据更新不及时导致的，可以更新相应字段的值，以保持一致性。
43.通过执行交叉验证操作，可以发现字段之间的不一致性，帮助用户确保数据的准确性和一致性。
44.分布式数据清洗模块利用分布式计算技术处理数据校验模块验证合格的数据包括以下步骤：步骤1、数据分片和分布式存储，将大规模的证券数据划分成多个证券数据分片，每个证券数据分片包含部分证券数据及相关数据记录，将这些证券数据分片存储在hadoop分布式文件系统中，hadoop采用分布式架构，将大规模数据集分散存储在多台计算机的磁盘上，并利用集群中的计算资源对数据进行并行处理。
45.步骤2、并行任务调度和执行，将分布式数据清洗模块的数据处理任务划分成多个
子任务，利用任务调度器，将这些子任务分配给多个计算节点并行执行，每个计算节点处理自己负责的证券数据分片，对其进行相应的数据处理操作。
46.步骤3、数据并行处理，在每个计算节点上，将数据分片加载到内存中进行并行处理，利用并行处理框架apache spark，对每个数据分片应用相同的数据处理算法和操作，每个计算节点独立地处理其分配的数据分片，不对其他计算节点的数据进行访问。spark通过内存计算和基于弹性分布式数据集（resilient distributed dataset，简称rdd）的计算模型，实现了比传统批处理系统更快的数据处理速度。spark在内存中进行数据缓存和计算，避免了频繁的磁盘读写，从而提供了高效的数据处理性能。
47.步骤4、任务结果的合并，对每个计算节点完成自己的数据处理任务后，将各个节点的处理结果合并，利用分布式计算框架数据聚合、数据合并，最终得到整体的数据处理结果。
48.步骤5、动态负载均衡，在分布式计算环境中，动态调整任务的负载，根据计算节点的负载情况，自动调度和分配任务。
49.分布式数据清洗模块对缺失值通过线性插值填充；分布式数据清洗模块通过lof算法对异常值检查，检查数据中是否存在异常值，包括超出范围的数值、不合理的比率；计算数据点的局部可达密度（local reachability density，简称lrd）：对于每个数据点，确定其k个最近邻居（k-nearest neighbors）。
50.计算该数据点与其邻居点之间的可达距离（reachability distance），表示数据点到邻居点之间的直接可达性。
51.计算局部可达密度（lrd），它是该数据点周围邻居点的平均可达距离的倒数。lrd越大，表示该数据点周围的密度越高，越不可能是异常点。
52.计算数据点的局部异常因子（local outlier factor，简称lof）：对于每个数据点，计算其邻居点的局部可达密度（lrd）。
53.计算该数据点的局部异常因子（lof），它是该数据点周围邻居点的平均lrd与该数据点的lrd的比值。lof越大，表示该数据点相对于其邻居点来说更可能是异常点。
54.根据lof值进行异常点识别：lof值越大的数据点越可能是异常点，因为它相对于周围邻居点的密度更低。
55.通过设定阈值或根据lof值的分布情况，确定哪些数据点被标识为异常点。
56.分布式数据清洗模块对数据重复性检查，比较数据记录的各个属性值，包括相同的证券代码和日期的重复记录，判断是否存在完全相同或相似的记录，进行重复值删除。
57.数据转换模块将字段的数据类型进行转换，将字符串类型转换为数值类型、日期格式的转换；数据转换模块对字段中的数值进行单位转换，包括货币单位、量纲单位；数据转换模块将字段中的编码格式进行转换，包括字符编码、日期格式；数据转换模块对字段提取和衍生，将一个字段拆分成多个字段，将日期字段拆分成年、月、日；数据转换模块将合并姓名字段分为姓和名；基于现有字段创建新的衍生字段，包括计算指标、加权平均值；
计算指标：根据需求，选择适当的指标计算方法，如求和、平均值、中位数、标准差。
58.选取需要计算指标的字段作为输入。
59.对每条数据进行指标计算，得到新的指标值。
60.将计算得到的指标值作为新的字段添加到数据集中。
61.加权平均值：首先确定需要加权平均的字段和权重字段。
62.对于每条数据，将字段值乘以相应的权重值。
63.对乘积进行求和，并除以权重的总和，得到加权平均值。
64.将计算得到的加权平均值作为新的字段添加到数据集中。
65.数据转换模块数据合并和连接，数据转换模块将多个证券交易所的数据合并为一个数据集；数据转换模块根据共享的字段将基于证券代码连接股票基本信息和交易数据进行连接数据。
66.数据选择模块中展示用户权限范围内的分布式数据清洗模块处理完后的数据，用户根据自己需求选择所需要的数据类型。
67.用户使用数据选择模块设置条件筛选，选择满足特定条件的数据记录进行保留或排除；用户使用数据选择模块根据抽样规则选择数据的子集；用户使用数据选择模块对数据根据字段进行升序以及降序排序。
68.图表处理模块将用力使用数据选择模块选择出的数据进行图表制作，包括柱状图、折线图。
69.视觉展示模块将图表制作模块制作出的图表展示给用户观看。
70.以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.一种基于可视化管理的分布式证券数据清洗系统，其特征在于，包括权限控制模块、数据校验模块、分布式数据清洗模块、监控和报告模块、可视化输出模块；所述权限控制模块对证券数据进行权限控制，具备权限的用户可访问和改动，不具备权限的用户禁止访问和改动，同时支持多用户协作和权限管理；所述数据校验模块对证券数据进行校验和验证，包括数据格式、数据完整性、数据一致性的检查，并将检查不合格的数据删除，将检查合格的数据传输给数据清洗模块；所述分布式数据清洗模块利用分布式计算技术处理数据校验模块验证合格的数据，并进行缺失值处理、异常值处理以及重复值删除操作；所述监控和报告模块可以实时监控数据清洗过程的进展情况，并生成清洗报告和统计指标；所述可视化输出模块包括数据转换模块、数据选择模块、图表处理模块、视觉展示模块。2.根据权利要求1所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于：所述权限控制模块包括权限定制模块、审计日志模块、多用户协作模块；所述权限定制模块根据用户身份和权限设置访问控制策略，经过授权的用户具有访问特定的数据和功能的权限，并且用户在访问之前需进行身份验证；所述审计日志模块记录用户的操作日志，包括登录信息、数据访问、数据修改操作，并提供审计功能，允许管理员对日志进行审计和分析；所述多用户协作模块提供用户管理功能，允许管理员创建、删除和管理用户账户，并且支持角色和权限的定义，管理员为不同的用户分配适当的角色和权限，控制其对数据和功能的访问级别，还支持细粒度的权限控制，允许管理员根据具体需求对数据和功能进行细致的权限控制。3.根据权利要求1所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于：所述数据校验模块包括格式检查模块、完整性检查模块、一致性检查模块。4.根据权利要求3所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于，所述格式检查模块检查数据类型，检查每个字段的数据类型是否符合规定数据类型，包括日期字段、数字字段、文本字段，并删除不符合规定数据类型的数据，所述规定数据类型与具体的证券数据对应；所述格式检查模块检查数据长度，检查字段的长度是否在规定范围内，包括最大字符数、数字的位数，删除不符合规定的数据，所述规定范围与具体的证券数据对应；所述格式检查模块检查枚举值，检查字段的取值是否在预定义的枚举值列表中，并删除不在枚举值列表中的数据，所述预定义的枚举值列表与具体的证券数据对应。5.根据权利要求3所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于，所述完整性检查模块对必填字段检查，检查是否所有必填字段都有值，并删除缺少字段的数据，所述必填字段与具体的证券数据对应；所述完整性检查模块对引用关系检查，检查证券代码和证券名称之间的一致性，删除关系检查不过关的数据并留存记录。6.根据权利要求3所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于，所述一致性检查模块对逻辑关系检查，检查数据之间的逻辑关系是否符合预期，包括数
据的日期先后顺序、字段的约束条件，并删除逻辑关系有误的数据；对多个字段进行交叉验证，删除交叉验证不过关的数据并留存记录。7.根据权利要求1所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于，所述分布式数据清洗模块利用分布式计算技术处理数据校验模块验证合格的数据包括以下步骤：步骤1、数据分片和分布式存储，将大规模的证券数据划分成多个证券数据分片，每个证券数据分片包含部分证券数据及相关数据记录，将这些证券数据分片存储在hadoop分布式文件系统中；步骤2、并行任务调度和执行，将分布式数据清洗模块的数据处理任务划分成多个子任务，利用任务调度器，将这些子任务分配给多个计算节点并行执行，每个计算节点处理自己负责的证券数据分片，对其进行相应的数据处理操作；步骤3、数据并行处理，在每个计算节点上，将数据分片加载到内存中进行并行处理，利用并行处理框架apache spark，对每个数据分片应用相同的数据处理算法和操作，每个计算节点独立地处理其分配的数据分片，不对其他计算节点的数据进行访问；步骤4、任务结果的合并，对每个计算节点完成自己的数据处理任务后，将各个节点的处理结果合并，利用分布式计算框架数据聚合、数据合并，最终得到整体的数据处理结果；步骤5、动态负载均衡，在分布式计算环境中，动态调整任务的负载，根据计算节点的负载情况，自动调度和分配任务。8.根据权利要求7所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于，所述分布式数据清洗模块对缺失值通过线性插值填充；所述分布式数据清洗模块通过lof算法对异常值检查，检查数据中是否存在异常值，包括超出范围的数值、不合理的比率；所述分布式数据清洗模块对数据重复性检查，比较数据记录的各个属性值，包括相同的证券代码和日期的重复记录，判断是否存在完全相同或相似的记录，进行重复值删除。9.根据权利要求1所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于：所述数据转换模块将字段的数据类型进行转换，将字符串类型转换为数值类型、日期格式的转换；所述数据转换模块对字段中的数值进行单位转换，包括货币单位、量纲单位；所述数据转换模块将字段中的编码格式进行转换，包括字符编码、日期格式；所述数据转换模块对字段提取和衍生，将一个字段拆分成多个字段，将日期字段拆分成年、月、日；所述数据转换模块将合并姓名字段分为姓和名；基于现有字段创建新的衍生字段，包括计算指标、加权平均值；所述数据转换模块数据合并和连接，所述数据转换模块将多个证券交易所的数据合并为一个数据集；所述数据转换模块根据共享的字段将基于证券代码连接股票基本信息和交易数据进行连接数据。10.根据权利要求9所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于：所述数据选择模块中展示用户权限范围内的分布式数据清洗模块处理完后的数据，用
户根据自己需求选择所需要的数据类型；用户使用数据选择模块设置条件筛选，选择满足特定条件的数据记录进行保留或排除；用户使用数据选择模块根据抽样规则选择数据的子集；用户使用数据选择模块对数据根据字段进行升序以及降序排序。11.根据权利要求10所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于：所述图表处理模块将用力使用数据选择模块选择出的数据进行图表制作，包括柱状图、折线图。12.根据权利要求11所述的一种基于可视化管理的分布式证券数据清洗系统，其特征在于：所述视觉展示模块将图表制作模块制作出的图表展示给用户观看。

技术总结
本发明公开了一种基于可视化管理的分布式证券数据清洗系统，属于证券数据清洗技术领域，包括权限控制模块、数据校验模块、分布式数据清洗模块、监控和报告模块、可视化输出模块，权限控制模块对证券数据进行权限控制，具备权限的用户可访问和改动，不具备权限的用户禁止访问和改动，同时支持多用户协作和权限管理所述数据校验模块对证券数据进行校验和验证，包括数据格式、数据完整性、数据一致性的检查，并将检查不合格的数据删除，将检查合格的数据传输给数据清洗模块；本发明是有效的解决了现有技术中的证券数据在数据中心进行保存和处理，有很大的安全隐患，不利于数据安全有效运作的问题。问题。问题。


技术研发人员：欧洁怀 郑亚丽 赵明慧 董飞洋
受保护的技术使用者：深圳市泰铼科技有限公司
技术研发日：2023.06.09
技术公布日：2023/7/12