一种矿产品监测统计数据异常预警方法与流程

1.本发明涉及矿产品监测技术领域，特别是涉及一种矿产品监测统计数据异常预警方法。


背景技术：

2.矿产资源为社会经济发展提供不可或缺的原材料，矿产品监测旨在为提高矿产资源供给能力、保障矿业经济平稳发展提供依据和支撑，数据的准确性是数据分析研究的基础、是监测成果可靠性的保障，其关键问题之一是在大数据背景下，如何快速、精准的识别异常数据、提出异常预警，为数据核实人员提供依据。因此，提出一种大数据尺度下一种矿产品监测统计数据异常预警方法，对开展矿产品监测统计工作是必要的。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种矿产品监测统计数据异常预警方法。
4.为了实现上述目的，本发明的技术方案如下：
5.一种矿产品监测统计数据异常预警方法，包括以下步骤：
6.根据统计报表制度，定期采集不同矿山的生产状态和不同矿产品的指标数据；
7.基于各指标数据之间的逻辑关系、历史监测数据和市场实际数据，预设各指标数据的预警指标；
8.基于不同的预警指标，建立综合预警模型；
9.获取监测原始数据并输入至综合预警模型中，得到矿产品监测统计数据的异常预警结果。
10.优选的，所述矿山的生产状态包括生产、停产和筹建。
11.优选的，所述矿产品的指标数据包括矿产品名称、矿产品产量、矿产品销量、矿产品外购量、矿产品自用量、矿产品库存量和矿产品价格。
12.优选的，基于各指标数据之间的逻辑关系、历史监测数据和市场实际数据，预设各指标数据的预警指标，具体包括：基于各指标数据之间的逻辑关系、历史监测数据和市场实际数据，分别预设针对短期预警和长期预警下的预警指标，其中，基于矿山的生产状态、矿产品产量、矿产品销量和矿产品价格，对应预设短期预警下的各指标数据的预警指标，基于矿产品名称、矿产品产量、矿产品销量、矿产品外购量、矿产品自用量和矿产品价格，对应预设长期预警下的各指标数据的预警指标。
13.优选的，综合预警模型包括第一预警模型和第二预警模型，其中，针对矿产品产量、矿产品销量、矿产品外购量、矿产品自用量和矿产品价格长期预警中的数据可信区间，计算箱形图的中位数、上下四分位数、四分位间距和上下边缘并绘制箱形图，同时结合样本数据的平均值建立第一预警模型；针对矿山的生产状态和矿产品名称，采用逻辑判断和描述统计方法建立第二预警模型。
14.优选的，获取监测原始数据并输入至综合预警模型中，得到矿产品监测统计数据
的异常预警结果，具体包括：以python作为编程语言，在python语言中调用综合预警模型中的第一预警模型或第二预警模型，获取监测原始数据并以excel格式输入至对应调用的预警模型中，同时输入需要核实的日期，对监测原始数据进行处理，并在第一预警模型或第二预警模型中进行计算，同时，基于各指标数据的预警指标，标识异常数据和具体异常情况，得到以excel格式导出的异常预警结果。
15.本发明的优点及有益效果在于：
16.本发明提供的一种矿产品监测统计数据异常预警方法，通过采用不同矿山的生产状态及不同矿产品的指标数据，能够在大数据背景下，针对不同时间尺度开展异常预警，采用python编程语言，基于综合预警模型，能够实现矿产品异常数据的精准识别和快速预警，进而为数据核实人员提供依据。
附图说明
17.图1为本发明实施例中获取监测原始数据并输入至综合预警模型中，得到矿产品监测统计数据的异常预警结果步骤的流程图；
18.图2为本发明实施例中箱形图的示意图；
19.图3为本发明实施例中计算输出的异常数据的结果截图；
20.图4为本发明实施例中一种矿产品监测统计数据异常预警方法的流程图。
具体实施方式
21.为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明做进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
22.参考附图1-4，在大数据背景下，针对不同时间尺度，为了能够实现矿产品异常数据的精准识别和快速预警，本发明提供了一种矿产品监测统计数据异常预警方法。
23.一种矿产品监测统计数据异常预警方法，具体包括以下步骤：
24.s101：根据统计报表制度，定期采集不同矿山的生产状态和不同矿产品的指标数据。
25.在本实施例中，矿山的生产状态包括生产、停产和筹建，其中，矿山的生产状态具体指报告期内矿山的生产状态。
26.在本实施例中，本发明涉及的生产具体指矿山报告期内资源开采或产品加工处于生产状态(含临时停止生产)的矿山，包括新建矿山部分投产或试生产。
27.在本实施例中，本发明涉及的停产具体指由于某种原因，矿山在报告期内一直处于停止生产状态(不包括临时停止生产)的矿山，包括未进行资源开采和产品加工、仅销售库存产品的情况。
28.在本实施例中，本发明涉及的筹建具体指矿山处于生产前的筹建阶段，包括筹建过程中存在资源动用但未进行矿产品销售的情况。
29.应当理解的是，正常情况下，矿山不会频繁的在筹建和生产、筹建和停产之间变化。
30.在本实施例中，本发明涉及的定期采集数据的频次，例如：采集的频次为每日、每
周、每月等，可根据实际需要灵活设定，在此不再限定。
31.s102：基于各指标数据之间的逻辑关系、历史监测数据和市场实际数据，预设各指标数据的预警指标。
32.在本实施例中，基于各指标数据之间的逻辑关系、历史监测数据和市场实际数据，预设各指标数据的预警指标，具体包括：基于各指标数据之间的逻辑关系、历史监测数据和市场实际数据，分别预设针对短期预警和长期预警下的预警指标，其中，基于矿山的生产状态、矿产品产量、矿产品销量和矿产品价格，对应预设短期预警下的各指标数据的预警指标，基于矿产品名称、矿产品产量、矿产品销量、矿产品外购量、矿产品自用量和矿产品价格，对应预设长期预警下的各指标数据的预警指标。
33.在本实施例中，本发明涉及的短期预警时间，例如：选取近2天的数据作为短期时间进行预警；而本发明涉及的长期预警时间，例如：选取近30天的数据作为长期时间进行预警。
34.在本实施例中，本发明涉及的针对矿山的生产状态的短期预警，具体预设的预警指标，例如：当天状态为筹建，但前一天为生产或停产；或者当天状态为停产，但前一天状态为筹建。
35.在本实施例中，本发明涉及的矿产品产量和矿产品销量，矿山企业主要通过矿石开采，再加工成矿产品对外销售，矿产品的产销量包括产量、销量、外购量和自用量，产量和销量波动主要受市场、天气等因素，正常情况下，矿山以销定产，产量和销量差距较小，外购量和自用量一般都很少，采用外购量与自用量之和进行预警。
36.在本实施例中，本发明针对矿产品产量和矿产品销量的短期预警，具体预设的预警指标，例如：当天的产量或销量是前一天的10倍或1/10，或者当天的产量为当天销量的10倍或1/10。
37.在本实施例中，本发明涉及的矿产品库存量，由于产销量监测指标之间存在逻辑关系，即产量+外购量+上期末库存量＝销量+自用量+本期末库存量，库存量根据产销量计算得出，因此该指标不用预警。
38.在本实施例中，本发明涉及的矿产品价格主要指某种矿产品在报告期内销售的平均出厂价格(坑口价格，不含税费、运输费、装卸费及其他杂费)，矿产品价格受产品质量、市场等因素影响，一般而言，同一个矿山的价格在短期内比较稳定，同一种产品在区域范围内也比较稳定。
39.在本实施例中，本发明针对矿产品价格的的短期预警，具体预设的预警指标，例如：当天价格较前一日上涨或下跌超过2元/吨，或者当天价格高于全市最高价或低于全市最低价。
40.在本实施例中，本发明涉及的矿产品名称的指矿山企业生产、销售的矿产品，矿产品的分类标准依据统计报表制度执行，以建筑用砂石为例，矿产品分为碎石、机制砂和片石。一般情况下，矿山生产的产品类型是长期稳定的。
41.在本实施例中，本发明针对矿产品名称的长期预警，具体预设的预警指标，例如：近30天内矿山有新增矿产品。
42.在本实施例中，本发明针对矿产品产量、矿产品销量、矿产品外购量和矿产品自用量的长期预警，具体预设的预警指标，例如：当天的产量、销量、外购量+自用量比近30天内
对应的平均值增加或减少50％，且位于数据可信区间外。
43.在本实施例中，本发明针对矿产品价格的长期预警，具体预设的预警指标，例如：当天的价格比近30天内的平均值增加或减少10％，且位于数据可信区间外。
44.s103：基于不同的预警指标，建立综合预警模型。
45.在本实施例中，综合预警模型包括第一预警模型和第二预警模型，其中，针对矿产品产量、矿产品销量、矿产品外购量、矿产品自用量和矿产品价格长期预警中的数据可信区间，计算箱形图的中位数、上下四分位数、四分位间距和上下边缘并绘制箱形图，同时结合样本数据的平均值建立第一预警模型；针对矿山的生产状态和矿产品名称，采用逻辑判断和描述统计方法建立第二预警模型。
46.在本实施例中，本发明针对产量、销量和价格长期预警中的数据可信区间，通过箱形图(box-plot)原理建立模型。
47.在本实施例中，参考附图2，本发明涉及的箱形图适用于离散数据分析，它主要用于反映原始数据分布的特征，还可以进行多组数据分布特征的比较，能够比较客观地反映异常数据，箱形图最大的优点就是不受异常值的影响，能够准确稳定地描绘出数据的离散分布情况，同时也利于数据的清洗。它是通过计算数据的中位数、上四分位数和下四分位数(内限)、上边缘和和下边缘(外限)五个统计量，超出外限之外的为数据异常值。计算方法如下：
48.中位数：数据按从小到大顺序排列后的处于中间位置的值，如果序列是偶数个，则是中间两个数的平均值；
49.下四分位数q1：位于数据序列25％位置处的数；
50.上四分位数q3：位于数据序列75％位置处的数；
51.四分位间距iqr：即iqr＝q3-q1；
52.下边缘：＝q1-1.5*iqr；
53.上边缘：＝q3+1.5*iqr。
54.应当理解的是，箱型图用中位数代表总体评价水平有一定的局限性，所以本发明还结合样本数据的平均值(算术平均)综合判定：对于产量、销量、外购量和自用量，当数据点不位于箱型图外限内，且超过样本数据平均值的
±
50％的才视为数据异常；对于价格，当数据点不位于箱型图外限内，且超过样本数据平均值的
±
10％的才视为数据异常。
55.在本实施例中，对于生产状态、矿产品名称异常的识别采用逻辑判定，短期预警的方法包括但不限于采用环比计算、比值计算等简单的描述统计方法。
56.s104：获取监测原始数据并输入至综合预警模型中，得到矿产品监测统计数据的异常预警结果。
57.在本实施例中，参考附图1，获取监测原始数据并输入至综合预警模型中，得到矿产品监测统计数据的异常预警结果，具体包括：以python作为编程语言，在python语言中调用综合预警模型中的第一预警模型或第二预警模型，获取监测原始数据并以excel格式输入至对应调用的预警模型中，同时输入需要核实的日期，对监测原始数据进行处理，并在第一预警模型或第二预警模型中进行计算，同时，基于各指标数据的预警指标，标识异常数据和具体异常情况，得到以excel格式导出的异常预警结果。
58.在本实施例中，本发明针对前面提出的综合预警模型，通过excel、matlab等数据
处理、分析工具很难实现自动快速预警。python作为一种计算机编程语言，提供了高效的高级数据结构，还能简单有效地面向对象编程，使它成为多数平台上写脚本和快速开发应用的编程语言。
59.另外，python拥有非常多优秀的库可用于数据分析，例如numpy和pandas是python科学计算的基础包，用来存储和处理大型矩阵，支持大量的维度数组与矩阵运算，针对数组运算提供大量的数学函数库。因此，python能够处理更大的数据集，能够更容易的实现自动化分析，能够比较容易的建立复杂的机器学习模型，能很好的为预警模型编程封装，实现异常数据快速预警。
60.在本实施例中，本发明通过python实现数据异常预警的流程主要为：数据输入、数据处理、模型计算和结果输出4个部分：
61.(1)数据输入：以excel的形势导入监测原始数据，包括报表日期、区县、采矿许可证号、矿山名称、生产状态、矿产品类别、矿产品名称、计量单位、产量、外购量、销量、自用量、价格等字段，并输入需要核实的日期。
62.(2)数据处理：读取导入的数据和输入的日期，选取当天和前一天的数据分类汇总：横向上(行)按采矿许可证号、矿山名称、生产状态、矿产品类别、矿产品名称、计量单位汇总，纵向上(列)按统计日期、产量、销量、外购量+自用量、价格分别汇总，并按前述方法对指标进行逻辑判断、环比计算、比值计算等。选取近30天的数据分别计算产量、销量、外购量+自用量、价格的箱形图上下限指标和平均值，与当日数据对比。根据以上判断和对比，按照前述异常数据判定标准，标识异常数据(以突出颜色显示)和具体异常情况(以状态码显示)。
63.(3)结果输出：将异常数据预警结果以excel的格式导出，为数据审核提供给依据。
64.在本实施例中，本发明以建筑石料用灰岩的产销数据为例，计算输出的异常数据结果参考附图3。
65.显然，本领域的技术人员应该明白，上述本发明的各步骤实施方式可以以不同于本发明的方式执行，模拟方法及实验设备包括但不限于上述说明。上述本发明的各步骤在某些情况下可以以不同于此处的顺序执行，上述所示或描述的步骤，可将它们分开执行。所以，本发明不限制于任何特定的硬件和软件结合。
66.以上内容是结合具体的实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

技术特征：
1.一种矿产品监测统计数据异常预警方法，其特征在于，包括以下步骤：根据统计报表制度，定期采集不同矿山的生产状态和不同矿产品的指标数据；基于各指标数据之间的逻辑关系、历史监测数据和市场实际数据，预设各指标数据的预警指标；基于不同的预警指标，建立综合预警模型；获取监测原始数据并输入至综合预警模型中，得到矿产品监测统计数据的异常预警结果。2.根据权利要求1所述的一种矿产品监测统计数据异常预警方法，其特征在于，所述矿山的生产状态包括生产、停产和筹建。3.根据权利要求1所述的一种矿产品监测统计数据异常预警方法，其特征在于，所述矿产品的指标数据包括矿产品名称、矿产品产量、矿产品销量、矿产品外购量、矿产品自用量、矿产品库存量和矿产品价格。4.根据权利要求3所述的一种矿产品监测统计数据异常预警方法，其特征在于，基于各指标数据之间的逻辑关系、历史监测数据和市场实际数据，预设各指标数据的预警指标，具体包括：基于各指标数据之间的逻辑关系、历史监测数据和市场实际数据，分别预设针对短期预警和长期预警下的预警指标，其中，基于矿山的生产状态、矿产品产量、矿产品销量和矿产品价格，对应预设短期预警下的各指标数据的预警指标，基于矿产品名称、矿产品产量、矿产品销量、矿产品外购量、矿产品自用量和矿产品价格，对应预设长期预警下的各指标数据的预警指标。5.根据权利要求4所述的一种矿产品监测统计数据异常预警方法，其特征在于，综合预警模型包括第一预警模型和第二预警模型，其中，针对矿产品产量、矿产品销量、矿产品外购量、矿产品自用量和矿产品价格长期预警中的数据可信区间，计算箱形图的中位数、上下四分位数、四分位间距和上下边缘并绘制箱形图，同时结合样本数据的平均值建立第一预警模型；针对矿山的生产状态和矿产品名称，采用逻辑判断和描述统计方法建立第二预警模型。6.根据权利要求5所述的一种矿产品监测统计数据异常预警方法，其特征在于，获取监测原始数据并输入至综合预警模型中，得到矿产品监测统计数据的异常预警结果，具体包括：以python作为编程语言，在python语言中调用综合预警模型中的第一预警模型或第二预警模型，获取监测原始数据并以excel格式输入至对应调用的预警模型中，同时输入需要核实的日期，对监测原始数据进行处理，并在第一预警模型或第二预警模型中进行计算，同时，基于各指标数据的预警指标，标识异常数据和具体异常情况，得到以excel格式导出的异常预警结果。

技术总结
本发明涉及矿产品监测技术领域，特别是涉及一种矿产品监测统计数据异常预警方法，包括以下步骤：根据统计报表制度，定期采集不同矿山的生产状态和不同矿产品的指标数据，基于各指标数据之间的逻辑关系、历史监测数据和市场实际数据，建立各指标数据的预警尺度和/或预警值；基于不同的预警指标，建立综合预警模型；获取监测原始数据并输入至综合预警模型中，得到矿产品监测统计数据的异常预警结果。本发明通过采用不同矿山的生产状态及不同矿产品的指标数据，能够在大数据背景下，针对不同时间尺度开展异常预警，采用Python编程语言，基于综合预警模型，能够实现矿产品异常数据的精准识别和快速预警，进而为数据核实人员提供依据。据。据。


技术研发人员：栾进华 黄培培 成俊 刘波 范国红 曾力 王俊鹏 杨诗琦
受保护的技术使用者：重庆华地资环科技有限公司
技术研发日：2023.07.06
技术公布日：2023/10/7