数据筛选方法、系统、终端及存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种数据筛选方法、系统、终端及存储介质。


背景技术：

2.随着互联网技术的飞速发展，大数据技术已经渗透到很多行业的很多业务当中，通过收集大量与业务相关的业务数据，对大量的业务数据进行处理分析，进而分析业务数据所对应的行业。在收集的数据中常常会因为测量的偏差或是统计的偏差存在一些干扰数据，这些干扰数据会影响对数据的处理分析过程，从而影响对行业的分析判断，因此，数据筛选的问题越来越受人们所重视。
3.现有的数据筛选过程中，一般是采用人工筛选的方式对数据点进行筛选，进而导致数据筛选准确性低下。


技术实现要素：

4.本发明实施例的目的在于提供一种数据筛选方法、系统、终端及存储介质，旨在解决现有的数据筛选准确性低下问题。
5.本发明实施例是这样实现的，一种数据筛选方法，所述方法包括：
6.获取待筛选数据，并分别对所述待筛选数据中的各数据点进行帧内评分，得到帧内评分值；
7.若所述数据点对应的数据帧是第一帧数据，则将所述数据点相对应的所述帧内评分值确定为总评分值；
8.若所述数据点对应的数据帧不是所述第一帧数据，则对所述数据点进行帧间评分，得到帧间评分值，并根据所述帧间评分值和所述帧内评分值，确定所述总评分值；
9.根据所述总评分值对各数据点进行数据筛选。
10.优选的，所述分别对所述待筛选数据中的各数据点进行帧内评分，得到帧内评分值，包括：
11.分别查询所述待筛选数据中的列数据，并分别遍历各列数据中的各数据点；
12.分别判断各数据点是否是帧内噪声点；
13.若任一所述数据点是所述帧内噪声点，则将第一预设值设置为所述数据点对应的第一评分值；
14.若任一所述数据点不是所述帧内噪声点，则将第二预设值设置为所述数据点对应的所述第一评分值；
15.分别判断各数据点是否是帧内唯一点；
16.若任一所述数据点是所述帧内唯一点，则将第三预设值设置为所述数据点对应的第二评分值；
17.若任一所述数据点不是所述帧内唯一点，则将第四预设值设置为所述数据点对应
的所述第二评分值；
18.其中，所述帧内评分值包括所述第一评分值和第二评分值。
19.优选的，所述对所述数据点进行帧间评分，得到帧间评分值，包括：
20.分别判断各数据点是否是帧间唯一点；
21.若任一所述数据点是所述帧间唯一点，则将第五预设值设置为所述数据点对应的第三评分值；
22.若任一所述数据点不是所述帧间唯一点，则将第六预设值设置为所述数据点对应的所述第三评分值；
23.分别判断各数据点是否是帧间变化点；
24.若任一所述数据点是所述帧间变化点，则将第七预设值设置为所述数据点对应的第四评分值；
25.若任一所述数据点不是所述帧间变化点，则将第八预设值设置为所述数据点对应的所述第四评分值；
26.其中，所述帧间评分值包括所述第三评分值和所述第四评分值。
27.优选的，所述帧间评分值还包括第五评分值，所述分别判断各数据点是否是帧间变化点之后还包括：
28.若任一所述数据点是所述帧间变化点，判断所述数据点周围是否存在帧内唯一点；
29.若所述数据点周围存在所述帧内唯一点，则将第九预设值设置为所述数据点对应的所述第五评分值；
30.若所述数据点周围不存在所述帧内唯一点，则将第十预设值设置为所述数据点对应的所述第五评分值。
31.优选的，所述根据所述帧间评分值和所述帧内评分值，确定所述总评分值采用的公式包括：
32.ps(i,j)＝w
no
*p
no
(i,j)+w
sl
*p
sl
(i,j)+w
fso
*p
fsl
(i,j)+w
fc
*p
fc
(i,j)+w
fcs
*p
fcs
(i,j)
33.ps(i,j)是所述总评分值，p
no
(i,j)是所述第一评分值，p
sl
(i,j)是所述第二评分值，p
fsl
(i,j)是所述第三评分值，p
fc
(i,j)是所述第四评分值，p
fcs
(i,j)是所述第五评分值，w
no
是针对所述第一评分值预设值的权重系数，w
sl
是针对所述第二评分值预设值的权重系数，w
fso
是针对所述第三评分值预设值的权重系数，w
fc
是针对所述第四评分值预设值的权重系数，w
fcs
是针对所述第五评分值预设值的权重系数。
34.优选的，所述分别判断各数据点是否是帧间变化点，包括：
35.获取所述待筛选数据帧间处理的连续帧数，并根据所述连续帧数提取各数据点对应的列数据；
36.分别计算各数据点与对应提取到的所述列数据中各点之间的距离，得到点距离；
37.若所述点距离小于距离阈值，则将所述点距离在所述列数据中对应的点设置为变化点；
38.若任一所述数据点对应的所述变化点的数量小于数量阈值，则判定所述数据点是所述帧间变化点。
39.优选的，所述根据所述总评分值对各数据点进行数据筛选，包括：
40.针对同一所述列数据，将最小所述总评分值对应的所述数据点进行保存，并删除所述列数据中的剩余数据点。
41.本发明实施例的另一目的在于提供一种数据筛选系统，所述系统包括：
42.帧内评分模块，用于获取待筛选数据，并分别对所述待筛选数据中的各数据点进行帧内评分，得到帧内评分值；
43.评分确定模块，用于若所述数据点对应的数据帧是第一帧数据，则将所述数据点相对应的所述帧内评分值确定为总评分值；
44.帧间评分模块，用于若所述数据点对应的数据帧不是所述第一帧数据，则对所述数据点进行帧间评分，得到帧间评分值，并根据所述帧间评分值和所述帧内评分值，确定所述总评分值；
45.筛选模块，用于根据所述总评分值对各数据点进行数据筛选。
46.本发明实施例的另一目的在于提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
47.本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
48.本发明实施例，通过分别对待筛选数据中的各数据点进行帧内评分，能有效地在同一帧数据中对各数据点进行特征评分，若数据点对应的数据帧不是第一帧数据，通过对数据点进行帧间评分，能有效地在不同帧数据之间对各数据点进行特征评分，基于帧间评分值和帧内评分值，能有效地表征各数据点的特征性，基于表征各数据点的特征性的总评分值对各数据点进行数据筛选，提高了数据筛选的准确性，且有效地达到了对待筛选数据的自动筛选效果。
附图说明
49.图1是本发明第一实施例提供的数据筛选方法的流程图；
50.图2是本发明第一实施例提供的数据点的行坐标的示意图；
51.图3是本发明第一实施例提供的待筛选数据中第43帧第596列数据的示意图；
52.图4是本发明第一实施例提供的待筛选数据筛选前的示意图；
53.图5是本发明第一实施例提供的待筛选数据筛选后的示意图；
54.图6是图5中待筛选数据筛选后方法示意图；
55.图7是本发明第二实施例提供的数据筛选方法的流程图；
56.图8是本发明第三实施例提供的数据筛选系统的结构示意图；
57.图9是本发明第四实施例提供的终端设备的结构示意图。
具体实施方式
58.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
59.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
60.实施例一
61.请参阅图1，是本发明第一实施例提供的数据筛选方法的流程图，该数据筛选方法可以应用于任一终端设备或系统，该数据筛选方法包括步骤：
62.步骤s10，获取待筛选数据，并分别对所述待筛选数据中的各数据点进行帧内评分，得到帧内评分值；
63.其中，该待筛选数据包括多帧数据，每帧数据都包括n个列数据，每个列数据最多有三个数据点，例如，请参阅图2，列号为数据点(候选点)的列坐标，行号为数据点个数，nan表示没有数据点表格内的数值为候选的的行坐标；
64.该步骤中，通过分别对待筛选数据中的各数据点进行帧内评分，能有效地在同一帧数据中对各数据点进行特征评分。
65.可选的，所述分别对所述待筛选数据中的各数据点进行帧内评分，得到帧内评分值，包括：
66.分别查询所述待筛选数据中的列数据，并分别遍历各列数据中的各数据点；
67.其中，通过分别查询待筛选数据中的列数据，并分别遍历各列数据中的各数据点，能有效地获取到待筛选数据中所有的数据点；
68.分别判断各数据点是否是帧内噪声点；
69.若任一所述数据点是所述帧内噪声点，则将第一预设值设置为所述数据点对应的第一评分值；
70.若任一所述数据点不是所述帧内噪声点，则将第二预设值设置为所述数据点对应的所述第一评分值；
71.其中，该第一预设值和第二预设值均可以根据需求进行设置，该步骤中，第一预设值设置为0.5，第二预设值设置为0；
72.具体的，该步骤中，查询距离当前数据点p(i,j)最近的nump1(nump1∈[4,8])个点中，距离小于dist1的个数cnt1，若：
[0073][0074]
p
no
(i,j)为第一评分值，dist1的数据可以根据需求进行设置，cntt1为个数阈值，cntt1∈[4,12]，值越大，帧内噪声容忍度越小；
[0075]
分别判断各数据点是否是帧内唯一点；
[0076]
若任一所述数据点是所述帧内唯一点，则将第三预设值设置为所述数据点对应的第二评分值；
[0077]
若任一所述数据点不是所述帧内唯一点，则将第四预设值设置为所述数据点对应的所述第二评分值；
[0078]
其中，该第三预设值和第四预设值均可以根据需求进行设置，该帧内评分值包括第一评分值和第二评分值，该步骤中，p
sl
(i,j)是第二评分值，若：
[0079][0080]
例如，请参阅图3，取待筛选数据中第43帧第596列的第三个数据点p(596,24.44)
为当前点进行说明：
[0081]
判断是否为帧内噪声点：
[0082]
取nump1＝7，dist1＝3，cntt1＝5，计算得出距离点p最近的7个点中距离小于3mm的点的个数为7，因此，该数据点不是帧内噪声点，p
no
(i,j)＝0；
[0083]
判断是否为帧内唯一点：
[0084]
由于该列数据中有三个点，所以不是唯一点，p
sl
(i,j)＝0.5。
[0085]
步骤s20，若所述数据点对应的数据帧是第一帧数据，则将所述数据点相对应的所述帧内评分值确定为总评分值；
[0086]
其中，若数据点对应的数据帧是第一帧数据，则针对该数据点无需进行帧间评分，通过将数据点相对应的帧内评分值确定为总评分值，提高了总评分值计算的准确性。
[0087]
步骤s30，若所述数据点对应的数据帧不是所述第一帧数据，则对所述数据点进行帧间评分，得到帧间评分值，并根据所述帧间评分值和所述帧内评分值，确定所述总评分值；
[0088]
其中，若数据点对应的数据帧不是第一帧数据，通过对数据点进行帧间评分，能有效地在不同帧数据之间对各数据点进行特征评分，基于帧间评分值和帧内评分值，能有效地表征各数据点的特征性。
[0089]
可选的，该步骤中，所述对所述数据点进行帧间评分，得到帧间评分值，包括：
[0090]
分别判断各数据点是否是帧间唯一点；
[0091]
若任一所述数据点是所述帧间唯一点，则将第五预设值设置为所述数据点对应的第三评分值；
[0092]
若任一所述数据点不是所述帧间唯一点，则将第六预设值设置为所述数据点对应的所述第三评分值；
[0093]
其中，该第五预设值和第六预设值均可以根据需求进行设置，该步骤中：
[0094][0095]
其中，p
fsl
(i,j)为第三评分值，numf为帧间处理时考虑的连续帧数，numf∈[2,4]，numf不宜太大。
[0096]
分别判断各数据点是否是帧间变化点；
[0097]
若任一所述数据点是所述帧间变化点，则将第七预设值设置为所述数据点对应的第四评分值；
[0098]
若任一所述数据点不是所述帧间变化点，则将第八预设值设置为所述数据点对应的所述第四评分值；
[0099]
其中，该帧间评分值包括第三评分值和第四评分值，该第七预设值和第八预设值均可以根据需求进行设置，该步骤中：
[0100]
取连续numf帧点p(i,j)对应列的所有点，记与当前数据点p距离小于设定阈值dist2的个数cnt2，同时记录最近的距离lm；
[0101]
[0102]
其中，p
fc
(i,j)为第四评分值，cntt2为个数阈值，cntt2∈[0,numf-1]，值越大，帧间噪声容忍度越小。
[0103]
进一步地，所述帧间评分值还包括第五评分值，所述分别判断各数据点是否是帧间变化点之后还包括：
[0104]
若任一所述数据点是所述帧间变化点，判断所述数据点周围是否存在帧内唯一点；
[0105]
若所述数据点周围存在所述帧内唯一点，则将第九预设值设置为所述数据点对应的所述第五评分值；
[0106]
若所述数据点周围不存在所述帧内唯一点，则将第十预设值设置为所述数据点对应的所述第五评分值；
[0107]
其中，判断各数据点是否为帧间变化点，且周围有帧内唯一点：
[0108]
在当前帧中，判断距离当前点p(i,j)最近的nump2(nump2∈[3,6])个点中，是否有帧内唯一点，若有，则l(i,j)＝0，否则l(i,j)＝1。
[0109][0110]
p
fcs
(i,j)为第五评分值。
[0111]
例如，请参阅图3，判断数据点是否为帧间唯一点：
[0112]
取numf＝2，由于连续两帧该数据列都不是帧内唯一点，因此，该数据点也不是帧间唯一点，p
fsl
(i,j)＝0.5。
[0113]
判断数据点是否为帧间变化大的点：
[0114]
取dist2＝2，cntt2＝2，连续两帧该数据列共有5个点，与当前点p距离小于2mm的点的个数为4，因此，该数据点不是帧间变化大的点，同时距离该点最近的距离为0.11mm,因此p
fc
(i,j)＝0.095。
[0115]
判断数据点是否为帧间变化点且周围有帧内唯一点：
[0116]
因为该数据点不是帧间变化点，因此p
fcs
(i,j)＝0。
[0117]
更进一步地，所述根据所述帧间评分值和所述帧内评分值，确定所述总评分值采用的公式包括：
[0118]
ps(i,j)＝w
no
*p
no
(i,j)+w
sl
*p
sl
(i,j)+w
fso
*p
fsl
(i,j)+w
fc
*p
fc
(i,j)+w
fcs
*p
fcs
(i,j)
[0119]
ps(i,j)是所述总评分值，p
no
(i,j)是所述第一评分值，p
sl
(i,j)是所述第二评分值，p
fsl
(i,j)是所述第三评分值，p
fc
(i,j)是所述第四评分值，p
fsl
(i,j)是所述第五评分值，w
no
是针对所述第一评分值预设值的权重系数，w
sl
是针对所述第二评分值预设值的权重系数，w
fso
是针对所述第三评分值预设值的权重系数，w
fc
是针对所述第四评分值预设值的权重系数，w
fcs
是针对所述第五评分值预设值的权重系数。
[0120]
本实施例中，各权重系数有如下两种组合，组合1强调去噪能力弱，组合2去噪能力强。
[0121]
权重取值组合
[0122][0123]
为了增强去噪能力，本实施例的权重系数取值依循组合二，取w
no
＝0.13，w
sl
＝0.23，w
fso
＝0.2，w
fc
＝0.31，w
fcs
＝0.13，则数据点的综合评分为0.2445。
[0124]
步骤s40，根据所述总评分值对各数据点进行数据筛选；
[0125]
其中，基于表征各数据点的特征性的总评分值对各数据点进行数据筛选，提高了数据筛选的准确性，且有效地达到了对待筛选数据的自动筛选效果。
[0126]
可选的，该步骤中，所述根据所述总评分值对各数据点进行数据筛选，包括：针对同一所述列数据，将最小所述总评分值对应的所述数据点进行保存，并删除所述列数据中的剩余数据点；
[0127]
本实施例中，重复帧间评分和帧内评分操作，计算待筛选数据中第43帧第596列中，另外两个点的评分分别为：0.4218，0.3857，该步骤中，保留评分最小的为最终的筛选结果，因此，第596列保存第三个点p(596,24.44)为最终的结果。请参阅图4至图6，经过数据筛选后，滤除了大部分异常噪声点、离散点，反映了待筛选数据实际的数据特征。
[0128]
本实施例中，通过分别对待筛选数据中的各数据点进行帧内评分，能有效地在同一帧数据中对各数据点进行特征评分，若数据点对应的数据帧不是第一帧数据，通过对数据点进行帧间评分，能有效地在不同帧数据之间对各数据点进行特征评分，基于帧间评分值和帧内评分值，能有效地表征各数据点的特征性，基于表征各数据点的特征性的总评分值对各数据点进行数据筛选，提高了数据筛选的准确性，且有效地达到了对待筛选数据的自动筛选效果。
[0129]
实施例二
[0130]
请参阅图7，是本发明第二实施例提供的数据筛选方法的流程图，该实施例用于对第一实施例作进一步细化，包括步骤：
[0131]
步骤s50，获取所述待筛选数据帧间处理的连续帧数，并根据所述连续帧数提取各数据点对应的列数据；
[0132]
其中，该连续帧数可以根据需求进行设置，例如，该连续帧数可以设置为2、3或5等，针对各数据点，分别提取连续帧数中对应的列数据；
[0133]
步骤s60，分别计算各数据点与对应提取到的所述列数据中各点之间的距离，得到点距离；
[0134]
其中，根据各数据点的坐标，分别计算与对应提取到的列数据中各点之间的距离，得到该点距离；
[0135]
步骤s70，若所述点距离小于距离阈值，则将所述点距离在所述列数据中对应的点设置为变化点；
[0136]
其中，该距离阈值可以根据需求进行设置，若任一点距离小于距离阈值，则将该点距离在列数据中对应的点设置为当前数据的变化点；
[0137]
步骤s80，若任一所述数据点对应的所述变化点的数量小于数量阈值，则判定所述数据点是所述帧间变化点；
[0138]
其中，该数量阈值可以根据需求进行设置，若任一数据点对应的变化点的数量小于数量阈值，则判定该数据点是帧间变化点，若数据点对应的变化点的数量大于或等于数量阈值，则判定该数据点不是帧间变化点。
[0139]
本实施例中，通过获取待筛选数据帧间处理的连续帧数，基于连续帧数有效地提高了各数据点对应列数据提取的准确性，通过分别计算各数据点与对应提取到的列数据中各点之间的点距离，基于点距离能有效地确定各数据点对应的变化点，基于变化点的数量，能有效地判断到各数据点是否是帧间变化点。
[0140]
实施例三
[0141]
请参阅图8，是本发明第三实施例提供的数据筛选系统100的结构示意图，包括：帧内评分模块10、评分确定模块11、帧间评分模块12和筛选模块13，其中：
[0142]
帧内评分模块10，用于获取待筛选数据，并分别对所述待筛选数据中的各数据点进行帧内评分，得到帧内评分值。
[0143]
可选的，帧内评分模块10还用于：分别查询所述待筛选数据中的列数据，并分别遍历各列数据中的各数据点；
[0144]
分别判断各数据点是否是帧内噪声点；
[0145]
若任一所述数据点是所述帧内噪声点，则将第一预设值设置为所述数据点对应的第一评分值；
[0146]
若任一所述数据点不是所述帧内噪声点，则将第二预设值设置为所述数据点对应的所述第一评分值；
[0147]
分别判断各数据点是否是帧内唯一点；
[0148]
若任一所述数据点是所述帧内唯一点，则将第三预设值设置为所述数据点对应的第二评分值；
[0149]
若任一所述数据点不是所述帧内唯一点，则将第四预设值设置为所述数据点对应的所述第二评分值；
[0150]
其中，所述帧内评分值包括所述第一评分值和第二评分值。
[0151]
评分确定模块11，用于若所述数据点对应的数据帧是第一帧数据，则将所述数据点相对应的所述帧内评分值确定为总评分值。
[0152]
帧间评分模块12，用于若所述数据点对应的数据帧不是所述第一帧数据，则对所述数据点进行帧间评分，得到帧间评分值，并根据所述帧间评分值和所述帧内评分值，确定所述总评分值。
[0153]
可选的，帧间评分模块12还用于：分别判断各数据点是否是帧间唯一点；
[0154]
若任一所述数据点是所述帧间唯一点，则将第五预设值设置为所述数据点对应的第三评分值；
[0155]
若任一所述数据点不是所述帧间唯一点，则将第六预设值设置为所述数据点对应的所述第三评分值；
[0156]
分别判断各数据点是否是帧间变化点；
[0157]
若任一所述数据点是所述帧间变化点，则将第七预设值设置为所述数据点对应的第四评分值；
[0158]
若任一所述数据点不是所述帧间变化点，则将第八预设值设置为所述数据点对应
的所述第四评分值；
[0159]
其中，所述帧间评分值包括所述第三评分值和所述第四评分值。
[0160]
进一步地，帧间评分模块12还用于：若任一所述数据点是所述帧间变化点，判断所述数据点周围是否存在帧内唯一点；
[0161]
若所述数据点周围存在所述帧内唯一点，则将第九预设值设置为所述数据点对应的所述第五评分值；
[0162]
若所述数据点周围不存在所述帧内唯一点，则将第十预设值设置为所述数据点对应的所述第五评分值。
[0163]
更进一步地，所述根据所述帧间评分值和所述帧内评分值，确定所述总评分值采用的公式包括：
[0164]
ps(i,j)＝w
no
*p
no
(i,j)+w
sl
*p
sl
(i,j)+w
fso
*p
fsl
(i,j)+w
fc
*p
fc
(i,j)+w
fcs
*p
fcs
(i,j)
[0165]
ps(i,j)是所述总评分值，p
no
(i,j)是所述第一评分值，p
sl
(i,j)是所述第二评分值，p
fsl
(i,j)是所述第三评分值，p
fc
(i,j)是所述第四评分值，p
fcs
(i,j)是所述第五评分值，w
no
是针对所述第一评分值预设值的权重系数，w
sl
是针对所述第二评分值预设值的权重系数，w
fso
是针对所述第三评分值预设值的权重系数，w
fc
是针对所述第四评分值预设值的权重系数，w
fcs
是针对所述第五评分值预设值的权重系数。
[0166]
优选的，帧间评分模块12还用于：获取所述待筛选数据帧间处理的连续帧数，并根据所述连续帧数提取各数据点对应的列数据；
[0167]
分别计算各数据点与对应提取到的所述列数据中各点之间的距离，得到点距离；
[0168]
若所述点距离小于距离阈值，则将所述点距离在所述列数据中对应的点设置为变化点；
[0169]
若任一所述数据点对应的所述变化点的数量小于数量阈值，则判定所述数据点是所述帧间变化点。
[0170]
筛选模块13，用于根据所述总评分值对各数据点进行数据筛选。
[0171]
可选的，筛选模块13还用于：针对同一所述列数据，将最小所述总评分值对应的所述数据点进行保存，并删除所述列数据中的剩余数据点。
[0172]
本实施例，通过分别对待筛选数据中的各数据点进行帧内评分，能有效地在同一帧数据中对各数据点进行特征评分，若数据点对应的数据帧不是第一帧数据，通过对数据点进行帧间评分，能有效地在不同帧数据之间对各数据点进行特征评分，基于帧间评分值和帧内评分值，能有效地表征各数据点的特征性，基于表征各数据点的特征性的总评分值对各数据点进行数据筛选，提高了数据筛选的准确性，且有效地达到了对待筛选数据的自动筛选效果。
[0173]
实施例四
[0174]
图9是本技术第四实施例提供的一种终端设备2的结构框图。如图9所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如数据筛选方法的程序。处理器20执行所述计算机程序22时实现上述各个数据筛选方法各实施例中的步骤。
[0175]
示例性的，所述计算机程序22可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器21中，并由所述处理器20执行，以完成本技术。所述一个或多个模
块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。所述终端设备可包括，但不仅限于，处理器20、存储器21。
[0176]
所称处理器20可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0177]
所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
[0178]
另外，在本技术各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0179]
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。其中，计算机可读存储介质可以是非易失性的，也可以是易失性的。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
[0180]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种数据筛选方法，其特征在于，所述方法包括：获取待筛选数据，并分别对所述待筛选数据中的各数据点进行帧内评分，得到帧内评分值；若所述数据点对应的数据帧是第一帧数据，则将所述数据点相对应的所述帧内评分值确定为总评分值；若所述数据点对应的数据帧不是所述第一帧数据，则对所述数据点进行帧间评分，得到帧间评分值，并根据所述帧间评分值和所述帧内评分值，确定所述总评分值；根据所述总评分值对各数据点进行数据筛选。2.如权利要求1所述的数据筛选方法，其特征在于，所述分别对所述待筛选数据中的各数据点进行帧内评分，得到帧内评分值，包括：分别查询所述待筛选数据中的列数据，并分别遍历各列数据中的各数据点；分别判断各数据点是否是帧内噪声点；若任一所述数据点是所述帧内噪声点，则将第一预设值设置为所述数据点对应的第一评分值；若任一所述数据点不是所述帧内噪声点，则将第二预设值设置为所述数据点对应的所述第一评分值；分别判断各数据点是否是帧内唯一点；若任一所述数据点是所述帧内唯一点，则将第三预设值设置为所述数据点对应的第二评分值；若任一所述数据点不是所述帧内唯一点，则将第四预设值设置为所述数据点对应的所述第二评分值；其中，所述帧内评分值包括所述第一评分值和第二评分值。3.如权利要求2所述的数据筛选方法，其特征在于，所述对所述数据点进行帧间评分，得到帧间评分值，包括：分别判断各数据点是否是帧间唯一点；若任一所述数据点是所述帧间唯一点，则将第五预设值设置为所述数据点对应的第三评分值；若任一所述数据点不是所述帧间唯一点，则将第六预设值设置为所述数据点对应的所述第三评分值；分别判断各数据点是否是帧间变化点；若任一所述数据点是所述帧间变化点，则将第七预设值设置为所述数据点对应的第四评分值；若任一所述数据点不是所述帧间变化点，则将第八预设值设置为所述数据点对应的所述第四评分值；其中，所述帧间评分值包括所述第三评分值和所述第四评分值。4.如权利要求3所述的数据筛选方法，其特征在于，所述帧间评分值还包括第五评分值，所述分别判断各数据点是否是帧间变化点之后还包括：若任一所述数据点是所述帧间变化点，判断所述数据点周围是否存在帧内唯一点；若所述数据点周围存在所述帧内唯一点，则将第九预设值设置为所述数据点对应的所
述第五评分值；若所述数据点周围不存在所述帧内唯一点，则将第十预设值设置为所述数据点对应的所述第五评分值。5.如权利要求4所述的数据筛选方法，其特征在于，所述根据所述帧间评分值和所述帧内评分值，确定所述总评分值采用的公式包括：p
s
(i，j)＝w
no
*p
no
(i，j)+w
sl
*p
sl
(i，j)+w
fso
*p
fsl
(i，j)+w
fc
*p
fc
(i，j)+w
fcs
*p
fcs
(i，j)p
s
(i，j)是所述总评分值，p
no
(i，j)是所述第一评分值，p
sl
(i，j)是所述第二评分值，p
fsl
(i，j)是所述第三评分值，p
fc
(i，j)是所述第四评分值，p
fcs
(i，j)是所述第五评分值，w
no
是针对所述第一评分值预设值的权重系数，w
sl
是针对所述第二评分值预设值的权重系数，w
fso
是针对所述第三评分值预设值的权重系数，w
fc
是针对所述第四评分值预设值的权重系数，w
fcs
是针对所述第五评分值预设值的权重系数。6.如权利要求3所述的数据筛选方法，其特征在于，所述分别判断各数据点是否是帧间变化点，包括：获取所述待筛选数据帧间处理的连续帧数，并根据所述连续帧数提取各数据点对应的列数据；分别计算各数据点与对应提取到的所述列数据中各点之间的距离，得到点距离；若所述点距离小于距离阈值，则将所述点距离在所述列数据中对应的点设置为变化点；若任一所述数据点对应的所述变化点的数量小于数量阈值，则判定所述数据点是所述帧间变化点。7.如权利要求2所述的数据筛选方法，其特征在于，所述根据所述总评分值对各数据点进行数据筛选，包括：针对同一所述列数据，将最小所述总评分值对应的所述数据点进行保存，并删除所述列数据中的剩余数据点。8.一种数据筛选系统，其特征在于，所述系统包括：帧内评分模块，用于获取待筛选数据，并分别对所述待筛选数据中的各数据点进行帧内评分，得到帧内评分值；评分确定模块，用于若所述数据点对应的数据帧是第一帧数据，则将所述数据点相对应的所述帧内评分值确定为总评分值；帧间评分模块，用于若所述数据点对应的数据帧不是所述第一帧数据，则对所述数据点进行帧间评分，得到帧间评分值，并根据所述帧间评分值和所述帧内评分值，确定所述总评分值；筛选模块，用于根据所述总评分值对各数据点进行数据筛选。9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。

技术总结
本发明提供了一种数据筛选方法、系统、终端及存储介质，该方法包括：获取待筛选数据，并分别对所述待筛选数据中的各数据点进行帧内评分，得到帧内评分值；若所述数据点对应的数据帧是第一帧数据，则将所述数据点相对应的所述帧内评分值确定为总评分值；若所述数据点对应的数据帧不是所述第一帧数据，则对所述数据点进行帧间评分，得到帧间评分值，并根据所述帧间评分值和所述帧内评分值，确定所述总评分值；根据所述总评分值对各数据点进行数据筛选。本发明基于帧间评分值和帧内评分值，能有效地表征各数据点的特征性，基于表征各数据点的特征性的总评分值对各数据点进行数据筛选，提高了数据筛选的准确性。提高了数据筛选的准确性。提高了数据筛选的准确性。


技术研发人员：郝盼 张彦超 马俊杰
受保护的技术使用者：苏州全视智能光电有限公司
技术研发日：2023.07.10
技术公布日：2023/10/7