基于SVM分类算法及聚类算法地质土层测试方法与流程

基于svm分类算法及聚类算法地质土层测试方法
技术领域
1.本发明涉及大数据领域，测试领域，具体为基于svm分类算法及聚类算法地质土层测试方法。


背景技术：

2.工程场地不同深度的土层测试十分困难，尤其是当施工所在地的土层多变，情况复杂时，对于土层的测试任务将会十分困难且漫长。其中传统测试土层电阻的方法为采用在地面插入电极，通过地表测试的方法推演场地内部土层情况。该种方法极易容易因为所测地点的特殊性而产生较大误差，且难以测量出整体土层的三维电阻情况。此外不同深度的土层类型，其土层电阻、土层厚度、土层密度、土壤湿度土层颗粒大小与组成、土层含盐量差异性较大。因此急需要一种新的土层测试方法，能够更加精准，更加快速的预测出不同深度的土层类型。


技术实现要素：

3.为解决上述技术问题，本发明提出了基于svm分类算法及聚类算法地质土层测试方法，能够实现土层类型精度化与智能化的测试。
4.为实现上述目的，本发明采取的技术方案是：基于svm分类算法及聚类算法地质土层测试方法，包括如下步骤：1）单排电极多次测试；采用矩阵式三维电法测试方法,测量出给工程场的三维电阻；2）克里金算法插值计算三维土层电阻；采用克里金算法对土层电阻信息进行插值计算，增加电阻信息覆盖范围；3）土层数据间隔确定；确定土层深度取样数据点间隔捕捉到土层的空间变异性，同时避免过多冗余数据和过于稀疏的采样；4）其余特征值表征；单独使用电法测试数据进行机器学习算法预测存在数据量不足的问题，使用其他数据扩展表达能力；5）数据处理；其他特征项同样进行土层深度取样数据点间隔取样，并采用归一化处理消除特征维度差异；6）svm算法分类；对输入的数据集进行监督学习分类，采用的算法为svm多分类；7）k-means聚类分析；在采用svm算法进行分类的同时，亦采用k-means聚类算法对数据进行无监督学习，距离计算中，对电阻特征信息加权处理，并采用欧式距离法则；
8）欧氏距离归一置信度转化；完成了对数据集的无监督学习，并确定了质心的数量，svm中标签数量，以及每个质心的坐标，最后需要进行欧氏距离归一置信度转化；9）svm算法与聚类算法叠加认证；对svm算法最后分类添加softmax函数，决策函数值转换为概率分布，即对每个类别的置信度，将其与步骤8）中欧氏距离归一置信度转化按照叠加公式进行分析；10）预测值输出；根据叠加分析结果输出预测土层类型，取置信度最高值为输出选项；11）云图绘制与显示；通过绘制三维云图的方式，进行叙述工程场地三维电阻信息与土层类别。
5.作为本发明进一步改进，所述步骤3）中土层深度取样数据点间隔表示为：其中土层深度取样数据点间隔可选项如下所示：；其中， 为土层深度取样数据点间隔， 为调节参数为1、0.75、0.5、0.25、0.1、0.05,d则为深入土层相邻电极之间的距离。
6.作为本发明进一步改进，所述步骤7）中距离计算表示为：其中本次距离计算，对电阻特征信息加权处理，并采用欧式距离法则，计算公式为：；其中为数据点到第
ꢀꢀ
个质心的距离，为工程场地现场所测试的特征数据，则为其中第 个质心的各项特征具体数据值，则为对土层电阻特征项的加权。
7.作为本发明进一步改进，所述步骤8）中欧氏距离归一置信度转化表示为：在步骤7）中完成了对数据集的无监督学习，并确定了质心的数量，svm中标签数量，以及每个质心的坐标，下述需要进行欧氏距离归一置信度转化：；其中， 为欧氏距离归一置信度转化后数据点中对第 个土层类别的置信度，为数据点到代表第个土层类型簇中心的距离，为累加数据点到所有簇中心的距离之和。
8.作为本发明进一步改进，所述步骤9）中svm算法与聚类算法叠加认证的叠加公式表示为：
对svm算法最后分类添加softmax函数，决策函数值转换为概率分布，即对每个类别的置信度，将其与步骤8）中欧氏距离归一置信度转化进行叠加分析，其中叠加公式为：；其中，为利用svm算法与聚类算法叠加认证后对第类质心的置信度，为进行欧氏距离归一置信度转化对第类质心的置信度，则为svm算法分类中测试集的准确率，则为svm算法最后分类添加softmax函数后对第类质心的置信度，为无监督学习中错误归类数据的数量，为无监督学习中数据的总量。
9.本发明优点归纳如下：1）本技术提供的一种基于svm分类算法及聚类算法地质土层测试方法采用一种新型三维电极测试法，能够精确的实现所被需要测试地点的三维电阻情况。
10.2）本技术提供的一种基于svm分类算法及聚类算法地质土层测试方法采用svm算法进行多分类任务，提高了分类的准确性与速度。
11.3）本技术提供的一种基于svm分类算法及聚类算法地质土层测试方法采用聚类算法进行无监督学习，判定各点与质心的距离与各个特征所属簇，适当降低了模型的复杂度并提升了模型的可解释性。
12.4）本技术提供的一种基于svm分类算法及聚类算法地质土层测试方法将svm算法的置信度与聚类算法的欧式距离进行合并分析，提高了整套模型的精确性与鲁棒性。
附图说明
13.图1根据本技术实施例提供的基于svm分类算法及聚类算法地质土层测试方法流程图；图2根据本技术实施例提供的基于svm分类算法及聚类算法地质土层测试方法三维电法测试方法示意图；图3根据本技术实施例提供的基于svm分类算法及聚类算法地质土层测试方法克里金算流程图；图4根据本技术实施例提供的基于svm分类算法及聚类算法地质土层测试方法数据点到质心距离示意图；图5根据本技术实施例提供的基于svm分类算法及聚类算法地质土层测试方法三维电阻信息云图。
实施方式
14.下面结合附图与具体实施方式对本发明作进一步详细描述：如图1所示为本技术提供的基于svm分类算法及聚类算法地质土层测试方法流程图。
15.步骤s1：单排电极多次测试。
16.如图2所示为本技术提供的基于svm分类算法及聚类算法地质土层测试方法三维电法测试方法示意图在本次申请中，区别于传统工程场地电法测试方法，采用一种新型的矩阵式三维电法测试方法。首先在工程场地钻孔，将带有电极的pvc管插入钻孔，并采用砂土将pvc管周围的孔隙填满。其次在地面上等距离布置电极，并且相应电极之间连接导线。连接完毕后依次在各组电极间通电，即一组电极作为供电端，其余各组电极作为采集端，获得电极间的土体电阻率（每组电极依次通电，每组通电测试完成后，间隔5分钟，进行下一组通电）。第一次测量完毕后，拔出地面电极，平移90
°
再插入地面，再进行电测。如此反复测量得出了大量不同地点不同深度的土层电阻信息。
17.步骤s2：克里金算法插值计算三维土层电阻。
18.如图3所示为本技术提供的基于svm分类算法及聚类算法地质土层测试方法的克里金算法流程图本次申请采用克里金算法进行插值计算，其中通过步骤s1获得了不同土层深度的电阻信息，也即本次克里金算法所需要的空间坐标和对应数值。
19.对于变异函数则选择高斯型变异函数。而各点之间的空间相关性则采用半方差函数进行表征，对电阻信息之间采用高密度插值预测。具体叙述如下：假设目前已知有n个空间点及其对应的数值，则所有空间点的之间的距离共有种距离表征。将距离进行递增排序，计算实验变差并进行理论变差函数拟合，得出所有距离的变差值组成系数矩阵，权重计算则根据已知样本点之间的距离和拟合的半方差函数，计算每个已知样本点与待插值位置的权重，通常距离越近、半方差越大的样本点具有更高的权重。最后将所有数据点之间的距离最后进行交叉验证和参数调整。完成工程场地三维电场测试。
20.步骤s3：土层数据间隔确定。
21.在步骤s1与s2中完成了工程场地三维电场测试，并获得了整个三维土层的电阻信息，数据量是非常庞大且高度连续的这对于后续云图的绘制是有利的，但对于土层类型的判定是过于臃肿且不需要的。合适的土层深度取样数据点间隔能够充分捕捉到土层的空间变异性，同时也避免过多冗余数据和过于稀疏的采样。
22.在本次申请中土层深度取样数据点间隔作为超参数存在，通过尝试不同的距离间隔，进行交叉验证来评估分类模型的性能。通过比较不同距离间隔下的分类准确率，找到在给定数据集和任务中表现最佳的距离间隔。
23.其中土层深度取样数据点间隔可选项如下所示：；其中， 为土层深度取样数据点间隔， 为调节参数为1、0.75、0.5、0.25、0.1、0.05,d则为步骤1中深入土层相邻电极之间的距离。
24.步骤s4：其余特征值表征。
25.本次申请提出一种新型的土层类型预测方法，在步骤s1与s2中获得了土层电阻信息，步骤s3中决定了土层深度取样的数据点间隔，但单独使用电法测试数据进行机器学习算法预测存在数据量不足的问题，需要使用其他数据进行辅助分析扩展数据表达能力。
26.本次申请中需要考虑的其余特征项包括以下所述：土层厚度：通过钻孔作业，使用钻探设备钻取土壤样品，并记录每个钻孔的深度和土层变化。
27.土壤湿度：使用土壤水分传感器在不同深度处测量土壤的湿度。
28.土层密度：通过将核密度仪插入到土壤中并测量其体积和质量来测量土壤的密度。
29.土层颗粒大小：通过激光粒度分析仪、筛分方法进行颗粒大小分。
30.土层含盐量：使用电导仪或盐分测量仪来测量测量土壤中的离子含量，并据此推断土壤的含盐量。
31.将上述特征对工程场地进行测量勘探，其中数据值与空间位置关系需要保存。
32.步骤s5：数据处理。
33.在步骤s4中获得了其余各项特征值的数据信息，与步骤s2相似，也需要对每个特征值进行克里金算法插值计算，来构建高密度三维场地特征信息。自此每个地点每个深度都具有6个数据值：土层电阻、土层厚度、土壤湿度、土层密度、土层颗粒大以及土层含盐量分别作为特征 。此外由于克里金算法进行插值预测的值使得整个数据场较为庞大且连续，这对于算法分析是没有必要的，因此需要根据步骤s3进行土层深度取样数据点间隔取样，进行超参数选择。
34.另外因为需要将所有数据输入到svm以及k-means算法中进行机器学习，故需要提前将数据值进行归一化处理，保证特征维度的统一，避免因为维度不均衡对结果影响过大。
35.步骤s6:svm算法分类。
36.对输入的数据集进行监督学习分类，采用的算法为svm多分类。将上述数据集进行标签给定即给定土层类型并编码成one-hot形式。此外进行数据集分割，对于本次由于数据是从三维场景中提取，故数据量足够庞大，保持训练集与测试集比例1：1即可。构建决策函数用于计算样本点与分类超平面的距离或置信度。模型评估则直接采用准确率。当测试集达到较高的准确率即可完成训练。
37.步骤s7：k-means聚类分析。
38.本次申请区别与以往算法分析，在采用svm算法进行分类的同时，亦采用k-means聚类算法对数据进行无监督学习分类，并对k-means聚类分析结果给与一定权重到最终结果值。
39.在本次k-means算法搭建过程中将数据集聚类簇的数量与svm算法的标签类别数目保持一致。
40.确定簇的数量后，随机确定所有初始的聚类中心并计算每个样本与各个聚类中心的距离，将样本分配到距离最近的簇，然后更新聚类中心，重复迭代即可，并确定最终的聚类中心。
41.其中本次距离计算，对电阻特征信息加权处理，并采用欧式距离法则，计算公式
为：；其中为数据点到第
ꢀꢀ
个质心的距离，为工程场地现场所测试的特征数据，则为其中第 个质心的各项特征具体数据值，则为对土层电阻特征项的加权。
42.步骤s8: 欧氏距离归一置信度转化。
43.如图4所示为本技术提供的基于svm分类算法及聚类算法地质土层测试方法数据点到质心距离示意图。
44.在步骤s7中完成了对数据集的无监督学习，并确定了质心的数量（svm中标签数量），以及每个质心的坐标。下述需要进行欧氏距离归一置信度转化：；其中， 为欧氏距离归一置信度转化后数据点中对第 个土层类别的置信度，为数据点到代表第个土层类型簇中心的距离，为累加数据点到所有簇中心的距离之和。
45.步骤s9：svm算法与聚类算法叠加认证。
46.对svm算法最后分类添加softmax函数，决策函数值转换为概率分布，即对每个类别的置信度，将其与步骤s8中欧氏距离归一置信度转化进行叠加分析，其中叠加公式为：；其中，为利用svm算法与聚类算法叠加认证后对第类质心的置信度，为进行欧氏距离归一置信度转化对第类质心的置信度，则为svm算法分类中测试集的准确率，则为svm算法最后分类添加softmax函数后对第类质心的置信度，为无监督学习中错误归类数据的数量，为无监督学习中数据的总量。
47.步骤s10：预测值输出。
48.在步骤s10中，根据步骤s9中的svm算法与聚类算法叠加认证后的置信度输出预测土层类型，取最高值为输出选项。
49.步骤s11：云图绘制与显示。
50.如图5所示为本技术提供的基于svm分类算法及聚类算法地质土层测试方法工程场地三维电阻信息云图。
51.在本次申请中，为了增加可视性，通过绘制三维云图的方式，进行叙述工程场地三维电阻信息与土层类别。
52.以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

技术特征：
1.基于svm分类算法及聚类算法地质土层测试方法，包括如下步骤，其特征在于：1）单排电极多次测试；采用矩阵式三维电法测试方法,测量出给工程场的三维电阻；2）克里金算法插值计算三维土层电阻；采用克里金算法对土层电阻信息进行插值计算，增加电阻信息覆盖范围；3）土层数据间隔确定；确定土层深度取样数据点间隔捕捉到土层的空间变异性，同时避免过多冗余数据和过于稀疏的采样；4）其余特征值表征；单独使用电法测试数据进行机器学习算法预测存在数据量不足的问题，使用其他数据扩展表达能力；5）数据处理；其他特征项同样进行土层深度取样数据点间隔取样，并采用归一化处理消除特征维度差异；6）svm算法分类；对输入的数据集进行监督学习分类，采用的算法为svm多分类；7）k-means聚类分析；在采用svm算法进行分类的同时，亦采用k-means聚类算法对数据进行无监督学习，距离计算中，对电阻特征信息加权处理，并采用欧式距离法则；8）欧氏距离归一置信度转化；完成了对数据集的无监督学习，并确定了质心的数量，svm中标签数量，以及每个质心的坐标，最后需要进行欧氏距离归一置信度转化；9）svm算法与聚类算法叠加认证；对svm算法最后分类添加softmax函数，决策函数值转换为概率分布，即对每个类别的置信度，将其与步骤8）中欧氏距离归一置信度转化按照叠加公式进行分析；10）预测值输出；根据叠加分析结果输出预测土层类型，取置信度最高值为输出选项；11）云图绘制与显示；通过绘制三维云图的方式，进行叙述工程场地三维电阻信息与土层类别。2.根据权利要求1所述的基于svm分类算法及聚类算法地质土层测试方法，其特征在于：所述步骤3）中土层深度取样数据点间隔表示为：其中土层深度取样数据点间隔可选项如下所示：；其中， 为土层深度取样数据点间隔， 为调节参数为1、0.75、0.5、0.25、0.1、0.05,d则为深入土层相邻电极之间的距离。3.根据权利要求1所述的基于svm分类算法及聚类算法地质土层测试方法，其特征在
于：所述步骤7）中距离计算表示为：其中本次距离计算，对电阻特征信息加权处理，并采用欧式距离法则，计算公式为：；其中为数据点到第
ꢀꢀ
个质心的距离，为工程场地现场所测试的特征数据，则为其中第 个质心的各项特征具体数据值，则为对土层电阻特征项的加权。4.根据权利要求1所述的基于svm分类算法及聚类算法地质土层测试方法，其特征在于：所述步骤8）中欧氏距离归一置信度转化表示为：在步骤7）中完成了对数据集的无监督学习，并确定了质心的数量，svm中标签数量，以及每个质心的坐标，下述需要进行欧氏距离归一置信度转化：；其中， 为欧氏距离归一置信度转化后数据点中对第 个土层类别的置信度，为数据点到代表第个土层类型簇中心的距离，为累加数据点到所有簇中心的距离之和。5.根据权利要求1所述的基于svm分类算法及聚类算法地质土层测试方法，其特征在于：所述步骤9）中svm算法与聚类算法叠加认证的叠加公式表示为：对svm算法最后分类添加softmax函数，决策函数值转换为概率分布，即对每个类别的置信度，将其与步骤8）中欧氏距离归一置信度转化进行叠加分析，其中叠加公式为：；其中，为利用svm算法与聚类算法叠加认证后对第类质心的置信度，为进行欧氏距离归一置信度转化对第类质心的置信度，则为svm算法分类中测试集的准确率，则为svm算法最后分类添加softmax函数后对第类质心的置信度，为无监督学习中错误归类数据的数量，为无监督学习中数据的总量。

技术总结
基于SVM分类算法及聚类算法地质土层测试方法，首先提出一种新型的电法测试方法，可以得到较为精确的场地深部电阻情况并且可以获得工程场地三维电测场。此外本次还引入SVM分类算法与聚类分析算法对测得的不同深度的土层的各项数据进行训练，将两个算法进行集合进而对不同深度的土层类型能够进行高精度分类表征。从而能够实现土层类型精度化与智能化的测试。测试。测试。


技术研发人员：俞先江 韩冬 刘亚楼 姚伟 黄思增 景步军 江峰 姜永虎
受保护的技术使用者：华设检测科技有限公司
技术研发日：2023.07.06
技术公布日：2023/8/6