一种基于无监督深度估计的初烤烟褶皱度测量方法

1.本发明涉及烟叶物理指标测量技术领域，具体涉及一种基于无监督深度估计的初烤烟褶皱度测量方法。


背景技术：

2.初烤烟褶皱是由于温度、水分的变化，导致细胞组织发生收缩而引起的烟叶外观变化，而烟叶在生长过程中不同部位的细胞组织理化性质存在差异，不同部位在烘烤后的会出现不同程度的褶皱。烤烟国家标准gb 2635-1992中提到，烟叶的等级主要是部位、级别、颜色三者共同决定的。其中，烟叶部位由于外观特征存在差异，可以通过脉相、叶形、叶面皱缩程度、颜色等特征进行判断，在机器视觉领域可以对应的提取纹理、边缘、皱缩深度、rgb等特征。由此可知，褶皱是烟叶部位判断的重要因素之一，对于烟叶分级有重要作用。
3.目前，初烤烟褶皱的测量方法主要靠烟叶分级专家视觉判断后进行部位判断，由于不同专家在进行评判过程会存在感官之间的差异，导致分级过程存在差异。而目前所存在的智能化测量方法，主要是通过获取测量烟叶皱缩前和皱缩后的面积，用二者之间的变化率进行定量表征，或者通过研究烟叶褶皱相关的特征和要素来间接表示烟叶褶皱。前一种方法由于需要测量烟叶初烤前后的面积，而烟叶初烤过程是在不同地区进行的，导致测量过程复杂、效率低、成本高；后一种方法受到自身携带的叶脉、叶片纹理影响，测量结果不准确。
4.综上所述，现有技术的初烤烟褶皱测量方法，虽然能达到测量的目的，但是其测量效果还不够准确，测量方法还有待改进。


技术实现要素：

5.本发明提供的一种基于无监督深度估计的初烤烟褶皱度测量方法，首先将初烤烟在烘烤后发生的叶面皱缩形态定义为“初烤烟褶皱度”，并将初烤烟褶皱度的评定参数设定为表面像素算术平均偏差ra、表面像素最大差值rz，然后通过改进无监督深度估计网络模型对制作的烟叶样本提取初烤烟褶皱度深度图，再用roberts算子从深度图中提取褶皱纹理信息，获取表面像素算术平均偏差ra、表面像素最大差值rz，并利用表面像素算术平均偏差ra、表面像素最大差值rz进行聚类，对烟叶进行部位判断。
6.为了达到上述技术目的，本发明是通过以下技术方案实现的：
7.一种基于无监督深度估计的初烤烟褶皱度测量方法，包括以下步骤：
8.s1：将烟叶进行初烤时发生的叶面皱缩形态称为“初烤烟褶皱度”，并将初烤烟褶皱度的评定参数设定为表面像素算术平均偏差ra、表面像素最大差值rz；
9.s2：制作根据初烤烟褶皱度进行部位区分得到的烟叶样本；
10.s3：获取烟叶样本的正面局部图像，构建无监督深度估计的训练数据集和测试数据集；
11.s4：构建改进无监督深度估计网络模型，用该模型对烟叶局部图像处理，获取初烤
烟褶皱度深度图；
12.s5：用roberts算子提取深度图中的初烤烟褶皱纹理，获取初烤烟褶皱纹理图的表面像素算术平均偏差ra、表面像素最大差值rz；
13.s6：用birch算法对表面像素算术平均偏差ra、表面像素最大差值rz进行聚类，将初烤烟褶皱度对应烟叶部位分为上、中、下(b、c、x)。
14.优选的，所述的“初烤烟褶皱度”为初烤后的烟叶叶面上具有间距的峰谷所构成的几何体形状特征；所述的表面像素算术平均偏差ra表示深度图中各点的像素值与测量基点之间差距绝对值的算术平均值，能够反映出深度图中褶皱深浅变化的整体情况，表面像素算术平均偏差ra越大则表示褶皱形成的峰谷波动程度越大，反之则波动小；所述的表面像素最大值rz表示深度图中褶皱上最高或最低的峰谷像素值，能反映一张烟叶图像里的最大褶皱；所述烟叶样本由云南省烟叶分级专家根据初烤烟褶皱度进行部位区分的云南各个地区烟叶样本组成，包括上、中、下(b、c、x)三个部位；所述烟叶正面局部图像由工业相机拍摄获得，局部图像仅作为单次拍摄获取结果，实际应用中可多次获取烟叶局部图像来表示整片烟叶；所述改进无监督深度估计网络模型，引入了卷积调制模块和归一化融合模块，并在解码器和编码器之间设计了跳跃连接；所述褶皱度深度图，根据深度图中物体与相机的距离从近到远呈现亮黄到深蓝的原理，褶皱度深度图根据烟叶褶皱由浅到深的深度图像变化为深蓝到亮黄；
15.优选的，所述烟叶样本均由云南省烟草质量监督检测站专家根据初烤烟褶皱度这一要素进行部位判断，并在自制的烟叶图像采集平台中，通过型号为ao-hd206的工业相机，在自然光条件下进行样本图像采集，包括b、c、x三个不同部位的正面烟叶局部图像共8598张，其中包括训练集8250张、测试集348张；
16.优选的，所述改进无监督深度估计网络模型以u型网络编码解码的分割网络作为参考，网络将实际场景下视频流输入卷积层中生成高级编码信息，再利用多尺度融合上采样解码还原到视频流图像分辨率。利用视频流图像计算出重投影矩阵、重新采样并计算更高输入分辨率下的误差，解码器基于swin transformer主干网络并融合卷积调制模块和多层感知机(multi-layerperception,mlp)，在解码阶段借助归一化注意力(normalization-basedattention module,nam)实现特征通道自适应选择并在解码器与编码器之间通过跳跃连接实现上下文信息的补充，nam在上采样中通过匹配特征补丁将下采样过程中丢失的特征以跳跃连接的方式传递，弥补解码特征的细节信息丢失，使解码效率和效果得到改进，尽可能使重建的高分辨率图像更加准确；
17.优选的，所述编码器基于swintransformer卷积神经网络构建，在每个阶段中采用卷积调制层来代替swintransformer基础注意力编码层，卷积调制层的本质依旧是自注意力层，使其记忆效率更高，更有利于网络在弱纹理的场景下进行深度特征提取。同时，设计基于分组卷积跨位置交融多层感知机(multi-layerperception,mlp)。将输入特征看作由多个同样大小的patch组成，通过重新分组变换实现每个patch跨位置信息交流操作，以此来平衡特征边缘信息丢失；
18.其中，编码器借鉴conv2former中的思想，将由特征查询值q、特征关键值k构成的动态权重a当作动态权重进行输入，采用卷积层直接从输入层x中提取权重a，同时将a和v的向量乘法变为hadamard矩阵乘积。如图1中卷积调制模块所示，注意力权重a通过深度可分
离卷积和gelu函数提取并激活。与卷积层中的特征权重一样，权重在每次迭代后更新，由于静态权重不会随着输入值发生大范围动态变化，更有利于神经网络的收敛。因此，卷积调制层原理如下：
19.a＝dconvk×k(w1x),v＝conv1×1(w2x)
20.x
′
＝a
⊙v21.式中，
⊙
为hadamard积，w1与w2是两个a和v的权重矩阵，conv1×1表示1
×
1卷积，dconvk×k表示卷积核为k的深度可分离卷积，x
′
∈rc×h×w卷积调制模块是输出特征。卷积调制操作中dconvk×k使特征空间位置(h,w)与k
×
k平方区域内的所有像素相关联，通过卷积调制的方式将动态权重a的计算复杂度从指数级增加变为线性叠加，当采用较大的卷积核k，静态注意力权重的关注区域并略弱于动态权重，从而使网络在弱纹理的背景下提取特征效果更佳。
22.由于卷积调制模块注意力关注区域收缩导致特征边缘区域信息丢失，编码器还设计了基于分组卷积跨位置交融多层感知机(multi-layerperception,mlp)，借鉴mlp-mixer的部分思路，将输入特征看作由多个同样大小的patch组成，通过重新分组变换实现每个patch跨位置信息交流操作，以此来平衡特征边缘信息丢失。如图1中mlp模块所示，对mlp输入特征x∈rc×h×w按照p
×
p大小的patch进行分组，得到组数为s的特征x∈rc×s，然后通过分组卷积进行降维以降低线性层的计算复杂度，此时每个patch绝对位置并未发生改变，但是在线性层将按照patch的纵向计算，最后将线性层处理后的特征进行还原并与原特征做跳跃连接。具体流程为：
[0023][0024]
式中，s表示特征分组组数，p是patch的像素尺寸；liner和gconvk×k分别是线性层和分组卷积；
[0025]
优选的，所述解码器嵌入归一化融合层，将前一层特征与浅层特征进行一种高效的归一化注意力(nam)融合，通过分配注意力权重的方式将浅层特征叠加到解码特征中，从而实现细节信息的解码补充；
[0026]
其中，解码器如图2所示，x1表示通过上采样层的深层特征输入，x2表示通过跳跃连接的浅层特征输入，y表示归一化融合的输出特征。归一化融合包括两条支路，其中x1特征经由卷积调制模块将特征信息进行压缩以便于后续融合操作，x2通过归一化注意力将浅层特征按照通道权重比例进行输入，使得浅层特征中的重要信息得到加强。归一化注意力的实现如下：
[0027][0028]
其中b
in
∈rn×b×1×h×w表示n个批量大小为b的单通道特征矩阵，这里由x2∈rb×c×h×w变换得到；μb和σb表示b
in
的单个小批量均值和标准差，ε为防止崩溃的极小值，γi为单个通道的特征值；根据上式即可得到平衡后的特征矩阵b
out
和通道权重系数wi。与原始的nam不同的是，由于不再考虑浅层特征内部的状态，这里去掉仿射变换参数。因此归一化融合过程为：
[0029]
y＝dconv1×1[cm(x1),sigmiod(w
γ
bn(x2))]
[0030]
式中cm和sigmiod分别为卷积调制模块和激活函数；w
γ
是x2所有权重wi构成的向量。
[0031]
本发明的有益效果是：
[0032]
本发明提供的一种基于无监督深度估计的初烤烟褶皱度测量方法，可以根据初烤烟叶面褶皱在外观形态上呈现的凹凸不平，在深度图上的每一点像素显示为不同的深度信息，由此判断出褶皱程度，相比于人工测量排除了感官之间的差异误差，相比于普通的图像纹理获取方法，深度估计从三维角度立体地表达出烟叶的褶皱程度。同时，无监督深度估计仅需要将图像序列或立体图像的几何约束作为监督进行训练就能实现深度估计，不需要昂贵的带标签数据，成本低、应用范围广、易于操作。本发明建立了一种可描述的初烤烟褶皱度测量方法，并利用褶皱度这一要素，完成了对烟叶部位的区分。
[0033]
采取本发明提供的初烤烟褶皱度测量方法，对348张烟叶样本数据集进行测试分级，其中包括上部烟(b)118张、中部烟(c)116张、下部烟(x)114张，该数据集有云南省烟叶分级专家根据褶皱度要素进行部位判断。通过初烤烟褶皱度进行烟叶部位分类的效果非常可观，其中上部烟(b)的分类精度达到86.44％，中部烟(c)的分类精度达到93.1％，下部烟(x)的分类精度达到89.94％，综合精度达到89.83％。该实验结果表明，采用本发明的无监督深度估计方法获取初烤烟褶皱度，对通过初烤烟褶皱度判断烟叶部位很有效果，对初烤烟褶皱度判断，提供了更客观的方法。
附图说明
[0034]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]
图1是网络整体框架图；
[0036]
图2是归一化融合结构图；
[0037]
图3是初烤烟褶皱样本数据集示例图；
[0038]
图4是初烤烟褶皱截面示意图；
[0039]
图5是初烤烟褶皱深度估计效果图；
[0040]
图6是初烤烟褶皱纹理提取效果图；
[0041]
图7是聚类分析效果图；
[0042]
图8是本发明方法实验结果。
具体实施方式
[0043]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0044]
实施例1
[0045]
一种基于无监督深度估计的初烤烟褶皱度测量方法，包括以下步骤：
[0046]
s1：将烟叶进行初烤时发生的叶面皱缩形态称为“初烤烟褶皱度”，并将初烤烟褶皱度的评定参数设定为表面像素算术平均偏差ra、表面像素最大差值rz；
[0047]
s2：制作根据初烤烟褶皱度进行部位区分得到的烟叶样本；
[0048]
s3：获取烟叶样本的正面局部图像，构建无监督深度估计的训练数据集和测试数据集；
[0049]
s4：构建改进无监督深度估计网络模型，用该模型对烟叶局部图像处理，获取初烤烟褶皱度深度图；
[0050]
s5：用roberts算子提取深度图中的初烤烟褶皱纹理，获取初烤烟褶皱纹理图的表面像素算术平均偏差ra、表面像素最大差值rz；
[0051]
s6：用birch算法对表面像素算术平均偏差ra、表面像素最大差值rz进行聚类，将初烤烟褶皱度对应烟叶部位分为上、中、下(b、c、x)。
[0052]
实施例2
[0053]
基于实施例1的初烤烟褶皱度测量方法：
[0054]
针对初烤烟褶皱度，烟草行业中暂时没有统一的定义，仅将烟叶在生长过程中不同部位的细胞组织理化性质导致不同部位的烟叶在烘烤后出现的不同皱缩情况视为初烤烟的褶皱，初烤烟的褶皱在形态上主要表现为叶面折叠、高低起伏，从三维角度看，在初烤烟上建立坐标系，图像的横向为x轴，纵向为z轴，褶皱的起伏方向为y轴，从平行于x轴方向对初烤烟褶皱度截断，将褶皱度截面从x、y两个方向上进行展示，如图4所示，为了便于计算，本文将初烤后的烟叶叶面上具有间距的峰谷所构成的几何体形状特征称为初烤烟褶皱度。在褶皱度深度图中每一点与像素点一一对应，同时根据目标物离相机的远近呈现出不同的像素值，通过深度图生成的褶皱度纹理图像素值也根据初烤烟褶皱度生成不同的像素值，以此反映出叶面的变化情况，因此获取xz平面上的像素值用于初烤烟褶皱度评定参数计算，其中，像素值的位置由x轴和z轴共同表示，像素值的大小由y轴表示。由于初烤烟褶皱的外形特征与工业制品表面粗糙度的微观外形相似，针对初烤烟褶皱度的判定方法，参考产品几何技术规范(gps)gb/t1031-2009的评价表面结构的参数及其数值系列中表面粗糙度的参数选取，本文将初烤烟褶皱度的评定参数设定为表面像素算术平均偏差ra、表面像素最大差值rz，表面像素算术平均偏差ra表示深度图中各点的像素值与测量基点之间差距绝对值的算术平均值，能够反映出深度图中褶皱深浅变化的整体情况，表面像素算术平均偏差ra越大则表示褶皱形成的峰谷波动程度越大，反之则波动小；表面像素最大值rz表示深度图中褶皱上最高或最低的峰谷像素值，能反映一张烟叶图像里的最大褶皱。结合两个初烤烟褶皱度评定参数，可以反映出整体的初烤烟褶皱变化情况，即为初烤烟褶皱度。由于工业制品表面粗糙度的测量基点为零点，而初烤烟褶皱度的测量基点为烟叶平面，在三维坐标系中每一片烟叶的叶面位置都在变化，所以每一片烟叶的基点都不一样，无法进行统一制定，而进行初烤烟褶皱度测量是评判褶皱的变化程度，因此将初烤烟褶皱度基点定为表面像素平均值，基于像素平均值的波动大小则表示褶皱的程度。
[0055]
其中表面像素算术平均偏差ra与表面像素最大值rz的计算公式如公式所示：
[0056]
[0057][0058][0059]
式中，表示像素平均值；n表示像素值的数量；xi表示位于i点的像素值，|x|
max
表示图像中基于表面像素平均值的最大像素值；表示i点像素值与表面像素平均值之间的差距。
[0060]
实施例3
[0061]
基于实施例1的初烤烟褶皱度测量方法：
[0062]
以u型网络编码解码的分割网络作为参考，网络将实际场景下视频流输入卷积层中生成高级编码信息，再利用多尺度融合上采样解码还原到视频流图像分辨率。利用视频流图像计算出重投影矩阵、重新采样并计算更高输入分辨率下的误差，解码器基于swin transformer主干网络并融合卷积调制模块和多层感知机(multi-layer perception,mlp)，在解码阶段借助归一化注意力(normalization-basedattentionmodule,nam)实现特征通道自适应选择并在解码器与编码器之间通过跳跃连接实现上下文信息的补充，nam在上采样中通过匹配特征补丁将下采样过程中丢失的特征以跳跃连接的方式传递，弥补解码特征的细节信息丢失，使解码效率和效果得到改进，尽可能使重建的高分辨率图像更加准确。
[0063]
编码层采用基于swintransformer卷积神经网络。本发明编码层在每个阶段中采用卷积调制层来代替swintransformer基础注意力编码层，但卷积调制层的本质依旧是自注意力层。在vit和swin transformer等常规自注意力层中，自我注意机制都涉及特征查询值q、特征关键值k和被查询特征值v，注意力权重a＝softmax(qk
t
)。当输入特征x∈rc×h×w时，其计算出的注意力权重大小为a∈rc×c，在a为特征带来宽泛空间信息关注度的同时其计算复杂性也随着c的变大呈现大幅增长。借鉴conv2former中的思想，本发明将由q、k构成的动态权重a当作动态权重进行输入，采用卷积层直接从输入层x中提取权重a，同时将a和v的向量乘法变为hadamard矩阵乘积。如图1中卷积调制模块所示，注意力权重a通过深度可分离卷积和gelu函数提取并激活。与卷积层中的特征权重一样，权重在每次迭代后更新，由于静态权重不会随着输入值发生大范围动态变化，更有利于神经网络的收敛。因此，卷积调制层原理如下：
[0064]
a＝dconvk×k(w1x),v＝conv1×1(w2x)
[0065]
x
′
＝a
⊙v[0066]
式中，
⊙
为hadamard积，w1与w2是两个a和v的权重矩阵，conv1×1表示1
×
1卷积，dconvk×k表示卷积核为k的深度可分离卷积，x
′
∈rc×h×w卷积调制模块是输出特征。卷积调制操作中dconvk×k使特征空间位置(h,w)与k
×
k平方区域内的所有像素相关联，通过卷积调制的方式将动态权重a的计算复杂度从指数级增加变为线性叠加，当采用较大的卷积核k，静态注意力权重的关注区域并略弱于动态权重。因此该卷积调制模块能够通过卷积建立关系，相比自注意力其记忆效率更高，有利于网络在弱纹理的场景下进行深度特征提取。
[0067]
由于卷积调制模块注意力关注区域收缩导致特征边缘区域信息丢失，本发明设计
了基于分组卷积跨位置交融多层感知机(multi-layer perception,mlp)。借鉴mlp-mixer的部分思路，将输入特征看作由多个同样大小的patch组成，通过重新分组变换实现每个patch跨位置信息交流操作，以此来平衡特征边缘信息丢失。如图1中mlp模块所示，对mlp输入特征x∈rc×h×w按照p
×
p大小的patch进行分组，得到组数为s的特征x∈rc×s，然后通过分组卷积进行降维以降低线性层的计算复杂度，此时每个patch绝对位置并未发生改变，但是在线性层将按照patch的纵向计算，最后将线性层处理后的特征进行还原并与原特征做跳跃连接。具体流程为：
[0068][0069]
式中，s表示特征分组组数，p是patch的像素尺寸；liner和gconvk×k分别是线性层和分组卷积。
[0070]
在网络解码过程中，网络层数过深都会导致浅层线特征信息丢失，尽管网络高级语义信息集中于深层特征中，但对于某些需要浅层信息的深度学习任务来说，浅层中所包含的位置轮廓信息更加重要。对于深度估计来说，像素点间的相对位置至关重要，这会导致进一步丰富视差边缘的细节信息。因此本发明网络嵌入归一化融合层来解码特征。归一化融合层会将前一层特征与浅层特征进行一种高效的归一化注意力(nam)融合，通过分配注意力权重的方式将浅层特征叠加到解码特征中，从而实现细节信息的解码补充。如图2所示，x1表示通过上采样层的深层特征输入，x2表示通过跳跃连接的浅层特征输入，y表示归一化融合的输出特征。归一化融合包括两条支路，其中x1特征经由卷积调制模块将特征信息进行压缩以便于后续融合操作，x2通过归一化注意力将浅层特征按照通道权重比例进行输入，使得浅层特征中的重要信息得到加强。归一化注意力的实现如下：
[0071][0072]
其中b
in
∈rn×b×1×h×w表示n个批量大小为b的单通道特征矩阵，这里由x2∈rb×c×h×w变换得到；μb和σb表示b
in
的单个小批量均值和标准差，ε为防止崩溃的极小值，γi为单个通道的特征值；根据上式即可得到平衡后的特征矩阵b
out
和通道权重系数wi。与原始的nam不同的是，由于不再考虑浅层特征内部的状态，这里去掉仿射变换参数。因此归一化融合过程为：
[0073]
y＝dconv1×1[cm(x1),sigmiod(w
γ
bn(x2))]
[0074]
其中cm和sigmiod分别为卷积调制模块和激活函数；w
γ
是x2所有权重wi构成的向量。
[0075]
实施例4
[0076]
本发明利用云南省烟草质量监督检测站提供的云南各个地区的烤烟样本构建图像数据集，所使用的烤烟样本均由云南省烟草质量监督检测站专家根据褶皱度这一要素进行部位判断，并在自制的烟叶图像采集平台中，通过型号为ao-hd206的工业相机，在自然光条件下进行样本图像采集，包括b2f、c2f、x2f三个同一等级不同部位的正面烟叶局部图像共8598张，其中包括训练集8250张、测试集348张，测试集中上部烟(b)118张、中部烟(c)116张、下部烟(114)张，烟叶样本示例如图3所示。用本发明方法对烟叶褶皱局部图处理，所获
取的初烤烟褶皱深度估计效果图如图5所示；根据叶面褶皱的深浅变化深度图颜色呈现为由深蓝到亮黄的变化，采用roberts算子提取初烤烟褶皱度纹理的效果图如图6所示；最后用birch方法对褶皱纹理图的褶皱度α进行聚类，得到的聚类结果如图7所示；用本发明方法对烟叶进行褶皱纹理获取后通过褶皱度进行分类的精度如图8所示，其中上部烟(b)的分类精度达到86.44％，中部烟(c)的分类精度达到93.1％，下部烟(x)的分类精度达到89.94％，综合精度达到89.83％，能够满足实际应用中的分级需求。
[0077]
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0078]
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

技术特征：
1.一种基于无监督深度估计的初烤烟褶皱度测量方法，其特征在于，包括以下步骤：s1：将烟叶进行初烤时发生的叶面皱缩形态称为“初烤烟褶皱度”，并将初烤烟褶皱度的评定参数设定为表面像素算术平均偏差r
a
、表面像素最大差值r
z
；s2：制作根据初烤烟褶皱度进行部位区分得到的烟叶样本；s3：获取烟叶样本的正面局部图像，构建无监督深度估计的训练数据集和测试数据集；s4：构建改进无监督深度估计网络模型，用该模型对烟叶局部图像处理，获取初烤烟褶皱度深度图；s5：用roberts算子提取深度图中的初烤烟褶皱纹理，获取初烤烟褶皱纹理图的表面像素算术平均偏差r
a
、表面像素最大差值r
z
；s6：用birch算法对表面像素算术平均偏差r
a
、表面像素最大差值r
z
进行聚类，将初烤烟褶皱度对应烟叶部位分为上、中、下(b、c、x)。2.根据权利要求1所述的一种基于无监督深度估计的初烤烟褶皱度测量方法，其特征在于，所述的“初烤烟褶皱度”为初烤后的烟叶叶面上具有间距的峰谷所构成的几何体形状特征；所述的表面像素算术平均偏差r
a
表示深度图中各点的像素值与测量基点之间差距绝对值的算术平均值，能够反映出深度图中褶皱深浅变化的整体情况，表面像素算术平均偏差r
a
越大则表示褶皱形成的峰谷波动程度越大，反之则波动小；所述的表面像素最大值r
z
表示深度图中褶皱上最高或最低的峰谷像素值，能反映一张烟叶图像里的最大褶皱；所述烟叶样本由云南省烟叶分级专家根据初烤烟褶皱度进行部位区分的云南各个地区的烟叶样本组成，包括上、中、下(b、c、x)三个部位；所述的烟叶正面局部图像由工业相机拍摄获得，局部图像仅作为单次拍摄获取结果，实际应用中可多次获取烟叶局部图像来表示整片烟叶；所述改进无监督深度估计网络模型，引入了卷积调制模块和归一化融合模块，并在解码器和编码器之间设计了跳跃连接；所述褶皱度深度图，根据深度图中物体与相机的距离从近到远呈现亮黄到深蓝的原理，褶皱度深度图根据初烤烟褶皱由浅到深的深度图像变化为深蓝到亮黄。3.根据权利要求2所述的一种基于无监督深度估计的初烤烟褶皱度测量方法，其特征在于，所述烟叶样本均由云南省烟草质量监督检测站专家根据初烤烟褶皱度这一要素进行部位判断，并在自制的烟叶图像采集平台中，通过型号为ao-hd206的工业相机，在自然光条件下进行样本图像采集，包括b、c、x三个不同部位的正面烟叶局部图像共8598张，其中包括训练集8250张、测试集348张。4.根据权利要求2所述的一种基于无监督深度估计的初烤烟褶皱度测量方法，其特征在于，所述改进无监督深度估计网络模型，网络将实际场景下视频流输入卷积层中生成高级编码信息，再利用多尺度融合上采样解码还原到视频流图像分辨率；利用视频流图像计算出重投影矩阵、重新采样并计算更高输入分辨率下的误差，解码器基于swin transformer主干网络并融合卷积调制模块和多层感知机(multi-layer perception,mlp)，在解码阶段借助归一化注意力(normalization-based attention module,nam)实现特征通道自适应选择并在解码器与编码器之间通过跳跃连接实现上下文信息的补充，nam在上采样中通过匹配特征补丁将下采样过程中丢失的特征以跳跃连接的方式传递，弥补解码特征的细节信息丢失，使解码效率和效果得到改进，使重建的高分辨率图像更加准确。5.根据权利要求4所述的一种基于无监督深度估计的初烤烟褶皱度测量方法，其特征
在于，所述编码器基于swin transformer卷积神经网络构建，在每个阶段中采用卷积调制层来代替swin transformer基础注意力编码层，卷积调制层的本质依旧是自注意力层，使其记忆效率更高，更有利于网络在弱纹理的场景下进行深度特征提取；同时，设计基于分组卷积跨位置交融多层感知机(multi-layer perception,mlp)；将输入特征看作由多个同样大小的patch组成，通过重新分组变换实现每个patch跨位置信息交流操作，以此来平衡特征边缘信息丢失。6.根据权利要求5所述的一种基于无监督深度估计的初烤烟褶皱度测量方法，其特征在于，所述编码器以特征查询值q、特征关键值k构成的动态权重a当作动态权重进行输入，采用卷积层直接从输入层x中提取权重a，同时将a和v的向量乘法变为hadamard矩阵乘积；注意力权重a通过深度可分离卷积和gelu函数提取并激活，与卷积层中的特征权重一样，权重在每次迭代后更新，由于静态权重不会随着输入值发生大范围动态变化，更有利于神经网络的收敛；因此，卷积调制层原理如下：a＝dconv
k
×
k
(w1x),v＝conv1×1(w2x)x
′
＝a
⊙
v式中，
⊙
为hadamard积，w1与w2是两个a和v的权重矩阵，conv1×1表示1
×
1卷积，dconv
k
×
k
表示卷积核为k的深度可分离卷积，x
′
∈r
c
×
h
×
w
卷积调制模块是输出特征；卷积调制操作中dconv
k
×
k
使特征空间位置(h,w)与k
×
k平方区域内的所有像素相关联，通过卷积调制的方式将动态权重a的计算复杂度从指数级增加变为线性叠加，当采用较大的卷积核k，静态注意力权重的关注区域并略弱于动态权重，从而提高网络在弱纹理的背景下提取特征的效果；由于卷积调制模块注意力关注区域收缩导致特征边缘区域信息丢失，编码器还设计了基于分组卷积跨位置交融多层感知机(multi-layer perception,mlp)，将输入特征看作由多个同样大小的patch组成，通过重新分组变换实现每个patch跨位置信息交流操作，以此来平衡特征边缘信息丢失；对mlp输入特征x∈r
c
×
h
×
w
按照p
×
p大小的patch进行分组，得到组数为s的特征x∈r
c
×
s
，然后通过分组卷积进行降维以降低线性层的计算复杂度，此时每个patch绝对位置并未发生改变，但是在线性层将按照patch的纵向计算，最后将线性层处理后的特征进行还原并与原特征做跳跃连接；具体流程为：式中，s表示特征分组组数，p是patch的像素尺寸；liner和gconv
k
×
k
分别是线性层和分组卷积。7.根据权利要求4所述的一种基于无监督深度估计的初烤烟褶皱度测量方法，其特征在于，所述解码器嵌入归一化融合层，将前一层特征与浅层特征进行一种高效的归一化注意力(nam)融合，通过分配注意力权重的方式将浅层特征叠加到解码特征中，从而实现细节信息的解码补充。8.根据权利要求7所述的一种基于无监督深度估计的初烤烟褶皱度测量方法，其特征在于，所述解码器的归一化融合包括x1、x2两条支路与融合结果y，x1表示通过上采样层的深层特征输入，x2表示通过跳跃连接的浅层特征输入，y表示归一化融合的输出特征；其中x1特征经由卷积调制模块将特征信息进行压缩以便于后续融合操作，x2通过归一化注意力将浅层特征按照通道权重比例进行输入，使得浅层特征中的重要信息得到加强；归一化注意力
的实现如下：其中b
in
∈r
n
×
b
×1×
h
×
w
表示n个批量大小为b的单通道特征矩阵，这里由x2∈r
b
×
c
×
h
×
w
变换得到；μ
b
和σ
b
表示b
in
的单个小批量均值和标准差，ε为防止崩溃的极小值，γ
i
为单个通道的特征值；根据上式即可得到平衡后的特征矩阵b
out
和通道权重系数w
i
；与原始的nam不同的是，由于不再考虑浅层特征内部的状态，这里去掉仿射变换参数；因此归一化融合过程为：y＝dconv1×1[cm(x1),sigmiod(w
γ
bn(x2))]式中cm和sigmiod分别为卷积调制模块和激活函数；w
γ
是x2所有权重w
i
构成的向量。

技术总结
本发明涉及烟叶物理指标测量技术领域，具体涉及一种基于无监督深度估计的初烤烟褶皱度测量方法，本发明首先将初烤烟在烘烤后发生的叶面皱缩形态定义为“初烤烟褶皱度”，并将初烤烟褶皱度的评定参数设定为表面像素算术平均偏差R


技术研发人员：龙杰 高进姝 张冀武 盖小雷 刘宇晨 孙浩巍 张晓伟 张轲 陈丹 顾建龙 侯开虎 邓超
受保护的技术使用者：昆明理工大学
技术研发日：2023.03.09
技术公布日：2023/7/19