一种从一叠粽叶图像中自动定位最外层单张粽叶的方法

1.本发明涉及数字图像处理技术领域，尤其涉及一种从一叠粽叶图像中自动定位最外层单张粽叶的方法。


背景技术：

2.数字图像处理是近来兴起的一项热门技术，涵盖图像分割、图像识别、图像复原或增强等等技术手段。随着计算机技术与工业生产结合日益密切，数字图像处理技术的应用领域不断扩大，其中，工业自动化是图像处理的一个重要应用领域。与此同时，图像分割与边缘检测是数字图像处理技术落地实际生产中的一个关注热点，同时也是图像处理中最困难的问题之一。
3.关于图像分割技术，由于问题本身的重要性和困难性，从20世纪70年代起图像分割问题就吸引了很多研究人员为之付出了巨大的努力。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘检测的分割方法、基于深度学习的分割方法以及基于特定理论如小波分析、遗传算法、主动轮廓模型等的分割方法等。但到目前为止，针对不同的分割任务需求，不同方法各有利弊，还不存在一个通用的完美的图像分割的方法。
4.当前粽子行业的生产中的包裹环节基本处于手工状态，劳动强度大，技术要求高且效率低下，严重影响行业的发展。机电一体化技术应用一方面可以减轻劳动强度，另一方面可以提高生产效率，扩大生产规模，这便涉及到粽叶识别的问题。通过定位表层粽叶，使机械臂自动精准定位一叠粽叶中的表层粽叶从而可以精准分选抓取，进入上料环节。粽叶的准确定位能够有效减少瑕疵产品产生率，促进生产规范化、标准化。
5.目前相关领域有关粽叶图像识别的技术多用于检验粽叶品质以减少人工筛选成本，或利用机械方法如吸盘等提取为单张粽叶后再进行定位及后续操作，而如何在一叠粽叶中直接定位表层粽叶相关研究较少，且在自动化生产过程中，识别速度就是生产力的保障，一些基础的图像分割算法在应对重叠区域大、相似程度高的重叠粽叶图像时，表现也无法满足工业生产的精度和速度要求。综上所述，关于重叠粽叶中识别表层粽叶以达到工业生产要求尚未提出有效方案。


技术实现要素：

6.本发明的目的在于提供一种从一叠粽叶图像中自动定位最外层单张粽叶的方法，从而解决现有技术中存在的前述问题。
7.为了实现上述目的，本发明采用的技术方案如下：
8.一种从一叠粽叶图像中自动定位最外层单张粽叶的方法，包括如下步骤，
9.s1、表层粽叶的主叶脉定位：
10.针对粽叶rgb通道彩色图像，运用梯度算子作用在粽叶rgb通道彩色图像的饱和度通道图像上获得包含主叶脉及粽叶边缘的图像，并利用hough变换算法对该图像进行直线
检测，以自动定位表层粽叶的主叶脉；
11.s2、整叠粽叶与背景的自动分割：
12.根据粽叶呈狭长型的几何特征先验，设定一个长轴与主叶脉重合的包含于最外层整张粽叶内的狭长先验椭圆，将狭长先验椭圆与基于结构张量的边缘检测结合构建第一图像分割能量函数，基于图的最大流算法求解第一图像分割能量函数，从图像中将整叠粽叶与背景分割；
13.s3、最外层单张粽叶与整叠粽叶的自动分割：
14.根据最外层粽叶处于整叠粽叶内部的空间位置先验，将该空间位置先验与基于张量的边缘检测结合构建第二图像分割能量函数，基于图的最大流算法求解第二图像分割能量函数，将最外层单张粽叶从整叠粽叶中分割出来。
15.优选的，步骤s1具体包括如下内容，
16.s11、将粽叶rgb通道彩色图像转化为由色调、饱和度和明度组成的彩色空间；
17.s12、对饱和度通道图像求梯度，对梯度的模构成的图像以设定的经验阈值获取一幅二值图像，在二值图像中，主叶脉表现为长度最长的白直线段；
18.s13、将二值图像靠近图像边缘的像素值设置为0，以消除二值图像边界四周的长直线段对主叶脉的影响；
19.s14、利用hough变换算法对步骤s13处理后的二值图像进行直线段检测，提取长度最长的直线段作为表层粽叶的主叶脉。
20.优选的，步骤s2具体包括如下内容，
21.s21、以粽叶图像的每个像素点v
x
为顶点，额外增加两个特殊顶点源s和汇t构成无向s-t图
22.图g的顶点集合包含两类顶点，第一类是粽叶图像的离散像素点v
x
，第二类是源s和汇t；图g的边集合中包含两类边，第一类是像素点v
x
分别与s和t相连的边，称为s-连接与t-连接，第二类为像素点v
x
与其周围m个连通邻域内像素点vy之间相连的边，称为n-连接；
23.s22、对于像素点设置s-连接权重为+∞和t-连接权重为0；
24.以主叶脉中点为狭长先验椭圆的圆心，长半轴与主叶脉重合，构造椭圆区域对于像素点设置s-连接权重为+∞和t-连接权重为0；
25.粽叶图像的四周边界属于背景，像素点在最小割中满足对于这些像素点，设置s-连接权重为0和t-连接权重为+∞；
26.其中，且在图g的任意一个割中，若像素点则认定像素点v
x
在图像背景中，反之，若像素点则认定像素点v
x
在整叠粽叶内；
27.s23、确定每个像素点处的光滑结构张量矩阵的最大特征值，并利用最大特征值确定像素点v
x
与其周围4个连通邻域内像素点vy的n-连接权重；
28.s24、基于像素点的s-连接权重、t-连接权重和n-连接权重，构造第一图像分割能量函数，
[0029][0030]
其中，ε1(φ)为第一图像分割能量函数；d1(x)为s-连接权重；d2(x)为t-连接权重；w(x,y)为n-连接权重；φ为图割的示性函数，若像素点则φ(x)取值为1，反之，若φ(x)取值为0；若像素点则φ(y)取值为1，反之，若φ(y)取值为0；
[0031]
s25、利用图的最大流算法求解第一图像分割优化模型，表达如下，
[0032][0033]
优选的，步骤s3具体包括如下内容，
[0034]
s31、以整叠粽叶的每个像素点v
x
′
为顶点，额外增加两个特殊顶点源s
′
和汇t
′
构成无向s
’‑
t’图
[0035]
图g
′
的顶点集合包含两类顶点，第一类是整叠粽叶的离散像素点v
x
′
，第二类是源s
′
和汇t
′
；图g
′
的边集合中包含两类边，第一类是像素点v
x
′
分别与s
′
和t
′
相连的边，称为s
’‑
连接与t
’‑
连接，第二类为像素点v
x
′
与其周围m个连通邻域内像素点vy′
之间相连的边，称为n
’‑
连接；
[0036]
s32、对于像素点设置s
’‑
连接权重为+∞和t
’‑
连接权重为0；
[0037]
以主叶脉中点为狭长先验椭圆的圆心，长半轴与主叶脉重合，构造椭圆区域对于像素点设置s
’‑
连接权重为+∞和t
’‑
连接权重为0；
[0038]
整叠粽叶的四周边界属于背景，像素点在最小割中满足v
x
′
∈对于这些像素点，设置s
’‑
连接权重为0和t
’‑
连接权重为+∞；
[0039]
其中，且在图g
′
的任意一个割中，若像素点则认定像素点v
x
′
在最外层单张粽叶之外的整叠粽叶上，反之，若像素点则认定像素点v
x
′
在最外层单张粽叶上；
[0040]
以示性函数1-φ
*
的核为半径做形状为圆的膨胀操作，构造圆区域对于像素点设置s
’‑
连接权重为0和t
’‑
连接权重为+∞；
[0041]
s33、确定每个像素点处的光滑结构张量矩阵的最大特征值，并利用最大特征值确定像素点v
x
′
与其周围4个连通邻域内像素点vy′
的n
’‑
连接权重；
[0042]
s34、基于像素点的s
’‑
连接权重、t
’‑
连接权重和n
’‑
连接权重，构造第二图像分割能量函数，
[0043][0044]
其中，ε2(φ)为第二图像分割能量函数；d1(x
′
)为s
’‑
连接权重；d2(x
′
)为t
’‑
连接
权重；w(x
′
,y
′
)为n
’‑
连接权重；φ为图割的示性函数，若像素点则φ(x
′
)取值为1，反之，若φ(x
′
)取值为0；若像素点则φ(y
′
)取值为1，反之，若φ(y
′
)取值为0；
[0045]
s35、利用图的最大流算法求解第二图像分割能量函数，表达如下，
[0046][0047]
优选的，步骤s23具体为，将粽叶rgb通道彩色图像转化为lab彩色图像，该lab彩色图像表示为其梯度表示为，
[0048][0049]
基于梯度获取光滑结构张量矩阵h，
[0050][0051]
其中，f1,f2,f3分别为lab彩色图像f中lab三个通道的分量；g
σ
为参数为σ的高斯核，*为卷积；表示二元函数fj关于第i个变量xi的偏导数；记每个像素点在x和y处的h的最大特征值分别为λ
max
(x)和λ
max
(y)，则像素点v
x
与其周围4个连通邻域内像素点vy的n-连接权重，设置为，
[0052][0053]
本发明的有益效果是：1、本发明方法能够对叶片重叠程度高、相似度大的粽叶图片，能自动且快速地对最外层单张粽叶进行主叶脉、边缘轮廓的提取以及质心定位。2、本发明方法与现有的分割方法相比能够更快地获得精确的全局解，在实际粽叶分割问题上将显著提高精准度与速度，对工业自动化生产力的提高十分有意义。3、本发明方法在粗分割的基础上进行二次精炼分割，提高分割精准度，也更好处理了表层粽叶轮廓与下层粽叶边缘交错的问题；两次分割识别在保证高分割速度的同时也提高了精度。
附图说明
[0054]
图1是本发明实施例中方法的流程示意图；
[0055]
图2是本发明实施例中方法的原理图；
[0056]
图3是本发明实施例中最外层粽叶主叶脉提取效果示意图；
[0057]
图4是本发明实施例中最外层粽叶分割效果示意图。
具体实施方式
[0058]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
[0059]
如图1和图2所示，本实施例中，提供了一种从一叠粽叶图像中自动定位最外层单张粽叶的方法，该方法能够针对叶片重叠程度高、相似度大的粽叶图片中，自动切快速地对最外层单张粽叶进行主叶脉、边缘轮廓的提取以及质心定位。该方法包括三部分内容：
[0060]
一、表层粽叶的主叶脉定位
[0061]
该步骤旨在定位提取表层粽叶的主叶脉，从而完成表层粽叶的定位。
[0062]
具体地：针对粽叶rgb通道彩色图像，运用梯度算子作用在粽叶rgb通道彩色图像的饱和度通道图像上获得包含主叶脉及粽叶边缘的图像，并利用hough变换算法对该图像进行直线检测，以自动定位表层粽叶的主叶脉。
[0063]
本实施例中，针对所给的原始粽叶图片，其主叶脉识别可近似处理为最长线段识别的问题，因此，利用hough变换直线检测方法便可准确识别表层粽叶主叶脉。具体包括如下步骤：
[0064]
1、将粽叶rgb通道彩色图像转化为由色调(hue)、饱和度(saturation)和明度(value/brightness)组成的hsv彩色空间。
[0065]
2、由于在s通道中主叶脉呈现于其他部分明显不同的特征，因此，对s通道的图像求梯度，对梯度的模构成的图像以设定的经验阈值(如0.0008)获取一幅二值图像，在二值图像中，像素值1(白色)代表粽叶边缘及图像中的其它细节，0(黑色)为背景，主叶脉大致表现为长度最长的白直线段。
[0066]
3、为了消除图像边界四周可能产生的长直线段对判断主叶脉的影响，将二值图像靠近图像边缘的像素值设置为0；
[0067]
4、利用hough变换算法对上一步的二值图像进行直线段检测，提取长度最长的直线段作为表层粽叶的主叶脉。
[0068]
二、整叠粽叶与背景的自动分割
[0069]
该部分的核心思路为：根据粽叶呈狭长型的几何特征先验，设定一个长轴与主叶脉重合的包含于最外层整张粽叶内的狭长先验椭圆，将狭长先验椭圆与基于结构张量的边缘检测结合构建第一图像分割能量函数，基于图的最大流算法求解第一图像分割能量函数，从图像中将整叠粽叶与背景分割。
[0070]
如图3所示，本实施例中，基于第一部分中主叶脉提取的结果，为提高分割的精度，本发明根据粽叶呈狭长型的几何特征先验，设定一个长轴与主叶脉重合的狭长型先验椭圆。该椭圆包含于最外层整张粽叶内。该步骤可以为后续的图像分割算法提供几何与空间位置先验，提高图像分割准确性。将上述椭圆先验结合进图割分割优化模型，利用基于图的最大流算法求解该模型，自动从图像中将整叠粽叶与背景分割；本发明基于图割算法，利用各种位置先验进行整叠粽叶与背景的自动分割。此算法比现有的图割方法能更快地获得精确的全局解，在实际粽叶分割问题上将显著提高精准度与速度，这对于工业自动化生产力的提高十分有意义。无论是理论层面分析还是实验结果均表明，本发明使用的分割方法与一些现有分割方法相比具有很强的竞争力。
[0071]
本发明方法结合整叠粽叶与背景图像的空间位置先验，重新设计了一种图，使得该图的最小割就是理想的分割结果。并且能从数学理论上给出该最小割问题对应的优化问题。从而利用最大流算法求解该优化问题。该算法在应用至本实例的分割问题上表现优异。本发明中的算法提高了整叠粽叶与背景自动分割的速度和精度，这在自动化生产中引起的产能提高是非常有意义的。具体包括如下步骤：
[0072]
1、以粽叶图像的每个像素点v
x
为顶点，额外增加两个特殊顶点源s和汇t构成无向s-t图利用整叠粽叶中心点为源点和以粽叶图像中心点为汇点。
[0073]
图g的顶点集合包含两类顶点，第一类是粽叶图像的离散像素点v
x
，第二类是源s和汇t；表示为，顶点集合ω为像素点的位置坐标集。
[0074]
图g的边集合中包含两类边，第一类是像素点v
x
分别与s和t相连的边，称为s-连接与t-连接，表示为：
[0075]
第二类为像素点v
x
与其周围m个连通邻域内像素点vy之间相连的边，称为n-连接，表示为：对于v
x
,vy，其中的下标x和y是用来区分不同的像素点的，如v1，v2；当ω是正整数集{1,2..,n}，则相关像素点即可表示为v1,v2…
vn。
[0076]
因此，图g的所有边可表示为：每条边(v
x
,vy)有一个象征输送能力的权重图g的割是指去掉g的一些边，能将顶点集合分成两个交集为空的连通集和使得且且所以每个割中去掉的这些边的权重会形成一个代价，
[0077][0078]
在该图的任意一个割中，如果像素点则将v
x
分割为图像背景点，即像素点v
x
在图像背景中。反之，即认定v
x
在整叠粽叶区域内。最小割就是使得代价最小的图割。图的最小割是可以通过其对偶问题即最大流来计算的。下一步将利用图像中粽叶与背景的空间位置先验，构造特殊一个特殊s-t图，使得图的最小割所对应的图像分割恰好能将整叠粽叶与图像背景分离。
[0079]
2、利用整叠粽叶与背景的位置先验设定图g的s-连接和t-连接权重
[0080]
(1)首先，第一步中提取到的主叶脉位置的像素点v
x
应处于粽叶区域，这样的像素点在最小割中应该满足因此设置s-连接权重连接权重(实际算法中以一个非常大的正数9
×
109来代替+∞)，t-连接权重这样的权重设置能保证t-连接一定是最小割中去掉的边(否则最小割的能量将会是+∞，这与最小割的定义是矛盾的)，因此有
[0081]
(2)、然后，利用粽叶呈狭长的几何先验，扩大先验安慰，提高分割算法的精准性。计算提取到的主叶脉直线段长度为l，以主叶脉中点为狭长先验椭圆的圆心，长半轴与主叶
脉重合，长度为a＝αl(算法中取)，短半轴b＝β(算法中取β＝40个像素)，构造椭圆区域对于像素点设置s-连接权重为(实际算法中以一个非常大的正数9
×
109来代替+∞)和t-连接权重该权重的设置原因与步骤(1)相同。
[0082]
粽叶图像的四周边界属于背景，像素点在最小割中满足因此，对于这些像素点，设置s-连接权重和t-连接权重连接权重(实际算法中以一个非常大的正数9
×
109来代替+∞)。此时，这样的像素点在最小割中应去掉s-连接(否则最小割的能量将会是+∞，这与最小割的定义是矛盾的)，因此
[0083]
3、利用图像的边界信息设置n-连接权重
[0084]
设置n-链接的目的是为了让最小割中去掉的边恰好落在整叠粽叶与背景图像的交接边界处。因此在边界处的像素点需要设置较小的权，而其他区域设置较大的权重即可。首先构造一个边界检测函数，用于大致检测整叠粽叶与背景图像的交接边界处。本发明采用向量值函数的结构张量的最大特征值来构造一种边缘检测函数。相比于已有的边缘检测方法，本发明采用的方法能更加精准地检测整叠粽叶的边界。为了更加精确地探测粽叶的边界，先将rgb图像转化为lab颜色空间。了方便表达，记该lab彩色图像为边界，先将rgb图像转化为lab颜色空间。了方便表达，记该lab彩色图像为x为像素点位置，f1,f2,f3分别表示彩色图像f中lab三个通道的分量。其梯度为3
×
2矩阵，
[0085][0086][0087]
光滑化结构张量矩阵h是一个3
×
3矩阵。表示二元函数fj关于第i个变量xi的偏导数。通过计算矩阵h的特征值，可以获得每个像素点处h的最大特征值。其中g
σ
是参数为σ的高斯核，*代表卷积。记每个像素点x和y处的h的最大特征值分别为λ
max
(x)和λ
max
(y)。该函数值的大小反应了向量值图像边界的强弱，可以视为一种粽叶的边界检测函数。
[0088]
则像素点v
x
与其周围4个连通邻域内像素点vy的n-连接权重，设置为，
[0089][0090]
4、基于像素点的s-连接权重、t-连接权重和n-连接权重，构造第一图像分割能量
函数，
[0091][0092]
其中，ε1(φ)为第一图像分割能量函数；d1(x)为s-连接权重，即d2(x)为t-连接权重，即w(x,y)为n-连接权重，即φ为图割的示性函数，若像素点则φ(x)取值为1，反之，若φ(x)取值为0；若像素点则φ(y)取值为1，反之，若φ(y)取值为0。
[0093]
5、利用图的最大流算法求解第一图像分割优化模型，表达如下，
[0094][0095]
可以从数学上证明，上述能量的最小元φ
*
对应于上述构造的图g最小割的示性函数(具体证明过程略)。因此，本发明利用最大流(max-flow)算法获取分割能量函数的极小元φ
*
，分离整叠粽叶与图片背景。
[0096]
本实施例中，构造的图g充分利用了第一步提取到的粽叶主叶脉与整叠粽叶处于图像中间的空间位置先验，构建的分割能量与算法具有鲜明的特色。这一步能精准分离整叠粽叶与图片背景。
[0097]
三、最外层单张粽叶与整叠粽叶的自动分割
[0098]
该部分的核心思路为：根据最外层粽叶处于整叠粽叶内部的空间位置先验，将该空间位置先验与基于张量的边缘检测结合构建第二图像分割能量函数，基于图的最大流算法求解第二图像分割能量函数，将最外层单张粽叶从整叠粽叶中分割出来。
[0099]
如图4所示，该部分需要利用第二部分提取到的整叠粽叶的分割结果。由于粽叶叠放导致边缘交错或重合，这一步骤是最外层单张粽叶分割的难点。根据粽叶呈狭长的特征，利用主叶脉的长度及位置信息，设定一个预设大小以主叶脉为长轴的椭圆，椭圆内部一定范围必包含于表层粽叶内；同时，利用最外层单张粽叶大致位于整叠粽叶之内的先验，构建分割模型。由于利用了特殊先验，此算法比现有图像分割算法能更精确的提取最外层单张粽叶。具体包括如下步骤：
[0100]
1、以整叠粽叶的每个像素点v
x
′
为顶点，额外增加两个特殊顶点源s
′
和汇t
′
构成无向s
’‑
t’图利用最外层粽叶中心点为源点和以整叠粽叶中心点为汇点。
[0101]
图g
′
的顶点集合包含两类顶点，第一类是整叠粽叶的离散像素点v
x
′
，第二类是源s
′
和汇t
′
；图g
′
的边集合中包含两类边，第一类是像素点v
x
′
分别与s
′
和t
′
相连的边，称为s
’‑
连接与t
’‑
连接，第二类为像素点v
x
′
与其周围m个连通邻域内像素点vy′
之间相连的边，称为n
’‑
连接；
[0102]
2、对于像素点设置s
’‑
连接权重和t
’‑
连接权重
[0103]
以主叶脉中点为狭长先验椭圆的圆心，长半轴与主叶脉重合，构造椭圆区域对
于像素点设置s
’‑
连接权重和t
’‑
连接权重
[0104]
整叠粽叶的四周边界属于背景，像素点在最小割中满足在最小割中满足对于这些像素点，设置s
’‑
连接权重和t
’‑
连接权重
[0105]
其中，且在图g
′
的任意一个割中，若像素点则认定像素点v
x
′
在最外层单张粽叶之外的整叠粽叶上，反之，若像素点则认定像素点v
x
′
在最外层单张粽叶上；
[0106]
以示性函数1-φ
*
的核为半径做形状为圆的膨胀操作，构造圆区域对于像素点设置s
’‑
连接权重和t
’‑
连接权重
[0107]
3、确定每个像素点处的光滑结构张量矩阵的最大特征值，并利用最大特征值确定像素点v
x
′
与其周围4个连通邻域内像素点vy′
的n
’‑
连接权重，表示为
[0108]
4、基于像素点的s
’‑
连接权重、t
’‑
连接权重和n
’‑
连接权重，构造第二图像分割能量函数，
[0109][0110]
其中，ε2(φ)为第二图像分割能量函数；d1(x
′
)为s
’‑
连接权重即；d2(x
′
)为t
’‑
连接权重，即w(x
′
,y
′
)为n
’‑
连接权重，即
[0111]
5、利用图的最大流算法求解第二图像分割能量函数，表达如下，
[0112][0113]
本实施例中，图g
′
有关主叶脉位置和以主叶脉中点为椭圆的像素点v
x
′
的顶点的s
’‑
连接和t
’‑
连接权重设置与第二部分中图g中的设置完全一致。图g
′
的n-连接与第二部分中图g中的设置完全一致。分割能量数学表达也与第二步中分割能量一致。区别点在于，该部分以第二部分得到图像背景的分割结果的示性函数1-φ
*
(二值图像)的核为半径(为5个像素)做形状为圆的膨胀操作。设膨胀后的背景区域为为了利用这个背景先验，对内图g
′
的顶点v
x
，在最小割中应有因此，对于设置s
’‑
连接权重和t
’‑
连接权重(实际算法中以一个非常大的正数9
×
109来代替+∞).此时，最小割中应去掉s
’‑
连接(否则最小割的能量将会是+∞，这与最小割的定义是矛盾的)，因此满足
[0114]
之后利用最大流算法求解图g
′
的最小割，从而达到从整叠粽叶中分量出最外层单张粽叶。至此，完成对最外层粽叶的定位与提取。
[0115]
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
[0116]
本发明公开了一种从一叠粽叶图像中自动定位最外层单张粽叶的方法，发明方法
能够对叶片重叠程度高、相似度大的粽叶图片，能自动且快速地对最外层单张粽叶进行主叶脉、边缘轮廓的提取以及质心定位。本发明方法由于利用了粽叶图像与粽叶形状的先验，与现有的同类方法相比，在实际粽叶分割问题上将显著提高精准度与速度，对工业自动化生产力的提高十分有意义。本发明方法通过整叠粽叶与背景分离，单张粽叶与整叠粽叶分离二次分割，提高分割外层粽叶的精准度，也更好处理了表层粽叶轮廓与下层粽叶边缘交错的问题；两次分割识别在保证高分割速度的同时也提高了精度。
[0117]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

技术特征：
1.一种从一叠粽叶图像中自动定位最外层单张粽叶的方法，其特征在于：包括如下步骤，s1、表层粽叶的主叶脉定位：针对粽叶rgb通道彩色图像，运用梯度算子作用在粽叶rgb通道彩色图像的饱和度通道图像上获得包含主叶脉及粽叶边缘的图像，并利用hough变换算法对该图像进行直线检测，以自动定位表层粽叶的主叶脉；s2、整叠粽叶与背景的自动分割：根据粽叶呈狭长型的几何特征先验，设定一个长轴与主叶脉重合的包含于最外层整张粽叶内的狭长先验椭圆，将狭长先验椭圆与基于结构张量的边缘检测结合构建第一图像分割能量函数，基于图的最大流算法求解第一图像分割能量函数，从图像中将整叠粽叶与背景分割；s3、最外层单张粽叶与整叠粽叶的自动分割：根据最外层粽叶处于整叠粽叶内部的空间位置先验，将该空间位置先验与基于张量的边缘检测结合构建第二图像分割能量函数，基于图的最大流算法求解第二图像分割能量函数，将最外层单张粽叶从整叠粽叶中分割出来。2.根据权利要求1所述的从一叠粽叶图像中自动定位最外层单张粽叶的方法，其特征在于：步骤s1具体包括如下内容，s11、将粽叶rgb通道彩色图像转化为由色调、饱和度和明度组成的彩色空间；s12、对饱和度通道图像求梯度，对梯度的模构成的图像以设定的经验阈值获取一幅二值图像，在二值图像中，主叶脉表现为长度最长的白直线段；s13、将二值图像靠近图像边缘的像素值设置为0，以消除二值图像边界四周的长直线段对主叶脉的影响；s14、利用hough变换算法对步骤s13处理后的二值图像进行直线段检测，提取长度最长的直线段作为表层粽叶的主叶脉。3.根据权利要求2所述的从一叠粽叶图像中自动定位最外层单张粽叶的方法，其特征在于：步骤s2具体包括如下内容，s21、以粽叶图像的每个像素点v
x
为顶点，额外增加两个特殊顶点源s和汇t构成无向s-t图图g的顶点集合包含两类顶点，第一类是粽叶图像的离散像素点v
x
，第二类是源s和汇t；图g的边集合中包含两类边，第一类是像素点v
x
分别与s和t相连的边，称为s-连接与t-连接，第二类为像素点v
x
与其周围m个连通邻域内像素点v
y
之间相连的边，称为n-连接；s22、对于像素点设置s-连接权重为+∞和t-连接权重为0；以主叶脉中点为狭长先验椭圆的圆心，长半轴与主叶脉重合，构造椭圆区域对于像素点设置s-连接权重为+∞和t一连接权重为0；粽叶图像的四周边界θω属于背景，像素点在最小割中满足对于这些像素点，设置s-连接权重为0和t-连接权重为+∞；其中，且在图g的任意一个割中，若像素点
则认定像素点v
x
在图像背景中，反之，若像素点则认定像素点v
x
在整叠粽叶内；s23、确定每个像素点处的光滑结构张量矩阵的最大特征值，并利用最大特征值确定像素点v
x
与其周围4个连通邻域内像素点v
y
的n-连接权重；s24、基于像素点的s-连接权重、t-连接权重和n-连接权重，构造第一图像分割能量函数，其中，ε1(φ)为第一图像分割能量函数；d1(x)为s-连接权重；d2(x)为t-连接权重；w(x，y)为n-连接权重；φ为图割的示性函数，若像素点则φ(x)取值为1，反之，若φ(x)取值为0；若像素点则φ(y)取值为1，反之，若φ(y)取值为0；s25、利用图的最大流算法求解第一图像分割优化模型，表达如下，4.根据权利要求3所述的从一叠粽叶图像中自动定位最外层单张粽叶的方法，其特征在于：步骤s3具体包括如下内容，s31、以整叠粽叶的每个像素点v
x
′
为顶点，额外增加两个特殊顶点源s
′
和汇t
′
构成无向s
′‑
t
′
图图g
′
的顶点集合包含两类顶点，第一类是整叠粽叶的离散像素点v
x
′
，第二类是源s
′
和汇t
′
；图g
′
的边集合中包含两类边，第一类是像素点v
x
′
分别与s
′
和t
′
相连的边，称为s
′‑
连接与t
′‑
连接，第二类为像素点v
x
′
与其周围m个连通邻域内像素点v
y
′
之间相连的边，称为n
′‑
连接；s32、对于像素点设置s
′‑
连接权重为+∞和t
′‑
连接权重为0；以主叶脉中点为狭长先验椭圆的圆心，长半轴与主叶脉重合，构造椭圆区域对于像素点设置s
′‑
连接权重为+∞和t
′‑
连接权重为0；整叠粽叶的四周边界属于背景，像素点在最小割中满足在最小割中满足对于这些像素点，设置s
′‑
连接权重为0和t
′‑
连接权重为+oo；其中，且在图g
′
的任意一个割中，若像素点则认定像素点v
x
′
在最外层单张粽叶之外的整叠粽叶上，反之，若像素点则认定像素点v
x
′
在最外层单张粽叶上；以示性函数1-φ
*
的核为半径做形状为圆的膨胀操作，构造圆区域对于像素点设置s
′‑
连接权重为0和t
′‑
连接权重为+oo；s33、确定每个像素点处的光滑结构张量矩阵的最大特征值，并利用最大特征值确定像素点v
x
′
与其周围4个连通邻域内像素点v
y
′
的n
′‑
连接权重；s34、基于像素点的s
′‑
连接权重、t
′‑
连接权重和n
′‑
连接权重，构造第二图像分割能量
函数，其中，ε2(φ)为第二图像分割能量函数；d1(x
′
)为s
′‑
连接权重；d2(x
′
)为t
′‑
连接权重；w(x
′
，y
′
)为n
′‑
连接权重；φ为图割的示性函数，若像素点则φ(x
′
)取值为1，反之，若φ(x
′
)取值为0；若像素点则φ(y
′
)取值为1，反之，若φ(y
′
)取值为0；s35、利用图的最大流算法求解第二图像分割能量函数，表达如下，5.根据权利要求4所述的从一叠粽叶图像中自动定位最外层单张粽叶的方法，其特征在于：步骤s23具体为，将粽叶rgb通道彩色图像转化为lab彩色图像，该lab彩色图像表示为f＝(f1，f2，f3)：其梯度表示为，基于梯度获取光滑结构张量矩阵h，其中，f1，f2，f3分别为lab彩色图像f中lab三个通道的分量；g
σ
为参数为σ的高斯核，*为卷积；表示二元函数f
j
关于第i个变量x
i
的偏导数；记每个像素点在x和y处的h的最大特征值分别为λ
max
(x)和λ
max
(y)，则像素点v
x
与其周围4个连通邻域内像素点v
y
的n-连接权重，设置为，

技术总结
本发明公开了一种从一叠粽叶图像中自动定位最外层单张粽叶的方法，包括如下步骤，S1、表层粽叶的主叶脉定位；S2、整叠粽叶与背景的自动分割；S3、最外层单张粽叶与整叠粽叶的自动分割。优点是：能够在一叠粽叶图像中自动检测最外层粽叶主叶脉的准确率高，且能够自动、快速地识别最外层单张粽叶并计算其各种数字特征，例如主叶脉坐标、粽叶质心、粽叶面积等。该方法为工业生产中机械臂能准确地抓取单张粽叶提供了一种基于纯视觉的数学算法。粽叶提供了一种基于纯视觉的数学算法。粽叶提供了一种基于纯视觉的数学算法。


技术研发人员：刘君 刘杨 王发强 郑创 崔丽
受保护的技术使用者：北京师范大学
技术研发日：2023.07.11
技术公布日：2023/10/15