一种基于神经网络算法的多部位猪肉肌内脂肪含量的估算方法

1.本发明涉及一种基于神经网络算法的多部位猪肉肌内脂肪含量的估算方法，属于猪肉检测技术领域。


背景技术：

2.猪肉是国民消费量最大的肉类食品，由于其较高的营养价值，长期以来对猪肉质量的检测和研究越来越受到大众重视。人们普遍认为，肌内脂肪含量高低（imf%）是影响猪肉品质的重要因素之一。
3.传统的猪肉的肌内脂肪含量的快速检测方法是通过乙醚萃取法来进行检测的。该种方法是将每个猪肉样品在烘箱（100
°
c）中干燥至少24小时，然后在索氏提取器中再提取石油醚8小时,其存有化学分析耗时长、繁琐、昂贵、破坏性强的缺陷。
4.为了解决这一问题，目前市面上出现了一种无损检测方式，如授权公告号为cn105701805；b的发明专利公开的一种基于计算机视觉的猪肉肌内脂肪含量无损检测方法，由于猪肉肋骨处背最长肌部位特征明显且肌内脂肪含量较少，而猪梅花肉、五花肉部位肌内脂肪纹理及特征较复杂，使用传统视觉方法识别难度大，因此其只能实现猪肉肋骨处背最长肌（俗称为眼肌）的单一部位肌内脂肪含量检测，无法应用到猪肉的多个部位，存有检测范围窄的问题。另外其虽然能够通过无损检测的方式完成猪肉肌内脂肪的检测，但是其是将猪肉样本置于黑色背景布上，并用白色led灯对样本补光拍摄获取的，利用样本块修复方法对样本进行预处理，恢复图像反光区域原有信息，最后建立回归预测模型预测猪肉肌内脂肪含量的方式实现的，其存有猪肉样本图像采集有较多环境要求，需要保证图像背景与猪肉目标的高度可分性，不适用于市民选购猪肉的日常生活环境中。同时，样本块修复方法中样本块大小是固定的，每个猪肉样本图像的环境及特征各不相同，在修复过程中无法根据图像的具体情况进行调节，在很大程度上影响了图像的整体修复效果，而且图像修复是一个不确定问题，没有唯一解存在，图像修复方法不能百分百还原猪肉样本原始图像，因此检测结果和猪肉样本实际肌内脂肪含量相差较大。因此现有无损检测方法存有准确性不高，误差较大的问题。
5.由此有必要研发一种新的多个部位猪肉肌内脂肪含量的估算方法，以解决现有猪肉肌内脂肪含量无损检测方法存有的检测范围窄和检测误差较大的问题。


技术实现要素：

6.本发明的目的在于：提供一种基于神经网络算法的多部位猪肉肌内脂肪含量的估算方法，以解决现有无损检测检测方法存有的检测范围窄和检测误差较大的问题。
7.本发明的技术方案：一种基于神经网络算法的多部位猪肉肌内脂肪含量的估算方法，其特征在于：该估算方法包括如下步骤：
1、获取数据；1.1、数据来源：本研究使用的样本包括猪里脊肉、梅花肉、后腿肉、前腿肉和五花肉，共计1500个样本；1500个样本均为当日宰杀获取的新鲜猪肉，其来自长江大学周边各大猪肉售卖点；随后使用拍摄分辨率为4608
×
3456的相机对1500个样本进行拍摄，得到图像数据a；1.2、训练数据的选择；对步骤1.1获得的图像数据a中模糊、噪声明显、猪肉光线太过于阴暗的图像进行剔除后，剩下的图像组成图像数据b；为了使训练模型结果更加精确，对图像数据b采用翻转、改变尺寸、图像比例缩放、标准化、padding方法进行数据增强，从而生成上下左右翻转、尺寸裁剪至1920
×
1080大小、比例放大一倍的图像数据c；1.3、数据标注；将步骤1.2获得的图像数据c中每一个图像数据使用labelme工具进行标注，分别得到猪肉类别和猪肉的背景类别；2、数据预处理；由于相机拍摄使用的是rgb颜色空间，因此图像数据c中的数据也为rgb颜色空间，此外每个样本的猪肉颜色不尽相同，并且在拍摄样本过程中存在拍摄环境照明不均匀，光线问题对图像分割造成一定影响；因此需要将rgb颜色空间图像数据c转换到lab颜色空间图像数据d，lab模型不依赖光线因素，可以消除猪肉的阴影，通过数字化的方法描述人的视觉感受；rgb颜色空间图像数据c转换到lab颜色空间图像数据d的具体方法如下：lab颜色空间由3个通道组成，分别为一个亮度通道和两个颜色通道；rgb颜色空间无法直接转换为lab颜色空间，需要先转换到xyz颜色空间，再由xyz颜色空间转换到lab颜色空间；转换公式如下:l表示亮度；a的正数代表红色，负端代表绿色；b的正数代表黄色，负端代表蓝色。x和y定义颜色，z定义亮度。x1，y1，z1分别是线性归一化之后的xyz的值, r代表红色颜色通道，g代表绿色颜色通道，b代表蓝色颜色通道；使用图像数据c中每个图像数据，通过计算机像素计数法计算肌内脂肪和肌肉的面积，公式如下：肌内脂肪面积比例 =（肌内脂肪面积像素 /（肌内脂肪面积像素+肌肉面积像素））
×ꢀ
100%（公式3）肌肉面积比例 =（肌肉面积像素 /（肌内脂肪面积像素+肌肉面积像素））
×ꢀ
100%（公式4）3、构建分割模型；为了保证后续分类算法的聚焦，首先要对图像数据c中每一个图像数据分割，考虑
到猪肉颜色与背景区域的高相似度，传统的图像处理算法难以对猪肉样本进行分割；因此将步骤2得到的图像数据c创建一个数据集，并将其放入基于cbam注意力模块改进的u2-net模型进行训练；基于cbam注意力模块改进的u2-net模型方式如下，在u2-net模型解码阶段添加cbam注意力模块，cbam注意力模块使用通道注意块和空间注意块相结合的注意块结构；要实现猪肉的精确分割，需要把高分辨率局部信息和低分辨率全局信息整合起来，也就是说，利用多尺度特征产生更好的分割结果；改进的u2-net模型引入了cbam注意力模块，在解码器每个上采样阶段依次添加5个cbam注意力模块；将步骤2得到的图像数据c创建一个数据集，并将其放入基于cbam注意力模块改进的u2-net模型进行训练,它的目的是将猪肉图像从背景中分离出来，其具体的方式如下：首先选用改进的u2-net模型作为我们的训练模型，将图像数据c加载到该模型中进行训练，接着对模型训练结果进行评估，并输出预测图像，最后使用图像处理算法获得去除背景的图像数据；3.1、选择图像数据c生成训练集；将步骤1.3得到的图像数据c随机分为两组，其中70%图像数据c作为训练集，30%图像数据c作为验证集，以用于训练和验证；3.2、改进的u2-net模型可当做特征提取模块，其中该模型本身是一个大的u-net模型，编码器和解码器的每一级模型也是由一个u-net结构的自编码器组成，因此组成了多尺度特征提取的改进的u2-net模型；改进的u2-net模型是一个两级嵌套的u型结构，它由六级编码器、五级解码器、六级cbam注意力模块与cbam模块和最后一级编码器相连的显著图融合模型；以en_6为轴，形成对称的u型结构，左侧为编码器，右侧为解码器、cbam模块、显著性图融合模块；六级解码器输出通过cbam模块联结，每个cbam模块与同一级编码器输出通道数保持一致，特征图经过cbam模块输出6组特征图，输出6个mask二值图，分辨率依次为：1
×
320
×
320，1
×
160
×
160，1
×
80
×
80，1
×
40
×
40，1
×
20
×
20，1
×
10
×
10；接着分别进行不同倍率上采样，得到6个1
×
320
×
320特征图，将它们使用concat操作融合在一起，得到6
×
320
×
320的特征图，然后通过1
×
1卷积层和sigmoid函数，最终生成显著性概率图s_fuse。
8.改进的u2-net模型分成了多个block，每个block输出一个损失函数，整个模型的损失函数计算公式如下：上式中，m=1、2
…
6，表示sup1、sup2
…
sup6，和是每个损失函数的权重参数，表示6个mask二值图的损失值loss，表示最终融合输出显著性概率图的损失值loss。
9.损失函数计算方法采用的是：standard binary cross-entropy；对于每一项，使用标准二进制交叉熵来计算损失：上式中，（r，c）表示像素坐标值，（h，w）表示图像高、宽；表示标签图像灰度值，
表示预测的显著概率图；通过使用迁移学习的方法，将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中；把u2-net的预训练模型的权重当做预训练参数；超参数学习率采用余弦退火衰减策略；通过3.2的步骤得到最终模型预测结果；3.3、使用图像处理算法获得去除背景的图像数据e；首先使用改进的u2-net模型依据图像数据c预测得到二值化图像，然后采用opencv和pillow库来去除步骤1.3中猪肉的背景类别，从而获取彩色猪肉图像；随后调用opencv库将图像数据c和二值化图像进行按位减法操作，图像数据c和二值化图像处理变成背景为黑色的图像sub_image，使用pil库得到sub_image的非黑色部分,处理方式如下：首先使用pil库将图像数据c和二值化图像进行按位得到它们中的非黑色部分sub_image，如果sub_image的像素为黑色（0，0，0），那么使用透明像素来替换该像素点，如果像素点不是黑色，就使用原始未分割图像中的同一位置猪肉像素替代它；因此得到最终背景像素为黑色（0，0，0）和原始猪肉区域的图像数据e；4、将步骤3的结果改进abc-kmeans分割脂肪和肌肉；使用基于自适应搜索因子及levy飞行法的人工蜂群算法改进k-means聚类算法；图像数据e中包含像素值为（0，0，0）的黑色背景和猪肉肌内脂肪和猪肉肌肉，同时通过opencv库方法得到图像数据e的rgb颜色分量直方图；rgb颜色分量直方图存在两个山峰，再加上像素为（0，0，0）的黑色背景，因此可以将图像分为三个类别，即k取值为3；人工蜂群算法随机产生 n 个侦查蜂，n 也表示初始时蜜源的个数。n 个蜜源位置被抽象成解的空间，每个蜜源 (i=1,2,
…
,n)的花蜜量对应每个解的适应度值fit。设求解问题的维数为 d，即优化参数的个数。
10.人工蜂群算法中引入自搜索因子来避免陷入局部最优解，通过调整种群更新步长来增强局部搜索能力，速度更新公式为：在公式7中，i∈(1,2,
…
,n)，j∈(1,2,
…
,d)，为随机选择的不等于 i 的蜜源的第j 维位置，是之前最差的花蜜来源，是新的蜜源位置，表示在[-1, 1]范围内的一个随机数。
[0011]
引入自适应因子可加快算法收敛速度；其中随着算法迭代次数进行变化的公式为：其中，分别表示自适应因子的最大值和最小值，表示种群之间最大的混合迭代次数；c表示当前子种群的总迭代次数；同时引入levyflight方法扩大搜索范围，提高搜索能力；levy飞行法是典型的随机步进运动模式，它遵循levy分布，即短距离运动和少量长距离运动的组合；基于levy搜索行为的蜜蜂源更新公式为：上面公式中是之前最差的花蜜来源，为步长因子，是新的蜜源位置，
是使用mante-gna算法进行levy飞行的随机步长，它的公式为：其中，表示常数1.5，服从正态分布，。和的公式分别为：其中，γ(x)为 gamma函数，表示常数1.5。
[0012]
利用levy飞行的方法，丰富了蜂群位置多样性，扩大了搜索步长；基于自适应搜索因子及levy飞行法优化算法的k-means更容易跳出局部最优解，使改进的算法优化能力有效提升；基于自适应搜索因子及levy飞行法改进的人工蜂群算法程序设计流程图；初始种群数目取100个，自搜索因子为0.9，为0.4，终止条件为最大迭代500。
[0013]
5、生成最终预测结果；5.1、使用了u2-net网络模型进行训练；训练使用momentum优化器，初始学习率为0.01，超参数学习率使用余弦退火衰减，batch_size设为16，训练20000个epochs；通过3.2的步骤得到最终的测试图像分割结果，图像数据c经过改进的u2-net模型预测得到分割后二值化图像，再通过步骤3.3中的方法处理得到去除背景的猪肉原始图像；5.2、将分割并处理的图像使用改进的abc-kmeans算法进行预测，按照步骤4中的方法进行参数设置和迭代，测试最终得到三个聚类的图像数据f，脂肪肌肉分割图像、猪肉脂肪图像和猪肉肌肉图像；6、基于神经网络及聚类算法的猪肉肌内脂肪含量的估算方法应用；使用拍照设备拍摄待检测的猪肉样本图像,得到样本图像a，进行数据预处理得到样本图像c,采用基于cbam改进的u2-net模型来分割样本图像c得到二值化图像；接着使用步骤3.3中的图像处理算法处理样本图像c和二值化图像，获得去除背景样本图像e；随后将样本图像e使用步骤4基于自适应搜索因子及levy飞行法改进的人工蜂群算法用于k-means算法中，快速收敛得到全局最优的初始聚类中心，预测得到聚类的样本图像f，从而得到猪肉样本的肌内脂肪和肌肉含量。
[0014]
本发明的优点在于：该基于神经网络算法的多部位猪肉肌内脂肪含量的估算方法，通过用的学习聚类方法和样本图像的转换方法解决了现有无损检测检测方法存有的检测范围窄和检测误差较大的问题，特别适合猪肉肌内脂肪含量检测使用的需要。
附图说明
[0015]
图1为本发明步骤3中在u2-net模型解码阶段添加的cbam注意力模块的结构示意图；图2为本发明步骤3中语义分割模型的训练流程图；
图3为本发明步骤3.2中最终模型预测结果图；图4为本发明步骤3.3中各个图像处理的示意图；图5为本发明步骤4中图像数据e的rgb颜色分量直方图；图6 步骤4中改进人工蜂群算法流程图；图7 为本发明步骤5.1中的预测测试图像结果；图8 为本发明步骤5.2得到的图像数据聚类结果。
具体实施方式
[0016]
该基于神经网络算法的多部位猪肉肌内脂肪含量的估算方法，该估算方法包括如下步骤：1、获取数据；1.1、数据来源：本研究使用的样本包括猪里脊肉、梅花肉、后腿肉、前腿肉和五花肉，共计1500个样本；1500个样本均为当日宰杀获取的新鲜猪肉，其来自长江大学周边各大猪肉售卖点；随后使用拍摄分辨率为4608
×
3456的相机对1500个样本进行拍摄，得到图像数据a；1.2、训练数据的选择；对步骤1.1获得的图像数据a中模糊、噪声明显、猪肉光线太过于阴暗的图像进行剔除后，剩下的图像组成图像数据b；为了使训练模型结果更加精确，对图像数据b采用翻转、改变尺寸、图像比例缩放、标准化、padding方法进行数据增强，从而生成上下左右翻转、尺寸裁剪至1920
×
1080大小、比例放大一倍的图像数据c；1.3、数据标注；将步骤1.2获得的图像数据c中每一个图像数据使用labelme工具进行标注，分别得到猪肉类别和猪肉的背景类别；2、数据预处理；由于相机拍摄使用的是rgb颜色空间，因此图像数据c中的数据也为rgb颜色空间，此外每个样本的猪肉颜色不尽相同，并且在拍摄样本过程中存在拍摄环境照明不均匀，光线问题对图像分割造成一定影响；因此需要将rgb颜色空间图像数据c转换到lab颜色空间图像数据d，lab模型不依赖光线因素，可以消除猪肉的阴影，通过数字化的方法描述人的视觉感受；rgb颜色空间图像数据c转换到lab颜色空间图像数据d的具体方法如下：lab颜色空间由3个通道组成，分别为一个亮度通道和两个颜色通道；rgb颜色空间无法直接转换为lab颜色空间，需要先转换到xyz颜色空间，再由xyz颜色空间转换到lab颜色空间；转换公式如下:l表示亮度；a的正数代表红色，负端代表绿色；b的正数代表黄色，负端代表蓝色。x
和y定义颜色，z定义亮度。x1，y1，z1分别是线性归一化之后的xyz的值, r代表红色颜色通道，g代表绿色颜色通道，b代表蓝色颜色通道；使用图像数据c中每个图像数据，通过计算机像素计数法计算肌内脂肪和肌肉的面积，公式如下：肌内脂肪面积比例 =（肌内脂肪面积像素 /（肌内脂肪面积像素+肌肉面积像素））
×ꢀ
100%（公式3）肌肉面积比例 =（肌肉面积像素 /（肌内脂肪面积像素+肌肉面积像素））
×ꢀ
100%（公式4）3、构建分割模型；为了保证后续分类算法的聚焦，首先要对图像数据c中每一个图像数据分割，考虑到猪肉颜色与背景区域的高相似度，传统的图像处理算法难以对猪肉样本进行分割；因此将步骤2得到的图像数据c创建一个数据集，并将其放入基于cbam注意力模块改进的u2-net模型进行训练；基于cbam注意力模块改进的u2-net模型方式如下，在u2-net模型解码阶段添加cbam注意力模块（参见说明书附图1），cbam注意力模块使用通道注意块和空间注意块相结合的注意块结构；要实现猪肉的精确分割，需要把高分辨率局部信息和低分辨率全局信息整合起来，也就是说，利用多尺度特征产生更好的分割结果；改进的u2-net模型引入了cbam注意力模块，在解码器每个上采样阶段依次添加5个cbam注意力模块；将步骤2得到的图像数据c创建一个数据集，并将其放入基于cbam注意力模块改进的u2-net模型进行训练,它的目的是将猪肉图像从背景中分离出来，其具体的方式如下：首先选用改进的u2-net模型作为我们的训练模型，将图像数据c加载到该模型中进行训练，接着对模型训练结果进行评估，并输出预测图像，最后使用图像处理算法获得去除背景的图像数据（参见说明书附图2）。
[0017]
3.1、选择图像数据c生成训练集；将步骤1.3得到的图像数据c随机分为两组，其中70%图像数据c作为训练集，30%图像数据c作为验证集，以用于训练和验证；3.2、改进的u2-net模型可当做特征提取模块，其中该模型本身是一个大的u-net模型，编码器和解码器的每一级模型也是由一个u-net结构的自编码器组成，因此组成了多尺度特征提取的改进的u2-net模型；改进的u2-net模型是一个两级嵌套的u型结构，它由六级编码器、五级解码器、六级cbam注意力模块与cbam模块和最后一级编码器相连的显著图融合模型；以en_6为轴，形成对称的u型结构，左侧为编码器，右侧为解码器、cbam模块、显著性图融合模块；六级解码器输出通过cbam模块联结，每个cbam模块与同一级编码器输出通道数保持一致，特征图经过cbam模块输出6组特征图，输出6个mask二值图，分辨率依次为：1
×
320
×
320，1
×
160
×
160，1
×
80
×
80，1
×
40
×
40，1
×
20
×
20，1
×
10
×
10；接着分别进行不同倍率上采样，得到6个1
×
320
×
320特征图，将它们使用concat操作融合在一起，得到6
×
320
×
320的特征图，然后通过1
×
1卷积层和sigmoid函数，最终生成显著性概率图s_fuse。
[0018]
改进的u2-net模型分成了多个block，每个block输出一个损失函数，整个模型的损失函数计算公式如下：
上式中，，表示sup1、sup2
…
sup6，和是每个损失函数的权重参数，表示6个mask二值图的损失值loss，表示最终融合输出显著性概率图的损失值loss。损失函数计算方法采用的是：standard binary cross-entropy；对于每一项，使用标准二进制交叉熵来计算损失：上式中，（r，c）表示像素坐标值，（h，w）表示图像高、宽；表示标签图像灰度值，表示预测的显著概率图；通过使用迁移学习的方法，将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中；把u2-net的预训练模型的权重当做预训练参数；超参数学习率采用余弦退火衰减策略；通过3.2的步骤得到最终模型预测结果（参见说明书附图3）。
[0019]
3.3、使用图像处理算法获得去除背景的图像数据e；首先使用改进的u2-net模型依据图像数据c预测得到二值化图像，然后采用opencv和pillow库来去除步骤1.3中猪肉的背景类别，从而获取彩色猪肉图像；随后调用opencv库将图像数据c和二值化图像进行按位减法操作，图像数据c和二值化图像处理变成背景为黑色的图像sub_image，使用pil库得到sub_image的非黑色部分,处理方式如下：首先使用pil库将图像数据c和二值化图像进行按位得到它们中的非黑色部分sub_image，如果sub_image的像素为黑色（0，0，0），那么使用透明像素来替换该像素点，如果像素点不是黑色，就使用原始未分割图像中的同一位置猪肉像素替代它；因此得到最终背景像素为黑色（0，0，0）和原始猪肉区域的图像数据e（参见说明书附图4）；说明书附图4中（a）表示图像数据c；（b）表示sub_image；（c）表示背景替换透明像素；（d）表示图像数据e4、将步骤3的结果改进abc-kmeans分割脂肪和肌肉；使用基于自适应搜索因子及levy飞行法的人工蜂群算法改进k-means聚类算法；图像数据e中包含像素值为（0，0，0）的黑色背景和猪肉肌内脂肪和猪肉肌肉，同时通过opencv库方法得到图像数据e的rgb颜色分量直方图（参见说明书附图5）；rgb颜色分量直方图存在两个山峰，再加上像素为（0，0，0）的黑色背景，因此可以将图像分为三个类别，即k取值为3；人工蜂群算法随机产生 n 个侦查蜂，n 也表示初始时蜜源的个数。n 个蜜源位置被抽象成解的空间，每个蜜源 (i=1,2,
…
,n)的花蜜量对应每个解的适应度值fit。设求解问题的维数为 d，即优化参数的个数。
[0020]
人工蜂群算法中引入自搜索因子来避免陷入局部最优解，通过调整种群更新步长来增强局部搜索能力，速度更新公式为：在公式7中，i∈(1,2,
…
,n)，j∈(1,2,
…
,d)，为随机选择的不等于 i 的蜜源的第j 维位置，是之前最差的花蜜来源，是新的蜜源位置，表示在[-1, 1]范围内的一个
随机数。
[0021]
引入自适应因子可加快算法收敛速度；其中随着算法迭代次数进行变化的公式为：其中，分别表示自适应因子的最大值和最小值，表示种群之间最大的混合迭代次数；c表示当前子种群的总迭代次数；同时引入levyflight方法扩大搜索范围，提高搜索能力；levy飞行法是典型的随机步进运动模式，它遵循levy分布，即短距离运动和少量长距离运动的组合；基于levy搜索行为的蜜蜂源更新公式为：上面公式中是之前最差的花蜜来源，为步长因子，是新的蜜源位置，是使用mante-gna算法进行levy飞行的随机步长，它的公式为：其中，表示常数1.5，服从正态分布，。和的公式分别为：其中，γ(x)为 gamma函数，表示常数1.5。
[0022]
利用levy飞行的方法，丰富了蜂群位置多样性，扩大了搜索步长；基于自适应搜索因子及levy飞行法优化算法的k-means更容易跳出局部最优解，使改进的算法优化能力有效提升；基于自适应搜索因子及levy飞行法改进的人工蜂群算法程序设计流程图（参见说明书附图6）：初始种群数目取100个，自搜索因子为0.9，为0.4，终止条件为最大迭代500。
[0023]
5、生成最终预测结果；5.1、使用了u2-net网络模型进行训练；训练使用momentum优化器，初始学习率为0.01，超参数学习率使用余弦退火衰减，batch_size设为16，训练20000个epochs；通过3.2的步骤得到最终的测试图像分割结果（参见说明书附图7），图像数据c经过改进的u2-net模型预测得到分割后二值化图像，再通过步骤3.3中的方法处理得到去除背景的猪肉原始图像；5.2、将分割并处理的图像使用改进的abc-kmeans算法进行预测，按照步骤4中的方法进行参数设置和迭代，测试最终得到三个聚类的图像数据f，脂肪肌肉分割图像、猪肉脂肪图像和猪肉肌肉图像（参见说明书附图8）。
[0024]
说明书附图8中（a）表示图像数据e；（b）表示肌内脂肪和肌肉分割图像；（c）表示猪肉肌内脂肪图像；（d）表示猪肉肌肉图像；6、基于神经网络及聚类算法的猪肉肌内脂肪含量的估算方法应用；
使用拍照设备拍摄待检测的猪肉样本图像,得到样本图像a，采用基于cbam改进的u2-net模型来分割样本图像a得到二值化图像；接着使用步骤3.3中的图像处理算法处理样本图像a和二值化图像，获得去除背景样本图像b；随后将样本图像b使用步骤4基于自适应搜索因子及levy飞行法改进的人工蜂群算法用于k-means算法中，快速收敛得到全局最优的初始聚类中心，预测得到聚类的样本图像f，从而得到猪肉样本的肌内脂肪和肌肉含量。
[0025]
现有的猪肉肌内脂肪检测方法对样本图像采集有较多环境要求，需要保证样本图像中背景与猪肉目标的高度可分性，不适用于市民菜市场选购猪肉的日常生活环境中。现有通过建立回归模型预测猪肉肌内脂肪含量的方法，只适用于特定的一种环境及样本中，无法应用到猪肉的多个部位检测，存有检测目标单一的问题，而本发明使用的学习聚类方法适应性较强，将其应用到五个不同部位猪肉样本图像中，样本图像像素聚类效果较好，因此可实现多个部位猪肉肌内脂肪含量的检测。样本块修复是一个不确定问题，没有唯一解存在，图像修复方法不能真实还原猪肉样本原始图像，因此检测结果和猪肉样本实际肌内脂肪含量相差较大。而本发明使用步骤2和3中方法，将拍摄的rgb颜色空间样本图像转换到lab颜色空间样本图像，lab模型不依赖光线因素，能够消除猪肉的阴影。使用基于cbam改进的u2-net模型来分割样本图像，可实现猪肉的精确分割，避免了传统图像分割方法存在的分割不准确的问题，保证了样本图像处理的真实性，从而提高猪肉肌内脂肪含量检测的准确度。
[0026]
为了验证本技术的正确性，申请人分别用本技术的方法和化学检测方式对同一样品进行了检测对比实验，具体实验方式如下：实验样品：在长江大学周边的猪肉售卖点随机选取了一份猪里脊肉、一份梅花肉、一份后腿肉、一份前腿肉和一份五花肉共计五份检验样品，并将其编为1-5号样品。
[0027]
实验过程实验一、使用本技术的方式对五份检验样品进行检测，具体检测方式如下：在猪肉售卖点使用照相机拍摄待检测的猪肉样本图像五份,得到样本图像a，对步骤1.1获得的样本图像a中模糊、噪声明显、猪肉光线太过于阴暗的图像进行剔除后，剩下的图像组成样本图像b；为了使训练模型结果更加精确，对样本图像b采用翻转、改变尺寸、图像比例缩放、标准化、padding方法进行数据增强，从而生成上下左右翻转、尺寸裁剪至1920
×
1080大小、比例放大一倍的样本图像c；将步骤1.2获得的样本图像c中每一个图像数据进行标注得到猪肉类别和猪肉的背景类别；将rgb颜色空间样本图像c转换到lab颜色空间样本图像d，lab模型不依赖光线因素，可以消除猪肉的阴影；我们采用基于cbam改进的u2-net模型来分割样本图像c，该方法能够满足市民在日常环境中拍摄猪肉图像，接着使用图像处理算法处理样本图像c和二值化图像，获得去除背景样本图像e，最后将基于自适应搜索因子及levy飞行法改进的人工蜂群算法用于k-means算法中，保证我们能快速收敛得到全局最优的初始聚类中心，预测得到聚类的样本图像f，可快速准确计算出多部位的猪肉切块肌内脂肪和肌肉含量。
[0028]
实验二、使用本技术的方式对五份检验样品进行化学检测，具体检测方式如下：按照《gb/t 14772——2008 食品中粗脂肪的测定》中规定的方法进行检测。首先在猪肉售卖点购买猪里脊肉、梅花肉、后腿肉、前腿肉、五花肉各一份，分别取样30～80g，将肉样迅速剁成碎末或用匀浆机捣碎，称取10 g左右肉末置于102 ℃烘箱中脱水至恒重。使
用的仪器是全套索氏萃取装置（串联索氏瓶与配套水浴锅）、通风厨、电子天平、烘箱、真空干燥箱。我们将干燥肉样连同滤纸包放入萃取套管中，塞上脱脂棉，将套管填入索氏瓶中加入约160ml石油醚（40～60℃），启动通风，冷凝水和索氏加热器后将虹吸循环控制在每小时10次以上连续萃取6 h。测定过程中绝对不能停水停电，然后取下脂肪收集瓶置于干燥器中过夜，于次日将收集瓶置于80 ℃真空干燥箱（13 kpa以下）中处理1.5 h，再将收集瓶取出称重。将带有脂肪的瓶重减去空瓶重就是样本肌内脂肪重。计算公式如下：将实验一和实验二的结果如下：从上述结果可以看出该基于神经网络算法的多部位猪肉肌内脂肪含量的估算方法对多部位的猪肉切块肌内脂肪含量的预测预测准确率在97%以上；由此该估算方法结果准确，能够满足对多部位猪肉切块肌内脂肪含量检测使用的需要。
[0029]
该基于神经网络算法的多部位猪肉肌内脂肪含量的估算方法，通过用的学习聚类方法和样本图像的转换方法解决了现有无损检测检测方法存有的检测范围窄和检测误差较大的问题，特别适合猪肉肌内脂肪含量检测使用的需要。

技术特征：
1.一种基于神经网络算法的多部位猪肉肌内脂肪含量的估算方法，其特征在于：该估算方法包括如下步骤：1、获取数据；1.1、数据来源：本研究使用的样本包括猪里脊肉、梅花肉、后腿肉、前腿肉和五花肉，共计1500个样本；1500个样本均为当日宰杀获取的新鲜猪肉；随后使用拍摄分辨率为4608
×
3456的相机对1500个样本进行拍摄，得到图像数据a；1.2、训练数据的选择；对步骤1.1获得的图像数据a中模糊、噪声明显、猪肉光线太过于阴暗的图像进行剔除后，剩下的图像组成图像数据b；随后对图像数据b采用翻转、改变尺寸、图像比例缩放、标准化、padding方法进行数据增强，从而生成上下左右翻转、尺寸裁剪至1920
×
1080大小、比例放大一倍的图像数据c；1.3、数据标注；将步骤1.2获得的图像数据c中每一个图像数据使用labelme工具进行标注，分别得到猪肉类别和猪肉的背景类别；2、数据预处理；由于相机拍摄使用的是rgb颜色空间，因此图像数据c中的数据也为rgb颜色空间，此外每个样本的猪肉颜色不尽相同，并且在拍摄样本过程中存在拍摄环境照明不均匀，光线问题对图像分割造成一定影响；因此需要将rgb颜色空间图像数据c转换到lab颜色空间图像数据d；使用图像数据c中每个图像数据，通过计算机像素计数法计算肌内脂肪和肌肉的面积，公式如下：肌内脂肪面积比例 =（肌内脂肪面积像素 /（肌内脂肪面积像素+肌肉面积像素））
×ꢀ
100%（公式3）肌肉面积比例 =（肌肉面积像素 /（肌内脂肪面积像素+肌肉面积像素））
×ꢀ
100%（公式4）3、构建分割模型；为了保证后续分类算法的聚焦，首先要对图像数据c中每一个图像数据分割，考虑到猪肉颜色与背景区域的高相似度，传统的图像处理算法难以对猪肉样本进行分割；因此将步骤2得到的图像数据c创建一个数据集，并将其放入基于cbam注意力模块改进的u2-net模型进行训练；将步骤2得到的图像数据c创建一个数据集，并将其放入基于cbam注意力模块改进的u2-net模型进行训练,它的目的是将猪肉图像从背景中分离出来，其具体的方式如下：首先选用改进的u2-net模型作为训练模型，将图像数据c加载到该模型中进行训练，接着对模型训练结果进行评估，并输出预测图像，最后使用图像处理算法获得去除背景的图像数据；3.1、选择图像数据c生成训练集；将步骤1.3得到的图像数据c随机分为两组，其中70%图像数据c作为训练集，30%图像数据c作为验证集，以用于训练和验证；3.2、改进的u2-net模型可当做特征提取模块，其中该模型本身是一个大的u-net模型，
编码器和解码器的每一级模型也是由一个u-net结构的自编码器组成，因此组成了多尺度特征提取的改进的u2-net模型；改进的u2-net模型是一个两级嵌套的u型结构，它由六级编码器、五级解码器、六级cbam注意力模块与cbam模块和最后一级编码器相连的显著图融合模型；以en_6为轴，形成对称的u型结构，左侧为编码器，右侧为解码器、cbam模块、显著性图融合模块；六级解码器输出通过cbam模块联结，每个cbam模块与同一级编码器输出通道数保持一致，特征图经过cbam模块输出6组特征图，输出6个mask二值图，分辨率依次为：1
×
320
×
320，1
×
160
×
160，1
×
80
×
80，1
×
40
×
40，1
×
20
×
20，1
×
10
×
10；接着分别进行不同倍率上采样，得到6个1
×
320
×
320特征图，将它们使用concat操作融合在一起，得到6
×
320
×
320的特征图，然后通过1
×
1卷积层和sigmoid函数，最终生成显著性概率图s_fuse；改进的u2-net模型分成了多个block，每个block输出一个损失函数，整个模型的损失函数计算公式如下：上式中，m=1、2
…
6，表示sup1、sup2
…
sup6，和是每个损失函数的权重参数，表示6个mask二值图的损失值loss，表示最终融合输出显著性概率图的损失值loss；损失函数计算方法采用的是：standard binary cross-entropy；对于每一项，使用标准二进制交叉熵来计算损失：上式中，（r，c）表示像素坐标值，（h，w）表示图像高、宽；表示标签图像灰度值，表示预测的显著概率图；通过使用迁移学习的方法，将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中；把u2-net的预训练模型的权重当做预训练参数；超参数学习率采用余弦退火衰减策略；通过3.2的步骤得到最终模型预测结果；3.3、使用图像处理算法获得去除背景的图像数据e；首先使用改进的u2-net模型依据图像数据c预测得到二值化图像，然后采用opencv和pillow库来去除步骤1.3中猪肉的背景类别，从而获取彩色猪肉图像；随后调用opencv库将图像数据c和二值化图像进行按位减法操作，图像数据c和二值化图像处理变成背景为黑色的图像sub_image，使用pil库得到sub_image的非黑色部分,处理方式如下：首先使用pil库将图像数据c和二值化图像进行按位得到它们中的非黑色部分sub_image，如果sub_image的像素为黑色（0，0，0），那么使用透明像素来替换该像素点，如果像素点不是黑色，就使用原始未分割图像中的同一位置猪肉像素替代它；因此得到最终背景像素为黑色（0，0，0）和原始猪肉区域的图像数据e；4、将步骤3的结果改进abc-kmeans分割脂肪和肌肉；使用基于自适应搜索因子及levy飞行法的人工蜂群算法改进k-means聚类算法；图像数据e中包含像素值为（0，0，0）的黑色背景和猪肉肌内脂肪和猪肉肌肉，同时通过opencv库方法得到图像数据e的rgb颜色分量直方图；rgb颜色分量直方图存在两个山峰，再加上像素
为（0，0，0）的黑色背景，因此可以将图像分为三个类别，即k取值为3；人工蜂群算法随机产生 n 个侦查蜂，n 也表示初始时蜜源的个数；n 个蜜源位置被抽象成解的空间，每个蜜源象成解的空间，每个蜜源的花蜜量对应每个解的适应度值fit；设求解问题的维数为 d，即优化参数的个数；人工蜂群算法中引入自搜索因子来避免陷入局部最优解，通过调整种群更新步长来增强局部搜索能力，速度更新公式为：在公式7中，i∈(1,2,
…
,n)，j∈(1,2,
…
,d)，为随机选择的不等于i 的在公式7中，蜜源的第j 维位置，是之前最差的花蜜来源，是新的蜜源位置，表示在[-1, 1]范围内的一个随机数；引入自适应因子可加快算法收敛速度；其中随着算法迭代次数进行变化的公式为：其中，分别表示自适应因子的最大值和最小值，表示种群之间最大的混合迭代次数；c表示当前子种群的总迭代次数；同时引入levyflight方法扩大搜索范围，提高搜索能力；levy飞行法是典型的随机步进运动模式，它遵循levy分布，即短距离运动和少量长距离运动的组合；基于levy搜索行为的蜜蜂源更新公式为：上面公式中是之前最差的花蜜来源，为步长因子，是新的蜜源位置，是使用mante-gna算法进行levy飞行的随机步长，它的公式为：其中，表示常数1.5，服从正态分布，；和的公式分别为：其中，γ(x)为 gamma函数，表示常数1.5；利用levy飞行的方法，丰富了蜂群位置多样性，扩大了搜索步长；基于自适应搜索因子及levy飞行法优化算法的k-means更容易跳出局部最优解，使改进的算法优化能力有效提升；基于自适应搜索因子及levy飞行法改进的人工蜂群算法程序设计流程图；初始种群数目取100个，自搜索因子为0.9，为0.4，终止条件为最大迭代500；5、生成最终预测结果；5.1、使用了u2-net网络模型进行训练；训练使用momentum优化器，初始学习率为0.01，超参数学习率使用余弦退火衰减，batch_size设为16，训练20000个epochs；通过3.2的步骤得到最终的测试图像分割结果，图像数据c经过改进的u2-net模型预测得到分割后二值化图像，再通过步骤3.3中的方法处理得到去除背景的猪肉原始图像；
5.2、将分割并处理的图像使用改进的abc-kmeans算法进行预测，按照步骤4中的方法进行参数设置和迭代，测试最终得到三个聚类的图像数据f，脂肪肌肉分割图像、猪肉脂肪图像和猪肉肌肉图像；6、基于神经网络及聚类算法的猪肉肌内脂肪含量的估算方法应用；使用拍照设备拍摄待检测的猪肉样本图像,得到样本图像a，采用基于cbam改进的u2-net模型来分割样本图像a得到二值化图像；接着使用步骤3.3中的图像处理算法处理样本图像a和二值化图像，获得去除背景样本图像b；随后将样本图像b使用步骤4基于自适应搜索因子及levy飞行法改进的人工蜂群算法用于k-means算法中，快速收敛得到全局最优的初始聚类中心，预测得到聚类的样本图像f，从而得到猪肉样本的肌内脂肪和肌肉含量。2.根据权利要求1所述的一种基于神经网络算法的多部位猪肉肌内脂肪含量的估算方法，其特征在于：所述的rgb颜色空间图像数据c转换到lab颜色空间图像数据d的具体方法如下：lab颜色空间由3个通道组成，分别为一个亮度通道和两个颜色通道；rgb颜色空间无法直接转换为lab颜色空间，需要先转换到xyz颜色空间，再由xyz颜色空间转换到lab颜色空间；转换公式如下:l表示亮度；a的正数代表红色，负端代表绿色；b的正数代表黄色，负端代表蓝色；x和y定义颜色，z定义亮度；x1，y1，z1分别是线性归一化之后的xyz的值, r代表红色颜色通道，g代表绿色颜色通道，b代表蓝色颜色通道。3.根据权利要求1所述的一种基于神经网络算法的多部位猪肉肌内脂肪含量的估算方法，其特征在于：所述的基于cbam注意力模块改进的u2-net模型方式如下：在u2-net模型解码阶段添加cbam注意力模块，cbam注意力模块使用通道注意块和空间注意块相结合的注意块结构；要实现猪肉的精确分割，需要把高分辨率局部信息和低分辨率全局信息整合起来，也就是说，利用多尺度特征产生更好的分割结果；改进的u2-net模型引入了cbam注意力模块，在解码器每个上采样阶段依次添加5个cbam注意力模块。

技术总结
该基于神经网络算法的多部位猪肉肌内脂肪含量的估算方法，通过用的学习聚类方法和样本图像的转换方法解决了现有无损检测检测方法存有的检测范围窄和检测误差较大的问题，特别适合猪肉肌内脂肪含量检测使用的需要。别适合猪肉肌内脂肪含量检测使用的需要。别适合猪肉肌内脂肪含量检测使用的需要。


技术研发人员：詹炜 刘虎 韩涛 熊梦园 王佩文
受保护的技术使用者：长江大学
技术研发日：2022.08.19
技术公布日：2023/7/21