一种新的黄鱼关键点检测和表型数据测量方法

1.本发明涉及关键点检测技术领域，更确切地说，它涉及一种新的黄鱼关键点检测和表型数据测量方法。


背景技术：

2.在鱼种资源优选优育和保护过程中需要统计鱼苗在不同生长阶段的具体状况。以黄鱼为例，需要在其生长过程中经常测量它的表型数据，不断进行鱼苗的筛选，这个过程中待测数据量大，需要提供详细且精确的鱼表型数据，从而协助育种人员评估、验证和调整育种策略。
3.而传统的水产养殖业对这类水产品生长状况的测量和监控多由人工完成，这样费时费力，且效率低下，缺乏客观性，错误概率高。因此，如何快速统计待测生物对象的生长信息是水产养殖科学的重要问题。基于计算机视觉和图像处理技术，研发便携高效的一体化设备进行生物表型数据的快速测量统计，有利于水产养殖行业进一步商业化、规模化以及专业化育种技术的发展。
4.目前一部分方案使用传统的计算机视觉技术，即采用二值化、小波变换、边缘检测、角点检测等对黄鱼图片进行鱼体分割并找到特殊点从而得到体长等表型数据；更新的技术采用了cnn架构的关键点检测模型，如hrnet和hourglass沙漏网络等，这些模型具有良好的端到端性能，可以很好的完成关键点检测和表型数据测量，但是在泛化性和模型生产效率上仍然有所欠缺，计算量和参数量也有进一步优化的空间。


技术实现要素：

5.本发明的目的是克服现有技术中的不足，提供了一种新的黄鱼关键点检测和表型数据测量方法。
6.第一方面，提供了一种新的黄鱼关键点检测和表型数据测量方法，包括：
7.步骤1、通过黄鱼图像采集设备采集黄鱼图像，并对黄鱼关键点进行检测；
8.步骤2、获取关键点坐标信息；
9.步骤3、进行关键表型数据计算；
10.步骤4、将计算结果存储于数据库中，并进行数据分析。
11.作为优选，步骤1中，所述黄鱼图像采集设备的箱内上部安装有工业相机，用于采集黄鱼的侧视图；采集黄鱼图像的过程包括：将黄鱼放入该黄鱼图像采集设备的箱内台面上，启动相机和软件程序采集获得黄鱼样本的图像数据。
12.作为优选，步骤1中，通过transpose模型进行黄鱼关键点的检测。
13.作为优选，步骤2中，对鱼体进行目标检测得到的对角点的坐标记为(x0,y0)和(x1,y1)，记w＝x
1-x0，h＝y
1-y0为裁剪框的像素长宽，记w
in
,h
in
为裁剪后的尺寸，则x、y方向的放缩比例记为和同时记像素值与长度比值为s
real
、s
pix
分
别指实际长度和对应像素值，经过关键点模型预测得到的关键点预测坐标x
pred
,y
pred
，实际坐标x
real
＝(x
pred
*ratiow+x0)*β，y
real
＝(y
pred
*ratioh+y0)*β。
14.作为优选，步骤3中，根据实际距离坐标之差得到所需的表型数据。
15.作为优选，在步骤1之前，还包括：进行图像标签的准备；收集了不同批次的黄鱼数据集图像，并进行标注，同时在训练中根据需求按一定比例划分为训练集和测试集。
16.第二方面，提供了一种新的黄鱼关键点检测和表型数据测量装置，用于执行如第一方面所述的新的黄鱼关键点检测和表型数据测量方法，包括：
17.采集模块，用于通过黄鱼图像采集设备采集黄鱼图像，并对黄鱼关键点进行检测；
18.获取模块，用于获取关键点坐标信息；
19.计算模块，用于进行关键表型数据计算；
20.存储模块，用于将计算结果存储于数据库中，并进行数据分析。
21.第三方面，提供了一种计算机存储介质，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行如第一方面所述的新的黄鱼关键点检测和表型数据测量方法。
22.本发明的有益效果是：本发明结合目前先进的基于深度学习新范式视觉transformer的计算机视觉算法，以黄鱼为研究对象，通过替换关键点检测算法为基于轻量级vit transpose的基线模型下的针对性改进版本，实现模型生产高效，数据高效，部署简单，具有较好泛化性的快速准确黄鱼关键点检测和表型数据测量。
附图说明
23.图1为一种新的黄鱼关键点检测和表型数据测量方法的流程图。
具体实施方式
24.下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
25.实施例1：
26.定期的测量黄鱼形态表型数据以及分析黄鱼种群情况是黄鱼育种过程中重要一环，是下游各个任务的基础，目前在各地的水产研究所的育种工作中，主要采用人工测量的方法和基于传统计算机视觉的方法。人工方法是指工作人员使用游标卡尺等工具测量并记录黄鱼的体长、鱼体全长、体高、尾柄高等体型数据，然后对数据进行分析，人工测量重复性劳动量大，涉及到的数据测量流程和操作较复杂。同时，人工测量不仅速度慢，效率低，而且很容易出现错误；基于计算机视觉方法则是通过检测模型或分割模型将鱼体分割出来，或者直接利用关键点信息，得到各种表型测量数据，而基于cnn的检测模型能够很好的解决人工测量的问题，但其在跨鱼种的泛化性、数据效率和需求以及计算量和参数量的轻量化、模型生产端、部署端的效率上都还有很大的提升空间。
27.因此，现有技术存在以下问题：1.cnn网络在模型重量和计算量上仍然有进一步优化的空间，部分cnn网络在运行时仍存在效果欠佳或推理速度不够快的问题。2.现有检测、分割模型在生产上仍然需要针对不同的鱼种重新在各自的数据集上训练，当同时识别多个
关键点定义相同类似体型鱼种需要重新训练权重。3.现有以cnn网络为基础的检测、分割主要技术仍然会在部分关键点上识别产生严重误差，同时数据集数据增强措施有时也很难产生效果。4.基于关键点检测的vit模型目前没有与成熟的软硬件一体化的技术和系统结合并应用在黄鱼的关键点检测和表型数据测量与分析上。5.黄鱼表型数据测量仍然大量依赖于人力测量。
28.本发明针对以上问题，结合目前先进的基于深度学习新范式视觉transformer的计算机视觉算法，以黄鱼为研究对象，通过替换关键点检测算法为基于轻量级vit transpose的基线模型下的及其针对性改进版本，实现模型生产高效，数据高效，部署简单，具有较好泛化性的快速准确黄鱼关键点检测和表型数据测量。以黄鱼横向平铺在固定光照和相机距离的台面上捕捉到的清晰侧视图为输入，以关键点直接定义所需的各种表型数据。最后通过构建出的软硬件一体的计算机检测系统，实现黄鱼各关键点的精确定位以及各表型数据的快速测量。该黄鱼表型数据测量过程不需要人力进行，大大提高了效率，减少了人力操作造成的误差和黄鱼的应激反应，同时还可以同时识别多种关键点定义相同、体型类似的鱼种，这也大大降低模型生产端的成本。
29.具体地，如图1所示，本技术提供了一种新的黄鱼关键点检测和表型数据测量方法，包括：
30.步骤1、通过黄鱼图像采集设备采集黄鱼图像，并对黄鱼关键点进行检测；
31.步骤2、获取关键点坐标信息；
32.步骤3、进行关键表型数据计算；
33.步骤4、将计算结果存储于数据库中，并进行数据分析。
34.在步骤1之前，还包括：进行图像标签的准备。
35.训练基于统计学的深度学习模型需要采集一定量的图片作为数据集并进行人工关键点标注得到标注数据，该部分图像和标注作为训练集。在模型的训练过程中，使用数据和明确标注进行模型的监督学习，使特定的模型学习到一定的特征，在特定的任务上可以识别出所需要的信息，在该任务中主要通过输出可以得到最大相应点的对应关键点数量的热图来预测关键点坐标信息。可选的鱼体目标检测模块中，需要人工通过矩形框标注出更确切的黄鱼鱼体；关键点检测模块则需要分别标注文档定义中对应的各个关键点位置。为此，本发明收集了不同批次约3000张黄鱼数据集图像，并进行了标注，同时在训练中根据需求按一定比例划分为训练集和测试集。在鱼种泛化性实验中，数据集中追加了300多张鲫鱼图片并进行了对应的划分。模型检测出鱼体的矩形区域(偏大倾向)，对原图进行检测可以裁剪得到黄鱼的roi区域，检测框可以忽略超过三分之二的空白区域从而获取更有效的输入信息。
36.以下介绍黄鱼鱼体检测模型和关键点检测模型，以及表型数据分析和计算模块
37.黄鱼位置检测模块：
38.该模块采用的是目标检测的相关模型，可选用detr\yolov3系列模型，目标检测通常分为单阶段和二阶段模型，常用的有yolov3模型，同时近年也有很多端到端的vit检测模型如detr系列。yolov3在2018年提出，是单阶段的目标检测模型，与二阶段相比更加轻量化和一体化，检测速度更快，很好的平衡了精度和速度。detr系列目前是端到端程度较高的检测模型，目前比较好的变体有dino和mask-dino，其优点就是模型结构简单且效果较佳，是
目前的sota检测器。由于原图采集范围和鱼体实际范围差距较大，对于需要利用更丰富原图像素信息的关键点检测这样的密集预测任务来说，检测到roi关键区域可以更有效的利用原图信息，去除无效的冗余信息可以得到更加精确的检测效果。由于鱼体检测任务场景相对单一，对模型的尺寸和特征提取能力、性能要求相对较低，模型可以使用yolov3并配以轻量级的主干网络，减轻网络参数提高模型推理速度。网络模型的输入尺寸为416x416x3，可以使用各种特征提取网络如resnet\darknet系列，也可以使用一些多尺度特征融合结构。最后对图像中的鱼体进行识别，并输出目标框坐标。
39.关键点检测模块：
40.对于黄鱼关键表型数据的测量和计算，最关键的是要获得特征关键点的精确坐标信息。本发明的核心就是关键点检测模型的选用和改进。传统中常用的关键点检测模型为hourglass模型或hrnet，目前有很多vit的关键点检测模型如swinpose、transpose、pe-former、vitpose等，主要均在2020-2022年间提出，本文采用了transpose作为基线模型进行改进的适用于工程部署应用的轻量化模型，具有vit相对于cnn网络的优点，在检测精度、泛化性、计算量和模型生产和数据需求成本上都有明显的优势。模型主要由主干网络、encoders、heatmap head组成。
41.本发明使用的模型为了进一步降低vit固有的计算复杂度并提升特征鲁棒性，采用了通道维度自注意力机制和原空间注意力机制混合架构、带步长的卷积稀疏化自注意力模块以及基于fpn的层次化encoder结构。其中，整体架构中，使用可选的主干网络如resnet、hrnet或其他的多尺度特征主干提取网络；在encoder的设计中，将空间维度的自注意力替换为通道维度的自注意力，称做channel encoder，原自注意力和通道自注意力计算公式如下，其中γ为可学习参数，其关于原图尺寸的计算复杂度从四次方降低到二次方，并将前三个encoder设置为channel encoder、normal encoder、channel encoder的混合架构从而降低计算量和混合注意力模式：
[0042][0043]
attention
channel
(q,k)＝softmax(norm(k
t
)norm(q
t
)*γ)
[0044][0045]
而基于fpn的层次化encoder结构中，对前三个encoder的输出进行reshape并使用向量操作等间隔采样扩充通道数再使用全连接层进行下采样，三个encoder逐层进行2倍下采样，并通过解卷积、元素相加、通道拼接等模块逐层上采样融合特征，形成基于encoder特征提取器和fpn思想的多尺度特征提取模块。
[0046]
同时，对自注意力模块使用可变形卷积进行稀疏化，也大大提高了计算效率。通过在二维空间中使用带步长k的可变形卷积对原特征进行稀疏化，可以使k,v也稀疏化，从而减少生成注意力矩阵的计算量和信息聚合线性组合中的计算量。以上改进不仅降低了计算量也提升了特征鲁棒性，提高了计算效率和精度的综合平衡性能。
[0047]
数据计算和分析模块：
[0048]
在数据分析模块中，一是得到关键点信息并映射到原图的像素信息，并根据像素和实际距离比例换算出实际长度，二是通过得到的实际坐标去计算关键表型数据，从而输
出得到的表型数据供下游相关科研任务使用。
[0049]
鱼体目标检测、关键点检测和表型数据计算包括：首先鱼体目标检测可以得到鱼体关键区域的坐标信息，同时记录下检测框的坐标信息供后续返回原坐标使用；第二步根据模型输入尺寸对裁剪下来的roi区域resize到模型指定的输入，对裁剪和resize后的鱼体图像进行关键点检测，得到关键点位置信息。对鱼体进行目标检测得到的对角点的坐标记为(x0,y0),(x1,y1)，记w＝x
1-x0,h＝y
1-y0为裁剪框的像素长宽，记w
in
,h
in
为resize的尺寸，则x,y方向的放缩比例记为同时记像素值与长度比值为(s
real
、s
pix
分别指实际长度和对应像素值)，经过关键点模型预测得到的关键点预测坐标x
pred
,y
pred
，根据上述各个数据得到实际坐标x
real
＝(x
pred
*ratiow+x0)*β，y
real
＝(y
pred
*ratioh+y0)*β，最后根据实际距离坐标之差得到所需的表型数据。
[0050]
黄鱼表型数据的计算依赖上述得到的对应实际距离的坐标点信息。主要包含鱼体全长、体长、尾柄高等表型数据：
[0051][0052][0053][0054][0055][0056]
综上所述，本发明提出了一种新的黄鱼鱼体检测和表型数据测量软硬件一体化方法，不仅能够准确的检测到黄鱼的具体位置，并还能据此实现精确的关键点检测和快速的表型数据计算，其模型生产过程也更加高效，数据效率和泛化性也更加优秀。

技术特征：
1.一种新的黄鱼关键点检测和表型数据测量方法，其特征在于，包括：步骤1、通过黄鱼图像采集设备采集黄鱼图像，并对黄鱼关键点进行检测；步骤2、获取关键点坐标信息；步骤3、进行关键表型数据计算；步骤4、将计算结果存储于数据库中，并进行数据分析。2.根据权利要求1所述的新的黄鱼关键点检测和表型数据测量方法，其特征在于，步骤1中，所述黄鱼图像采集设备的箱内上部安装有工业相机，用于采集黄鱼的侧视图；采集黄鱼图像的过程包括：将黄鱼放入该黄鱼图像采集设备的箱内台面上，启动相机和软件程序采集获得黄鱼样本的图像数据。3.根据权利要求2所述的新的黄鱼关键点检测和表型数据测量方法，其特征在于，步骤1中，通过检测模型transpose进行黄鱼关键点的检测。4.根据权利要求3所述的新的黄鱼关键点检测和表型数据测量方法，其特征在于，步骤2中，对鱼体进行目标检测得到的对角点的坐标记为(x0,y0)和(x1,y1)，记w＝x
1-x0，h＝y
1-y0为裁剪框的像素长宽，记w
in
,h
in
为裁剪后的尺寸，则x、y方向的放缩比例记为和同时记像素值与长度比值为s
real
、s
pix
分别指实际长度和对应像素值，经过关键点模型预测得到的关键点预测坐标x
pred
,y
pred
，实际坐标x
real
＝(x
pred
*ratio
w
+x0)*β，y
real
＝(y
pred
*ratio
h
+y0)*β。5.根据权利要求4所述的新的黄鱼关键点检测和表型数据测量方法，其特征在于，步骤3中，根据实际距离坐标之差得到所需的表型数据。6.根据权利要求1所述的新的黄鱼关键点检测和表型数据测量方法，其特征在于，在步骤1之前，还包括：进行图像标签的准备；收集了不同批次的黄鱼数据集图像，并进行标注，同时在训练中根据需求按一定比例划分为训练集和测试集。7.一种新的黄鱼关键点检测和表型数据测量装置，其特征在于，用于执行如权利要求1所述的新的黄鱼关键点检测和表型数据测量方法，包括：采集模块，用于通过黄鱼图像采集设备采集黄鱼图像，并对黄鱼关键点进行检测；获取模块，用于获取关键点坐标信息；计算模块，用于进行关键表型数据计算；存储模块，用于将计算结果存储于数据库中，并进行数据分析。8.一种计算机存储介质，其特征在于，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行如权利要求1所述的新的黄鱼关键点检测和表型数据测量方法。

技术总结
本发明涉及一种新的黄鱼关键点检测和表型数据测量方法，包括：通过黄鱼图像采集设备采集黄鱼图像，并对黄鱼关键点进行检测；获取关键点坐标信息；进行关键表型数据计算；将计算结果存储于数据库中，并进行数据分析。本发明的有益效果是：本发明以黄鱼为研究对象，通过替换关键点检测算法为基于轻量级ViT TransPose的基线模型下的针对性改进版本，实现模型生产高效，数据高效，部署简单，具有较好泛化性的快速准确黄鱼关键点检测和表型数据测量。测量。测量。


技术研发人员：王博彦
受保护的技术使用者：浙江大学
技术研发日：2023.04.24
技术公布日：2023/7/22