一种胚胎图像的卵裂球边缘增强处理方法与流程

1.本发明涉及人工智能技术领域，具体地指一种胚胎图像的卵裂球边缘增强处理方法。


背景技术：

2.随着不孕不育患者的指数增长，胚胎的体外培养技术作用与日俱增，利用时差培养箱进行体外胚胎培养已经成为一种重要手段。胚胎学家通过观察时差培养箱中拍摄的胚胎图像对胚胎的质量进行评估，选择优质胚胎进行移植。胚胎发育过程中卵裂球个数的变化是胚胎学家评判胚胎的优劣的重要特征之一，因此，如何运用计算机技术快速准确地识别胚胎中卵裂球的个数具有重要的意义。
3.胚胎在分裂过程中，由于以下两个实际情况给胚胎识别带来了较大的困难：一是在时差培养箱中光源、镜头焦距等多个因素的综合影响下，拍摄的胚胎图像中会出现胚胎边缘不清晰的现象；二是胚胎发育过程中胚胎的运动使部分胚胎边缘偏离培养皿，导致观察不到完整的胚胎边缘。
4.因此，为了更好地识别胚胎个数，如何有效地设计ai模型完成胚胎图像预处理以及提高胚胎图像质量的工作需要进一步深入研究。


技术实现要素：

5.本发明针对上述现有技术的不足之处，提出一种胚胎图像的卵裂球边缘增强处理方法，通过提取出边缘不清晰图像的边缘，通过图像融合的手段进行边缘增强，得到边缘增强后的胚胎图像。
6.为实现上述目的，本发明设计的一种胚胎图像的卵裂球边缘增强处理方法，其特殊之处在于，包括如下步骤：s1收集含有卵裂球的胚胎图像，完成胚胎图像的标注，构建胚胎图像数据集；s2对胚胎图像数据集中胚胎图像上的卵裂球进行细胞定位将具有卵裂球的部分分割出来；s3统一分割后图像的尺寸，完成图像中胚胎细胞边缘的标注，将标注好的图像划分为训练集、验证集和测试集；s4构建卵裂球边缘增强模型以提取细胞的边缘信息，生成胚胎细胞的边缘图；s5将边缘图与原图进行图像融合，得到边缘增强后的图像。
7.优选地，步骤s2中对卵裂球进行细胞定位采用胚胎图像卵裂球目标检测网络模型实现，该模型采用yolov5网络框架作为基础网络。
8.优选地，步骤s4中所述卵裂球边缘增强模型采用构建于vgg16网络结构的hed网络模型。
9.优选地，所述hed网络模型包含五个层级的特征提取架构，在各层级中使用 vgg block 提取层级特征图，并融合五个层级输出作为模型的最终输出；在 vgg16 网络每个阶
段的最后一个卷积层之后添加侧输出层，同时去掉了最后一个池化层和之后的全连接层。优选地，所述hed网络模型在训练阶段将卷积层后引出的 5 个侧输出以及 5 个侧输出经过融合层后的结果同时进行训练，计算 6 个损失函数；通过多个侧输出，进行多尺度的学习，对中间细节进行特征提取；对于每个侧输出，通过双线性差值算法进行上采样，还原到原始图像的尺寸，通过融合层输出结果。
10.优选地，所述hed网络模型的融合层采用最大值图像融合算法：本算法为保留两张图像a和b中灰度值最大的像素点，重组为新的图像o，其中代表在原始图像处的灰度值，代表在提取的边缘图像处的灰度值，d代表图像的区域范围。
11.优选地，步骤s2中所述胚胎图像卵裂球目标检测网络模型包括用于提取有效特征信息的卷积层和降低特征图的大小、保留有效特征值的池化层。
12.优选地，所述池化层采用最大池化法。
13.本发明还提出一种设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的一种胚胎图像的卵裂球边缘增强处理方法。
14.本发明另外提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种胚胎图像的卵裂球边缘增强处理方法。
15.本发明提出的一种胚胎图像的卵裂球边缘增强处理方法的有益效果为：为了实现边缘增强突出边缘不清晰图像的边缘信息，本发明采用图像融合的方案，把提取出来的边缘信息图像与原图像融合。考虑到问题的性质以及为了不影响后续的卵裂球计数等问题，需要尽可能的不去改变原始图像的结构信息，只对卵裂球的边缘进行增强，而不改变卵裂球其他的纹理信息。本发明采用的ai模型为端到端模型，能够自动地完成卵裂球边缘增强，其过程无需人工干预，能够批量的进行图像边缘增强，效率远远优于传统图像处理方法，可以满足工业速度以及效率要求。
附图说明
16.图1为本发明一种胚胎图像的卵裂球边缘增强处理方法的流程图；图2为胚胎图像的卵裂球边缘增强处理过程示意图；图3为边缘提取网络的数据处理流程示意图；图4为边缘提取网络架构的示意图；图5为细胞定位和分割效果图；图6为细胞定位前后的边缘增强处理对比示意图；图7为边缘增强效果对比示意图。
具体实施方式
17.以下结合附图和具体实施例对本发明作进一步的详细描述。
18.如图1所示，本发明提出的一种胚胎图像的卵裂球边缘增强处理方法，包括步骤：s1收集含有卵裂球的胚胎图像，完成胚胎图像的标注，构建胚胎图像数据集；s2对胚胎图像数据集中胚胎图像上的卵裂球进行细胞定位将具有卵裂球的部分分割出来；s3统一分割后图像的尺寸，完成图像中胚胎细胞边缘的标注，将标注好的图像划分为训练集、验证集和测试集；s4构建卵裂球边缘增强模型以提取细胞的边缘信息，生成胚胎细胞的边缘图；s5将边缘图与原图进行图像融合，得到边缘增强后的图像。
19.本发明实现胚胎图像的卵裂球边缘增强处理过程如图2所示。时差培养箱在拍摄胚胎的过程中不断地将拍摄到的d1-d3时期的每张胚胎图像上传至服务器，本方法可以迅速生成边缘增强后的图片，达到对胚胎发育整个过程的实时监控，为后续胚胎计数、质量评价等奠定基础。
20.下面详细介绍本实施例的实施过程：1. 数据收集与预处理阶段收集时差培养箱中d1~d3阶段含有卵裂球的胚胎图像，构建原始胚胎图像数据集。本发明从不同生殖中心收集了400000张d1~ d3阶段的胚胎图像，并组织多名胚胎学家指导完成胚胎图像的标注，将标注好的图像划分为训练集、验证集和测试集。
21.考虑到时差培养箱中拍摄的图像长宽比相同，且胚胎在孔中摆放的位置各不相同，可以通过图像处理中旋转，翻转的技术对图像进行扩充，丰富胚胎姿态的多样性；考虑到时差培养箱在拍摄时会受到灯光环境的影响，调整图像的亮度、对比度以扩充数据集，增强对训练模型在不同光照环境下胚胎图像的识别能力。通过随机采用不同的处理方法，最终得到40万张的图像作为本发明的训练集，每一张图像根据多名胚胎专家的评定结果，采用投票数最多的作为该张图像的标签。
22.对于分割后的卵裂球胚胎图像，统一图片尺寸，再次组织多名胚胎学家指导完成胚胎细胞边缘的标注，将标注好的图像划分为训练集、验证集和测试集。
23.2.模型构建和训练阶段（1）模型构建本发明提出了胚胎图像卵裂球目标检测网络模型和卵裂球边缘增强模型两个模型。
24.为了排除卵裂球旁边杂质的影响，采用胚胎图像卵裂球目标检测网络模型对卵裂球进行细胞定位，分割出卵裂球，本模型采用yolov5网络框架作为基础网络。
25.胚胎图像卵裂球目标检测网络模型包括卷积层和池化层。在卷积层中，胚胎图像经过公式(1)可以提取到有效的特征信息得到特征图。多次运用公式(1)可以将特征图由局部视野逐渐扩张到全局视野，进而得到胚胎图像由不同局部组成的全局信息：（1）其中x表示输入的图像，w表示卷积核，代表着在图像处的值，代表在卷积核处的权重值。
26.池化层能够地降低特征图的大小，保留更加有效的特征值，从而降低计算量。常用的池化方法主要有随机池化法、均值池化法以及最大值池化法等等，本发明中采用的是最大池化法。
27.卵裂球边缘增强模型应用于hed网络结构，如图3所示，hed 模型包含五个层级的特征提取架构，在各层级中使用 vgg block 提取层级特征图；最后融合五个层级输出作为模型的最终输出。将经过yolov5定位后的图像尺寸统一至224
×
224，送入hed网络，在网络中通过其中的vgg block 模块提取层级特征图。hed 网络架构建立在 vgg16 网络的基础之上，但做出了两方面的修改：一个方面是为了进行多尺度多层次的特征学习，在 vgg16 网络每个阶段的最后一个卷积层之后添加侧输出层。另一个方面是为了节约网络训练的内存/时间成本，去掉了最后一个池化层和之后的全连接层。具体地，卵裂球边缘增强模型通过将卷积层后引出的 5 个侧输出以及 5 个侧输出经过融合层后的结果同时进行训练，计算 6 个损失函数。通过多个侧输出，进行多尺度的学习，对中间细节进行特征提取。对于每个侧输出，通过双线性差值算法进行上采样，还原到原始图像的尺寸，通过融合层输出结果。卵裂球边缘增强模型完整的网络结构如图4所示。
28.为了实现边缘增强突出边缘不清晰图像的边缘信息，本发明采用图像融合的方案，将提取出来的边缘信息图像与原图像融合；同时尽可能地不去改变原始图像的结构信息，即只对卵裂球的边缘进行增强，而不改变卵裂球其他的纹理信息。
29.常见的图像融合传统方案有拉普拉斯融合、基于稀疏编码的图像融合、基于图像特征的融合、基于深度学习的图像融合。本发明采用最大值融合法，考虑到边缘信息图像里边缘信息为灰度值最高的区域，采用最大值替换法不仅避免了深度学习方案复杂的计算以及对设备性能的需求，而且替换的图像边缘信息，不会对卵裂球内部的纹理信息产生影响。如公式（2）所示：（2）本算法为保留两张图像a和b中灰度值最大的像素点，重组为新的图像o，其中代表在原始图像处的灰度值，代表在提取的边缘图像处的灰度值，d代表图像的区域范围。
30.其中最大值图像融合的结果如图2所示，可以看出，d中所示的图像相对于b中有着更加清晰的边缘信息，且对于细胞内的纹理信息没有任何的破坏。
31.本发明方法通过对卵裂球发育的全过程进行监控，通过hed网络提取出边缘不清晰图像的边缘，通过图像融合的手段进行边缘增强，得到边缘增强后的胚胎图像。
32.进一步地，为了获取更好的边缘增强效果图，需要对原图片进行预处理，如图5所示，未经处理的原图片通过hed进行边缘提取不仅提取出了细胞边缘，也提取出了外部的一些环境边缘，这些边缘对结果产生了干扰，因此需要先对胚胎进行定位处理。
33.其中采用yolov5网络框架对卵裂球进行定位组织多名胚胎学家指导完成胚胎细胞位置的标注，将标注好的图像划分为训练集、验证集和测试集，由于定位任务较为简单且为了取得更多定位后数据集，因此安装训练集、验证集、测试集1：1：8的方式进行，由于原始数据集充足，因而可以达到在保证定位效果的同时生成更多的训练集图像。
34.（2）模型训练对收集的胚胎图像数据集进行划分，按照8：1：1的比例分配给训练集、验证集和测试集。利用已标注的胚胎数据测试集对给定的网络预训练模型进行精训练，获取精训练后的网络和参数。本发明提出的ai模型于intel(r) core(tm) i7-8700 cpu，nvidia geforce gtx1060的电脑上进行测试，能够批量的进行图像边缘增强，效率远远优于传统图像处理方法，可以满足工业速度以及效率要求。
35.3.图像处理阶段（1）定位分割将胚胎图像输入至胚胎图像卵裂球目标检测网络模型进行定位与分割，输出分割后的卵裂球图片。如图5所示，左图为通过yolov5进行细胞定位后的图像，右图为分割后生成的图像数据。
36.（2）边缘提取将卵裂球边缘增强模型用于实时的边缘提取过程，在处理图片之前，需要对图片进行定位以及尺寸的统一，得到图像里所包含的边缘信息。如图6所示，左图为未经过定位而直接通过hed网络提取的边缘信息，可以看出所提取边缘包含着大量的杂质信息，右图为进行胚胎定位后提取的边缘信息，可以看出已经剔除了大量的杂质信息。此结果展示了通过胚胎图像卵裂球目标检测网络模型进行胚胎细胞的定位与分割能够避免一些干扰边缘信息的影响。
37.（3）图像融合将所得到的边缘图像与原图像进行最大值融合，即可得到边缘增强后的图像如图7所示。
38.本发明还提出一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的一种胚胎图像的卵裂球边缘增强处理方法。
39.本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
40.最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，尽管参照较佳实施例对本专利进行了详细说明，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。

技术特征：
1.一种胚胎图像的卵裂球边缘增强处理方法，其特征在于：包括如下步骤：s1收集含有卵裂球的胚胎图像，完成胚胎图像的标注，构建胚胎图像数据集；s2对胚胎图像数据集中胚胎图像上的卵裂球进行细胞定位将具有卵裂球的部分分割出来；s3统一分割后图像的尺寸，完成图像中胚胎细胞边缘的标注，将标注好的图像划分为训练集、验证集和测试集；s4构建卵裂球边缘增强模型以提取细胞的边缘信息，生成胚胎细胞的边缘图；s5将边缘图与原图进行图像融合，得到边缘增强后的图像。2.根据权利要求1所述的一种胚胎图像的卵裂球边缘增强处理方法，其特征在于：步骤s2中对卵裂球进行细胞定位采用胚胎图像卵裂球目标检测网络模型实现，该模型采用yolov5网络框架作为基础网络。3.根据权利要求1所述的一种胚胎图像的卵裂球边缘增强处理方法，其特征在于：步骤s4中所述卵裂球边缘增强模型采用构建于vgg16网络结构的hed网络模型。4.根据权利要求3所述的一种胚胎图像的卵裂球边缘增强处理方法，其特征在于：所述hed网络模型包含五个层级的特征提取架构，在各层级中使用 vgg block 提取层级特征图，并融合五个层级输出作为模型的最终输出；在 vgg16 网络每个阶段的最后一个卷积层之后添加侧输出层，同时去掉了最后一个池化层和之后的全连接层。5.根据权利要求4所述的一种胚胎图像的卵裂球边缘增强处理方法，其特征在于：所述hed网络模型在训练阶段将卷积层后引出的 5 个侧输出以及 5 个侧输出经过融合层后的结果同时进行训练，计算 6 个损失函数；通过多个侧输出，进行多尺度的学习，对中间细节进行特征提取；对于每个侧输出，通过双线性差值算法进行上采样，还原到原始图像的尺寸，通过融合层输出结果。6.根据权利要求5所述的一种胚胎图像的卵裂球边缘增强处理方法，其特征在于：所述hed网络模型的融合层采用最大值图像融合算法：本算法为保留两张图像a和b中灰度值最大的像素点，重组为新的图像o，其中代表在原始图像处的灰度值，代表在提取的边缘图像处的灰度值，d代表图像的区域范围。7.根据权利要求1所述的一种胚胎图像的卵裂球边缘增强处理方法，其特征在于：步骤s2中所述胚胎图像卵裂球目标检测网络模型包括用于提取有效特征信息的卷积层和降低特征图的大小、保留有效特征值的池化层。8.根据权利要求7所述的一种胚胎图像的卵裂球边缘增强处理方法，其特征在于：所述池化层采用最大池化法。9.一种设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处
理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一所述的胚胎图像的卵裂球边缘增强处理方法。10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的一种胚胎图像的卵裂球边缘增强处理方法。

技术总结
本发明公开了一种胚胎图像的卵裂球边缘增强处理方法，包括步骤：S1收集含有卵裂球的胚胎图像，构建胚胎图像数据集；S2对胚胎图像数据集中胚胎图像上的卵裂球进行细胞定位将具有卵裂球的部分分割出来；S3统一分割后图像的尺寸，完成图像中胚胎细胞边缘的标注，将标注好的图像划分为训练集、验证集和测试集；S4构建卵裂球边缘增强模型以提取细胞的边缘信息，生成胚胎细胞的边缘图；S5将边缘图与原图进行图像融合，得到边缘增强后的图像。本发明能够自动地完成卵裂球边缘增强，其过程无需人工干预，能够批量的进行图像边缘增强，效率远远优于传统图像处理方法，可以满足工业使用要求。求。求。


技术研发人员：谭威 陈长胜 王潇 彭松林 熊祥 云新
受保护的技术使用者：武汉互创联合科技有限公司
技术研发日：2023.08.15
技术公布日：2023/9/14