一种用于语义分割的特征提取网络和特征提取方法与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种用于语义分割的特征提取网络和特征提取方法。


背景技术：

2.语义分割深度学习网络一般包括编码解码结构和双分支并行结构。编码解码结构包括编码器和解码器，编码器首先逐步对输入进行下采样提取特征，然后解码器再逐步对编码器的输出上采样，最终得到语义分割的结果；双分支并行结构的特征提取过程包括编码器特征提取、特征融合、解码器反卷积和特征调整几个方面，这些步骤共同协作，可以提取出丰富且有意义的特征表示，并保留原始图像的位置和细节信息，从而实现准确的语义分割任务。
3.相关技术中，对于编码解码结构，通常在编码器阶段减少下采样，以保留较多的细节信息，但会导致无法充分提取到上下文信息，而不在编码器阶段减少下采样又会导致细节信息丢失；对于双分支并行结构，由于两个分支都会进行下采样，也会导致细节丢失问题。


技术实现要素：

4.本发明提供一种用于语义分割的特征提取网络和特征提取方法，用以解决现有技术中特征提取的过程中细节信息丢失以及无法充分提取到上下文信息的缺陷，实现能同时提取到更多的上下文信息和细节信息。
5.第一方面，本发明提供一种用于语义分割的特征提取网络，包括：
6.至少两个特征提取模块和至少一个aspp模块，其中，所述至少一个aspp模块中的任意一个aspp模块位于所述至少两个特征提取模块的任意两个相邻特征提取模块之间；
7.所述aspp模块用于获取前一个相邻特征提取模块输出的第一特征，对所述第一特征进行处理后输出第二特征，并将所述第一特征和所述第二特征相加后输入后一个相邻特征提取模块。
8.根据本发明提供的一种用于语义分割的特征提取网络，所述aspp模块用于对所述第一特征进行特征提取处理和/或池化处理。
9.根据本发明提供的一种用于语义分割的特征提取网络，所述至少两个特征提取模块依次包括：1/4特征提取模块、1/8特征提取模块、1/16特征提取模块、和1/32特征提取模块。
10.根据本发明提供的一种用于语义分割的特征提取网络，所述至少一个aspp模块包括以下一项或多项：第一aspp模块、第二aspp模块和第三aspp模块；
11.所述第一aspp模块的前一个相邻特征提取模块为1/4特征提取模块，所述第一aspp模块的后一个相邻特征提取模块为1/8特征提取模块；
12.所述第二aspp模块的前一个相邻特征提取模块为1/8特征提取模块，所述第二
aspp模块的后一个相邻特征提取模块为1/16特征提取模块；
13.所述第三aspp模块的前一个相邻特征提取模块为1/16特征提取模块，所述第三aspp模块的后一个相邻特征提取模块为1/32特征提取模块。
14.根据本发明提供的一种用于语义分割的特征提取网络，所述至少一个aspp模块的空洞率为[6，12，18]。
[0015]
根据本发明提供的一种用于语义分割的特征提取网络，所述用于语义分割的特征提取网络为双分支结构特征提取网络，所述双分支结构特征提取网络包括语义分支和细节分支。
[0016]
根据本发明提供的一种用于语义分割的特征提取网络，所述语义分支包括至少两个所述特征提取模块和至少一个所述aspp模块。
[0017]
第二方面，本发明还提供一种用于语义分割的特征提取方法，应用于所述用于语义分割的特征提取网络，所述方法包括：
[0018]
通过所述至少两个特征提取模块和至少一个aspp模块，进行特征提取；
[0019]
其中，所述至少一个aspp模块中的任意一个aspp模块位于所述至少两个特征提取模块的任意两个相邻特征提取模块之间；
[0020]
所述aspp模块的输入为前一个相邻特征提取模块输出的第一特征，所述aspp模块的输出为对所述第一特征进行处理后得到的第二特征，所述aspp模块的后一个相邻特征提取模块的输入为所述第一特征和所述第二特征相加后的特征。
[0021]
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第二方面提供的用于语义分割的特征提取方法的步骤。
[0022]
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第二方面提供的用于语义分割的特征提取方法的步骤。
[0023]
本发明提供的一种用于语义分割的特征提取网络和特征提取方法，通过在至少两个特征提取模块之间增加一个aspp模块，在aspp模块获取前一个相邻的特征提取模块的第一特征后，对第一特征进行处理得到第二特征，然后将第一特征和第二特征相加输送至后一个相邻的特征提取模块，利用aspp模块融合大感受野特征和小感受野特征，实现语义分割网络可以同时提取到更多的上下文信息和细节信息，提高语义分割的效果。
附图说明
[0024]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]
图1是本发明提供的用于语义分割的特征提取网络的结构示意图之一；
[0026]
图2是本发明提供的用于语义分割的特征提取网络的结构示意图之二；
[0027]
图3是本发明提供的用于语义分割的特征提取网络的结构示意图之三；
[0028]
图4是本发明提供的用于语义分割的特征提取方法的流程示意图；
[0029]
图5是本发明提供的电子设备的实体结构示意图。
具体实施方式
[0030]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0031]
首先对以下内容进行介绍：
[0032]
语义分割深度学习网络整体上可以分为编码解码结构和双分支并行结构。编码解码结构包括编码器和解码器，编码器可以首先逐步对输入进行下采样提取特征，然后解码器再逐步对编码器的输出进行上采样，最终可以得到语义分割的结果，但是编码解码结构在编码阶段进行下采样会导致细节信息丢失，再在解码阶段进行上采样时会缺少必要的细节信息，从而导致无法得到准确的结果，会产生边缘细节不准确的问题。如果在编码器阶段减少下采样，可以保留较多的细节信息，但是又会导致无法充分提取到上下文信息。因此，某些编码解码结构会在减少编码器的下采样之后，使用空洞空间卷积池化金字塔(atrous spatial pyramid pooling，aspp)在不降低分辨率的情况下扩大感受野，从而提取到更多的上下文信息。aspp通过设置不同的空洞率，产生不同的感受野的卷积核，然后可以进行特征提取，aspp使用全局平均池化可以获得整体感受野。但在编码解码结构中一般只在网络特征提取部分的最后一层使用aspp模块。另外为了解决“在编码器阶段减少下采样，可以保留较多的细节信息，但是又会导致无法充分提取到上下文信息；不在编码器阶段减少下采样又会导致细节信息丢失”的矛盾，可以采用双分支并行结构，但是双分支并行结构中的两个分支都会进行下采样，也会导致细节信息丢失的问题。
[0033]
相关技术已经证明融合不同尺寸或者不同分辨率的特征可以提高语义分割深度学习网络的效果，例如深度标注网络(deeplab)系列网络等，但在编码解码网络中一般只在网络特征提取部分的最后一层使用aspp模块。融合不同感受野或者不同尺寸的特征可以提高语义分割深度学习网络的效果，相关技术中没有明确需要在什么位置融合不同感受野或者不同分辨率的特征。另外在双分支并行网络中也存在“细节信息丢失的问题”，并且相关技术中的双分支并行网络没有使用aspp去处理“如何同时获取较多的语义信息和细节信息”的问题。
[0034]
本发明提供的一种用于语义分割的特征提取网络和特征提取方法，可以使语义分割网络同时提取到较多的上下文信息和细节信息，从而提升语义分割的效果。
[0035]
下面基于多个实施例进行详细解释。
[0036]
图1是本发明提供的用于语义分割的特征提取网络的结构示意图之一，如图1所示，所述特征提取网络包括：
[0037]
至少两个特征提取模块和至少一个aspp模块，其中，所述至少一个aspp模块中的任意一个aspp模块位于所述至少两个特征提取模块的任意两个相邻特征提取模块之间；
[0038]
所述aspp模块用于获取前一个相邻特征提取模块输出的第一特征，对所述第一特征进行特征提取和池化处理后输出第二特征，并将所述第一特征和所述第二特征相加后输入后一个相邻特征提取模块。
[0039]
可选地，语义分割可以包括将图像中的每个像素分类并标记出其语义信息。
[0040]
可选地，图像的语义信息可以包括图像中隐含的具有含义、描述、类别和情感等高层次信息。
[0041]
可选地，图像的语义信息可以包括物体、场景、人物和情感等方面的信息。
[0042]
例如，可以在图像中识别出物体的类别和数量、场景的类别和内容、人物的身份、性别和年龄等基本信息，同时还可以获取图像表达的情感或情绪状态等。
[0043]
可选地，语义分割可以包括将图像分为多个区域，每个区域都被赋予一个表示其语义信息的标签。
[0044]
可选地，语义分割可以应用于自动驾驶领域、地图制作领域和人脸识别领域等。
[0045]
可选地，在自动驾驶领域，语义分割可以用于检测道路、人行横道、行人以及车辆等。
[0046]
可选地，在遥感图像处理中，语义分割可以用于土地利用和覆盖分类等。
[0047]
可选地，在计算机视觉中，语义分割可以用于图像分割和视频像素标注等。
[0048]
可选地，用于语义分割的特征提取网络可以包括全卷积神经网络(fully convolutional network，fcn)和u-net网络等。
[0049]
可选地，特征提取模块可以为该特征提取网络中的一个模块。
[0050]
可选地，特征提取模块可以用于提取图像中的像素。
[0051]
可选地，特征提取模块可以至少包括特征提取模块1和特征提取模块2。
[0052]
可选地，aspp模块可以位于特征提取模块1和特征提取模块2之间。
[0053]
可选地，特征提取模块1可以位于aspp模块之前。
[0054]
可选地，aspp模块可以位于特征提取模块2之前。
[0055]
可选地，可以首先将图像输入到该特征提取网络中。
[0056]
可选地，特征提取模块1可以提取该图像的第一特征，然后输出给aspp模块。
[0057]
可选地，第一特征可以包括图像的语义特征。
[0058]
可选地，aspp模块可以通过设置不同的空洞率，产生不同感受野的卷积核进行特征提取。
[0059]
可选地，aspp模块对特征进行全局平均池化，可以获取整体感受野的特征。
[0060]
可选地，aspp模块在获取第一特征后，可以对第一特征进行进一步处理，获取第二特征。
[0061]
可选地，第二特征可以包括图像的语义特征。
[0062]
可选地，第二特征中的语义信息多于第一特征。
[0063]
可选地，可以使用短路连接将第一特征和第二特征相加后输出给特征提取模块2。
[0064]
本发明提供的一种用于语义分割的特征提取网络，通过在至少两个特征提取模块之间增加一个aspp模块，在aspp模块获取前一个相邻的特征提取模块的第一特征后，对第一特征进行处理得到第二特征，然后将第一特征和第二特征相加输送至后一个相邻的特征提取模块，利用aspp模块融合大感受野特征和小感受野特征，实现语义分割网络可以同时提取到更多的上下文信息和细节信息，提高语义分割的效果。
[0065]
可选地，所述aspp模块用于对所述第一特征进行特征提取处理和/或池化处理。
[0066]
可选地，aspp模块对第一特征进行特征提取处理和/或池化处理可以包括使用池
化层对第一特征进行特征提取。
[0067]
可选地，可以将第一特征进行空洞卷积操作，增加第一特征的感受野，获取大感受野的第二特征。
[0068]
可选地，感受野可以为能够捕获的图像像素的区域大小。
[0069]
可选地，aspp模块所提取的特征的感受野与特征提取模块所提取的特征的感受野可以不同。
[0070]
可选地，第一特征的感受野可以大于第二特征的感受野。
[0071]
可选地，大感受野捕获的图像像素的区域可以大于小感受野捕获的图像像素的区域。
[0072]
可选地，第二特征中图像像素的区域可以大于第一特征中图像像素的区域。
[0073]
可选地，网络的层数越多，感受野可以越大，提取的上下文信息可以越多。
[0074]
本发明提供的一种用于语义分割的特征提取网络，通过利用aspp模块对第一特征进行特征提取处理和/或池化处理，获取较大感受野的特征，实现更多上下文信息的提取，提高语义分割的效果。
[0075]
可选地，所述至少两个特征提取模块依次包括：1/4特征提取模块、1/8特征提取模块、1/16特征提取模块、和1/32特征提取模块。
[0076]
可选地，1/4特征提取模块和1/8特征提取模块之间可以包括一个aspp模块。
[0077]
可选地，1/8特征提取模块和1/16特征提取模块之间可以包括一个aspp模块。
[0078]
可选地，1/16特征提取模块和1/32特征提取模块之间可以包括一个aspp模块。
[0079]
可选地，首先1/4特征提取模块可以提取图像的特征(特征a)，将特征a输入至相邻的aspp模块，该aspp模块可以对特征a进行处理后输出特征b，然后该aspp模块可以将特征a和特征b相加后输入至1/8特征提取模块；
[0080]
可选地，1/8特征提取模块可以进一步提取特征a和特征b相加后的特征，得到特征c，可以将特征c输入至相邻的aspp模块，该aspp模块可以对特征c进行处理后输出特征d，然后该aspp模块可以将特征c和特征d相加后输入至1/16特征提取模块；
[0081]
可选地，1/16特征提取模块可以进一步提取特征c和特征d相加后的特征，得到特征e，可以将特征e输入至相邻的aspp模块，该aspp模块可以对特征e进行处理后输出特征f，然后该aspp模块可以将特征e和特征f相加后输入至1/32特征提取模块；
[0082]
可选地，1/32特征提取模块可以进一步提取特征e和特征f相加后的特征，得到特征g。
[0083]
可选地，1/4特征提取模块可以提取出图像中低层次的全局特征。
[0084]
可选地，相对于1/4特征提取模块，1/8特征提取模块可以更深层次地提取图像的全局特征。
[0085]
可选地，相对于1/8特征提取模块，1/16特征提取模块可以更深层次地提取图像的全局特征。
[0086]
可选地，相对于1/16特征提取模块，1/32特征提取模块可以更深层次地提取图像的全局特征。
[0087]
可选地，所述至少一个aspp模块包括以下一项或多项：第一aspp模块、第二aspp模块和第三aspp模块；
[0088]
所述第一aspp模块的前一个相邻特征提取模块为1/4特征提取模块，所述第一aspp模块的后一个相邻特征提取模块为1/8特征提取模块；
[0089]
所述第二aspp模块的前一个相邻特征提取模块为1/8特征提取模块，所述第二aspp模块的后一个相邻特征提取模块为1/16特征提取模块；
[0090]
所述第三aspp模块的前一个相邻特征提取模块为1/16特征提取模块，所述第三aspp模块的后一个相邻特征提取模块为1/32特征提取模块。
[0091]
图2是本发明提供的用于语义分割的特征提取网络的结构示意图之二，如图2所示，首先可以将图像输入至1/4特征提取模块；
[0092]
可选地，1/4特征提取模块可以提取该图像像素的特征(特征a)，然后1/4特征提取模块可以将特征a输出至第一aspp模块，第一aspp模块可以对特征a进行特征提取处理和/或池化处理，获取特征b(第二特征)，可以将特征a和特征b融合后输入至1/8特征提取模块；
[0093]
可选地，1/8特征提取模块可以进一步提取特征a和特征b融合后的特征，得到特征c，然后1/8特征提取模块可以将特征c输出至第二aspp模块，第二aspp模块可以对特征c进行特征提取处理和/或池化处理，获取特征d(第二特征)，可以将特征c和特征d融合后输入至1/16特征提取模块；
[0094]
可选地，1/16特征提取模块可以进一步提取特征c和特征d融合后的特征，得到特征e，然后1/16特征提取模块可以将特征e输出至第三aspp模块，第三aspp模块可以对特征e进行特征提取处理和/或池化处理，获取特征f(第二特征)，可以将特征e和特征f融合后输入至1/32特征提取模块；
[0095]
可选地，1/32特征提取模块可以进一步提取特征e和特征f融合后的特征，得到特征g。
[0096]
可选地，可以在特征提取网络中添加批标准化(batch normalization，bn)层aspp结构。
[0097]
可选地，bn层可以用于归一化数据和加速训练过程。
[0098]
本发明提供的一种用于语义分割的特征提取网络，通过在特征提取模块之间嵌入多个aspp模块，获取大感受野特征，实现语义分割网络可以提取到更多的上下文信息，提高语义分割的效果。
[0099]
可选地，所述至少一个aspp模块的空洞率为[6，12，18]。
[0100]
可选地，aspp可以通过设置不同的空洞率，产生不同的感受野的卷积核进行特征提取。
[0101]
可选地，aspp中的空洞率可以为卷积操作中卷积核中元素之间的间隔大小。
[0102]
可选地，空洞率越大，卷积核的有效野区可以越大，感受野也可以变得更加广阔，对输入数据的上下文理解能力就可以越好。
[0103]
可选地，在aspp中，使用不同空洞率的卷积核对输入特征进行卷积，可以产生不同大小的感受野，增加特征的多尺度性。
[0104]
可选地，aspp中的空洞率可以根据数据的不同尺寸和任务需求进行调整，特别是在语义分割等视觉任务中，可以根据任务的不同，选择不同的空洞率解决不同大小物体的检测问题。
[0105]
可选地，第一aspp模块的空洞率可以为[6，12，18]。
[0106]
可选地，第二aspp模块的空洞率可以为[6，12，18]。
[0107]
可选地，第三aspp模块的空洞率可以为[6，12，18]。
[0108]
可选地，第一aspp模块可以对同一个特征图进行空洞率分别为6、12和18的卷积操作，然后进行池化处理，获得大感受野特征。
[0109]
可选地，第二aspp模块可以对同一个特征图进行空洞率分别为6、12和18的卷积操作，然后进行池化处理，获得大感受野特征。
[0110]
可选地，第三aspp模块可以对同一个特征图进行空洞率分别为6、12和18的卷积操作，然后进行池化处理，获得大感受野特征。
[0111]
可选地，首先可以将图像输入至1/4特征提取模块；
[0112]
可选地，1/4特征提取模块可以提取该图像像素的特征(特征a)，然后1/4特征提取模块可以将特征a输出至第一aspp模块，第一aspp模块可以对特征a进行空洞率分别为6、12和18的卷积操作，然后进行池化处理，获取特征b(第二特征)，可以将特征a和特征b融合后输入至1/8特征提取模块；
[0113]
可选地，1/8特征提取模块可以进一步提取特征a和特征b融合后的特征，得到特征c，然后1/8特征提取模块可以将特征c输出至第二aspp模块，第二aspp模块可以对特征c进行空洞率分别为6、12和18的卷积操作，然后进行池化处理，获取特征d(第二特征)，可以将特征c和特征d融合后输入至1/16特征提取模块；
[0114]
可选地，1/16特征提取模块可以进一步提取特征c和特征d融合后的特征，得到特征e，然后1/16特征提取模块可以将特征e输出至第三aspp模块，第三aspp模块可以对特征e进行空洞率分别为6、12和18的卷积操作，然后进行池化处理，获取特征f(第二特征)，可以将特征e和特征f融合后输入至1/32特征提取模块；
[0115]
可选地，1/32特征提取模块可以进一步提取特征e和特征f融合后的特征，得到特征g。
[0116]
本发明提供的一种用于语义分割的特征提取网络，通过设置较大的空洞率，获取较大的感受野特征，实现语义分割网络可以提取到更多的上下文信息，提高语义分割的效果。
[0117]
可选地，所述用于语义分割的特征提取网络为双分支结构特征提取网络，所述双分支结构特征提取网络包括语义分支和细节分支。
[0118]
可选地，用于语义分割的特征提取网络可以为双分支语义分割网络。
[0119]
可选地，双分支语义分割网络可以为一种使用双重编码器-解码器(encoder-decoder)结构的语义分割模型，其中，模型的两个encoder可以在不同的分辨率下提取特征，然后两个decoder可以对这些特征进行融合，生成最终的语义分割结果。
[0120]
可选地，双分支结构特征提取网络的语义分支可以用于提取图像的语义信息。
[0121]
可选地，双分支结构特征提取网络的语义分支可以提取图像中的全局特征，例如图像的整体布局、物体的类别、颜色和纹理等。
[0122]
可选地，双分支结构特征提取网络的细节分支可以用于提取图像的细节信息。
[0123]
可选地，双分支结构特征提取网络的细节分支可以提取图像中的局部特征，例如图像的边缘、纹理和形状等细节信息。
[0124]
可选地，当图像被输入到双分支结构特征提取网络中时，在经过卷积和池化等操
作之后，语义分支和细节分支可以分别处理图像的全局特征与局部特征。
[0125]
可选地，语义分支和细节分支可以将得到的特征图合并，并在合并的特征图上进行进一步地计算和处理，可以获得更准确的语义分割结果。
[0126]
可选地，双分支语义分割网络在提取特征时可以包括以下步骤：
[0127]
步骤101，编码器特征提取；
[0128]
可选地，在双分支语义分割网络中输入图像后，可以经过编码器进行特征提取和抽象，得到一系列抽象特征图。
[0129]
步骤102，特征融合；
[0130]
可选地，可以将编码器中得到的每一层特征图与解码器中对应层的特征图进行融合，获取具有表征能力的特征图，同时可以保留更多的位置和细节信息。
[0131]
步骤103，解码器反卷积；
[0132]
可选地，在解码的过程中，可以进行反卷积操作，将特征通过上采样和填充等操作，恢复到原始图像的大小，即从高抽象度的特征到低抽象度的特征的映射，完成图像恢复。
[0133]
步骤104，特征调整；
[0134]
可选地，由于编码器中的特征图经过抽象后失去了部分位置和细节信息，因此可以在解码器中对特征图进行调整和添加细节信息，保证最终分割结果的质量和准确性。
[0135]
本发明提供的一种用于语义分割的特征提取网络，通过采用双分支结构特征提取网络，实现语义分割网络可以提取到更多的上下文信息，提高语义分割的效果。
[0136]
可选地，所述语义分支包括至少两个所述特征提取模块和至少一个所述aspp模块。
[0137]
可选地，可以在语义分支中嵌入aspp模块。
[0138]
图3是本发明提供的用于语义分割的特征提取网络的结构示意图之三，如图3所示，细节分支可以依次包括1/2特征提取模块、1/4特征提取模块和1/8特征提取模块；
[0139]
可选地，语义分支可以依次包括1/4特征提取模块、第一aspp模块、1/8特征提取模块、第二aspp模块、1/16特征提取模块、第三aspp模块和1/32特征提取模块。
[0140]
可选地，级联特征融合(cascade feature fusion，cff)模块可以融合细节分支和语义分支的特征。
[0141]
可选地，cff模块可以将细节分支中1/2特征提取模块提取的特征和语义分支中第二aspp模块提取的特征进行融合。
[0142]
可选地，cff模块可以将细节分支中1/4特征提取模块提取的特征和语义分支中第三aspp模块提取的特征进行融合。
[0143]
可选地，cff模块可以将细节分支中1/8特征提取模块提取的特征和语义分支中1/32特征提取模块提取的特征进行融合。
[0144]
可选地，可以将图像输入至细节分支的1/2特征提取模块；
[0145]
可选地，细节分支的1/2特征提取模块可以提取该图像像素的特征(特征m)，然后将特征m输入至细节分支的1/4特征提取模块；
[0146]
可选地，细节分支的1/4特征提取模块可以提取该图像像素的特征(特征n)，然后将特征n输入至细节分支的1/8特征提取模块；
[0147]
可选地，1/8特征提取模块可以进一步提取特征n，得到特征q。
[0148]
可选地，可以将图像输入至语义分支的1/4特征提取模块；
[0149]
可选地，语义分支的1/4特征提取模块可以提取该图像像素的特征(特征a)，然后语义分支的1/4特征提取模块可以将特征a输出至第一aspp模块，第一aspp模块可以对特征a进行空洞率分别为6、12和18的卷积操作，然后进行池化处理，获取特征b(第二特征)，可以将特征a和特征b融合后输入至语义分支的1/8特征提取模块；
[0150]
可选地，语义分支的1/8特征提取模块可以进一步提取特征a和特征b融合后的特征，得到特征c，然后语义分支的1/8特征提取模块可以将特征c输出至第二aspp模块，第二aspp模块可以对特征c进行空洞率分别为6、12和18的卷积操作，然后进行池化处理，获取特征d(第二特征)，可以将特征c和特征d融合后输入至1/16特征提取模块；
[0151]
可选地，1/16特征提取模块可以进一步提取特征c和特征d融合后的特征，得到特征e，然后1/16特征提取模块可以将特征e输出至第三aspp模块，第三aspp模块可以对特征e进行空洞率分别为6、12和18的卷积操作，然后进行池化处理，获取特征f(第二特征)，可以将特征e和特征f融合后输入至1/32特征提取模块；
[0152]
可选地，1/32特征提取模块可以进一步提取特征e和特征f融合后的特征，得到特征g。
[0153]
可选地，cff模块可以将细节分支中1/2特征提取模块提取的特征m和语义分支中第二aspp模块提取的特征d进行融合。
[0154]
可选地，cff模块可以将细节分支中1/4特征提取模块提取的特征n和语义分支中第三aspp模块提取的特征f进行融合。
[0155]
可选地，cff模块可以将细节分支中1/8特征提取模块提取的特征q和语义分支中1/32特征提取模块提取的特征g进行融合。
[0156]
本发明提供的一种用于语义分割的特征提取网络，通过在语义分支中增加多个aspp模块，获取大感受野特征，利用aspp模块融合大感受野特征和小感受野特征，cff模块融合细节分支和语义分支的特征，实现语义分割网络可以同时提取到更多的上下文信息和细节信息，提高语义分割的效果。
[0157]
图4是本发明提供的用于语义分割的特征提取方法的流程示意图，如图4所示，应用于上述用于语义分割的特征提取网络，该方法包括以下步骤：
[0158]
步骤400，通过所述至少两个特征提取模块和至少一个aspp模块，进行特征提取；
[0159]
其中，所述至少一个aspp模块中的任意一个aspp模块位于所述至少两个特征提取模块的任意两个相邻特征提取模块之间；
[0160]
所述aspp模块的输入为前一个相邻特征提取模块输出的第一特征，所述aspp模块的输出为对所述第一特征进行处理后得到的第二特征，所述aspp模块的后一个相邻特征提取模块的输入为所述第一特征和所述第二特征相加后的特征。
[0161]
可选地，特征提取模块可以包括1/4特征提取模块、1/8特征提取模块、1/16特征提取模块和1/32特征提取模块。
[0162]
可选地，aspp模块可以包括第一aspp模块、第二aspp模块和第三aspp模块。
[0163]
可选地，第一aspp模块可以位于1/4特征提取模块和1/8特征提取模块之间。
[0164]
可选地，第二aspp模块可以位于1/8特征提取模块和1/16特征提取模块之间。
[0165]
可选地，第三aspp模块可以位于1/16特征提取模块和1/32特征提取模块之间。
[0166]
可选地，可以将图像输入至细节分支的1/2特征提取模块；
[0167]
可选地，细节分支的1/2特征提取模块可以提取该图像像素的特征(特征m)，然后将特征m输入至细节分支的1/4特征提取模块；
[0168]
可选地，细节分支的1/4特征提取模块可以提取该图像像素的特征(特征n)，然后将特征n输入至细节分支的1/8特征提取模块；
[0169]
可选地，1/8特征提取模块可以进一步提取特征n，得到特征q。
[0170]
可选地，可以将图像输入至语义分支的1/4特征提取模块；
[0171]
可选地，语义分支的1/4特征提取模块可以提取该图像像素的特征(特征a)，然后语义分支的1/4特征提取模块可以将特征a输出至第一aspp模块，第一aspp模块可以对特征a进行空洞率分别为6、12和18的卷积操作，然后进行池化处理，获取特征b(第二特征)，可以将特征a和特征b融合后输入至语义分支的1/8特征提取模块；
[0172]
可选地，语义分支的1/8特征提取模块可以进一步提取特征a和特征b融合后的特征，得到特征c，然后语义分支的1/8特征提取模块可以将特征c输出至第二aspp模块，第二aspp模块可以对特征c进行空洞率分别为6、12和18的卷积操作，然后进行池化处理，获取特征d(第二特征)，可以将特征c和特征d融合后输入至1/16特征提取模块；
[0173]
可选地，1/16特征提取模块可以进一步提取特征c和特征d融合后的特征，得到特征e，然后1/16特征提取模块可以将特征e输出至第三aspp模块，第三aspp模块可以对特征e进行空洞率分别为6、12和18的卷积操作，然后进行池化处理，获取特征f(第二特征)，可以将特征e和特征f融合后输入至1/32特征提取模块；
[0174]
可选地，1/32特征提取模块可以进一步提取特征e和特征f融合后的特征，得到特征g。
[0175]
可选地，cff模块可以将细节分支中1/2特征提取模块提取的特征m和语义分支中第二aspp模块提取的特征d进行融合。
[0176]
可选地，cff模块可以将细节分支中1/4特征提取模块提取的特征n和语义分支中第三aspp模块提取的特征f进行融合。
[0177]
可选地，cff模块可以将细节分支中1/8特征提取模块提取的特征q和语义分支中1/32特征提取模块提取的特征g进行融合。
[0178]
本发明提供的一种用于语义分割的特征提取方法，通过在至少两个特征提取模块之间增加一个aspp模块，在aspp模块获取前一个相邻的特征提取模块的第一特征后，对第一特征进行处理得到第二特征，然后将第一特征和第二特征相加输送至后一个相邻的特征提取模块，利用aspp模块融合大感受野特征和小感受野特征，实现语义分割网络可以同时提取到更多的上下文信息和细节信息，提高语义分割的效果。
[0179]
图5是本发明提供的电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行用于语义分割的特征提取方法，该方法包括：
[0180]
通过所述至少两个特征提取模块和至少一个aspp模块，进行特征提取；
[0181]
其中，所述至少一个aspp模块中的任意一个aspp模块位于所述至少两个特征提取模块的任意两个相邻特征提取模块之间；
[0182]
所述aspp模块的输入为前一个相邻特征提取模块输出的第一特征，所述aspp模块的输出为对所述第一特征进行处理后得到的第二特征，所述aspp模块的后一个相邻特征提取模块的输入为所述第一特征和所述第二特征相加后的特征。
[0183]
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0184]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的用于语义分割的特征提取方法，该方法包括：
[0185]
通过所述至少两个特征提取模块和至少一个aspp模块，进行特征提取；
[0186]
其中，所述至少一个aspp模块中的任意一个aspp模块位于所述至少两个特征提取模块的任意两个相邻特征提取模块之间；
[0187]
所述aspp模块的输入为前一个相邻特征提取模块输出的第一特征，所述aspp模块的输出为对所述第一特征进行处理后得到的第二特征，所述aspp模块的后一个相邻特征提取模块的输入为所述第一特征和所述第二特征相加后的特征。
[0188]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的用于语义分割的特征提取方法，该方法包括：
[0189]
通过所述至少两个特征提取模块和至少一个aspp模块，进行特征提取；
[0190]
其中，所述至少一个aspp模块中的任意一个aspp模块位于所述至少两个特征提取模块的任意两个相邻特征提取模块之间；
[0191]
所述aspp模块的输入为前一个相邻特征提取模块输出的第一特征，所述aspp模块的输出为对所述第一特征进行处理后得到的第二特征，所述aspp模块的后一个相邻特征提取模块的输入为所述第一特征和所述第二特征相加后的特征。
[0192]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0193]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该
计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0194]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种用于语义分割的特征提取网络，其特征在于，包括：至少两个特征提取模块和至少一个aspp模块，其中，所述至少一个aspp模块中的任意一个aspp模块位于所述至少两个特征提取模块的任意两个相邻特征提取模块之间；所述aspp模块用于获取前一个相邻特征提取模块输出的第一特征，对所述第一特征进行处理后输出第二特征，并将所述第一特征和所述第二特征相加后输入后一个相邻特征提取模块。2.根据权利要求1所述的用于语义分割的特征提取网络，其特征在于，所述aspp模块用于对所述第一特征进行特征提取处理和/或池化处理。3.根据权利要求1所述的用于语义分割的特征提取网络，其特征在于，所述至少两个特征提取模块依次包括：1/4特征提取模块、1/8特征提取模块、1/16特征提取模块、和1/32特征提取模块。4.根据权利要求3所述的用于语义分割的特征提取网络，其特征在于，所述至少一个aspp模块包括以下一项或多项：第一aspp模块、第二aspp模块和第三aspp模块；所述第一aspp模块的前一个相邻特征提取模块为1/4特征提取模块，所述第一aspp模块的后一个相邻特征提取模块为1/8特征提取模块；所述第二aspp模块的前一个相邻特征提取模块为1/8特征提取模块，所述第二aspp模块的后一个相邻特征提取模块为1/16特征提取模块；所述第三aspp模块的前一个相邻特征提取模块为1/16特征提取模块，所述第三aspp模块的后一个相邻特征提取模块为1/32特征提取模块。5.根据权利要求1-4任一项所述的用于语义分割的特征提取网络，其特征在于，所述至少一个aspp模块的空洞率为[6，12，18]。6.根据权利要求1-4任一项所述的用于语义分割的特征提取网络，其特征在于，所述用于语义分割的特征提取网络为双分支结构特征提取网络，所述双分支结构特征提取网络包括语义分支和细节分支。7.根据权利要求6所述的用于语义分割的特征提取网络，其特征在于，所述语义分支包括至少两个所述特征提取模块和至少一个所述aspp模块。8.一种用于语义分割的特征提取方法，其特征在于，应用于权利要求1-7任一项提供的用于语义分割的特征提取网络，所述方法包括：通过所述至少两个特征提取模块和至少一个aspp模块，进行特征提取；其中，所述至少一个aspp模块中的任意一个aspp模块位于所述至少两个特征提取模块的任意两个相邻特征提取模块之间；所述aspp模块的输入为前一个相邻特征提取模块输出的第一特征，所述aspp模块的输出为对所述第一特征进行处理后得到的第二特征，所述aspp模块的后一个相邻特征提取模块的输入为所述第一特征和所述第二特征相加后的特征。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求8所述用于语义分割的特征提取方法的步骤。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求8所述用于语义分割的特征提取方法的步骤。

技术总结
本发明提供一种用于语义分割的特征提取网络和特征提取方法，该网络包括：至少两个特征提取模块和至少一个ASPP模块，其中，所述至少一个ASPP模块中的任意一个ASPP模块位于所述至少两个特征提取模块的任意两个相邻特征提取模块之间；所述ASPP模块用于获取前一个相邻特征提取模块输出的第一特征，对第一特征进行处理后输出第二特征，并将第一特征和第二特征相加后输入后一个相邻特征提取模块。通过在至少两个特征提取模块之间增加一个ASPP模块，利用ASPP模块融合大感受野特征和小感受野特征，实现语义分割网络可以同时提取到更多的上下文信息和细节信息，提高语义分割的效果。提高语义分割的效果。提高语义分割的效果。


技术研发人员：孟鹏飞 贾双成 朱磊 郭杏荣
受保护的技术使用者：智道网联科技（北京）有限公司
技术研发日：2023.03.28
技术公布日：2023/8/14