基于多尺度双向卷积的压缩视频感官质量增强方法及系统

1.本发明涉及视频编解码领域，特别涉及一种基于多尺度双向卷积的压缩视频感官质量增强方法及系统。


背景技术：

2.如今，视频内容已经成为数字网络流量的主要部分，并且仍在增长。为了在有限带宽下传输视频，必须对视频进行压缩，以显著减低比特率。但是，主流的压缩方法如h.264/avc和h.265/hevc，经常在压缩视频中引入各种伪影，特别是在低比特率的情况下，这些伪影的存在极大影响了人们的视觉感官以及一些图像处理任务，如图像识别、目标检测等。因此，有必要对压缩视频进行增强。
3.视频编解码标准中对编解码过程信息丢失的主要处理方法是环路滤波处理。但是传统的环路滤波处理受到计算复杂度的限制，并不能很好的改善最后重建视频的质量。近年来，人们在不改动编解码框架的前提下，对于解压后的低质量视频进行基于深度学习的后处理来提高视频质量。遗憾的是，现有的基于深度学习的增强方法主要是增强压缩视频的客观质量，而忽略了感官质量。实际上，人类视觉系统(hvs)才是压缩视频的最终目的，所以，感官质量的增强比客观质量更重要。因此，如何设计出符合人类视觉系统的压缩视频增强网络具有重要意义和应用价值。


技术实现要素：

4.本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于多尺度双向卷积的压缩视频感官质量增强方法及系统，能够从低质量的解压缩视频中重建出符合人类视觉系统的高质量视频帧。
5.本发明采用如下技术方案：
6.一方面，一种基于多尺度双向卷积的压缩视频感官质量增强方法，包括：
7.将输入的多个视频帧进行运动补偿，获得对齐后的特征；所述输入的多个视频帧包括参考帧和参考帧的前后若干相邻帧；
8.提取对齐后的特征的时序信息，获得时空融合后的特征；
9.提取时空融合后的特征的方向特征，获得水平特征和垂直特征；
10.基于参考帧和相邻帧来指导水平特征和垂直特征的恢复，获得细节注意力机制处理后的特征；
11.将通过细节注意力机制处理后的特征进行增强，获得增强后的方向特征；将增强后的方向特征与参考帧进行逐元素相加，得到增强帧。
12.优选的，将输入的多个视频帧进行运动补偿，获得对齐后的特征，具体包括：
13.输入参考帧v
t
和参考帧的相邻帧其中，n为自然数，表示前/后相邻帧的数量；
14.通过u-net网络把多个视频帧转换为多个高维特征向量，向量中的每个维度都代
表着视频帧的一个特征或属性，所述u-net网络输出运动偏移offset；
15.把输入帧v
t
和在通道维度进行拼接，并把拼接的信息与运动偏移offset送入可变形卷积网络中；
16.所述可变形卷积网络将运动偏移量offset和多个视频帧进行融合，使得多个视频帧的像素朝着对应的偏移量offset移动，以得到对齐后的多帧信息。
17.优选的，设运动偏移offset为o，融合后对齐的特征为f，运动补偿的过程表示如下：
[0018][0019][0020]
其中，[
·
,
·
]表示在通道维度进行拼接，u(
·
)表示u-net操作，dcn(
·
)表示可变形卷积操作。
[0021]
优选的，提取对齐后的特征的时序信息，获得时空融合后的特征，具体包括：
[0022]
使用两个3d卷积层提取对齐特征的时空信息；其中，每个卷积层都包含多个卷积核，每个卷积核都在时空维度上滑动，提取多个视频帧的时空信息；在第一个3d卷积层中，每个卷积核将从多个视频帧中提取特征，这些特征在时空维度上进行平均或汇总后，生成一组新的特征；新的特征被送入下一个3d卷积层中，进一步提取时空信息；
[0023]
具体的，时空融合后的特征表示为：
[0024]f3d
＝con3d(conv3d(f))
[0025]
其中，f
3d
表示时空融合后的特征；f表示融合后对齐的特征；conv3(
·
)表示3d卷积操作。
[0026]
优选的，提取时空融合后的特征的方向特征，获得水平特征和垂直特征，具体包括：
[0027]
以包括时空融合后的特征的视频帧作为输入；
[0028]
通过双向卷积，提取水平方向特征和垂直方向特征；所述双向卷积包括mx1和1xm的卷积；其中，mx1的卷积提取出水平方向特征，1xm的卷积提取出垂直方向特征；将mx1的卷积1xm的卷积堆叠在一起，提取出输入视频帧的水平方向特征和垂直方向特征；
[0029]
把mx1卷积提取的水平方向特征和1xm卷积提取的垂直方向特征在通道维度进行拼接，并把拼接的信息送入多尺度卷积，用不同大小的卷积核来捕获视频帧的几何变化，输出方向特征。
[0030]
优选的，基于参考帧和相邻帧来指导水平特征和垂直特征的恢复，获得细节注意力机制处理后的特征，具体包括：
[0031]
通过细节注意力机制，把参考帧、相邻帧、水平方向特征和垂直方向特征在通道维度进行拼接；
[0032]
把拼接的信息在通道维度上分别取最大值和求和；
[0033]
把取最大值之后的特征图和求和后的特征图在通道维度进行拼接，并通过1x1的卷积进行特征融合；
[0034]
把融合的特征图通过sigmoid激活函数输出，最后把输出结果与方向特征进行逐元素相加，获得通过细节注意力机制处理后的特征。
[0035]
优选的，所述水平特征、垂直特征、通过多尺度卷积融合后的方向特征为及通过细节注意力机制处理后的特征分别表示如下：
[0036]fh
＝ch(f
3d
)
[0037]
fv＝cv(f
3d
)
[0038]ff
＝m([fh,fv])
[0039][0040]
在公式中，f
3d
表示时空融合后的特征；fh表示水平特征；fv表示水平特征；fv表示通过多尺度卷积融合后的方向特征；fa表示通过细节注意力机制处理后的特征；ch(
·
)表示1xm的卷积操作，cv(
·
)表示mx1的卷积操作，m(
·
)表示多尺度卷积操作，dfa(
·
)表示细节注意力机制操作；v
t
表示参考帧；表示参考帧的相邻帧。
[0041]
优选的，将通过细节注意力机制处理后的特征进行增强，获得增强后的方向特征；将增强后的方向特征与参考帧进行逐元素相加，得到增强帧，具体包括：
[0042]
将通过细节注意力机制处理后的特征送入包括多个密集残差块的网络，输出增强后的方向特征；
[0043]
把增强后的方向特征与参考帧进行逐元素相加，得到增强帧；
[0044]
所述增强帧表示如下：
[0045]
fe＝res(fa)+v
t
[0046]
其中，fe表示增强帧；fa表示通过细节注意力机制处理后的特征；v
t
表示参考帧；res(
·
)表示稠密残差卷积操作。
[0047]
另一方面，一种基于多尺度双向卷积的压缩视频感官质量增强系统，基于生成式对抗网络，包括生成器和判别器；所述生成器包括运动补偿网络、时空融合网络、多尺度双向网络和稠密残差重建网络；
[0048]
所述运动补偿网络，用于将输入的多个视频帧进行运动补偿，获得对齐后的特征；所述输入的多个视频帧包括参考帧和参考帧的前后若干相邻帧；
[0049]
所述时空融合网络，用于提取对齐后的特征的时序信息，获得时空融合后的特征；
[0050]
所述多尺度双向网络，用于提取时空融合后的特征的方向特征，获得水平特征和垂直特征；还用于基于参考帧和相邻帧来指导水平特征和垂直特征的恢复，获得细节注意力机制处理后的特征；
[0051]
所述稠密残差重建网络，用于将通过细节注意力机制处理后的特征进行增强，获得增强后的方向特征；将增强后的方向特征与参考帧进行逐元素相加，得到增强帧。
[0052]
与现有技术相比，本发明的有益效果如下：
[0053]
(1)本发明能够提高重建视频帧的感官质量，相比传统的压缩视频客观质量增强方法，该网络恢复的重建帧更符合人类视觉系统，可以明显改善压缩带来的质量下降问题；
[0054]
(2)本发明的运动补偿过程包括u-net网络和可变形卷积网络，能够使视频帧之间的运动更加平滑，并降低压缩视频噪声和伪影的影响，从而提高视频质量；
[0055]
(3)本发明的两个3d卷积能够很好的捕获视频帧与帧之间的时序信息；
[0056]
(4)本发明的利用双向卷积可以有效地提取视频帧的水平和垂直特征，并且利用多个不同长、宽的卷积核可以控制双向卷积的纹理特征，从而获得更精细的纹理信息；与双
向卷积相结合的多尺度卷积，能够用不同大小的卷积核捕获出视频帧的几何变化。具体来说，使用较小的卷积核能够帮忙捕获一些局部的几何变化，例如物体的细微移动或形态变化，而使用较大的卷积核能够帮助捕获更广泛的几何变化，例如物体的整体移动或缩放，通过组合不同大小的卷积核，能够更全面地捕获视频中的几何变化，从而更好地理解视频中的运动和变化；
[0057]
(5)本发明将细节注意力机制处理后的特征送入包括多个密集残差块的网络，能够输出增强后的方向特征，把增强后的方向特征与参考帧进行逐元素相加，重建高质量视频帧；具体来说，密集残差是指在重建视频帧时，将每个像素的重建误差都作为残差输入到下一层网络中，这样可以更好地保留图像的细节和纹理信息；相比不使用密集残差的方法，密集残差可以更好地重建出高质量的视频帧，从而提高视频的视觉效果和观感质量。
附图说明
[0058]
图1为本发明实施例的基于多尺度双向卷积的压缩视频感官质量增强方法的流程图；
[0059]
图2为本发明实施例的网络结构框图。
具体实施方式
[0060]
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
[0061]
为了解决视频编解码过程中信息丢失导致的重建视频质量下降问题，本实施例提出一种基于多尺度双向卷积的压缩视频感官质量增强方法，用于从低质量的解压缩视频中重建出符合人类视觉系统的高质量视频帧。
[0062]
具体的，参见图1所示，一种基于多尺度双向卷积的压缩视频感官质量增强方法，包括：
[0063]
s101，将输入的多个视频帧进行运动补偿，获得对齐后的特征；所述输入的多个视频帧包括参考帧和参考帧的前后若干相邻帧；
[0064]
s102，提取对齐后的特征的时序信息，获得时空融合后的特征；
[0065]
s103，提取时空融合后的特征的方向特征，获得水平特征和垂直特征；
[0066]
s104，基于参考帧和相邻帧来指导水平特征和垂直特征的恢复，获得细节注意力机制处理后的特征；
[0067]
s105，将通过细节注意力机制处理后的特征进行增强，获得增强后的方向特征；将增强后的方向特征与参考帧进行逐元素相加，得到增强帧。
[0068]
参见图2所示，本实施例中，一种基于多尺度双向卷积的压缩视频感官质量增强方法的训练集制作、网络模型构建及网络处理的具体如下。
[0069]
步骤1，数据集制作。将收集获取的视频转换为hevc编码所支持的yuv420格式，然后在h.256/hevc的标准测试平台hm-16.5上，以低时延(ldp)配置模式对其进行编码，编码过程中将量化等级分别设置为qp＝27、32、37、42，获取4个不同量化等级的低质量重建视频
序列训练集。
[0070]
步骤2，网络模型构建。本实施例的模型采用生成式对抗网络，包括生成器和判别器，其中生成器作为整个方法的核心由4个网络组成，分别为运动补偿网络、时空融合网络、多尺度双向网络和稠密残差重建网络。
[0071]
步骤3，运动补偿网络处理。
[0072]
具体的，将参考帧v
t
和相邻帧作为网络的输入。首先，通过u-net网路把多个视频帧转换为多个高维特征向量，这个向量中的每个维度都代表着该视频帧的一个特征或属性，通过这种方式，每个视频帧都被表示为一个在高维空间中的点，这使得它们更容易进行比较和融合，u-net的输出就是运动偏移offset。接着，把输入帧v
t
和在通道维度进行拼接，然后把拼接的信息与运动偏移offset送入可变形卷积网络中，该网络可以将这个运动偏移量offset和多个视频帧进行融合，使得多个视频帧的像素朝着对应的偏移量offset移动，以得到对齐后的多帧信息。这个过程可以使视频帧之间的运动更加平滑，并降低压缩视频帧噪声和伪影的影响，从而提高视频质量。设运动偏移offset为o，融合后对齐的特征为f，其可以分别表示为：
[0073][0074][0075]
其中，[
·
,
·
]表示在通道维度进行拼接，u(
·
)表示u-net操作，dcn(
·
)表示可变形卷积操作。
[0076]
参见图2所示，本实施例中，取参考帧和参考帧的前两帧和后两帧低质量帧作为网络的输入，先同通过u-net网络，把该5帧映射到高维空间，然后送入可变形卷积预测出运动偏移量，最后把运动偏移量和5个视频帧进行融合，得到对齐后的5帧。
[0077]
步骤4，时空融合网络处理。充分考虑视频帧的时序信息，用两个3d卷积提取对齐特征的时空信息。
[0078]
具体的，以运动补偿网络对齐后的特征f作为网络的输入，接着使用两个3d卷积层。每个卷积层都包含多个卷积核，每个卷积核都在时空维度上滑动，提取多个视频帧的时空信息。通过卷积操作提取时空特征。在每个卷积层中，每个卷积核将从多个视频帧中提取特征，这些特征将在时空维度上进行平均或汇总，以生成一组新的特征。这些特征将被送入下一个卷积层中，以进一步提取时空信息。设时空融合后的特征为f
3d
，其可以表示为：
[0079]f3d
＝con3d(conv3d(f))
[0080]
其中，conv3(
·
)表示3d卷积操作。
[0081]
步骤5，多尺度双向网络处理。
[0082]
具体的，以时空融合后的特征f
3d
作为网络的输入。首先通过双向卷积，该卷积是由用不同长、宽的卷积核，如mx1和1xm的卷积处理视频帧。mx1可有分析出输入视频帧的水平方向特征，1xm的卷积可以分析出输入视频帧的垂直方向特征。mx1卷积核的每个卷积核都是一个m行1列的矩阵，当它在视频帧上进行卷积时，它将提取视频帧中每列的特征，因此它可以提取视频帧的水平方向特征。同样地，1xm卷积核的每个卷积核都是一个1行m列的矩阵，当它在视频帧上进行卷积时，它将提取视频帧中每行的特征，因此它可以提取视频帧的垂直方向特征。将mx1的卷积核1xm的卷积堆叠在一起，就可以分析出输入视频帧的水平和
垂直方向特征，通过控制n的大小，来控制双向卷积的纹理特征，从而获得更精细的高频信息。最后，把mx1卷积提取的水平方向特征和1xm卷积提取的垂直方向特征在通道维度进行拼接，接着把拼接的信息送入多尺度卷积，用不同大小的卷积核来捕获视频帧的几何变化，如低质量压缩视频中的扭曲内容和小物体的变化(运动中的篮球等)，然后输出方向特征。最后，通过细节注意力机制，把参考帧、相邻帧、水平方向特征和垂直方向特征在通道维度进行拼接，然后把拼接的信息在通道维度上分别取最大值和求和，然后把取最大值之后的特征图和求和后的特征图在通道维度进行拼接，接着通过1x1的卷积进行特征融合，然后把融合的特征图通过sigmoid激活函数输出，最后把输出结果与方向特征进行逐元素相加。设水平特征和垂直特征分别为fh和fv，通过多尺度卷积融合后的方向特征为ff，通过细节注意力机制处理后的特征fa，其可以分别表示为：
[0083]fh
＝ch(f
3d
)
[0084]
fv＝cv(f
3d
)
[0085]ff
＝m([fh,fv])
[0086][0087]
其中，ch(
·
)表示1xm的卷积操作，cv(
·
)表示mx1的卷积操作，m(
·
)表示多尺度卷积操作，dfa(
·
)表示细节注意力机制操作。
[0088]
步骤6，目标帧重建。
[0089]
具体的，将上述增强网络的残差信息加上原始的参考帧得到最终的重建视频帧。具体来说，把输入帧先通过运动补偿网络得到对齐后的特征f，然后把对齐后的特征送入时空融合网络得到融合后的信息f
3d
，接着把融合后的信息送入多尺度双向卷积提取其方向特征ff，然后把ff送入细节注意力机制，输出fa，接着把fa送入稠密残差重建网络，输出增强后的方向特征，最后把增强后的方向特征与参考帧进行逐元素相加，得到增强帧。设增强帧为fe，其可以表示为：
[0090]
fe＝res(fa)+v
t
[0091]
其中，res(
·
)表示稠密残差卷积操作。
[0092]
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

技术特征：
1.一种基于多尺度双向卷积的压缩视频感官质量增强方法，其特征在于，包括：将输入的多个视频帧进行运动补偿，获得对齐后的特征；所述输入的多个视频帧包括参考帧和参考帧的前后若干相邻帧；提取对齐后的特征的时序信息，获得时空融合后的特征；提取时空融合后的特征的方向特征，获得水平特征和垂直特征；基于参考帧和相邻帧来指导水平特征和垂直特征的恢复，获得细节注意力机制处理后的特征；将通过细节注意力机制处理后的特征进行增强，获得增强后的方向特征；将增强后的方向特征与参考帧进行逐元素相加，得到增强帧。2.根据权利要求1所述的基于多尺度双向卷积的压缩视频感官质量增强方法，其特征在于，将输入的多个视频帧进行运动补偿，获得对齐后的特征，具体包括：输入参考帧v
t
和参考帧的相邻帧其中，n为自然数，表示前/后相邻帧的数量；通过u-net网络把多个视频帧转换为多个高维特征向量，向量中的每个维度都代表着视频帧的一个特征或属性，所述u-net网络输出运动偏移offset；把输入帧v
t
和在通道维度进行拼接，并把拼接的信息与运动偏移offset送入可变形卷积网络中；所述可变形卷积网络将运动偏移量offset和多个视频帧进行融合，使得多个视频帧的像素朝着对应的偏移量offset移动，以得到对齐后的多帧信息。3.根据权利要求2所述的基于多尺度双向卷积的压缩视频感官质量增强方法，其特征在于，设运动偏移offset为o，融合后对齐的特征为f，运动补偿的过程表示如下：在于，设运动偏移offset为o，融合后对齐的特征为f，运动补偿的过程表示如下：其中，[
·
,
·
]表示在通道维度进行拼接，u(
·
)表示u-net操作，dcn(
·
)表示可变形卷积操作。4.根据权利要求1所述的基于多尺度双向卷积的压缩视频感官质量增强方法，其特征在于，提取对齐后的特征的时序信息，获得时空融合后的特征，具体包括：使用两个3d卷积层提取对齐特征的时空信息；其中，每个卷积层都包含多个卷积核，每个卷积核都在时空维度上滑动，提取多个视频帧的时空信息；在第一个3d卷积层中，每个卷积核将从多个视频帧中提取特征，这些特征在时空维度上进行平均或汇总后，生成一组新的特征；新的特征被送入下一个3d卷积层中，进一步提取时空信息；具体的，时空融合后的特征表示为：f
3d
＝con3d(conv3d(f))其中，f
3d
表示时空融合后的特征；f表示融合后对齐的特征；conv3(
·
)表示3d卷积操作。5.根据权利要求1所述的基于多尺度双向卷积的压缩视频感官质量增强方法，其特征在于，提取时空融合后的特征的方向特征，获得水平特征和垂直特征，具体包括：以包括时空融合后的特征的视频帧作为输入；通过双向卷积，提取水平方向特征和垂直方向特征；所述双向卷积包括mx1和1xm的卷
积；其中，mx1的卷积提取出水平方向特征，1xm的卷积提取出垂直方向特征；将mx1的卷积1xm的卷积堆叠在一起，提取出输入视频帧的水平方向特征和垂直方向特征；把mx1卷积提取的水平方向特征和1xm卷积提取的垂直方向特征在通道维度进行拼接，并把拼接的信息送入多尺度卷积，用不同大小的卷积核来捕获视频帧的几何变化，输出方向特征。6.根据权利要求5所述的基于多尺度双向卷积的压缩视频感官质量增强方法，其特征在于，基于参考帧和相邻帧来指导水平特征和垂直特征的恢复，获得细节注意力机制处理后的特征，具体包括：通过细节注意力机制，把参考帧、相邻帧、水平方向特征和垂直方向特征在通道维度进行拼接；把拼接的信息在通道维度上分别取最大值和求和；把取最大值之后的特征图和求和后的特征图在通道维度进行拼接，并通过1x1的卷积进行特征融合；把融合的特征图通过sigmoid激活函数输出，最后把输出结果与方向特征进行逐元素相加，获得通过细节注意力机制处理后的特征。7.根据权利要求6所述的基于多尺度双向卷积的压缩视频感官质量增强方法，其特征在于，所述水平特征、垂直特征、通过多尺度卷积融合后的方向特征为及通过细节注意力机制处理后的特征分别表示如下：f
h
＝c
h
(f
3d
)fv＝cv(f
3d
)f
f
＝m([f
h
,fv])在公式中，f
3d
表示时空融合后的特征；f
h
表示水平特征；fv表示水平特征；fv表示通过多尺度卷积融合后的方向特征；f
a
表示通过细节注意力机制处理后的特征；c
h
(
·
)表示1xm的卷积操作，cv(
·
)表示mx1的卷积操作，m(
·
)表示多尺度卷积操作，dfa(
·
)表示细节注意力机制操作；v
t
表示参考帧；表示参考帧的相邻帧。8.根据权利要求1所述的基于多尺度双向卷积的压缩视频感官质量增强方法，其特征在于，将通过细节注意力机制处理后的特征进行增强，获得增强后的方向特征；将增强后的方向特征与参考帧进行逐元素相加，得到增强帧，具体包括：将通过细节注意力机制处理后的特征送入包括多个密集残差块的网络，输出增强后的方向特征；把增强后的方向特征与参考帧进行逐元素相加，得到增强帧；所述增强帧表示如下：f
e
＝res(f
a
)+v
t
其中，f
e
表示增强帧；f
a
表示通过细节注意力机制处理后的特征；v
t
表示参考帧；res(
·
)表示稠密残差卷积操作。9.一种基于多尺度双向卷积的压缩视频感官质量增强系统，其特征在于，基于生成式对抗网络，包括生成器和判别器；所述生成器包括运动补偿网络、时空融合网络、多尺度双
向网络和稠密残差重建网络；所述运动补偿网络，用于将输入的多个视频帧进行运动补偿，获得对齐后的特征；所述输入的多个视频帧包括参考帧和参考帧的前后若干相邻帧；所述时空融合网络，用于提取对齐后的特征的时序信息，获得时空融合后的特征；所述多尺度双向网络，用于提取时空融合后的特征的方向特征，获得水平特征和垂直特征；还用于基于参考帧和相邻帧来指导水平特征和垂直特征的恢复，获得细节注意力机制处理后的特征；所述稠密残差重建网络，用于将通过细节注意力机制处理后的特征进行增强，获得增强后的方向特征；将增强后的方向特征与参考帧进行逐元素相加，得到增强帧。

技术总结
本发明公开了一种基于多尺度双向卷积的压缩视频感官质量增强方法及系统，包括：将输入的多个视频帧进行运动补偿，获得对齐后的特征；所述输入的多个视频帧包括参考帧和参考帧的前后若干相邻帧；提取对齐后的特征的时序信息，获得时空融合后的特征；提取时空融合后的特征的方向特征，获得水平特征和垂直特征；基于参考帧和相邻帧来指导水平特征和垂直特征的恢复，获得细节注意力机制处理后的特征；将通过细节注意力机制处理后的特征进行增强，获得增强后的方向特征；将增强后的方向特征与参考帧进行逐元素相加，得到增强帧。本发明能够提高重建视频帧的感官质量，恢复的重建帧更符合人类视觉系统，能够改善压缩带来的质量下降问题。问题。问题。


技术研发人员：陈婧 陈柯米 曾焕强 朱建清 林琦
受保护的技术使用者：华侨大学
技术研发日：2023.05.06
技术公布日：2023/9/14