图像超分处理方法、系统、设备、存储介质和程序产品与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像超分处理方法、系统、设备、存储介质和程序产品。


背景技术：

2.图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。电商场景中，商家图片以原图形式保存在oss(object storage service对象存储服务)中，当客户端用户请求访问时，通过实时转码将原图超分转换成用户请求的分辨率，然后下发转码后的图片给用户。
3.实际场景中每张原图对应的请求分辨率往往多种多样，当前的图像超分方式，数据计算量较大，图像超分转码会导致极大的算力成本开销。


技术实现要素：

4.本技术实施例的主要目的在于提供一种图像超分处理方法、系统、设备、存储介质和程序产品，实现了图像超分过程中有针对性的利用终端的硬件资源，解决端上算力受限的问题，提高图像超分效果。
5.第一方面，本技术实施例提供一种图像超分处理方法，包括：获取待处理的原始图像和目标分辨率，其中所述原始图像的分辨率小于所述目标分辨率；通过终端的神经网络处理单元，对所述原始图像进行特征提取，得到所述原始图像的特征图；通过终端的图形处理器，根据所述目标分辨率对所述特征图进行上采样处理，得到目标图像。
6.于一实施例中，所述通过终端的神经网络处理单元，对所述原始图像进行特征提取，得到所述原始图像的特征图，包括：调用终端的神经网络处理单元，通过所述神经网络处理单元加载预设特征提取模型，将所述原始图像输入预设特征提取模型，输出所述原始图像的特征图，所述特征图中包括所述原始图像的纹理特征。
7.于一实施例中，所述调用终端的神经网络处理单元，包括：通过深度学习推理引擎调用终端的神经网络处理单元。
8.于一实施例中，所述通过终端的图形处理器，根据所述目标分辨率对所述特征图进行上采样处理，得到目标图像，包括：调用终端的图形处理器，通过所述图形处理器根据所述目标分辨率对所述特征图进行插值处理，得到所述图像请求对应的目标图像，所述目标图像的分辨率为所述目标分辨率。
9.于一实施例中，所述调用所述终端的图形处理器，包括：通过深度学习推理引擎调用所述终端的图形处理器。
10.于一实施例中，在所述通过终端的图形处理器，根据所述目标分辨率对所述特征图进行上采样处理，得到目标图像之后，还包括：渲染所述目标图像，在用户界面显示所述目标图像。
11.于一实施例中，所述获取待处理的原始图像和目标分辨率，包括：响应于图像请
求，获取所述图像请求携带的图像标识和目标分辨率；根据所述图像标识，向服务器请求获取所述图像标识对应的所述原始图像。
12.第二方面，本技术实施例提供一种商品图像超分处理方法，包括：响应于用户对商品的查询请求，从服务器获取所述商品对应的原始商品图像，所述查询请求携带有目标分辨率，所述原始商品图像的分辨率小于所述目标分辨率；通过终端的神经网络处理单元，对所述原始商品图像进行特征提取，得到所述原始商品图像的特征图；通过所述终端的图形处理器，根据所述目标分辨率对所述特征图进行上采样处理，得到所述查询请求对应的目标商品图像；渲染所述目标商品图像，在用户界面显示所述目标商品图像。
13.第三方面，本技术实施例提供一种图像超分模型生成方法，包括：获取样本图像集，所述样本图像集包括：第一样本图像和第二样本图像，第二样本图像是所述第一样本图像缩小分辨率后的图像；建立超分模型结构，所述超分模型结构包括预设特征提取模块和上采样模块，其中所述预设特征提取模块部署在终端的神经网络处理单元，所述上采样模块部署在所述终端的图形处理器；采用所述样本图像集训练所述超分模型结构，得到训练后的图像超分模型。
14.第四方面，本技术实施例提供一种图像超分处理装置，包括：
15.获取模块，用于获取待处理的原始图像和目标分辨率，其中所述原始图像的分辨率小于所述目标分辨率；
16.提取模块，用于通过终端的神经网络处理单元，对所述原始图像进行特征提取，得到所述原始图像的特征图；
17.上采样模块，用于通过终端的图形处理器，根据所述目标分辨率对所述特征图进行上采样处理，得到目标图像。
18.于一实施例中，所述提取模块，用于调用终端的神经网络处理单元，通过所述神经网络处理单元加载预设特征提取模型，将所述原始图像输入预设特征提取模型，输出所述原始图像的特征图，所述特征图中包括所述原始图像的纹理特征。
19.于一实施例中，所述调用终端的神经网络处理单元，包括：通过深度学习推理引擎调用终端的神经网络处理单元。
20.于一实施例中，所述上采样模块，用于调用终端的图形处理器，通过所述图形处理器根据所述目标分辨率对所述特征图进行插值处理，得到所述图像请求对应的目标图像，所述目标图像的分辨率为所述目标分辨率。
21.于一实施例中，所述调用所述终端的图形处理器，包括：通过深度学习推理引擎调用所述终端的图形处理器。
22.于一实施例中，还包括：渲染模块，用于在所述通过终端的图形处理器，根据所述目标分辨率对所述特征图进行上采样处理，得到目标图像之后，渲染所述目标图像，在用户界面显示所述目标图像。
23.于一实施例中，所述获取模块，用于响应于图像请求，获取所述图像请求携带的图像标识和目标分辨率；根据所述图像标识，向服务器请求获取所述图像标识对应的所述原始图像。
24.第五方面，本技术实施例提供一种图像超分处理系统，包括：
25.获取单元，用于获取待处理的原始图像和目标分辨率，其中所述原始图像的分辨
率小于所述目标分辨率；
26.神经网络处理单元，用于对所述原始图像进行特征提取，得到所述原始图像的特征图；
27.图形处理器，用于根据所述目标分辨率对所述特征图进行上采样处理，得到目标图像。
28.第六方面，本技术实施例提供一种电子设备，包括：
29.至少一个处理器；以及
30.与所述至少一个处理器通信连接的存储器；
31.其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备执行上述任一方面所述的方法。
32.第七方面，本技术实施例提供一种云设备，包括：
33.至少一个处理器；以及
34.与所述至少一个处理器通信连接的存储器；
35.其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述云设备执行上述任一方面所述的方法。
36.第八方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述任一方面所述的方法。
37.第九方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方面所述的方法。
38.本技术实施例提供的图像超分处理方法、系统、设备、存储介质和程序产品，通过终端的神经网络处理单元来对原始图像进行特征提取，通过终端的图形处理器来对特征图实现上采样处理，进而得到符合目标分辨率的目标图像，如此，将特征提取过程与上采样操作分离，即分别采用不同的终端硬件资源处理，在终端上实现图像超分，不仅节省服务器算力，减少传输带宽消耗，而且有针对性的利用终端的硬件资源，解决端上算力受限的问题，提高终端的图像超分效果。
附图说明
39.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
40.图1为本技术实施例提供的一种电子设备的结构示意图；
41.图2为本技术实施例提供的一种图像超分处理方案的应用场景示意图；
42.图3a为本技术实施例提供的一种图像超分处理系统的结构示意图；
43.图3b为本技术实施例提供的一种先上采样超分辨率网络结构示意图；
44.图3c为本技术实施例提供的一种后上采样超分辨率网络结构示意图；
45.图3d为本技术实施例提供的一种图像超分处理方案在手机上应用示意图；
46.图4为本技术实施例提供的一种图像超分处理方法的流程示意图；
47.图5为本技术实施例提供的一种图像超分处理方法的流程示意图；
48.图6为本技术实施例提供的一种商品图像超分处理方法的流程示意图；
49.图7为本技术实施例提供的一种图像超分模型生成方法的流程示意图；
50.图8为本技术实施例提供的一种图像超分处理装置的结构示意图；
51.图9为本技术实施例提供的一种云设备的结构示意图。
52.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
53.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。
54.本文中术语“和/或”，用于描述关联对象的关联关系，具体表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
55.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
56.为了清楚地描述本技术实施例的技术方案，首先对本技术所涉及的名词进行释义：
57.sr：super resolution，超分辨率。
58.lr：low resolution，低分辨率。
59.bicubic插值：双三次插值。
60.app：application，应用程序。
61.npu：neural processing unit，神经网络处理单元，可以用来加速常见的机器学习任务性能。
62.gpu：graphics processing unit，图形处理器。
63.cpu：central processing unit，中央处理器。
64.cnn：convolutional neural networks，卷积神经网络。
65.mnn：mobile neural network，是一个轻量级的深度神经网络引擎，支持深度学习的推理与训练，适用于服务器/个人电脑/手机/嵌入式各类设备。
66.oss：object storage service，对象存储服务。
67.ai：artificial intelligence，人工智能。
68.ios：是由苹果公司开发的移动操作系统。
69.core ml：core machine learning，是苹果公司上线的一种不需要互联网连接即可进行机器学习的框架。
70.android：安卓操作系统。
71.api：application programming interface，应用程序编程接口。
72.nnapi：android neural networks api，安卓神经网络接口，专为在android设备上运行计算密集型运算从而实现机器学习而设计，旨在为更高层级的机器学习框架提供一个基本功能层，用来建立和训练神经网络。
73.如图1所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图1中以一个处理器为例。处理器11和存储器12通过总线10连接。存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程，以实现图像超分过程中有针对性的利用终端的硬件资源，解决端上算力受限的问题，提高图像超分效果。
74.于一实施例中，电子设备1可以是手机、平板电脑、笔记本电脑、台式计算机或者多个计算机组成的大型运算系统。
75.图2为本技术实施例提供的一种图像超分处理系统应用场景200的示意图。如图2所示，该系统包括：服务器210和终端220，其中：
76.服务器210可以是提供图像服务的数据平台，比如可以是电商购物平台。实际场景中，一个电商购物平台可能有多个服务器210，图2中以1个服务器210为例。
77.终端220可以是用户登录电商购物平台时使用的电脑、手机、平板等设备，终端220也可以有多个，图2中以2个终端220为例进行示意。
78.终端220与服务器210之间可以通过互联网进行信息传输，以使终端220可以访问服务器210上的数据。上述终端220和/或者服务器210均可以由电子设备1来实现。
79.本技术实施例的图像超分处理方式可以应用于任意需要图像分辨率转换处理的领域。
80.图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。电商场景中，商家图片以原图形式保存在服务器的oss中，当客户端用户请求访问时，通过实时转码将原图超分转换成用户请求的分辨率，然后下发转码后的图片给用户所在的客户端。
81.实际场景中每张原图对应的请求分辨率往往多种多样，相关技术中需要服务器对每种请求分辨率都进行转码，巨大的数据计算量会导致极大的服务器算力成本开销，另外，随着图片访问量的增加，也带来了较高传输带宽资源的消耗。
82.为了解决上述问题，本技术实施例提供一种图像超分处理方案，通过终端的神经网络处理单元来对原始图像进行特征提取，通过终端的图形处理器来对特征图实现上采样处理，进而得到符合目标分辨率的目标图像，如此，将特征提取过程与上采样操作分离，即分别采用不同的终端硬件资源处理，在终端上实现图像超分，不仅节省服务器算力，减少传输带宽消耗，而且有针对性的利用终端的硬件资源，解决端上算力受限的问题，提高终端的图像超分效果。
83.上述图像超分处理方案可以部署在服务器210上，也可以部署在终端220上，或者部分部署在服务器210上，部分部署在终端220上。实际场景中可以基于实际需求选择，本实施例不做限定。
84.当图像超分处理方案全部或者部分部署在服务器210上时，可以对终端220开放调用接口，以对终端220提供算法支持。
85.如图3a所示，为本技术一实施例的图像超分处理系统300的架构示意图，该系统包
括：获取单元301、神经网络处理单元302和图像处理器303，其中：
86.获取单元301，用于获取待处理的原始图像和目标分辨率，其中原始图像的分辨率小于目标分辨率。
87.神经网络处理单元302，用于对原始图像进行特征提取，得到原始图像的特征图。
88.图像处理器303，用于根据目标分辨率对特征图进行上采样处理，得到图像请求对应的目标图像。
89.本实施例中，神经网络处理单元302可以由终端220的npu实现，图像处理器303可以由终端220的gpu实现。
90.在相关实施例中，可以通过对原始图像先上采样操作，然后对上采样后的图像进行特征提取，得到超分后的目标图像，这种方式计算量非常大，不适合部署在移动端。
91.如图3b所示，本技术实施例一种先上采样超分辨率网络结构示意图，包括：将低分辨率的原始图像(lr)进行bicubic插值处理，实现上采样，得到上采样后的图像(sr’)，然后将上采样后的图像(sr’)输入预先训练好的特征提取模型(cnn)，对原始图像进行特征提取和图像增强，得到超分后高分辨率的目标图像(sr)。
92.该实施例中，假如原始图像的分辨率64x64，二倍超分目标分辨率为128x128，如果使用先上采样方法，在特征提取时整个神经网络的特征图分辨率与上采样后一致，即特征图分辨率为128x128，网络计算量会随着目标分辨率的增大而增大。
93.如图3c所示，本技术实施例一种后上采样超分辨率网络结构示意图，包括：将低分辨率的原始图像(lr)输入预先训练好的特征提取模型(cnn)，对原始图像进行特征提取和图像增强，然后对特征图(lr’)进行bicubic插值处理，实现上采样，得到超分后高分辨率的目标图像(sr)。
94.本实施例，采用先特征提取、后上采样方式，在特征提取时整个神经网络的特征图分辨率与原始图像一致，即特征图分辨率为64x64。如此神经网络计算量与特征图分辨率平方相关，对于二倍超分，采用先上采样方法，计算量是后上采样方法的4倍，可见与相关技术中先上采样的方式相比，本技术实施例采用后上采样的方式可节省计算量，更适用于移动端应用。
95.于一实施例中，该系统可以应用于具备npu和gpu的移动终端，以手机作为移动终端为例，如图3d所示，为图3a和或图3c中系统在手机中的应用场景示意图。以手机电商app为例，该系统可以通过mnn实现模型部署，该电商app可以适用于不同的操作系统，客户端上的超分辨率通过mnn调用对应机型引擎实现，图3d中以android(安卓)系统和ios系统为例。
96.用户可以通过手机使用电商app(客户端)向服务器发起图片访问请求，服务端返回低分辨率的原始图像(lr)。假设用户手机为安卓系统，电商app通过mnn引擎调用通过安卓的nnapi，实现在手机的npu对原始图像进行特征提取，得到原始图像的特征图。将特征图从npu的内存中取出，传输给手机的gpu，在手机的gpu根据目标分辨率对特征图进行上采样处理，得到图像请求对应的目标图像。实现在客户端上完成所需尺度的图像超分，并进行渲染。
97.假设用户手机为ios系统，电商app通过mnn引擎调用通过ios系统的core ml，实现在手机的npu对原始图像进行特征提取，得到原始图像的特征图。将特征图从npu的内存中取出，传输给手机的gpu，在手机的gpu根据目标分辨率对特征图进行上采样处理，得到图像
请求对应的目标图像。实现在客户端上完成所需尺度的图像超分，并进行渲染。
98.下面结合附图，对本技术的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
99.请参看图4其为本技术一实施例的图像超分处理方法，该方法可由图1所示的电子设备1来执行，并可以应用于图2-图3d中所示的图像超分处理的应用场景中，以实现图像超分过程中有针对性的利用终端的硬件资源，解决端上算力受限的问题，提高图像超分效果。本实施例以终端220为执行端为例，该方法包括如下步骤：
100.步骤401：获取待处理的原始图像和目标分辨率，其中原始图像的分辨率小于目标分辨率。
101.在本步骤中，原始图像是指相较于目标分辨率，分辨率较低的图像，此处图像可以是单个图像，或者图片序列。原始图像可以是用户请求的图像在数据库中保存的版本。以电商场景为例，原始图像可以是以原图形式保存在服务器的oss中的商品图片，实际场景中，电商的商品图像体量较大，为了节约存储资源，保存在oss中的商品图片的分辨率一般较低，用户观看体验较低，因此当用户请求访问商品图像时，可以从低分辨率的商品图像或图像序列恢复出高分辨率图像。目标分辨率是指要恢复出的高分辨率图像指定的分辨率，因此原始图像的分辨率小于该目标分辨率时，才需要对原始图像进行超分处理。该目标分辨率可以由用户基于实际需求选定，也可以根据终端显示器的要求自动确定。
102.于一实施例中，步骤401具体可以包括：响应于图像请求，获取图像请求携带的图像标识和目标分辨率。根据图像标识，向服务器请求获取图像标识对应的原始图像。
103.在本实施例中，可以由用户通过客户端发起图像请求，图像请求中会携带要请求的图像标识和指定的目标分辨率，然后向服务器请求获取该图像标识对应的原始图像，此处服务器可以是电商平台的数据服务器，图像标识可以是图像的识别编码，也可以是原始图像的缩略小图。以电商场景为例，电商客户端用户浏览商品，展示的是商品的低分辨率小图，当用户点击商品详情时，可以触发对该商品详情图的图像请求，向服务器请求高分辨率商品大图。服务器中对每个商品详情图可以保存有不同分辨率，如商品原始图像分辨率可以为[350x350或650x650]。当接到客户端请求后，假设用户指定的目标分辨率为1200x1200，服务器下发比如分辨率为650x650的原始图像，然后通过终端将650x650的原始图像超分处理为分辨率为1200x1200目标图像，对比服务器直接下发分辨率为1200x1200的原始图像可以节省访问带宽。
[0104]
步骤402：通过终端的神经网络处理单元，对原始图像进行特征提取，得到原始图像的特征图。
[0105]
在本步骤中，终端的神经网络处理单元npu是终端的一种硬件资源，其工作原理是在电路层模拟人类神经元和突触，并且用深度学习指令集直接处理大规模的神经元和突触，一条指令完成一组神经元的处理，npu通过突出权重实现存储和计算一体化，从而提高运行效率。可以用于加速神经网络的运算，解决传统芯片在神经网络运算时效率低下的问题。npu是模仿生物神经网络而构建的，cpu、gpu处理器需要用数千条指令完成的神经元处理，npu只要一条或几条就能完成，因此在深度学习的处理效率方面优势明显。在对低分辨率的原始图像进行超分处理时，需要提取原始图像的特征和/或图像增强，特征提取一般可
以采用神经网络模型来实现，因此可以将特征提取的过程通过终端的npu实现计算，合理充分使用终端的硬件资源，提高特征提取的效率。
[0106]
于一实施例中，步骤402具体可以包括：调用终端的神经网络处理单元，通过神经网络处理单元加载预设特征提取模型，将原始图像输入预设特征提取模型，输出原始图像的特征图，特征图中包括原始图像的纹理特征。
[0107]
在本实施例中，预设特征提取模型可以是预先训练好的神经网络模型，比如可以是cnn模型，cnn模型参数可以通过机器学习得到。特征提取模型也可以是其他结构的模型，此处不做限定。可以通过终端的npu加载预设特征提取模型以及相关学习参数，来提取原始图像的特征图，此处特征图至少可以包括原始图像的纹理特征，以便于后续根据纹理特征恢复出高分辨率的图像。通过npu加载特征提取模型进行计算，可以充分利用终端的硬件资源，提高计算效率。
[0108]
于一实施例中，步骤402中调用终端的神经网络处理单元的过程，包括：通过深度学习推理引擎调用终端的神经网络处理单元。
[0109]
在本实施例中，深度学习推理引擎是人工智能软件的基础组件，通过将深度学习模型解析成计算图，推理引擎实现了模型的优化并支持在不同设备上运行时的加速推理。在调用终端的硬件资源时，可以采用深度学习推理引擎来实现，比如可以采用mnn调用终端的npu去加载用于特征提取的cnn模型，实现提取原始图像的纹理特征。mnn是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测，mnn更注重在推理时的加速和优化，解决在模型部署的阶段的效率问题，从而在移动端更高效地实现模型背后的业务。
[0110]
步骤403：通过终端的图形处理器，根据目标分辨率对特征图进行上采样处理，得到目标图像。
[0111]
在本步骤中，得到原始图像的特征图后，可以通过对特征图进行上采样，来获得高分辨率的图像。具体地可以按照用户指定的目标分辨率，对原始图像的特征图进行上采样处理，得到分辨率为目标分辨率的目标图像。假设用户手机显示器是1080p(一种视频显示格式，外语字母p意为逐行扫描)，服务器下发的原始图像分辨率为650x650，该原始图像经过特征提取和图像增强后，进行上采样处理，超分为1080x1080的目标图像。采用先特征提取、后上采样方式实现任意尺度超分，相比于相关技术中先上采样的方式，可大大节省深度学习神经网络计算量，更加适用于移动端应用。
[0112]
gpu即图形处理器是终端的一种硬件资源，是一种由大量运算单元组成的大规模并行计算架构，早先由cpu中分出来专门用于处理图像并行计算数据，专为同时处理多重并行计算任务而设计，因此，gpu比cpu更适合深度学习中的大量训练数据、大量矩阵、卷积运算。通过将上采样操作与特征提取模型分离配置，采用gpu实现上采样过程，可以有针对性的利用终端已有硬件资源，提高超分处理效率。
[0113]
于一实施例中，步骤403具体可以包括：调用终端的图形处理器，通过图形处理器根据目标分辨率对特征图进行插值处理，得到图像请求对应的目标图像，目标图像的分辨率为目标分辨率。
[0114]
在本实施例中，上采样过程可以使用任意尺度插值算子实现，比如使用bicubic插值实现对特征图进行上采样，相对于相关技术中额外使用一个网络来实现元学习进行上采
样的方案，插值算子相对来说计算量少，显存资源消耗量低，易部署。
[0115]
实际场景中移动端带有ai算力的npu对任意尺度插值算子支持不友好，本方案将上采样操作与特征提取模型结构分离，部署时采用npu进行特征提取模型前向设置，调用终端的gpu进行任意尺度插值计算，得到最终高分辨率输出图像。超分过程采用了后上采样方法、使用单模型实现任意尺度超分辨率，相比于相关技术中先上采样或元学习的方式，能节省计算量、内存空间，减少模型前向耗时。
[0116]
于一实施例中，步骤403中调用终端的图形处理器的过程，包括：通过深度学习推理引擎调用终端的图形处理器。
[0117]
在本步骤中，在调用终端的gpu硬件资源时，可以采用深度学习推理引擎来实现，比如可以采用mnn调用终端的gpu，将签署npu处理后的特征图，从内存中提出来送往终端的gpu，由gpu执行插值计算，可以实现端上实时的任意尺度超分辨率。
[0118]
步骤404：渲染目标图像，在用户界面显示目标图像。
[0119]
在本步骤中，超分完成后对目标图像渲染，以便于通过终端的显示器再用户界面中进行显示，便于用户及时查看目标图像。假设用户手机显示器是1080p(目标分辨率)，服务器下发的原始图像分辨率为650x650，该原始图像经过特征提取和图像增强后，进行上采样处理，超分为分辨率为1080x1080的目标图像，然后终端的渲染模块对目标图像进行渲染后显示。
[0120]
上述图像超分处理方法，通过终端的神经网络处理单元来对原始图像进行特征提取，通过终端的图形处理器来对特征图实现上采样处理，进而得到符合目标分辨率的目标图像，如此，将特征提取过程与上采样操作分离，即分别采用不同的终端硬件资源处理，在终端上实现图像超分，不仅节省服务器算力，减少传输带宽消耗，而且有针对性的利用终端的硬件资源，解决端上算力受限的问题，提高终端的图像超分效果。
[0121]
采用移动端任意尺度超分，当客户端用户请求访问图像时，服务器下发低分辨率的原始图像，并在端上将原始图像超分辨率到用户请求的目标分辨率，一方面可节省转码算力、带宽成本，另一方面可以使端上显示效果更佳。
[0122]
具体地，采用先特征提取、后上采样方式实现任意尺度超分，相比于相关技术中先上采样方式，可节省计算量，更适用于移动端应用。将上采样与网络特征提取分离，以便两个部分分别用不同的专用硬件执行，实现端上实时的任意尺度超分辨率，合理利用终端的硬件资源，提高计算效率。
[0123]
实际场景中，移动端设备ai专用硬件(npu)普遍不支持非整数倍插值操作，本方案将上采样与网络特征提取分离，其中深度学习神经网络部分采用专用的ai硬件npu执行，上采样部分可使用gpu执行，实现端上实时的任意尺度超分辨率，提高计算效率，合理利用终端的硬件资源。
[0124]
请参看图5，其为本技术一实施例的图像超分处理方法，该方法可由图1所示的电子设备1来执行，并可以应用于图2-图3d中所示的图像超分处理的应用场景中，以实现图像超分过程中有针对性的利用终端的硬件资源，解决端上算力受限的问题，提高图像超分效果。本实施例以终端220为执行端为例，该方法包括如下步骤：
[0125]
步骤501：响应于图像请求，获取图像请求携带的图像标识和目标分辨率。
[0126]
步骤502：根据图像标识，向服务器请求获取图像标识对应的原始图像。
[0127]
步骤503：通过mnn调用终端的npu，通过npu加载预设特征提取模型，将原始图像输入预设特征提取模型，输出原始图像的特征图，特征图中包括原始图像的纹理特征。
[0128]
步骤504：通过mnn调用终端的gpu，通过gpu根据目标分辨率对特征图进行插值处理，得到图像请求对应的目标图像，目标图像的分辨率为目标分辨率。
[0129]
步骤505：渲染目标图像，在用户界面显示目标图像。
[0130]
上述图像超分处理方法的各个步骤，详细可以参阅上述实施例的相关描述，此处不再赘述。
[0131]
请参看图6，其为本技术一实施例的商品图像超分处理方法，该方法可由图1所示的电子设备1来执行，并可以应用于图2-图3d中所示的图像超分处理的应用场景中，以实现图像超分过程中有针对性的利用终端的硬件资源，解决端上算力受限的问题，提高图像超分效果。本实施例以终端220为执行端为例，与前述实施例相比，本实施例以电商场景浏览商品图像为例，该方法包括如下步骤：
[0132]
步骤601：响应于用户对商品的查询请求，从服务器获取商品对应的原始商品图像，查询请求携带有目标分辨率，原始商品图像的分辨率小于目标分辨率。
[0133]
在本步骤中，商品可以是电商平台在售的商品，用户可以通过终端登录电商购物平台查看商品的信息，比如可以点击感兴趣商品的标识，触发对商品详情的查询请求。此处商品标识可以是商品的编码、文字引导信息或者商品的缩略图等信息。比如电商客户端用户浏览商品，展示的是商品的低分辨率小图，当用户点击文字引导信息“商品详情”时，可以触发对该商品详情图的图像请求，向服务器请求高分辨率商品大图。服务器中对每个商品详情图可以保存有不同分辨率，如原始商品图像分辨率可以为[350x350或650x650]。当接到客户端请求后，假设用户指定的目标分辨率为1200x1200，服务器下发比如分辨率为650x650的原始商品图像，然后通过终端将650x650的原始商品图像超分处理为分辨率为1200x1200目标商品图像，对比服务器直接下发分辨率为1200x1200的原始商品图像可以节省访问带宽。
[0134]
步骤602：通过终端的神经网络处理单元，对原始商品图像进行特征提取，得到原始商品图像的特征图。
[0135]
步骤603：通过终端的图形处理器，根据目标分辨率对特征图进行上采样处理，得到查询请求对应的目标商品图像。
[0136]
步骤604：渲染目标商品图像，在用户界面显示目标商品图像。
[0137]
上述商品图像超分处理方法，采用移动端任意尺度超分，当客户端用户请求访问商品图像时，服务器下发低分辨率的原始商品图像，并在端上将原始商品图像超分辨率到用户请求的目标分辨率，一方面可节省转码算力、带宽成本，另一方面可以使端上显示效果更佳。具体地，采用先特征提取、后上采样方式实现任意尺度超分，相比于相关技术中先上采样方式，可节省计算量，更适用于移动端应用。将上采样与网络特征提取分离，以便两个部分分别用不同的专用硬件执行，实现端上实时的任意尺度超分辨率，合理利用终端的硬件资源，提高计算效率。在电商场景中，不仅可以节省服务器算力、传输带宽成本，并可以使端上商品图像显示效果更佳。
[0138]
上述商品图像超分处理方法的各个步骤，详细可以参阅上述实施例的相关描述，此处不再赘述。
[0139]
请参看图7，其为本技术一实施例的图像超分模型生成方法，该方法可由图1所示的电子设备1来执行，并可以应用于图2-图3d中所示的图像超分处理的应用场景中，以实现对图像超分模型进行训练和部署。本实施例以终端220为执行端为例，该方法包括如下步骤：
[0140]
步骤701：获取样本图像集，样本图像集包括：第一样本图像和第二样本图像，第二样本图像是第一样本图像缩小分辨率后的图像。
[0141]
在本步骤中，其中第一样本图像是高分辨率的样本集，第二样本图像是低分辨率的样本集，也就是说样本图像集包括高分辨率样本集和低分辨率样本集，并且高分辨率的样本图像对应有低分辨率的样本图像，并对样本图像进行分辨率标记，形成样本图像集。
[0142]
实际场景中，样本图象集可以通过公开数据集、自行收集等方式获取。为了丰富样本图像集的内容，样本数据集可以包含对应应用场景的图像，比如对于电商场景，样本图像集可以包含各种商品的高质量图像，然后由高分辨率商品样本图像生成低分辨率的商品样本图像。比如将高清图像(第一样本图像)进行剪裁，然后以不同尺度进行下采样缩小分辨率，得到低分辨率的第二样本图像。
[0143]
步骤702：建立超分模型结构，超分模型结构包括预设特征提取模块和上采样模块，其中预设特征提取模块部署在终端的神经网络处理单元，上采样模块部署在终端的图形处理器。
[0144]
在本步骤中，超分模型结构采用先特征提取、后上采样方式，其中，预设特征提取模块可以基于深度学习神经网络的特征提取模型实现，上采样模块可以采用插值方式实现，网络结构如图3c所示，与相关技术中先上采样的方式相比，可节省计算量，更适用于移动端应用。通过将上采样模块与网络特征提取模型分离部署，其中基于深度学习神经网络的特征提取模型部分部署在专用的ai硬件npu，上采样模块部署在终端gpu，以便两个部分分别用不同的专用硬件执行，实现端上实时的任意尺度超分辨率，合理利用终端的硬件资源，提高计算效率。
[0145]
步骤703：采用样本图像集训练超分模型结构，得到训练后的图像超分模型。
[0146]
在本步骤中，可以将前述样本图像集输入搭建好的超分模型结构进行训练，基于实际场景需要调整训练参数。比如将低分辨率的第二样本图像输入超分模型结构，输出超分后的样本图像，计算超分后的样本图像与对应高分辨率的第一样本图像之间的损失，对算是函数进行优化，目的是减少超分后的样本图像与对应高分辨率的第一样本图像之间差异，直至损失函数收敛，得到训练后的图像超分模型。
[0147]
上述图像超分模型生成方法，采用端到端方式训练上采样与网络特征提取分离的超分辨率模型，训练后的图像超分模型可以部署在移动终端上，通过前述任一实施例的方法，实现端上实时的任意尺度超分辨率。有效解决端上算力受限情况下的图片任意尺度超分问题。
[0148]
上述图像超分模型生成方法的各个步骤，详细可以参阅上述实施例的相关描述，此处不再赘述。
[0149]
请参看图8，其为本技术一实施例的图像超分处理装置800，该装置可应用于图1所示的电子设备1，并可以应用于图2-图3d中所示的图像超分处理的应用场景中，以实现图像超分过程中有针对性的利用终端的硬件资源，解决端上算力受限的问题，提高图像超分效
果。该装置包括：获取模块801、提取模块802和上采样模块803，各个模块的功能原理如下：
[0150]
获取模块801，用于获取待处理的原始图像和目标分辨率，其中原始图像的分辨率小于目标分辨率。
[0151]
提取模块802，用于通过终端的神经网络处理单元，对原始图像进行特征提取，得到原始图像的特征图。
[0152]
上采样模块803，用于通过终端的图形处理器，根据目标分辨率对特征图进行上采样处理，得到目标图像。
[0153]
于一实施例中，提取模块802，用于调用终端的神经网络处理单元，通过神经网络处理单元加载预设特征提取模型，将原始图像输入预设特征提取模型，输出原始图像的特征图，特征图中包括原始图像的纹理特征。
[0154]
于一实施例中，调用终端的神经网络处理单元，包括：通过深度学习推理引擎调用终端的神经网络处理单元。
[0155]
于一实施例中，上采样模块803，用于调用终端的图形处理器，通过终端的图形处理器根据目标分辨率对特征图进行插值处理，得到图像请求对应的目标图像，目标图像的分辨率为目标分辨率。
[0156]
于一实施例中，调用终端的图形处理器，包括：通过深度学习推理引擎调用终端的图形处理器。
[0157]
于一实施例中，还包括：渲染模块，用于在通过终端的图形处理器，根据目标分辨率对特征图进行上采样处理，得到目标图像之后，渲染目标图像，在用户界面显示目标图像。
[0158]
于一实施例中，获取模块801，用于响应于图像请求，获取图像请求携带的图像标识和目标分辨率。根据图像标识，向服务器请求获取图像标识对应的原始图像。
[0159]
上述图像超分处理装置800的详细描述，请参见上述实施例中相关方法步骤的描述，其实现原理和技术效果类似，本实施例此处不再赘述。
[0160]
图9为本技术示例性实施例提供的一种云设备90的结构示意图。该云设备90可以用于运行上述任一实施例所提供的方法。如图9所示，该云设备90可以包括：存储器904和至少一个处理器905，图9中以一个处理器为例。
[0161]
存储器904，用于存储计算机程序，并可被配置为存储其它各种数据以支持在云设备90上的操作。该存储器904可以是对象存储(object storage service，oss)。
[0162]
存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0163]
处理器905，与存储器904耦合，用于执行存储器904中的计算机程序，以用于实现上述任一方法实施例所提供的方案，具体功能和所能实现的技术效果此处不再赘述。
[0164]
进一步地，如图9，该云设备还包括：防火墙901、负载均衡器902、通信组件906、电源组件903等其它组件。图9中仅示意性给出部分组件，并不意味着云设备只包括图9所示组件。
[0165]
于一实施例中，上述图9中的通信组件906被配置为便于通信组件906所在设备和
其他设备之间有线或无线方式的通信。通信组件906所在设备可以接入基于通信标准的无线网络，如wifi，2g、3g、4g/lte、5g等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件906经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件906还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0166]
于一实施例中，上述图9的电源组件903，为电源组件903所在设备的各种组件提供电力。电源组件903可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
[0167]
本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现前述任一实施例的方法。
[0168]
本技术实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任一实施例的方法。
[0169]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0170]
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本技术各个实施例方法的部分步骤。
[0171]
应理解，上述处理器可以是中央处理单元(central processing unit，简称cpu)，还可以是其它通用处理器、数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
[0172]
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0173]
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(application specific integrated circuits，简称asic)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
[0174]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有
的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0175]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0176]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例的方法。
[0177]
本技术的技术方案中，所涉及的用户数据等信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0178]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。

技术特征：
1.一种图像超分处理方法，其特征在于，所述方法包括：获取待处理的原始图像和目标分辨率，其中所述原始图像的分辨率小于所述目标分辨率；通过终端的神经网络处理单元，对所述原始图像进行特征提取，得到所述原始图像的特征图；通过终端的图形处理器，根据所述目标分辨率对所述特征图进行上采样处理，得到目标图像。2.根据权利要求1所述的方法，其特征在于，所述通过终端的神经网络处理单元，对所述原始图像进行特征提取，得到所述原始图像的特征图，包括：调用终端的神经网络处理单元，通过所述神经网络处理单元加载预设特征提取模型，将所述原始图像输入预设特征提取模型，输出所述原始图像的特征图，所述特征图中包括所述原始图像的纹理特征。3.根据权利要求2所述的方法，其特征在于，所述调用终端的神经网络处理单元，包括：通过深度学习推理引擎调用终端的神经网络处理单元。4.根据权利要求1所述的方法，其特征在于，所述通过终端的图形处理器，根据所述目标分辨率对所述特征图进行上采样处理，得到目标图像，包括：调用终端的图形处理器，通过所述图形处理器根据所述目标分辨率对所述特征图进行插值处理，得到所述图像请求对应的目标图像，所述目标图像的分辨率为所述目标分辨率。5.根据权利要求4所述的方法，其特征在于，所述调用终端的图形处理器，包括：通过深度学习推理引擎调用所述终端的图形处理器。6.根据权利要求1所述的方法，其特征在于，在所述通过终端的图形处理器，根据所述目标分辨率对所述特征图进行上采样处理，得到目标图像之后，还包括：渲染所述目标图像，在用户界面显示所述目标图像。7.根据权利要求1所述的方法，其特征在于，所述获取待处理的原始图像和目标分辨率，包括：响应于图像请求，获取所述图像请求携带的图像标识和目标分辨率；根据所述图像标识，向服务器请求获取所述图像标识对应的所述原始图像。8.一种商品图像超分处理方法，其特征在于，包括：响应于用户对商品的查询请求，从服务器获取所述商品对应的原始商品图像，所述查询请求携带有目标分辨率，所述原始商品图像的分辨率小于所述目标分辨率；通过终端的神经网络处理单元，对所述原始商品图像进行特征提取，得到所述原始商品图像的特征图；通过所述终端的图形处理器，根据所述目标分辨率对所述特征图进行上采样处理，得到所述查询请求对应的目标商品图像；渲染所述目标商品图像，在用户界面显示所述目标商品图像。9.一种图像超分模型生成方法，其特征在于，包括：获取样本图像集，所述样本图像集包括：第一样本图像和第二样本图像，第二样本图像是所述第一样本图像缩小分辨率后的图像；建立超分模型结构，所述超分模型结构包括预设特征提取模块和上采样模块，其中所
述预设特征提取模块部署在终端的神经网络处理单元，所述上采样模块部署在所述终端的图形处理器；采用所述样本图像集训练所述超分模型结构，得到训练后的图像超分模型。10.一种图像超分处理系统，其特征在于，包括：获取单元，用于获取待处理的原始图像和目标分辨率，其中所述原始图像的分辨率小于所述目标分辨率；神经网络处理单元，用于对所述原始图像进行特征提取，得到所述原始图像的特征图；图形处理器，用于根据所述目标分辨率对所述特征图进行上采样处理，得到目标图像。11.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备执行权利要求1-9任一项所述的方法。12.一种云设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述云设备执行权利要求1-9任一项所述的方法。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-9任一项所述的方法。14.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-9任一项所述的方法。

技术总结
本申请提供一种图像超分处理方法、系统、设备、存储介质和程序产品，其中方法包括：获取待处理的原始图像和目标分辨率，其中所述原始图像的分辨率小于所述目标分辨率；通过终端的神经网络处理单元，对所述原始图像进行特征提取，得到所述原始图像的特征图；通过终端的图形处理器，根据所述目标分辨率对所述特征图进行上采样处理，得到目标图像。本申请实现了将特征提取过程与上采样操作分离，即分别采用不同的终端硬件资源处理，在终端上实现图像超分，不仅节省服务器算力，减少传输带宽消耗，而且有针对性的利用终端的硬件资源，解决端上算力受限的问题，提高终端的图像超分效果。提高终端的图像超分效果。提高终端的图像超分效果。


技术研发人员：郑美松 襄成 陈颖
受保护的技术使用者：阿里巴巴（中国）有限公司
技术研发日：2023.04.04
技术公布日：2023/7/12