数据处理方法及装置、电子设备、计算机可读存储介质与流程

1.本公开涉及计算机技术领域，特别涉及一种数据处理方法及装置、电子设备、计算机可读存储介质。


背景技术：

2.在深度学习网络中，在网络优化的过程中，容易出现梯度消失或者梯度爆炸等现象，导致网络运行效果不佳，影响了网络对数据(如图像、视频等)的处理效果。


技术实现要素：

3.本公开提供一种数据处理方法及装置、电子设备、计算机可读存储介质。
4.第一方面，本公开提供了一种数据处理方法，该数据处理方法包括：获取待处理数据；
5.利用卷积网络对所述待处理数据进行处理，得到处理结果；其中，所述卷积网络中第i+1层卷积层的权重数据是根据第i层卷积层的权重数据与所述第i+1层卷积层在网络训练中得到的权重数据共同确定的，i为正整数。
6.第二方面，本公开提供了一种数据处理装置，该数据处理装置包括：获取模块，用于获取待处理数据；处理模块，用于利用卷积网络对所述待处理数据进行处理，得到处理结果；其中，所述卷积网络中第i+1层卷积层的权重数据是根据第i层卷积层的权重数据与所述第i+1层卷积层在网络训练中得到的权重数据共同确定的，i为正整数。
7.第三方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的数据处理方法。
8.第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述的数据处理方法。
9.根据本公开所提供的数据处理方法及装置、电子设备、计算机可读存储介质的技术方案，应用于卷积网络，对于该卷积网络中任意相邻两层卷积层，后一层卷积层的权重数据是根据前一层卷积层的权重数据与后一层卷积层在网络训练中得到的权重数据共同确定的，在每一轮网络训练过程中，在前向传播之前，后一层卷积层在当前轮网络训练中的权重数据是根据前一层卷积层在当前轮网络训练中的权重数据与后一层卷积层在上一轮网络训练中得到的权重数据共同确定的，使得在反向传播时所有卷积层的权重数据可以在整个网络内流动，后一层卷积层的权重数据的更新可以影响前一层卷积层的权重数据的更新，每层卷积层的权重数据可以获得更充分的监督和学习，从而可以有效减少梯度消失、梯度爆炸等情况的发生，有利于卷积网络收敛到较佳的状态，有效提升了卷积网络的网络性能，提高了卷积网络的运行效果，提高了对待处理数据的数据处理效果。
10.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
11.附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
12.图1为相关技术中一种卷积网络的残差块的网络结构示意图；
13.图2为本公开实施例提供的一种数据处理方法的流程示意图；
14.图3为本公开实施例提供的另一种数据处理方法的流程示意图；
15.图4为本公开实施例中对卷积网络进行网络训练的流程示意图；
16.图5为本公开实施例中卷积网络在网络训练中的前向传播示意图；
17.图6为本公开实施例中卷积网络在网络训练中的反向传播示意图；
18.图7为图4中步骤s30的一种具体实施方式的流程示意图；
19.图8为图4中步骤s32的一种具体实施方式的流程示意图；
20.图9为本公开实施例提供的一种数据处理装置的组成框图；
21.图10为本公开实施例提供的一种电子设备的组成框图。
具体实施方式
22.为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
23.在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
24.如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
25.本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
26.除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
27.在相关技术中，卷积网络可以为残差网络，卷积网络由一系列残差块组成，图1为相关技术中一种卷积网络的残差块的网络结构示意图，一个残差块通常包括直接映射部分和残差部分，残差部分反应在图1中是左边部分，残差部分一般由两层或三层卷积层构成，卷积层用于根据卷积层的输入和相应的权重数据进行卷积操作；直接映射部分反应在图1
中是右边的曲线，直接映射部分也可称为跳跃线连接，残差部分中的前一层卷积层的输入通过跳跃线连接至后一层的输出。
28.在图1所示的残差块中，第i层卷积层根据本层的权重数据wi和输入xi进行卷积操作后，得到第i层卷积层的输出x
i+1
；第i+1层卷积层根据本层的权重数据w
i+1
和输入x
i+1
进行卷积操作后，得到第i+1层卷积层的输出x
i+1’；第i层卷积层的输入xi通过跳跃线连接至第i+1层卷积层的输出，与第i+1层卷积层的输出x
i+1’进行加操作，得到残差块的输出x
i+2
。在一些实施例中，在直接映射部分中，第i层卷积层的输入xi需经过线性变换处理(如1*1卷积操作)，以投影到与第i+1层卷积层的输出x
i+1’相同的维度，也即将直接映射部分的输出与第i+1层卷积层的输出x
i+1’的维度对齐后，进行加操作，从而得到残差块的输出x
i+2
。
29.在相关技术中，在卷积网络的反向传播过程中，对于残差部分的每层卷积层而言，权重数据、梯度更新传到本层为止，不会继续向前流通，限制了对每层卷积层的权重数据的监督学习，且不利于网络更好地收敛。
30.根据本公开实施例的数据处理方法，该方法应用于卷积网络，对于该卷积网络中任意相邻两层卷积层，后一层卷积层的权重数据是根据前一层卷积层的权重数据与后一层卷积层在网络训练中得到的权重数据共同确定的，在每一轮网络训练过程中，在前向传播之前，后一层卷积层在当前轮网络训练中的权重数据是根据前一层卷积层在当前轮网络训练中的权重数据与后一层卷积层在上一轮网络训练中得到的权重数据共同确定的，使得在反向传播时所有卷积层的权重数据可以在整个网络内流动，后一层卷积层的权重数据的更新可以影响前一层卷积层的权重数据的更新，每层卷积层的权重数据可以获得更充分的监督和学习，从而可以有效减少梯度消失、梯度爆炸等情况的发生，有利于卷积网络收敛到较佳的状态，有效提升了卷积网络的网络性能，提高了卷积网络的运行效果，提高了对待处理数据的数据处理效果。
31.本公开实施例的数据处理方法可以由数据处理装置执行，数据处理装置可以集成于终端设备或服务器等电子设备，示例性的，终端设备可以为车载设备、用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些实施例中，数据处理方法可以通过处理器调用存储器中存储的计算机可读程序指令的方式来实现，或者，可通过服务器执行所述数据处理方法。
32.图2为本公开实施例提供的一种数据处理方法的流程示意图，参照图2，该数据处理方法包括：步骤s11和步骤s12。
33.在步骤s11中，获取待处理数据。
34.在步骤s12中，利用卷积网络对待处理数据进行处理，得到处理结果；其中卷积网络中第i+1层卷积层的权重数据是根据第i层卷积层的权重数据与第i+1层卷积层在网络训练中得到的权重数据共同确定的，i为正整数。
35.在本公开实施例中，卷积网络可以用于执行图像处理任务(如图像识别)、语音处理任务(如语音识别)、文本处理任务、视频处理任务中的任意一种，相应的，待处理数据可以包括图像数据、语音数据、文本数据、视频数据中的任意一种。示例性的，当卷积网络用于执行图像处理任务时，该数据处理方法可以用于图像数据处理，相应的，待处理数据包括图像数据；当卷积网络用于执行语音处理任务时，该数据处理方法可以用于语音数据处理，相
应的，待处理数据为语音数据。
36.示例性的，卷积网络可以是残差网络，也可以是其他具有卷积层的神经网络。
37.在步骤s12中，将待处理数据输入卷积网络，卷积网络对待处理数据进行数据处理，输出处理结果。示例性的，输入的待处理数据为图像数据，则处理结果为图像数据的处理结果，如图像数据的目标识别结果。
38.在本公开实施例中，卷积网络是预先训练好的用于进行数据处理的网络，对于该预先训练好的卷积网络中任意相邻两层卷积层，后一层卷积层的权重数据是根据前一层卷积层的权重数据与后一层卷积层在网络训练中得到的权重数据共同确定的；在该卷积网络的每一轮网络训练过程中，对于该卷积网络中任意相邻两层卷积层，在前向传播之前，后一层卷积层在当前轮网络训练中的权重数据是根据前一层卷积层在当前轮网络训练中的权重数据与后一层卷积层在上一轮网络训练中得到的权重数据共同确定的，使得在反向传播时，所有卷积层的权重数据可以在整个网络内流动，后一层卷积层的权重数据的更新可以影响前一层卷积层的权重数据的更新，每层卷积层的权重数据可以获得更充分的监督和学习，从而可以有效减少梯度消失、梯度爆炸等情况的发生，有利于卷积网络收敛到较佳的状态，有效提升了卷积网络的网络性能，提高了卷积网络的运行效果，提高了对待处理数据的数据处理效果。
39.图3为本公开实施例提供的另一种数据处理方法的流程示意图，参照图3，在一些实施例中，在利用卷积网络对待处理数据进行数据处理之前，该数据处理方法还包括步骤s21，在步骤s21中，对卷积网络进行网络训练，以得到训练优化后的卷积网络。
40.可以理解的是，在步骤s12中的卷积网络为经步骤s21中进行网络训练后得到的卷积网络。
41.在一些实施例中，在每一轮网络训练过程中，根据第i层卷积层当前的权重数据与第i+1层卷积层上一轮网络训练中得到的权重数据更新确定第i+1层卷积层当前的权重数据，换言之，针对卷积网络中任意相邻两层卷积层，后一层卷积层当前的权重数据是根据前一层卷积层当前的权重数据与后一层卷积层在上一轮网络训练中得到的权重数据共同确定的。
42.需要说明的是，在卷积网络的网络训练之前，每层卷积层均具有初始设置的权重数据；在第一轮网络训练过程中，根据第i层卷积层当前的权重数据与第i+1层卷积层初始的权重数据更新确定第i+1层卷积层当前的权重数据；而在后续每一轮网络训练过程中，根据第i层卷积层当前的权重数据与第i+1层卷积层在上一轮网络训练中得到的权重数据更新确定第i+1层卷积层当前的权重数据。
43.图4为本公开实施例中对卷积网络进行网络训练的流程示意图，图5为本公开实施例中卷积网络在网络训练中的前向传播示意图，图6为本公开实施例中卷积网络在网络训练中的反向传播示意图，需要说明的是，图5和图6均示例性示出了卷积网络的一个残差块在网络训练中的情况，本公开实施例的卷积网络的网络结构可以不仅限于此种情况。
44.参照图4至图6，在一些实施例中，对卷积网络进行网络训练的步骤，即步骤s21，可以进一步包括：步骤s31～步骤s32。
45.在步骤s31，在每一轮网络训练的前向传播过程中，利用卷积网络对输入的训练数据进行处理，确定网络损失。
46.在步骤s32中，在每一轮网络训练的反向传播过程中，基于网络损失，根据第i层卷积层的梯度更新第i层卷积层的权重数据，以对卷积网络进行训练。
47.在每一轮网络训练的前向传播过程中，为了实现网络参数(如权重数据)的迭代更新，需进行网络的网络损失(输出误差)的计算。具体的，在步骤s31中，在每一轮网络训练的前向传播过程中，利用卷积网络对输入的训练数据进行处理，得到输出结果，并基于损失函数，根据输出结果与预先标注的真实结果的误差确定网络损失。其中，训练数据可以是图像数据、语音数据、文本数据、视频数据中的任意一种。
48.在每一轮网络训练的反向传播过程中，根据计算出的网络的网络损失进行网络参数更新。具体的，在步骤s32中，在每一轮网络训练的反向传播过程中，基于网络损失进行梯度计算，并根据第i层卷积层的梯度更新第i层卷积层的权重数据，以对卷积网络进行训练。
49.参照图4和图5，在一些实施例中，对卷积网络进行网络训练的步骤，即步骤s21，还可以进一步包括：步骤s30。
50.在步骤s30中，在每一轮网络训练的前向传播之前，根据第i层卷积层的权重数据更新第i+1层卷积层的权重数据。
51.图7为图4中步骤s30的一种具体实施方式的流程示意图，参照图5和图7，在一些实施例中，在每一轮网络训练的前向传播之前，根据第i层卷积层的权重数据更新第i+1层卷积层的权重数据的步骤可以进一步包括步骤s41～步骤s42。
52.在步骤s41中，在每一轮网络训练的前向传播之前，将第i层卷积层的权重数据进行线性变换处理，得到目标权重数据。
53.其中，线性变换处理例如可以是1*1卷积处理，通过线性变换处理，从而将第i层卷积层的权重数据的维度转换为与第i+1层卷积层当前的权重数据相同的维度，得到目标权重数据。需要说明的是，本公开实施例对于线性变换处理所采用的函数、算法不作具体限定，且线性变换处理所用到的参数是可以随着网络训练进行学习和更新的。
54.在步骤s42中，基于目标权重数据和第i+1层卷积层当前的权重数据，更新第i+1层卷积层当前的权重数据。
55.示例性的，将相同维度的目标权重数据与第i+1层卷积层当前的权重数据进行叠加，从而更新和得到第i+1层卷积层当前的权重数据，例如，假设第i层卷积层当前的权重数据为wi，经线性变换处理后得到的目标权重数据为w
i’，第i+1层卷积层当前的权重数据为w
i+1’，则更新后第i+1层卷积层当前的权重数据为w
i+1
＝w
i+1’+w
i’。
56.进一步的，参见图4和图6，在一些实施例中，在每一轮网络训练的反向传播过程中，基于网络损失，根据第i层卷积层的梯度更新第i层卷积层的权重数据的步骤，即步骤s32，可以进一步包括：当第i层卷积层为卷积网络中最后一层卷积层时，则在每一轮网络训练的反向传播过程中，基于网络损失进行梯度计算，并根据第i层卷积层的梯度更新第i层卷积层的权重数据；当第i层卷积层不是所述卷积网络中最后一层卷积层时，在每一轮网络训练的反向传播过程中，基于网络损失进行梯度计算，并根据第i层卷积层的梯度以及反向传播过程中更新后的第i+1层卷积层的权重数据更新第i层卷积层的权重数据。
57.图8为图4中步骤s32的一种具体实施方式的流程示意图，参照图6和图8，在一些实施例中，当第i层卷积层不是所述卷积网络中最后一层卷积层时，在每一轮网络训练的反向传播过程中，基于网络损失进行梯度计算，并根据第i层卷积层的梯度以及反向传播过程中
更新后的第i+1层卷积层的权重数据更新第i层卷积层的权重数据的步骤，即步骤s32，可以进一步包括：步骤s51～步骤s53。
58.在步骤s51中，在每一轮网络训练的反向传播过程中，根据反向传播过程中更新后的第i+1层卷积层的权重数据，确定目标权重数据。
59.如前所述，第i+1层卷积层的权重数据与第i层卷积层对应的目标权重数据之间存在如下关系：w
i+1
＝w
i+1’+w
i’，其中w
i+1
是当前轮网络训练中在前向传播之前更新后的第i+1层卷积层的权重数据，w
i+1’是当前轮网络训练中在前向传播之前更新前的第i+1层卷积层的权重数据，w
i’是当前轮网络训练中在前向传播之前对第i层卷积层的权重数据进行线性变换处理后得到的目标权重数据。根据上述关系可知，当前轮网络训练中第i+1层卷积层当前的权重数据w
i+1
是由在前向传播之前更新前的第i+1层卷积层的权重数据w
i+1’和第i层卷积层对应的目标权重数据w
i’组成，在当前轮网络训练的反向传播过程中，上述关系中前向传播之前更新前的第i+1层卷积层的权重数据w
i+1’和第i层卷积层对应的目标权重数据w
i’均进行更新，从而更新第i+1层卷积层当前的权重数据w
i+1
，从而获得反向传播过程中更新后的第i层卷积层对应的目标权重数据w
i’。
60.在步骤s52中，根据目标权重数据，确定第i层卷积层当前的权重数据。
61.如前所述，第i层卷积层对应的目标权重数据w
i’与第i层卷积层的权重数据之间是线性变换关系，因此，通过对目标权重数据进行与上述线性变换处理相反的操作，例如通过反函数对目标权重数据进行处理，从而可以确定目标权重数据对应的第i层卷积层当前的权重数据。
62.在步骤s53中，基于网络损失进行梯度计算，并根据第i层卷积层的梯度更新第i层卷积层当前的权重数据。
63.具体的，基于网络损失计算第i层卷积层的梯度，并根据第i层卷积层的梯度更新第i层卷积层当前的权重数据，并且更新第i-1层卷积层对应的目标权重数据。
64.需要说明的是，当第i层卷积层为卷积网络中最后一层卷积层时，则无需执行步骤s51-步骤s52，而执行步骤s53，基于网络损失进行梯度计算，并根据第i层卷积层的梯度更新第i层卷积层当前的权重数据，以及更新第i-1层卷积层对应的目标权重数据。
65.在每一轮网络训练的反向传播过程中，通过上述步骤s51～步骤s53，更新每一层卷积层的权重数据，以对卷积网络进行训练学习和优化。
66.在本公开实施例中，可以重复执行多轮网络训练过程，直至卷积网络的网络损失达到收敛，即网络收敛，最终训练得到优化后的卷积网络。
67.在一些实施例中，对卷积网络进行网络训练的步骤，还可以进一步包括：响应于卷积网络的损失函数收敛，对卷积网络中各卷积层当前的权重数据进行重参数化，以得到训练后的卷积网络。
68.当卷积网络的网络损失收敛时，通过对卷积网络中各卷积层当前的权重数据进行重参数化，根据第i层卷积层的权重数据与第i+1层卷积层在网络训练中得到的权重数据共同确定第i+1层卷积层的权重数据，例如，对第i层卷积层的权重数据进行线性变换后，与第i+1层卷积层在网络训练中得到的当前的权重数据进行叠加，得到第i+1层卷积层的权重数据，并进行固化，以得到收敛状态下卷积网络中各卷积层的权重数据，从而得到训练好的卷积网络。
69.在训练好卷积网络后，当获取待处理数据时，将待处理数据输入训练好的卷积网络中，利用训练好的卷积网络对待处理数据进行数据处理，以得到相应的处理结果。
70.可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
71.此外，本公开还提供了数据处理装置、电子设备、计算机可读存储介质，上述数据处理装置、电子设备、计算机可读存储介质均可用来实现本公开提供的任一种数据处理方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
72.图9为本公开实施例提供的一种数据处理装置的组成框图，参照图9，本公开实施例提供了一种数据处理装置600，该数据处理装置600包括：获取模块601和处理模块602。
73.其中，获取模块601，用于获取待处理数据；处理模块602，用于利用卷积网络对所述待处理数据进行处理，得到处理结果；其中卷积网络中第i+1层卷积层的权重数据是根据第i层卷积层的权重数据与第i+1层卷积层在网络训练中得到的权重数据共同确定的，i为正整数。
74.其中，待处理数据可以包括图像、语音、文本、视频中的任意一种。
75.在一些实施例中，参照图9，该数据处理装置600还包括：训练模块603，训练模块603用于对卷积网络进行网络训练。
76.在一些实施例中，训练模块603包括第一子模块和第二子模块。其中，第一子模块用于在每一轮网络训练的前向传播过程中，利用卷积网络对输入的训练数据进行处理，确定网络损失；第二子模块用于在每一轮网络训练的反向传播过程中，基于网络损失，根据第i层卷积层的梯度更新第i层卷积层的权重数据，以对卷积网络进行训练。
77.在一些实施例中，训练模块603还包括第三子模块；其中，第三子模块用于在每一轮网络训练的前向传播之前，根据第i层卷积层的权重数据更新第i+1层卷积层的权重数据；第二子模块用于：当第i层卷积层为卷积网络中最后一层卷积层时，在每一轮网络训练的反向传播过程中，基于网络损失进行梯度计算，并根据第i层卷积层的梯度更新第i层卷积层的权重数据；当第i层卷积层不是卷积网络中最后一层卷积层时，在每一轮网络训练的反向传播过程中，基于网络损失进行梯度计算，并根据第i层卷积层的梯度以及反向传播过程中更新后的第i+1层卷积层的权重数据更新第i层卷积层的权重数据。
78.在一些实施例中，第一子模块用于：在每一轮网络训练的前向传播之前，将第i层卷积层的权重数据进行线性变换处理，得到目标权重数据；基于目标权重数据和第i+1层卷积层当前的权重数据，更新第i+1层卷积层当前的权重数据。
79.在一些实施例中，第二子模块用于：在每一轮网络训练的反向传播过程中，根据反向传播过程中更新后的第i+1层卷积层的权重数据，确定目标权重数据；根据目标权重数据，确定第i层卷积层当前的权重数据；基于网络损失进行梯度计算，并根据第i层卷积层的梯度更新第i层卷积层当前的权重数据。
80.在一些实施例中，训练模块603还包括第四子模块，第四子模块用于响应于卷积网络的损失函数收敛，对卷积网络中各卷积层当前的权重数据进行重参数化，以得到训练后的卷积网络。
81.图10为本公开实施例提供的一种电子设备的组成框图，参照图10，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器701；至少一个存储器702，以及一个或多个i/o接口703，连接在处理器701与存储器702之间；其中，存储器702存储有可被至少一个处理器701执行的一个或多个计算机程序，一个或多个计算机程序被至少一个处理器701执行，以使至少一个处理器701能够执行上述的数据处理方法。
82.在一些实施例中，该电子设备可以是类脑芯片，由于类脑芯片可以采用向量化计算方式，且需要通过外部内存例如双倍速率(double data rate，ddr)同步动态随机存储器调入神经网络模型的权重信息等参数。因此，本公开实施例采用批处理的运算效率较高。
83.本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器/处理核执行时实现上述的数据处理方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
84.本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述数据处理方法。
85.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读存储介质上，计算机可读存储介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。
86.如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读程序指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom)、静态随机存取存储器(sram)、闪存或其他存储器技术、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读程序指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
87.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
88.用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的
任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
89.这里所描述的计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
90.这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
91.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
92.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
93.附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
94.本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/
或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

技术特征：
1.一种数据处理方法，其特征在于，所述方法包括：获取待处理数据；利用卷积网络对所述待处理数据进行处理，得到处理结果；其中，所述卷积网络中第i+1层卷积层的权重数据是根据第i层卷积层的权重数据与第i+1层卷积层在网络训练中得到的权重数据共同确定的，i为正整数。2.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：对所述卷积网络进行网络训练；所述对所述卷积网络进行网络训练的步骤，包括：在每一轮网络训练的前向传播过程中，利用所述卷积网络对输入的训练数据进行处理，确定网络损失；在每一轮网络训练的反向传播过程中，基于网络损失，根据第i层卷积层的梯度更新第i层卷积层的权重数据，以对所述卷积网络进行训练。3.根据权利要求2所述的数据处理方法，其特征在于，所述对所述卷积网络进行网络训练的步骤，还包括：在每一轮网络训练的前向传播之前，根据第i层卷积层的权重数据更新第i+1层卷积层的权重数据；所述在每一轮网络训练的反向传播过程中，基于网络损失，根据第i层卷积层的梯度更新第i层卷积层的权重数据的步骤，包括：当第i层卷积层为所述卷积网络中最后一层卷积层时，在每一轮网络训练的反向传播过程中，基于网络损失进行梯度计算，并根据第i层卷积层的梯度更新第i层卷积层的权重数据；当第i层卷积层不是所述卷积网络中最后一层卷积层时，在每一轮网络训练的反向传播过程中，基于网络损失进行梯度计算，并根据第i层卷积层的梯度以及所述反向传播过程中更新后的第i+1层卷积层的权重数据更新所述第i层卷积层的权重数据。4.根据权利要求3所述的数据处理方法，其特征在于，所述在每一轮网络训练的前向传播之前，根据第i层卷积层的权重数据更新第i+1层卷积层的权重数据的步骤，包括：在每一轮网络训练的前向传播之前，将第i层卷积层的权重数据进行线性变换处理，得到目标权重数据；基于所述目标权重数据和所述第i+1层卷积层当前的权重数据，更新所述第i+1层卷积层当前的权重数据。5.根据权利要求3所述的数据处理方法，其特征在于，所述在每一轮网络训练的反向传播过程中，基于网络损失进行梯度计算，并根据第i层卷积层的梯度以及所述反向传播过程中更新后的第i+1层卷积层的权重数据，更新所述第i层卷积层的权重数据的步骤，包括：在每一轮网络训练的反向传播过程中，根据所述反向传播过程中更新后的第i+1层卷积层的权重数据，确定目标权重数据；根据所述目标权重数据，确定所述第i层卷积层当前的权重数据；基于网络损失进行梯度计算，并根据所述第i层卷积层的梯度更新所述第i层卷积层当前的权重数据。6.根据权利要求2所述的数据处理方法，其特征在于，所述对所述卷积网络进行网络训练的步骤，还包括：
响应于所述卷积网络的损失函数收敛，对所述卷积网络中各卷积层当前的权重数据进行重参数化，以得到训练后的所述卷积网络。7.根据权利要求1-6中任一项所述的数据处理方法，其特征在于，所述待处理数据包括图像、语音、文本、视频中的任意一种。8.一种数据处理装置，其特征在于，所述装置包括：获取模块，用于获取待处理数据；处理模块，用于利用卷积网络对所述待处理数据进行处理，得到处理结果；其中，所述卷积网络中第i+1层卷积层的权重数据是根据第i层卷积层的权重数据与所述第i+1层卷积层在网络训练中得到的权重数据共同确定的，i为正整数。9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7中任一项所述的数据处理方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-7中任一项所述的数据处理方法。

技术总结
本公开提供了一种数据处理方法及装置、电子设备、计算机可读介质，该方法包括：获取待处理数据；利用卷积网络对待处理数据进行处理，得到处理结果；其中，卷积网络中第i+1层卷积层的权重数据是根据第i层卷积层的权重数据与第i+1层卷积层在网络训练中得到的权重数据共同确定的，i为正整数。根据本公开的实施例能够有效减少梯度消失、梯度爆炸等情况的发生，有利于卷积网络收敛到较佳的状态，有效提升卷积网络的网络性能，提高卷积网络的运行效果，提高对待处理数据的数据处理效果。对待处理数据的数据处理效果。对待处理数据的数据处理效果。


技术研发人员：赵荣臻 吴臻志
受保护的技术使用者：北京灵汐科技有限公司
技术研发日：2022.01.29
技术公布日：2023/8/14