语料确定方法、装置、非易失性存储介质及电子设备与流程

1.本技术涉及人工智能领域，具体而言，涉及一种语料确定方法、装置、非易失性存储介质及电子设备。


背景技术：

2.目前，很多金融机构都推出了对用户进行远程支持的应用服务，客服人员通过服务器接收用户端的服务请求，并通过多媒体方式进行业务办理和咨询服务，采用这种方式可以很好提高用户的处理效率。然而，由于远程多媒体服务与面对面服务不同，客服人员对用户情绪变化识别能力会被影响，导致进行的服务支持不理想。在相关技术中对用户端进行音视频服务支持时，用户体验常常取决于客服的主观应对能力，沟通服务的语料选择随机性强，依赖于相关人员的个人素质，导致服务语料的选择不理想的问题。
3.针对相关技术中提示的语料准确性不理想的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本技术的主要目的在于提供一种语料确定方法、装置、非易失性存储介质及电子设备，以解决相关技术中提示的语料准确性不理想的问题。
5.为了实现上述目的，根据本技术的一个方面，提供了一种语料确定方法。该方法包括：获取目标账户的账户标识，以及所述目标账户的目标人脸图像；基于所述目标账户的账户标识，在预设的n个神经网络模型中确定目标模型，其中，n为大于或等于2的正整数，所述n个神经网络模型对预定类型情绪的识别敏感度不同；采用所述目标模型，对所述目标人脸图像进行识别，得到所述目标账户的情绪识别结果；基于所述情绪识别结果，在预定语料库中确定目标语料。
6.为了实现上述目的，根据本技术的另一方面，提供了一种语料确定装置。该装置包括：第一获取模块，用于获取目标账户的账户标识，以及所述目标账户的目标人脸图像；第一确定模块，用于基于所述目标账户的账户标识，在预设的n个神经网络模型中确定目标模型，其中，n为大于或等于2的正整数，所述n个神经网络模型对预定类型情绪的识别敏感度不同；第一识别模块，用于采用所述目标模型，对所述目标人脸图像进行识别，得到所述目标账户的情绪识别结果；第二确定模块，用于基于所述情绪识别结果，在预定语料库中确定目标语料。
7.为了实现上述目的，根据本技术的另一方面，提供了一种非易失性存储介质，所述非易失性存储介质存储有多条指令，所述指令适于由处理器加载并执行任意一项所述的语料确定方法。
8.为了实现上述目的，根据本技术的另一方面，提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现任意一项所述的语料确定
方法。
9.通过本技术，采用以下步骤：获取目标账户的账户标识，以及所述目标账户的目标人脸图像；基于所述目标账户的账户标识，在预设的n个神经网络模型中确定目标模型，其中，n为大于或等于2的正整数，所述n个神经网络模型对预定类型情绪的识别敏感度不同；采用所述目标模型，对所述目标人脸图像进行识别，得到所述目标账户的情绪识别结果；基于所述情绪识别结果，在预定语料库中确定目标语料。达到了基于情绪识别结果，确定出对目标账户进行服务的语料的目的，解决了相关技术中提示的语料准确性不理想的问题。进而达到了提高语料准确性的效果。
附图说明
10.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
11.图1是根据本技术实施例提供的语料确定方法的流程图；
12.图2是根据本技术实施例提供的语料确定方法的原理框图；
13.图3是根据本技术实施例提供的语料确定方法的算法结构示意图；
14.图4是根据本技术实施例提供的语料确定方法的模块结构示意图；
15.图5是根据本技术实施例提供的语料确定方法的残差结构示意图；以及
16.图6是根据本技术实施例提供的语料确定装置的示意图。
具体实施方式
17.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
18.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
19.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
20.为了便于描述，以下对本技术实施例涉及的部分名词或术语进行说明：
21.卷积神经网络(cnn，convolutional neural network)，通常由卷积层、激活函数、池化层、全连接层等组成，是一种深度学习算法，主要用于图像识别、语音识别、自然语言处理等领域。它的核心思想是通过多层卷积和池化操作来提取输入数据的特征，并将这些特征送入全连接层进行分类或回归。cnn具有参数共享和局部感知性等优势，能够有效地减少模型参数数量并提高模型精度。
22.注意力机制，注意力机制可以分为通道注意力与空间注意力。对于维度c
×h×
w的特征图，其中c为通道数，h、w分别为特征图的高度和宽度。通道注意力不关注h、w，在通道维度上生成每个通道的权重，增强对重要通道的注意力。
23.需要说明的是，本公开所涉及的相关信息(包括但不限于用户端的目标账户、用户的人脸图像信息，声音信息，视频信息等)和数据(包括但不限于用于处理记录数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。
24.基于上述问题，本发明实施例提供了一种语料确定方法，图1是根据本技术实施例提供的语料确定方法的流程图，如图1所示，执行主体为服务器，该方法包括如下步骤：
25.步骤s102，获取目标账户的账户标识，以及上述目标账户的目标人脸图像；
26.可以理解，服务器用于为目标账户进行服务支持，根据对应的账户标识可以确定出目标账户。由于服务器可以对目标账户进行多媒体服务支持，可以获得目标账户的目标人脸图像。
27.步骤s104，基于上述目标账户的账户标识，在预设的n个神经网络模型中确定目标模型，其中，n为大于或等于2的正整数，上述n个神经网络模型对预定类型情绪的识别敏感度不同；
28.可以理解，根据目标账户的账户标识，在预设的n个神经网络模型中可以确定出目标模型。预先训练得到的n个神经网络模型，对于预定类型情绪的识别能力是不同的，在具有不同识别敏感度的n个神经网络模型中选择适用于目标账户的目标模型。
29.在一种可选的实施例中，上述基于上述目标账户的账户标识，在预设的n个神经网络模型中确定目标模型，包括：获取预定时间段内的存在对上述预定类型情绪的应对处理记录的m个历史账户，其中，m为大于或等于1的正整数；在上述m个历史账户分别对应的账户标识中存在与上述目标账户的账户标识匹配的账户标识的情况下，确定上述n个神经网络模型中识别敏感度大于预定敏感度阈值的上述目标模型。
30.可以理解，服务器获取到对m个历史账户的进行预定类型情绪的应对处理的处理记录，那么可以视为有处理记录的m个历史账户，对于预定类型情绪的识别敏感度需求较高。在m个历史账户分别对应的账户标识中的匹配到目标账户的情况下，视为目标账户对预定类型情绪的识别敏感度需求较高，确定出n个神经网络模型中识别敏感度大于预定敏感度阈值的目标模型。
31.可选地，在预定敏感度阈值为n级的情况下，基于处理记录的记录数量，对上述m个历史账户进行分类，得到p个账户分类结果，其中，p个账户分类结果与n级预定敏感度阈值对应，p为大于或等于1的正整数；在m个历史账户分别对应的账户标识中的匹配到目标账户的情况下，在p个账户分类结果中确定上述目标账户对应的目标分类结果，以及在n级预定敏感度阈值中确定上述目标分类结果对应的目标敏感度阈值；确定上述n个神经网络模型中识别敏感度大于目标敏感度阈值的上述目标模型。
32.可以理解，预定敏感度阈值可以设置为多级，便于按照不同的识别敏感度选出目标模型。处理记录的记录数量可以从一定程度上反应出，对应的历史账户的识别敏感度需求。在m个历史账户分别对应的账户标识中的匹配到目标账户的情况下，进一步可以确定出
目标账户在p个账户分类结果中对应的目标分类结果，以及目标分类结果对应于的目标敏感度阈值。采用目标敏感度阈值可以在n个神经网络模型中识别敏感度中确定出目标模型。需要说明的是，p个账户分类结果与n级预定敏感度阈值对应，但不一定是一一对应的，可以为p个账户分类结果中的一定数量分类结果，都对应于同一级预定敏感度阈值，取决于训练好的n个神经网络模型的个数，神经网络模型模型越多，可以划分的识别敏感度阈值越细。
33.为了便于理解，进行具体举例，例如：存在3个神经网络模型，100个历史账户，其中，100个历史账户分别对应存储有处理“愤怒”情绪类型的处理记录，单个历史账户对应的处理记录的记录数量从1到5不等。按照记录数量从1到5，可以将100个历史账户进行分类，得到5个账户分类结果。由于存在3个神经网络模型的识别敏感度不同，按照识别敏感度由高到低排列为a模型，b模型，c模型，对应的5个账户分类结果中，账户分类结果为5个处理记录的，对应识别敏感度最高的a模型，以此类推账户分类结果为4个处理记录的对应b模型，而账户分类结果为3个，及3个以下的，可以共同对应于c模型。对应的，预设有3级识别敏感度阈值，按照识别敏感度阈值由高到低排列分别为a，b，c，需要说明的是与模型的识别敏感度是对应的。在100个历史账户分别对应的账户标识与目标账户的账户标识匹配的情况下，确定出目标账户对应的目标分类结果，假定目标分类结果为对应5个处理记录，对应的确定目标敏感度阈值为a。在3个神经网络模型中确定出识别敏感度大于a的a模型作为目标模型。
34.可选地，在m个历史账户分别对应的账户标识中未存在与上述目标账户的账户标识匹配的账户标识的情况下，视为目标账户没有对应的处理记录，采用预定神经网络模型进行处理，上述预定神经网络模型可以为n个神经网络模型中的识别敏感度较低的一个，适用于没有特殊的识别敏感度需求的账户。
35.步骤s106，采用上述目标模型，对上述目标人脸图像进行识别，得到上述目标账户的情绪识别结果；
36.可以理解，采用目标模型对目标人脸图像进行识别，可以得到准确性更高的情绪识别结果。
37.需要说明的是，采用识别敏感度较高的神经网络模型去识别所有的人脸图像是不适当的，这会导致敏感度过高，造成频繁提示语料的问题，干扰正常的沟通流程，对使用服务器造成不便。而确定出的目标模型，与目标账户所需的识别敏感度是匹配的，有效地减少了过度提示的问题。
38.在一种可选的实施例中，上述采用上述目标模型，对上述目标人脸图像进行识别，得到上述目标账户的情绪识别结果，包括：采用上述目标模型，对上述目标人脸图像进行识别，得到上述目标账户分别为预定的x种情绪类型对应的概率，x为大于或等于1的正整数；在上述x种情绪类型中确定概率大于预定概率阈值的y种情绪类型，其中，x大于或等于y，y为大于或等于1的正整数；将上述目标账户分别为上述y种情绪类型对应的概率，作为上述情绪识别结果。
39.可以理解，神经网络模型的用途在于分类，采用目标模型，可以识别出目标账户为预定的x种情绪类型的概率，在x种情绪类型中，确定概率大于预定概率阈值的y种情绪类型，上述y种情绪类型可以视为是目标账户的主导情绪类型，将目标账户分别为y种情绪类型对应的概率，作为情绪识别结果。
40.需要说明的是，预定的x种情绪类型可以视为是预定好的常见情绪类型，例如设置：愤怒，厌恶，悲伤，恐惧，惊奇，高兴等六种情绪作为基础，目标模型可以基于目标人脸图像进行识别，假定确定出愤怒的概率为70％，厌恶25％，悲伤3％，恐惧1％，惊奇1％，高兴1％，进而确定出愤怒和厌恶作为主导情绪，得到情绪识别结果。
41.步骤s108，基于上述情绪识别结果，在预定语料库中确定目标语料。
42.可以理解，对服务器为了提示相关人员进行沟通服务，会在预定语料库中选择语料进行提示，但是由于按照预定程序确定出的语料与实际状况契合度并不好，本实施例采用情绪识别结果，作为目标语料选择的根据，在预定语料库中确定出准确性较高的目标语料。
43.在一种可选的实施例中，上述基于上述情绪识别结果，在预定语料库中确定目标语料，包括：在上述情绪识别结果中包括y种情绪类型分别对应的概率的情况下，确定上述y种情绪类型分别对应的预定系数，其中，y为大于或等于1的正整数；基于上述y种情绪类型分别对应的预定系数，以及概率，确定上述目标账户的情绪评分值；在上述情绪评分值大于或等于预定评分阈值的情况下，基于上述y种情绪类型，确定上述目标语料。
44.可以理解，根据情绪识别结果进行的目标语料的提示，主要为了对于预定情绪类型进行安抚，情绪评分值大于或等于预定评分阈值的情况下，视为需要进行安抚，对应地，服务器选取并提示目标语料。在情绪评分值小于预定评分阈值的情况下，视为不需要进行安抚，服务器也不会选取或提示目标语料，有效较少了频繁提示的干扰。在情绪识别结果中包括y种情绪类型分别对应的概率的情况下，得到情绪评分值的方式，首先需要确定y种情绪类型分别对应的预定系数，按照对应的预定系数和概率进行处理得到目标账户的情绪评分值。在情绪评分值大于或等于预定评分阈值的情况下，视为此时服务器需要选取并提示目标语料，服务器根据y种情绪类型，确定出目标语料。
45.在一种可选的实施例中，上述基于上述y种情绪类型，确定上述目标语料，包括：在上述预定语料库中包括第一语料集合和第二语料集合的情况下，将上述y种情绪类型中概率最高的作为第一种情绪类型，以及将除上述第一种情绪类型之外概率最高的作为第二种情绪类型，其中，上述第一语料集合中包括对预定的x种情绪类型的处理提示语料，上述第二语料集合中包括对上述x种情绪类型的预定参考语料,x大于或等于y，x为大于或等于1的正整数；在上述第一语料集合中确定与上述第一种情绪类型对应的第一语料；在上述第二语料集合中确定与上述第二种情绪类型对应的第二语料；基于上述第一语料和上述第二语料，确定上述目标语料。
46.可以理解，预定语料库中包括了第一语料集合和第二语料集合这两部分，第一语料集合中是对于x种情绪类型的处理提示语料，如提示对于x种情绪类型可选的处事方式作为处理提示语料，第二语料集合中是对于x种情绪类型的预定参考语料，如对于x种情绪类型可选的话术沟通方式，作为预定参考语料。将y种情绪类型中概率最高的作为第一种情绪类型，可以视为是目标账户处于第一主导地位的情绪类型，将除上述第一种情绪类型之外概率最高的作为第二种情绪类型，可以视为是目标账户第二主导地位的情绪类型。对于第一种情绪类型，在第一语料集合中确定对应的第一语料，对于目标账户第一主导地位的情绪进行应对处理，有利于起到较为强力的安抚作用。对于第二种情绪类型，在第二语料集合中确定对应的第二语料，对于目标账户第二主导地位的情绪进行按照对应的预定参考语料
应对，有利于辅助进行安抚作用。基于第一语料和第二语料，确定出目标语料。通过上述处理，按照概率的高低，确定出第一种情绪类型、第二种情绪类型，通过分别从处理提示语料和预定参考语料两个角度，确定出准确性较高的目标语料，提高语料选取的准确性。
47.可选地，在x种情绪类型为愤怒，厌恶，悲伤，恐惧，惊奇，高兴等六种情绪，第一种情绪类型和第二种情绪类型的搭配可以为十五种，在预定语料库中确定出不同的目标语料。如对于愤怒情绪，处理提示语料可以设置为在服务器上提示相关工作人员“停止深入当前沟通主题，转由上级专员介入”，预定参考语料可以设置为在服务器上提示相关工作人员“很抱歉给您带来不好的体验，是否需要为您转入专员服务”，通过上述处理，一方面处理提示语料可以及时提示相关工作人员进行处理的方式，另一方面预定参考语料可以给出相关工作人员即时的沟通方式提示，有助于得到的目标语料对于目标账户的当前状况进行适当的沟通支持。
48.在一种可选的实施例中，上述方法还包括：确定n个初始模型，以及上述n个初始模型分别对应的训练数据，其中，上述n个初始模型分别与上述n个神经网络模型对应，上述n个初始模型分别对应的训练数据种包括的标签为上述预定类型情绪的样本数量不同；采用对应的训练数据，分别对上述n个初始模型进行训练，得到上述n个神经网络模型。
49.可以理解，n个初始模型是尚未被训练好的，采用不同的训练数据进行训练，为了使得训练后的n个神经网络模型有着不同的识别敏感性，对应的训练数据中包括的预定类型情绪的样本数量是不同，训练数据中预定类型情绪的样本数量越多，训练后的识别敏感性会越高。采用对应的训练数据分别对于n个初始模型进行训练之后，得到n个神经网络模型。通过上述处理，采用包含不同预定类型情绪的样本数量的训练数据，可以训练出具有不同识别敏感度的n个神经网络模型，适用于有着不同需求的账户。需要说明的是，识别敏感度不是越高越好，过高的识别敏感度会导致误识别，进而造成确定出目标语料与实际情况并不匹配。
50.可选的，上述n个神经网络模型均采用resnet50作为骨干模型，resnet50是一个深度卷积神经网络。具有50层的深度，用于图像分类和目标检测等计算机视觉任务。该模型采用了残差连接(residual connection)的思想，在训练过程中能够解决梯度消失问题。
51.在一种可选的实施例中，上述采用上述目标模型，对上述目标人脸图像进行识别，得到上述目标账户的情绪识别结果，包括：在上述目标模型中包括残差块，平均池化层，最大池化层的情况下，将上述目标人脸图像输入上述残差块，得到第一特征向量，其中，上述平均池化层和上述最大池化层分别对应的通道权重值不同；采用上述平均池化层对应的通道权重值，对上述第一特征向量进行加权，得到第一加权特征；采用上述最大池化层对应的通道权重值，对上述第一特征向量进行加权，得到第二加权特征；将上述第一加权特征输入上述平均池化层，得到第二特征向量；将上述第二加权特征输入上述最大池化层，得到第三特征向量；基于上述第二特征向量，以及上述第三特征向量，得到上述情绪识别结果。
52.可以理解，在目标模型中包括残差块，平均池化层，最大池化层的情况下，将注意力机制运用到目标模型中，平均池化层和最大池化层分别对应不同的通道权重值，通过对不同通道的特征进行加权，强化或减弱其重要性的一种注意力机制。将获得的目标人脸图像输入目标模型，首先进入残差块，得到第一特征向量，之后存在具有不同通道权重值的平均池化层和最大池化层，分别将第一特征向量进行输入，采用平均池化层对应的通道权重
值，得到加权后的第一加权特征。采用最大池化层对应的通道权重值，得到加权后的第二加权特征。在特征提取过程中，由于邻域大小受限造成的估计值方差增大，卷积层参数误差造成的均值偏移等问题都会带来特征提取误差，进而导致第一特征向量存在误差。而平均池化层能够减小第一种误差，即估计值方差增大误差。最大池化层能够减小第二种误差，即均值偏移误差。因此对于第一特征向量，分别输入平均池化层和上述最大池化层，对应得到第二特征向量和第三特征向量。基于第二特征向量，以及第三特征向量，得到情绪识别结果。
53.可选地，采用自适应核大小的一维卷积来生成第一加权特征和第二加权特征。
54.可选地，目标人脸图像是经过预处理的，采用mtcnn模型(multi-task convolutional neural networks)提取目标账户的人脸区域，降低无关区域的影响。
55.可选地，基于第一加权特征与第二特征向量进行矩阵乘法，得到第一聚合结果；基于第二加权特征与第三特征向量进行矩阵乘法，得到第二聚合结果；基于第一聚合结果和第二聚合结果进行矩阵加法，得到情绪识别结果。
56.需要说明的是，上述目标模型中包括的残差块，平均池化层，最大池化层作为一组处理模块，目标模型可以包括多组处理模块，前一组模块的输出可以作为后一组模块的输入，采用串联结构进行处理，直到多组处理模块中的最后一组模块输出的结果，作为情绪识别结果。
57.本技术实施例提供的语料确定方法，通过步骤s102，获取目标账户的账户标识，以及上述目标账户的目标人脸图像；步骤s104，基于上述目标账户的账户标识，在预设的n个神经网络模型中确定目标模型，其中，n为大于或等于2的正整数，上述n个神经网络模型对预定类型情绪的识别敏感度不同；步骤s106，采用上述目标模型，对上述目标人脸图像进行识别，得到上述目标账户的情绪识别结果；步骤s108，基于上述情绪识别结果，在预定语料库中确定目标语料。达到了基于情绪识别结果，确定出对目标账户进行服务的语料的目的，解决了相关技术中提示的语料准确性不理想的问题。进而达到了提高语料准确性的效果。
58.根据上述实施例，本技术还提供一种具体实施方式，图2是根据本技术实施例提供的语料确定方法的原理框图，如图2，服务器用于为用户端的目标账户进行音视频服务，通过用户端的采集设备获取得到目标用户的目标人脸图像。服务器采用目标人脸图像确定得到情绪识别结果，并基于情绪识别结果确定出目标语料，用于在服务器端进行显示，提示相关工作人员根据目标语料进行对应处理。
59.图3是根据本技术实施例提供的语料确定方法的算法结构示意图，如图3所示，展示了服务器用于识别情绪的神经网络模型结构，采用resnet50作为骨干模型，包括了多组处理模块，其中每一组处理模块都包括一个残差块，以及通道注意力模块，其中通道注意力模块中包括对平均池化层和最大池化层进行加权设置，在每个残差块上都添加通道注意力模块，以此获得加权的通道特征。
60.图4是根据本技术实施例提供的语料确定方法的模块结构示意图，如图4所示，显示了单个通道注意力模块的结构，假设输入为第一特征向量，采用平均池化层对应的通道权重值，得到加权后的第一加权特征。采用最大池化层对应的通道权重值，得到加权后的第二加权特征。将第一加权特征输入平均池化层，得到第二特征向量，将第二加权特征输入最大池化层得到第三特征向量。之后基于第一加权特征与第二特征向量进行矩阵乘法，得到第一聚合结果。基于第二加权特征与第三特征向量进行矩阵乘法，得到第二聚合结果。基于
第一聚合结果和第二聚合结果进行矩阵加法，得到情绪识别结果作为输出。
61.图5是根据本技术实施例提供的语料确定方法的残差结构示意图，如图5所示，显示了resnet50神经网络模型结构中的残差块，深度学习中存在着模型退化，即随着网络的加深，图像分类的准确率不增反而下降的问题。残差结构有效解决了这一问题，残差结构是一个恒等映射结构，对于需要预测值h(x)，可以表示为h(x)＝f(x)+x，其中f(x)即残差，x表示输入。这一改进降低了神经网络模型学习的难度，神经网络模型仅需学习输入与输出之间的差异即残差，解决了梯度消失的问题。
62.在服务器中存在训练好的神经网络模型之后，服务器对采集得到的目标人脸图像进行处理。假定服务器中存在3个神经网络模型，100个历史账户，其中，100个历史账户分别对应存储有处理“愤怒”情绪类型的处理记录，单个历史账户对应的处理记录的记录数量从1到5不等。按照记录数量从1到5，可以将100个历史账户进行分类，得到5个账户分类结果。
63.由于存在3个神经网络模型的对愤怒类型情绪的识别敏感度不同，按照识别敏感度由高到低排列为a模型，b模型，c模型，对应的5个账户分类结果中，账户分类结果为5个处理记录的，对应识别敏感度最高的a模型，以此类推账户分类结果为4个处理记录的对应b模型，而账户分类结果为3个，及3个以下的，可以共同对应于c模型。对应的，预设有3级识别敏感度阈值，按照识别敏感度阈值由高到低排列分别为a，b，c。
64.在100个历史账户分别对应的账户标识与目标账户的账户标识匹配的情况下，确定出目标账户对应的目标分类结果，假定目标分类结果为对应5个处理记录，对应的确定目标敏感度阈值为a。在3个神经网络模型中确定出识别敏感度大于a的a模型作为目标模型。在100个历史账户分别对应的账户标识与目标账户的账户标识未能匹配的情况下，可以设置c模型进行处理。
65.无论目标模型确定为a模型，b模型或c模型，都可以进行情绪识别，得到情绪识别结果，只是识别的敏感度不同。设置用于识别的六种情绪：愤怒，厌恶，悲伤，恐惧，惊奇，高兴等，目标模型可以基于目标人脸图像进行识别，假定确定出愤怒的概率为70％，厌恶25％，悲伤3％，恐惧1％，惊奇1％，高兴1％，进而确定出愤怒和厌恶作为主导情绪，得到情绪识别结果。需要说明的是，a模型由于识别敏感度高，确定出愤怒情绪的概率会比b模型或c模型更高，进而更容易触发对目标语料的选取。
66.对于上述六种情绪分别预设有对应的相关系数，例如设置愤怒对应相关系数为10，厌恶对应相关系数为8，悲伤对应相关系数为7，恐惧对应相关系数为6，惊奇对应相关系数为2，高兴对应相关系数为1，上述相关系数的具体数值设置为举例，可以设置为相同或不同的，不作具体限定。
67.确定上述情绪识别结果中概率大于20％的为愤怒和厌恶，基于愤怒对应相关系数为10，厌恶对应相关系数为8，愤怒的概率为70％，以及厌恶的概率为25％，可以得到目标账户的情绪评分值为9。预设有评分阈值为7，在得到情绪评分值大于或等于7的情况下，视为需要服务器需要选取并提示目标语料。需要说明的是情绪评分值小于7的情况下，视为不需要服务器提示目标语料。
68.在预定语料库中有两种语料集合，其中第一语料集合包括的是对应情绪类型的处理提示语料，用于提示可选的处事方式。第二语料集合包括的是对应情绪类型的预定参考语料，用于提示可选地话术沟通方式。由于目标账户的情绪评分值为9，并且愤怒为第一种
情绪类型，厌恶为第二种情绪类型，在第一语料集合中确定与愤怒对应的第一语料，以及在第二语料集合中确定与厌恶对应的第二语料。将第一语料与第二语料进行拼接，得到目标语料。
69.根据上述具体实施方式，可以达到以下技术效果：利用服务器中的处理记录，选取出适配目标账户的目标模型，使得目标模型有着适当的识别敏感度，有利于减少由于识别敏感度过高导致的频繁提示造成干扰。利用对目标人脸图像的情绪识别，有利于提高选取目标语料的准确性，由于相关技术人员在应对预定类型情绪(如愤怒)时，依赖主观应对能力，常常无法即时作出正确的反馈，提高目标语料的选取准确性，也有利于提升用户体验，增加服务支持的处理效率。
70.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
71.本技术实施例还提供了一种语料确定装置，需要说明的是，本技术实施例的语料确定装置可以用于执行本技术实施例所提供的用于语料确定方法。以下对本技术实施例提供的语料确定装置进行介绍。
72.图6是根据本技术实施例的语料确定装置的示意图。如图6所示，该装置包括：第一获取模块602，第一确定模块604，第一识别模块606，第二确定模块608，以下具体说明：
73.第一获取模块602，用于获取目标账户的账户标识，以及上述目标账户的目标人脸图像；
74.第一确定模块604，与第一获取模块602连接，用于基于上述目标账户的账户标识，在预设的n个神经网络模型中确定目标模型，其中，n为大于或等于2的正整数，上述n个神经网络模型对预定类型情绪的识别敏感度不同；
75.第一识别模块606，与第一确定模块604连接，用于采用上述目标模型，对上述目标人脸图像进行识别，得到上述目标账户的情绪识别结果；
76.第二确定模块608，与第一识别模块606连接，用于基于上述情绪识别结果，在预定语料库中确定目标语料。
77.本技术实施例提供的语料确定装置，通过第一获取模块602，用于获取目标账户的账户标识，以及上述目标账户的目标人脸图像；第一确定模块604，与第一获取模块602连接，用于基于上述目标账户的账户标识，在预设的n个神经网络模型中确定目标模型，其中，n为大于或等于2的正整数，上述n个神经网络模型对预定类型情绪的识别敏感度不同；第一识别模块606，与第一确定模块604连接，用于采用上述目标模型，对上述目标人脸图像进行识别，得到上述目标账户的情绪识别结果；第二确定模块608，与第一识别模块606连接，用于基于上述情绪识别结果，在预定语料库中确定目标语料。达到了基于情绪识别结果，确定出对目标账户进行服务的语料的目的，解决了相关技术中语料准确性不理想的问题，进而达到了提高语料准确性的效果。
78.在一种可选的实施例中，上述第一确定模块604，包括：第二获取模块，用于获取预定时间段内的存在对上述预定类型情绪的应对处理记录的m个历史账户，其中，m为大于或等于1的正整数；第二确定模块，用于在上述m个历史账户分别对应的账户标识中存在与上述目标账户的账户标识匹配的账户标识的情况下，确定上述n个神经网络模型中识别敏感
度大于预定敏感度阈值的上述目标模型。
79.在一种可选的实施例中，上述第一识别模块606，包括：第一识别模块，用于采用上述目标模型，对上述目标人脸图像进行识别，得到上述目标账户分别为预定的x种情绪类型对应的概率，x为大于或等于1的正整数；第三确定模块，用于在上述x种情绪类型中确定概率大于预定概率阈值的y种情绪类型，其中，x大于或等于y，y为大于或等于1的正整数；第四确定模块，用于将上述目标账户分别为上述y种情绪类型对应的概率，作为上述情绪识别结果。
80.在一种可选的实施例中，上述第二确定模块608，包括：第五确定模块，用于在上述情绪识别结果中包括y种情绪类型分别对应的概率的情况下，确定上述y种情绪类型分别对应的预定系数，其中，y为大于或等于1的正整数；第六确定模块，用于基于上述y种情绪类型分别对应的预定系数，以及概率，确定上述目标账户的情绪评分值；第七确定模块，用于在上述情绪评分值大于或等于预定评分阈值的情况下，基于上述y种情绪类型，确定上述目标语料。
81.在一种可选的实施例中，上述第七确定模块，包括：第八确定模块，用于在上述预定语料库中包括第一语料集合和第二语料集合的情况下，将上述y种情绪类型中概率最高的作为第一种情绪类型，以及将除上述第一种情绪类型之外概率最高的作为第二种情绪类型，其中，上述第一语料集合中包括对预定的x种情绪类型的处理提示语料，上述第二语料集合中包括对上述x种情绪类型的预定参考语料,x大于或等于y，x为大于或等于1的正整数；第一语料模块，用于在上述第一语料集合中确定与上述第一种情绪类型对应的第一语料；第二语料模块，用于在上述第二语料集合中确定与上述第二种情绪类型对应的第二语料；第三语料模块，用于基于上述第一语料和上述第二语料，确定上述目标语料。
82.在一种可选的实施例中，上述装置还包括：第九确定模块，用于确定n个初始模型，以及上述n个初始模型分别对应的训练数据，其中，上述n个初始模型分别与上述n个神经网络模型对应，上述n个初始模型分别对应的训练数据种包括的标签为上述预定类型情绪的样本数量不同；第一训练模块，用于采用对应的训练数据，分别对上述n个初始模型进行训练，得到上述n个神经网络模型。
83.在一种可选的实施例中，上述第一识别模块606，包括：在上述目标模型中包括残差块，平均池化层，最大池化层的情况下，将上述目标人脸图像输入上述残差块，得到第一特征向量；采用上述平均池化层对应的通道权重值，对上述第一特征向量进行加权，得到第一加权特征；采用上述最大池化层对应的通道权重值，对上述第一特征向量进行加权，得到第二加权特征；将上述第一加权特征输入上述平均池化层，得到第二特征向量；将上述第二加权特征输入上述最大池化层，得到第三特征向量；基于上述第二特征向量，以及上述第三特征向量，得到上述情绪识别结果。
84.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。
85.此处需要说明的是，上述第一获取模块602，第一确定模块604，第一识别模块606，第二确定模块608对应于实施例中的步骤s102至步骤s108，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为
装置的一部分可以运行在计算机终端中。
86.需要说明的是，本实施例的可选或优选实施方式可以参见实施例中的相关描述，此处不再赘述。
87.上述语料确定装置包括处理器和存储器，上述单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
88.处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来执行语料确定。
89.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。
90.本发明实施例提供了一种非易失性存储介质，其上存储有程序，该程序被处理器执行时实现上述语料确定方法。
91.本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述语料确定方法。
92.本发明实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取目标账户的账户标识，以及上述目标账户的目标人脸图像；基于上述目标账户的账户标识，在预设的n个神经网络模型中确定目标模型，其中，n为大于或等于2的正整数，上述n个神经网络模型对预定类型情绪的识别敏感度不同；采用上述目标模型，对上述目标人脸图像进行识别，得到上述目标账户的情绪识别结果；基于上述情绪识别结果，在预定语料库中确定目标语料。本文中的设备可以是服务器、pc、pad、手机等。
93.本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取目标账户的账户标识，以及上述目标账户的目标人脸图像；基于上述目标账户的账户标识，在预设的n个神经网络模型中确定目标模型，其中，n为大于或等于2的正整数，上述n个神经网络模型对预定类型情绪的识别敏感度不同；采用上述目标模型，对上述目标人脸图像进行识别，得到上述目标账户的情绪识别结果；基于上述情绪识别结果，在预定语料库中确定目标语料。
94.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
95.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
96.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特
定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
97.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
98.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
99.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
100.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
101.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
102.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
103.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种语料确定方法，其特征在于，包括：获取目标账户的账户标识，以及所述目标账户的目标人脸图像；基于所述目标账户的账户标识，在预设的n个神经网络模型中确定目标模型，其中，n为大于或等于2的正整数，所述n个神经网络模型对预定类型情绪的识别敏感度不同；采用所述目标模型，对所述目标人脸图像进行识别，得到所述目标账户的情绪识别结果；基于所述情绪识别结果，在预定语料库中确定目标语料。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标账户的账户标识，在预设的n个神经网络模型中确定目标模型，包括：获取预定时间段内的存在对所述预定类型情绪的应对处理记录的m个历史账户，其中，m为大于或等于1的正整数；在所述m个历史账户分别对应的账户标识中存在与所述目标账户的账户标识匹配的账户标识的情况下，确定所述n个神经网络模型中识别敏感度大于预定敏感度阈值的所述目标模型。3.根据权利要求1所述的方法，其特征在于，所述采用所述目标模型，对所述目标人脸图像进行识别，得到所述目标账户的情绪识别结果，包括：采用所述目标模型，对所述目标人脸图像进行识别，得到所述目标账户分别为预定的x种情绪类型对应的概率，x为大于或等于1的正整数；在所述x种情绪类型中确定概率大于预定概率阈值的y种情绪类型，其中，x大于或等于y，y为大于或等于1的正整数；将所述目标账户分别为所述y种情绪类型对应的概率，作为所述情绪识别结果。4.根据权利要求1所述的方法，其特征在于，所述基于所述情绪识别结果，在预定语料库中确定目标语料，包括：在所述情绪识别结果中包括y种情绪类型分别对应的概率的情况下，确定所述y种情绪类型分别对应的预定系数，其中，y为大于或等于1的正整数；基于所述y种情绪类型分别对应的预定系数，以及概率，确定所述目标账户的情绪评分值；在所述情绪评分值大于或等于预定评分阈值的情况下，基于所述y种情绪类型，确定所述目标语料。5.根据权利要求4所述的方法，其特征在于，所述基于所述y种情绪类型，确定所述目标语料，包括：在所述预定语料库中包括第一语料集合和第二语料集合的情况下，将所述y种情绪类型中概率最高的作为第一种情绪类型，以及将除所述第一种情绪类型之外概率最高的作为第二种情绪类型，其中，所述第一语料集合中包括对预定的x种情绪类型的处理提示语料，所述第二语料集合中包括对所述x种情绪类型的预定参考语料，x大于或等于y，x为大于或等于1的正整数；在所述第一语料集合中确定与所述第一种情绪类型对应的第一语料；在所述第二语料集合中确定与所述第二种情绪类型对应的第二语料；基于所述第一语料和所述第二语料，确定所述目标语料。
6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述方法还包括：确定n个初始模型，以及所述n个初始模型分别对应的训练数据，其中，所述n个初始模型分别与所述n个神经网络模型对应，所述n个初始模型分别对应的训练数据种包括的标签为所述预定类型情绪的样本数量不同；采用对应的训练数据，分别对所述n个初始模型进行训练，得到所述n个神经网络模型。7.根据权利要求1至5中任意一项所述的方法，其特征在于，所述采用所述目标模型，对所述目标人脸图像进行识别，得到所述目标账户的情绪识别结果，包括：在所述目标模型中包括残差块，平均池化层，最大池化层的情况下，将所述目标人脸图像输入所述残差块，得到第一特征向量，其中，所述平均池化层和所述最大池化层分别对应的通道权重值不同；采用所述平均池化层对应的通道权重值，对所述第一特征向量进行加权，得到第一加权特征；采用所述最大池化层对应的通道权重值，对所述第一特征向量进行加权，得到第二加权特征；将所述第一加权特征输入所述平均池化层，得到第二特征向量；将所述第二加权特征输入所述最大池化层，得到第三特征向量；基于所述第二特征向量，以及所述第三特征向量，得到所述情绪识别结果。8.一种语料确定装置，其特征在于，包括：第一获取模块，用于获取目标账户的账户标识，以及所述目标账户的目标人脸图像；第一确定模块，用于基于所述目标账户的账户标识，在预设的n个神经网络模型中确定目标模型，其中，n为大于或等于2的正整数，所述n个神经网络模型对预定类型情绪的识别敏感度不同；第一识别模块，用于采用所述目标模型，对所述目标人脸图像进行识别，得到所述目标账户的情绪识别结果；第二确定模块，用于基于所述情绪识别结果，在预定语料库中确定目标语料。9.一种非易失性存储介质，其特征在于，所述非易失性存储介质存储有多条指令，所述指令适于由处理器加载并执行权利要求1至7中任意一项所述的语料确定方法。10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的语料确定方法。

技术总结
本申请公开了一种语料确定方法、装置、非易失性存储介质及电子设备。涉及人工智能领域，该方法包括：获取目标账户的账户标识，以及目标账户的目标人脸图像；基于目标账户的账户标识，在预设的N个神经网络模型中确定目标模型，其中，N为大于或等于2的正整数，N个神经网络模型对预定类型情绪的识别敏感度不同；采用目标模型，对目标人脸图像进行识别，得到目标账户的情绪识别结果；基于情绪识别结果，在预定语料库中确定目标语料。通过本申请，解决了相关技术中的提示语料准确性不理想的问题。相关技术中的提示语料准确性不理想的问题。相关技术中的提示语料准确性不理想的问题。


技术研发人员：王云琪 刘斐 李变 张安
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2023.06.01
技术公布日：2023/8/13