文本翻译方法及装置与流程

未命名 09-08 阅读:77 评论:0


1.本说明书实施例涉及计算机技术领域,特别涉及文本翻译方法。


背景技术:

2.随着计算机技术的不断发展,对于文本翻译的技术也在不断提升。
3.目前,为了提升对文本的翻译效率,通常需要基于需求训练翻译模型,通过使用训练完成的翻译模型提升翻译效率;并且,为了保证翻译效果,通常需要基于不同项目场景的翻译文本对翻译模型进行微调,得到不同翻译场景下的翻译模型。
4.但目前的处理方式,需要基于不同场景的翻译文本对翻译模型进行训练,即每个场景都需要进行一次训练,导致训练消耗的资源和时间较多,造成资源和时间的花费较大,进而影响对文本的翻译效率。


技术实现要素:

5.有鉴于此,本说明书实施例提供了文本翻译方法。本说明书一个或者多个实施例同时涉及文本翻译装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
6.根据本说明书实施例的第一方面,提供了一种文本翻译方法,包括:
7.获取待翻译文本和目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;
8.拼接所述参考源文信息和所述待翻译文本,获得待处理文本;
9.将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本。
10.根据本说明书实施例的第二方面,提供了一种文本翻译装置,包括:
11.获取模块,被配置为获取待翻译文本和目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;
12.拼接模块,被配置为拼接所述参考源文信息和所述待翻译文本,获得待处理文本;
13.翻译模块,被配置为将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本。
14.根据本说明书实施例的第三方面,提供了一种翻译模型的训练方法,应用于云侧设备,包括:
15.获取样本集,其中,所述样本集包括多个样本文本对和各样本文本对对应的关联信息对,所述样本文本对包括待翻译样本文本和译文样本文本,所述关联信息对包括关联源文信息和关联译文信息,所述关联源文信息与所述待翻译样本文本相关;
16.从所述样本集中,提取目标样本文本对和所述目标样本文本对对应的目标关联信息对;
17.拼接所述目标关联信息对中的目标关联源文信息与所述目标样本文本对中的目
标待翻译样本文本,获得目标待处理样本文本;
18.将所述目标待处理样本文本和所述目标关联信息对中的目标关联译文信息输入翻译模型;
19.获取所述翻译模型输出的目标预测翻译文本,并基于所述目标预测翻译文本和所述目标样本文本对中的目标译文样本文本计算翻译损失值;
20.基于所述翻译损失值对所述翻译模型的模型参数进行调整,并返回执行从所述样本集中,提取目标样本文本对和所述目标样本文本对对应的目标关联信息对的步骤,直至达到模型训练停止条件,获得训练完成的翻译模型;
21.将所述翻译模型的模型参数发送至端侧设备。
22.根据本说明书实施例的第四方面,提供了另一种文本翻译方法,应用于云侧设备,包括:
23.接收端侧设备发送的待翻译文本;
24.查找与所述待翻译文本对应的目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;
25.拼接所述参考源文信息和所述待翻译文本,获得待处理文本;
26.将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本;
27.将所述翻译文本返回至所述端侧设备。
28.根据本说明书实施例的第五方面,提供了一种计算设备,包括:
29.存储器和处理器;
30.所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述文本翻译方法的步骤。
31.根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述文本翻译方法的步骤。
32.根据本说明书实施例的第七方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述文本翻译方法的步骤。
33.本说明书一个实施例实现了获取待翻译文本和目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;拼接所述参考源文信息和所述待翻译文本,获得待处理文本;将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本。
34.通过将待翻译文本和目标参考信息对输入翻译模型,使得翻译模型可以基于目标参考信息对中的参考译文信息对待翻译文本进行翻译,即可以基于与待翻译文本相关的参考源文信息以及对应的参考译文信息为翻译参考,对待翻译文本进行翻译,提升翻译模型的翻译准确性。
附图说明
35.图1是本说明书一个实施例提供的一种文本翻译方法的场景示意图;
36.图2是本说明书一个实施例提供的一种文本翻译方法的流程图;
37.图3是本说明书一个实施例提供的一种翻译模型训练方法的流程图;
38.图4是本说明书一个实施例提供的另一种文本翻译方法的流程图;
39.图5是本说明书一个实施例提供的一种待翻译文本e方法的处理过程流程图;
40.图6是本说明书一个实施例提供的一种文本翻译装置的结构示意图;
41.图7是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
42.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
43.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
44.应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
45.首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
46.transformer模型:转换器模型,是依靠自注意层来计算其输入和输出表示的转换模型,不使用序列对齐的rnn或卷积。
47.机器翻译:利用计算机将源语言转化为另一种目标语言的过程,包括统计机器翻译和神经网络机器翻译。
48.编码器(encoder):用来分析输入序列,将输入序列映到一个表示文本语义的高维空间的向量上(比如512维),该向量组的数值表征了该文本的带有上下文的语义信息。
49.解码器(decoder):用来生成输出序列,根据源文的语义向量信息,在语义空间中解码出输出序列。编码器和解码器组成一个神经机器翻译模型。
50.翻译记忆库:翻译记忆库是一个存储以前翻译过的句子或者文本句段,每个条目包括源文和译文。
51.翻译模板:翻译模板是介于“翻译规则”和“翻译实例”之间的翻译知识表示形式,带有变量部分的翻译实例或由常量和变量组成的翻译规则,或者翻译中译文用到的固定抽象结构。
52.当前的翻译模型能对单一类型的知识进行处理,通用性差,对翻译模型性能提升有限,不同领域可能需要重新训练不同的翻译模型,导致翻译效率较低。
53.本说明书的文本翻译方法,将多种不同类型的外部知识融入到翻译模型中,提高了翻译的质量,外部知识包括但不限于相似的双语句子,术语,短语,翻译模版等;使用通用统一的模型结构,使模型可以学习如何有效的使用多种不同类型的知识,使模型翻译可以
扩展到其他应用场景,从而实现了利用已翻译的成对数据,如,容易获取的术语表或词典,翻译模版等不同类型的知识等融入到翻译模型中,不需要额外的训练就可以提高机器翻译质量。
54.在本说明书中,提供了文本翻译方法,本说明书同时涉及文本翻译装置,翻译模型的训练方法,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
55.参见图1,图1示出了根据本说明书一个实施例提供的一种文本翻译方法的场景示意图,具体包括:
56.接收针对待翻译文本的文本请求,获取待翻译文本“ilikecat”以及待翻译文本对应的术语文本对“cat-猫”,即术语文本对由术语源文信息“cat”和术语译文信息“猫”组成;将术语源文信息“cat”与待翻译文本“ilikecat”进行拼接,得到待处理文本;具体的,确定是术语文本对的信息为术语类型信息,则获取术语标签;基于术语标签,将术语源文信息“cat”和待翻译文本“ilikecat”,以术语源文信息在前,待翻译文本在后的顺序进行拼接,得到待处理文本;将待处理文本输入翻译模型的编码层,获得编码层输出的编码文本特征;将编码文本特征与术语译文信息“猫”输入至翻译模型的解码层,获得解码层输出的翻译文本。
57.由于,翻译模型解码层需要基于解码层对文本逐一进行解码,得到翻译结果,即先翻译文本“i”对应的翻译结果为“我”,再将“我”再次输入解码层,得到翻译结果“我喜欢”。直至由编码层输出翻译完成的文本“我喜欢猫”。
58.在对翻译模型进行应用之前,需要对翻译模型进行训练,使翻译模型具备基于参考信息对对待翻译文本进行翻译的功能。
59.具体的翻译模型训练过程如下:获取样本集,其中,样本集包括多个样本文本对和各样本文本对对应的关联信息对,样本文本对包括待翻译样本文本和译文样本文本,关联信息对包括关联源文信息和关联译文信息,所述关联源文信息与所述待翻译样本文本相关;从样本集中,提取目标样本文本对和目标样本文本对对应的目标关联信息对;拼接目标关联信息对中的目标关联源文信息与目标样本文本对中的目标待翻译样本文本,获得目标待处理样本文本;将目标待处理样本文本和目标关联信息对中的目标关联译文信息输入翻译模型;获取翻译模型输出的目标预测翻译文本,并基于目标预测翻译文本和所述目标样本文本对中的目标译文样本文本计算翻译损失值;基于翻译损失值对翻译模型的模型参数进行调整;再次从样本集中获取当前样本文本对,进而基于当前样本文本对和对应的当前关联信息对对模型参数进行调整;持续上述步骤,直至达到模型训练停止条件,获得训练完成的翻译模型。
60.本说明书的文本翻译方法,获取待翻译文本和目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;拼接所述参考源文信息和所述待翻译文本,获得待处理文本;将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本。通过将待翻译文本和目标参考信息对输入翻译模型,使得翻译模型可以基于目标参考信息对中的参考译文信息对待翻译文本进行翻译,即可以基于与待翻译文本相关的参考源文信息以及对应的参考译文信息为翻译参考,对待翻译文本进行
翻译,提升翻译模型的翻译准确性。
61.参见图2,图2示出了根据本说明书一个实施例提供的一种文本翻译方法的流程图,具体包括以下步骤。
62.步骤202:获取待翻译文本和目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关。
63.在对文本进行翻译之前,需要确定待翻译的文本,以及待翻译的文本对应的参考信息对,用于辅助对待翻译的文本进行翻译。
64.其中,待翻译文本是指存在翻译需求的文本,例如,待翻译文本为“你好”;实际应用中,待翻译文本可以是用户向终端输入的、基于翻译任务在数据库中获取的等等,本说明书不做具体限定;目标参考信息对是指基于待翻译文本在文本信息中获取的参考信息对;在目标参考信息对中包含参考源文信息和参考译文信息;参考源文信息可以包含源文字段、待翻译文本句式结构和源文相似字段,参考译文信息可以包含与源文字段对应的译文字段和源文相似字段对应的译文相似字段。
65.源文字段是指与待翻译文本中的字段处于相同项目领域的字段,例如,待翻译文本中包含字段“内存”,则对应的源文字段可以是“缓存”,即字段同属于计算机术语;译文字段是指源文字段的译文,以将中文翻译为英文为例,源文字段为“您好”,译文字段为“hello”;源文相似字段是指与待翻译文本的相似度大于相似度阈值的字段,例如,待翻译文本为“我爱中国”,源文相似字段为“我爱北京”;译文相似字段是指源文相似字段对应的译文,沿用上例,源文相似字段为“我爱北京”,译文相似字段为“ilovebeijing”;待翻译文本句式结构是指待翻译文本对应的译文文本的句式结构,例如,对待翻译文本所对应的语言进行分析,确定句式结构为“主语+谓语+宾语”。
66.具体的,接收针对待翻译文本的翻译请求;响应于翻译请求,解析翻译请求获得待翻译文本,或解析翻译请求确定文本标识,基于标识获取待翻译文本;根据待翻译文本在数据库中查找与待翻译文本对应的目标参考信息对,目标参考信息对中包含参考源文信息和参考译文信息。
67.需要注意的是,可以基于不同类型的一种或多种参考信息对待翻译文本进行翻译;具体的,目标参考信息对中可以包含源文字段和译文字段,后续可以基于译文字段对待翻译文本进行翻译;目标参考信息对中可以包含源文相似字段和译文相似字段,后续可以基于译文相似字段对待翻译文本进行翻译;目标参考信息中可以仅包含待翻译文本句式结构,后续可以基于待翻译文本句式结构对待翻译文本进行翻译;目标参考信息对中包含源文字段和译文字段,以及源文相似字段和译文相似字段,后续可以基于译文字段和译文相似字段对待翻译模型进行翻译;目标参考信息对中包含源文字段和译文字段,以及待翻译文本句式结构,后续可以基于译文字段和待翻译文本句式结构对待翻译模型进行翻译。
68.在本说明书一具体实施方式中,以目标参考信息中包含源文字段、译文字段、源文相似字段和译文相似字段为例,响应文本翻译请求,确定待翻译文本“我喜欢打篮球”;根据待翻译文本获取目标参考信息,目标参考信息中包含源文字段“篮球”、译文字段“basketball”、源文相似句子“我喜欢踢足球”和译文相似句子“ilikeplayingfootball”。
69.通过获取待翻译文本和目标参考信息对,从而确定了需要进行翻译的文本,以及用于辅助文本翻译的目标参考信息对。
70.实际应用中,可以由用户为待翻译文本设置目标参考信息对,但采用这种方式会存在处理效率低的问题,故可以基于待翻译文本查找对应的目标参考信息对。
71.具体的,获取待翻译文本和目标参考信息对的方法可以包括:
72.确定所述待翻译文本中的目标字段;
73.基于所述目标字段在文本信息库中获取目标参考源文信息和目标参考译文信息;
74.根据所述目标参考源文信息和所述目标参考译文信息,确定目标参考信息对。
75.其中,目标字段是指待翻译文本中包含字段,例如,在待翻译文本“我喜欢打篮球”中,“篮球”可以作为目标字段、“打”可以作为目标字段等等;文本信息库是指包含参考信息的数据库,实际应用中,文本信息库中的数据来源可以是对历史翻译任务产生的数据进行存储,或用户添加等等;目标参考源文信息是指与目标字段对应的信息,例如,目标字段为“篮球”,目标参考源文信息为“足球”等;目标参考译文信息是指目标参考源文信息对应的译文。
76.具体的,解析待翻译文本,确定翻译文本中的一个或多个目标字段;根据各目标字段在文本信息库中查询对应的目标参考源文信息和目标参考译文信息,作为待翻译文本对应的目标参考信息对。
77.在本说明书一具体实施方式中,解析待翻译文本“我喜欢踢足球”,并确定待翻译文本中的目标字段“足球”;基于目标字段在文本信息库中查找对应的参考源文信息“足球”,以及对应的参考译文信息“football”,并基于参考源文信息“足球”和参考译文信息“football”生成目标参考信息对。
78.通过根据待翻译文本的目标字段,获取待翻译文本对应的目标参考信息对,以便后续基于目标参考信息对辅助对待翻译文本进行翻译,进而提升翻译准确度。
79.在获取待翻译文本和目标参考信息对之前,还包括:
80.确定文本信息库,其中,所述文本信息库中包含参考源文信息和参考译文信息;
81.在所述文本信息库中获取与所述待翻译文本对应的目标参考源文信息和目标参考译文信息,并基于所述目标参考源文信息和所述目标参考译文信息,确定目标参考信息对。
82.具体的,为了提升获取待翻译文本对应的目标参考源文信息和目标参考译文信息的效率,可以预先创建包含目标参考信息对的文本信息库;即获取目标参考源文信息和目标参考译文信息,基于存在对应关系的参考源文信息和参考译文信息生成参考信息对。
83.在本说明书一具体实施方式中,获取参考源文信息“足球”和参考译文信息“football”;基于“足球”和“football”组成参考信息对,并将参考信息对存储至文本信息库。
84.通过生成目标参考信息对,并将目标参考信息对存储至文本信息库,以便后续基于文本信息库获取目标参考信息对。
85.步骤204:拼接所述参考源文信息和所述待翻译文本,获得待处理文本。
86.其中,待处理文本是根据目标参考信息对中的参考源文信息与待翻译文本得到的;
87.在实际应用中,拼接所述参考源文信息和所述待翻译文本,获得待处理文本的方法可以包括:
88.确定预设拼接顺序和所述参考源文信息对应的目标信息类型;
89.获取所述目标信息类型对应的信息标签;
90.基于所述预设拼接顺序对所述参考源文信息、所述信息标签和所述待翻译文本进行拼接,获得待处理文本。
91.其中,预设拼接顺序是指参考源文信息、信息标签和待翻译文本的拼接顺序;目标信息类型是指目标参考信息对应的类型,例如,若目标参考信息为源文字段和译文字段,则目标信息类型为术语类型,若目标参考信息为源文相似字段和译文相似字段,则目标信息类型为相似句子类型,若目标参考信息为待翻译文本句式结构,则目标信息类型为翻译模板类型;信息标签是指参考源文信息对应的标签,例如,术语类型的标签“term(术语)”,相似句子类型的标签“sentence(句子)”等等。
92.具体的,获取参考源文信息对应的目标信息类型,以及预设拼接顺序;基于预设拼接顺序拼接参考源文信息、信息标签和待翻译文本,得到待处理文本。
93.在本说明书一具体实施方式中,获取待翻译文本“我喜欢踢足球”以及参考源文信息“足球”;确定预设拼接顺序为:参考源文信息在前,待翻译文本在后;确定参考源文信息的目标信息类型为“术语类型”,对应的信息标签为“term”;根据预设拼接顺序对待翻译文本、信息标签以及参考源文信息进行拼接,得到待处理文本为“term+足球+input+我喜欢踢足球”,其中,“input(输入)”为待翻译文本的标签。
94.通过对参考源文信息和待翻译文本基于标签进行拼接,以便后续基于参考源文信息对应的参考译文信息对待翻译文本进行翻译。
95.步骤206:将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本。
96.其中,翻译模型是指预先训练完成的具备翻译能力的模型,翻译模型为包含编码层和解码层的神经网络模型,例如,翻译模型可以是预先训练得到的具备翻译能力的transformer(转换器)模型;翻译文本是指待翻译文本对应的翻译结果。
97.具体的,将待处理文本和参考译文信息均输入至翻译模型;由翻译模型基于参考译文信息对待翻译文本进行翻译;获取翻译模型输出的翻译结果,即待翻译文本对应的翻译文本。
98.在本说明书一具体实施方式中,将待处理文本“term+足球+input+我喜欢踢足球”和参考译文信息“football”输入翻译模型;翻译模型基于参考译文信息“football”对待翻译文本进行翻译,得到翻译模型输出的翻译文本为“ilikeplayingfootball”。
99.进一步地,将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本的方法可以包括:
100.将所述待处理文本输入所述翻译模型的编码层,获得编码翻译文本;
101.拼接所述参考译文信息与所述编码翻译文本,获得待解码文本;
102.将所述参考译文信息和所述编码翻译文本输入所述翻译模型的解码层,获得翻译文本。
103.其中,编码层用于对待处理文本进行编码,得到待解码文本;编码翻译文本是指编码层基于待处理文本输出的文本;解码层用于对待解码文本进行解码,得到翻译文本,即对
待解码文本进行翻译,得到翻译后的文本。
104.具体的,翻译模型中包含编码层和解码层;翻译模型接收到待处理文本和参考译文信息的情况下,将待处理文本输入模型编码层,获得编码翻译文本;将编码翻译文本和参考译文信息输入模型的解码层,获取翻译模型输出的翻译文本。
105.在本说明书一具体实施方式中,将待处理文本“term+足球+input+我喜欢踢足球”输入翻译模型的编码层,获得编码层输出的编码翻译文本;将编码翻译文本和参考译文信息“football”输入翻译模型的解码层,获得解码层输出的翻译文本“ilikeplayingfootball”。
106.通过基于参考译文信息对待翻译文本进行翻译,使翻译模型在翻译过程中可以参考已有的翻译结果,从而提升翻译模型的翻译准确性。
107.实际应用中,为了使翻译模型的翻译结果更符合用户需求,故还可以对训练完成的翻译模型基于用户反馈的信息进行微调。
108.具体的,获得所述待翻译文本对应的翻译文本之后,还包括:
109.将所述翻译文本发送至用户;
110.接收所述用户针对所述翻译文本的校正文本;
111.根据所述校正文本对所述翻译模型进行调整。
112.其中,用户为对待翻译文本存在翻译需求的用户,校正文本是指对翻译模型的翻译结果进行校正的文本,例如,校正文本为“将句子中的a转换为an”等等。
113.具体的,将翻译文本发送至,对待翻译文本有翻译需求的用户终端;接收用户终端针对翻译文本的校正文本,并基于校正文本对翻译模型进行微调,即再次村训练,从而使翻译模型输出的准确性更高。
114.实际应用中,在对翻译模型进行应用之前,需要进行翻译模型的训练,使其具备翻译能力;具体的,将所述待处理文本和所述参考译文信息输入翻译模型之前,还包括:
115.获取样本集,其中,所述样本集包括多个样本文本对和各样本文本对对应的关联信息对,所述样本文本对包括待翻译样本文本和译文样本文本,所述关联信息对包括关联源文信息和关联译文信息,所述关联源文信息与所述待翻译样本文本相关;
116.从所述样本集中,提取目标样本文本对和所述目标样本文本对对应的目标关联信息对,其中,所述目标样本对为所述样本集中的任一样本文本对;
117.拼接所述目标关联信息对中的目标关联源文信息与所述目标样本文本对中的目标待翻译样本文本,获得目标待处理样本文本;
118.将所述目标待处理样本文本和所述目标关联信息对中的目标关联译文信息输入翻译模型;
119.获取所述翻译模型输出的目标预测翻译文本,并基于所述目标预测翻译文本和所述目标样本文本对中的目标译文样本文本计算翻译损失值;
120.基于所述翻译损失值对所述翻译模型的模型参数进行调整,并返回执行从所述样本集中,提取目标样本文本对和所述目标样本文本对对应的目标关联信息对的步骤,直至达到模型训练停止条件,获得训练完成的翻译模型。
121.其中,样本集是指用于对翻译模型进行训练的样本集合;在样本集中包含样本文本对以及样本文本对应的关联信息对,样本文本对包含待翻译样本文本和译文样本文本组
成,关联信息对由关联源文信息和关联译文信息组成;待翻译样本文本是指用于训练翻译模型的,并且存在对应的译文样本文本的文本;关联源文信息是指基于待翻译样本文本设置的信息,即关联源文信息和待翻译样本文本相关;关联译文信息是指关联源文信息对应的译文信息。
122.目标样本文本是指样本集中的任意一个样本文本,包含目标待翻译样本文本和目标译文样本文本;目标关联信息对是由目标样本文本对对应的目标关联源文信息和目标关联译文信息组成;目标待处理样本文本是指将目标待翻译样本文本与目标关联源文信息进行拼接,得到的文本;目标预测翻译文本是指翻译模型根据目标关联译文信息,对目标待处理样本文本进行翻译,得到的文本;翻译损失值是指用于对翻译模型进行参数调整的损失值,需要注意的是,在计算损失值时仅考虑待翻译文本对应的特征损失即可,无需考虑关联源文信息的特征损失。
123.具体的,在样本集中任意获取样本文本对作为目标样本文本对;获取目标样本文本对对应的目标关联信息对;目标样本文本对中包含目标待翻译样本文本和目标译文样本文本,目标关联信息对中包含目标关联源文信息和目标关联译文信息;对目标关联源文信息与目标待翻译样本文本进行拼接,得到目标待处理样本文本;将目标关联译文信息与目标待处理样本文本输入翻译模型,获得翻译模型输出的目标预测翻译文本;根据目标预测翻译文本与目标译文样本文本计算翻译损失值,基于翻译损失值对翻译模型的模型参数进行调整;再从样本集中获取不同于当前目标样本文本对的样本文本对,进而对翻译模型继续进行训练,直至到达模型训练停止条件,得到训练完成的翻译模型。
124.在本说明书一具体实施方式中,获取用于训练翻译模型的样本集,在样本集中包含a、b、c等样本文本对,以及每个样本文本对对应的关联信息对;确定样本集中的样本文本对a,以及对应的关联信息对a;在样本文本对a中包含待翻译样本文本和译文样本文本,在关联信息对a中包含关联源文信息和关联译文信息;拼接待翻译样本文本和关联源文信息,得到待处理样本文本;将待处理样本文本和关联译文信息输入翻译模型,获得翻译模型输出预测翻译文本;基于预测翻译文本和译文样本文本计算翻译损失值,并基于翻译损失值对翻译模型的模型参数进行调整;进一步,确定样本文本对b,进而基于样本文本对b以及对应的关联信息对b对翻译模型的模型参数进行调整;基于上述步骤对翻译模型进行训练,直至到达模型训练停止条件,获得训练完成的翻译模型。
125.进一步地,翻译模型中包含编码层和解码层;将所述目标待处理文本和所述目标关联信息对中的目标关联译文信息输入翻译模型的方法可以包括:
126.将所述目标待处理文本输入所述翻译模型的编码层,获得目标样本编码文本;
127.将所述目标样本编码文本和所述目标关联信息对中的目标关联译文信息输入所述翻译模型的解码层;
128.相应地,获取所述翻译模型输出的目标预测翻译文本,包括:
129.获取所述解码层输出的目标预测翻译文本。
130.具体的,目标样本编码文本是指将目标待处理文本输入编码层,由编码层输出的文本;将目标关联译文信息与目标样本编码文,输入翻译模型的解码层,即可获取由解码层输出的目标预测翻译文本。
131.通过基于包含样本文本对和关联信息对的样本集对翻译模型进行训练,以使翻译
模型可以根据关联信息对对待翻译文本进行翻译,使得翻译模型具备根据不同类型的关联信息对对应类型的待翻译文本进行翻译的能力,提升翻译模型的可翻译范围以及翻译准确度。
132.在实际应用中,由于翻译模型为生成模型,需要基于上一次的翻译结果作为解码层的输入,从而逐步输出完整的翻译结果,故翻译损失值为多次翻译对应的损失值之和。
133.例如,对文本“ilikework”进行翻译;首先,将文本的译文文本和待解码文本输入解码层,其中,待解码文本为编码层基于文本“ilikework”输出的;解码层第一次输出的译文为“我”,基于译文“我”以及文本的译文文本计算第一损失值;将待解码文本和译文“我”再次输入解码层,得到解码层第二次输出的译文“我喜欢”,并基于译文“我喜欢”计算第二损失值;将待解码文本和译文“我喜欢”再次输入解码层,得到解码层第三次输出的译文“我喜欢工作”;基于译文“我喜欢工作”计算第三损失值;将第一损失值、第二损失值和第三损失值之和,作为翻译模型的翻译损失值。
134.本说明书的文本翻译方法,获取待翻译文本和目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;拼接所述参考源文信息和所述待翻译文本,获得待处理文本;将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本。通过将待翻译文本和目标参考信息对输入翻译模型,使得翻译模型可以基于目标参考信息对中的参考译文信息对待翻译文本进行翻译,即可以基于与待翻译文本相关的参考源文信息以及对应的参考译文信息为翻译参考,对待翻译文本进行翻译,提升翻译模型的翻译准确性。
135.参见图3,图3示出了根据本说明书一个实施例提供的一种翻译模型训练方法的流程图,应用于云侧设备,具体包括以下步骤。
136.步骤302:获取样本集,其中,所述样本集包括多个样本文本对和各样本文本对对应的关联信息对,所述样本文本对包括待翻译样本文本和译文样本文本,所述关联信息对包括关联源文信息和关联译文信息,所述关联源文信息与所述待翻译样本文本相关。
137.具体的,可以获取云侧设备预先设置的样本集,或基于训练任务由云侧设备向其他终端获取样本集;样本集中包含样本文本对,以及各样本文本对对应的关联信息对。
138.步骤304:从所述样本集中,提取目标样本文本对和所述目标样本文本对对应的目标关联信息对,其中,所述目标样本对为所述样本集中的任一样本文本对。
139.具体的,样本集中包含多个样本文本对;任意选取一个样本文本对作为目标样本文本对和对应的关联信息对。
140.步骤306:拼接所述目标关联信息对中的目标关联源文信息与所述目标样本文本对中的目标待翻译样本文本,获得目标待处理样本文本。
141.步骤308:将所述目标待处理样本文本和所述目标关联信息对中的目标关联译文信息输入翻译模型。
142.步骤310:获取所述翻译模型输出的目标预测翻译文本,并基于所述目标预测翻译文本和所述目标样本文本对中的目标译文样本文本计算翻译损失值。
143.步骤312:基于所述翻译损失值对所述翻译模型的模型参数进行调整,并返回执行从所述样本集中,提取目标样本文本对和所述目标样本文本对对应的目标关联信息对的步
骤,直至达到模型训练停止条件,获得训练完成的翻译模型。
144.步骤314:将所述翻译模型的模型参数发送至端侧设备。
145.具体的,云侧设备基于训练任务完成翻译模型的训练,并基于训练完成的翻译模型进行存储;用户基于用户终端向云侧设备发送翻译模型的应用请求;云侧设备基于应用请求向用户终端返回翻译模型的模型参数;用户终端通过调用模型参数,即可实现对云侧设备中翻译模型的应用,避免用户端训练翻译模型造成的计算资源占用过多的问题,提升了翻译效率。
146.本说明书的翻译模型训练方法,获取样本集,其中,所述样本集包括多个样本文本对和各样本文本对对应的关联信息对,所述样本文本对包括待翻译样本文本和译文样本文本,所述关联信息对包括关联源文信息和关联译文信息,所述关联源文信息与所述待翻译样本文本相关;从所述样本集中,提取目标样本文本对和所述目标样本文本对对应的目标关联信息对,其中,所述目标样本对为所述样本集中的任一样本文本对;拼接所述目标关联信息对中的目标关联源文信息与所述目标样本文本对中的目标待翻译样本文本,获得目标待处理样本文本;将所述目标待处理样本文本和所述目标关联信息对中的目标关联译文信息输入翻译模型;获取所述翻译模型输出的目标预测翻译文本,并基于所述目标预测翻译文本和所述目标样本文本对中的目标译文样本文本计算翻译损失值;基于所述翻译损失值对所述翻译模型的模型参数进行调整,并返回执行从所述样本集中,提取目标样本文本对和所述目标样本文本对对应的目标关联信息对的步骤,直至达到模型训练停止条件,获得训练完成的翻译模型。
147.通过基于包含样本文本对和关联信息对的样本集对翻译模型进行训练,以使翻译模型可以根据关联信息对对待翻译文本进行翻译,使得翻译模型具备根据不同类型的关联信息对对应类型的待翻译文本进行翻译的能力,提升翻译模型的可翻译范围以及翻译准确度。
148.参见图4,图4示出了根据本说明书一个实施例提供的另一种文本翻译方法的流程图,应用于云侧设备,具体包括以下步骤。
149.步骤402:接收端侧设备发送的待翻译文本。
150.步骤404:查找与所述待翻译文本对应的目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关。
151.具体的,云侧设备基于待翻译文本中的文本字段,在文本信息库中查找与文本字段对应的目标参考信息对,从而便于后续基于目标参考信息对对待翻译文本,而无需用户自行添加目标参考信息对,提升处理效率。
152.步骤406:拼接所述参考源文信息和所述待翻译文本,获得待处理文本。
153.步骤408:将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本。
154.步骤410:将所述翻译文本返回至所述端侧设备。
155.本说明书应用于云侧设备的文本翻译方法,接收端侧设备发送的待翻译文本;查找与所述待翻译文本对应的目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;拼接所述参考源文信息和所述待翻译文本,获得待处理文本;将所述待处理文本和所述参考译文信息输入翻译模型,
基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本;将所述翻译文本返回至所述端侧设备。
156.通过云侧设备上的翻译模型,对端侧设备发送的待翻译文本进行翻译,得到翻译文本;将翻译模型输出的翻译文本,返回至发送待翻译文本的端侧设备,从而避免在端侧设备进行翻译模型的应用,造成大量计算资源的占用,提升了文本翻译效率,便于用户对翻译模型进行高效使用。
157.下述结合附图5,以本说明书提供的文本翻译方法在待翻译文本e的应用为例,对所述文本翻译方法进行进一步说明。其中,图5示出了本说明书一个实施例提供的一种文本翻译方法的处理过程流程图,具体包括以下步骤。
158.步骤502:响应于文本翻译请求,确定待翻译文本e和参考术语对,其中,参考术语对中包含参考源文信息和参考译文信息。
159.具体的,解析文本翻译请求,获得待翻译文本e“theenergyofmotioniscalledkinetic energy”;基于待翻译文本e在文本信息库中,获取待翻译文本e对应的参考术语对“kinetic energy-动能”,即参考术语对包含参考源文信息“kineticenergy”和参考译文信息“动能”。
160.步骤504:拼接参考源文信息和待翻译文本e,获得待处理文本。
161.具体的,确定参考源文信息对应的信息标签“term”;基于预设顺序对参考源文信息“kinetic energy”、信息标签“term”和待翻译文本进行拼接,得到待处理文本。
162.步骤506:将待处理文本输入翻译模型的编码层,获得编码样本文本。
163.步骤508:将编码样本文本和参考译文信息输入翻译模型的解码层,获得翻译文本。
164.具体的,翻译模板基于参考术语对“kineticenergy-动能”的翻译功能,使解码层可以对待翻译文本e进行翻译;获取解码层基于待解码文本输出的翻译文本,获得待翻译文本e“the energyofmotioniscalledkineticenergy”对应的翻译文本为“运动的能量称为动能”。
165.本说明书一个实施例实现了获取待翻译文本和目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;拼接所述参考源文信息和所述待翻译文本,获得待处理文本;将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本。
166.通过将待翻译文本和目标参考信息对输入翻译模型,使得翻译模型可以基于目标参考信息对中的参考译文信息对待翻译文本进行翻译,即可以基于与待翻译文本相关的参考源文信息以及对应的参考译文信息为翻译参考,对待翻译文本进行翻译,提升翻译模型的翻译准确性。
167.本说明书还提供了一种应用于用户客户端的文本翻译方法,包括:接收用户的文本翻译请求,并基于所述文本翻译请求获得待翻译文本和目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;拼接所述参考源文信息和所述待翻译文本,获得待处理文本;将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所
述待翻译文本对应的翻译文本;展示所述翻译文本。
168.具体的,用户客户端基于用户输入待翻译文本的操作生成文本翻译请求;解析文本翻译请求获得待翻译文本,并采集待翻译文本对应的目标参考信息对,其中,目标参考信息对中包含参考源文信息和参考译文信息;拼接所述参考源文信息和所述待翻译文本,获得待处理文本;将待处理文本输入至翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本;由用户客户端的屏幕对翻译文本进行展示。
169.通过将待翻译文本和目标参考信息对输入翻译模型,使得翻译模型可以基于目标参考信息对中的参考译文信息对待翻译文本进行翻译,即可以基于与待翻译文本相关的参考源文信息以及对应的参考译文信息为翻译参考,对待翻译文本进行翻译,提升翻译模型的翻译准确性。
170.与上述方法实施例相对应,本说明书还提供了文本翻译装置实施例,图6示出了本说明书一个实施例提供的一种文本翻译装置的结构示意图。如图6所示,该装置包括:
171.获取模块602,被配置为获取待翻译文本和目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;
172.拼接模块604,被配置为拼接所述参考源文信息和所述待翻译文本,获得待处理文本;
173.翻译模块606,被配置为将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本。
174.本说明书一具体实施方式中,所述装置还包括训练模块,被配置为:
175.获取样本集,其中,所述样本集包括多个样本文本对和各样本文本对对应的关联信息对,所述样本文本对包括待翻译样本文本和译文样本文本,所述关联信息对包括关联源文信息和关联译文信息,所述关联源文信息与所述待翻译样本文本相关;
176.从所述样本集中,提取目标样本文本对和所述目标样本文本对对应的目标关联信息对,其中,所述目标样本对为所述样本集中的任一样本文本对;
177.拼接所述目标关联信息对中的目标关联源文信息与所述目标样本文本对中的目标待翻译样本文本,获得目标待处理样本文本;
178.将所述目标待处理样本文本和所述目标关联信息对中的目标关联译文信息输入翻译模型;
179.获取所述翻译模型输出的目标预测翻译文本,并基于所述目标预测翻译文本和所述目标样本文本对中的目标译文样本文本计算翻译损失值;
180.基于所述翻译损失值对所述翻译模型的模型参数进行调整,并返回执行从所述样本集中,提取目标样本文本对和所述目标样本文本对对应的目标关联信息对的步骤,直至达到模型训练停止条件,获得训练完成的翻译模型。
181.本说明书一具体实施方式中,所述训练模块,进一步被配置为:
182.将所述目标待处理文本输入所述翻译模型的编码层,获得目标样本编码文本;
183.将所述目标样本编码文本和所述目标关联信息对中的目标关联译文信息输入所述翻译模型的解码层;
184.相应地,获取所述翻译模型输出的目标预测翻译文本,包括:
185.获取所述解码层输出的目标预测翻译文本。
186.本说明书一具体实施方式中,所述获取模块602,进一步被配置为:
187.确定所述待翻译文本中的目标字段;
188.基于所述目标字段在文本信息库中获取目标参考源文信息和目标参考译文信息;
189.根据所述目标参考源文信息和所述目标参考译文信息,确定目标参考信息对。
190.本说明书一具体实施方式中,所述拼接模块604,进一步被配置为:
191.确定预设拼接顺序和所述参考源文信息对应的目标信息类型;
192.获取所述目标信息类型对应的信息标签;
193.基于所述预设拼接顺序对所述参考源文信息、所述信息标签和所述待翻译文本进行拼接,获得待处理文本。
194.本说明书一具体实施方式中,所述翻译模块606,进一步被配置为:
195.将所述待处理文本输入所述翻译模型的编码层,获得编码翻译文本;
196.将所述参考译文信息和所述编码翻译文本输入所述翻译模型的解码层,获得翻译文本。
197.本说明书一具体实施方式中,所述装置还包括组成模块,被配置为:
198.确定文本信息库,其中,所述文本信息库中包含参考源文信息和参考译文信息;
199.在所述文本信息库中获取与所述待翻译文本对应的目标参考源文信息和目标参考译文信息,并基于所述目标参考源文信息和所述目标参考译文信息,确定目标参考信息对。
200.本说明书一具体实施方式中,所述装置还包括调整模块,被配置为:
201.将所述翻译文本发送至用户;
202.接收所述用户针对所述翻译文本的校正文本;
203.根据所述校正文本对所述翻译模型进行调整。
204.本说明书一个实施例实现了获取模块,被配置为获取待翻译文本和目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;拼接模块,被配置为拼接所述参考源文信息和所述待翻译文本,获得待处理文本;翻译模块,被配置为将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本。
205.通过将待翻译文本和目标参考信息对输入翻译模型,使得翻译模型可以基于目标参考信息对中的参考译文信息对待翻译文本进行翻译,即可以基于与待翻译文本相关的参考源文信息以及对应的参考译文信息为翻译参考,对待翻译文本进行翻译,提升翻译模型的翻译准确性。
206.上述为本实施例的一种文本翻译装置的示意性方案。需要说明的是,该文本翻译装置的技术方案与上述的文本翻译方法的技术方案属于同一构思,文本翻译装置的技术方案未详细描述的细节内容,均可以参见上述文本翻译方法的技术方案的描述。
207.图7示出了根据本说明书一个实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接,数据库750用于保存数据。
208.计算设备700还包括接入设备740,接入设备740使得计算设备700能够经由一个或
多个网络760通信。这些网络的示例包括公用交换电话网(pstn,publicswitchedtelephone network)、局域网(lan,localareanetwork)、广域网(wan,wideareanetwork)、个域网(pan,personalareanetwork)或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic,networkinterfacecontroller))中的一个或多个,诸如ieee802.11无线局域网(wlan,wirelesslocalareanetwork)无线接口、全球微波互联接入(wi-max,worldwideinteroperabilityformicrowaveaccess)接口、以太网接口、通用串行总线(usb,universalserialbus)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc,nearfieldcommunication)。
209.在本说明书的一个实施例中,计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图7所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
210.计算设备700可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(pc,personalcomputer)的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
211.其中,处理器720用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述文本翻译方法的步骤。上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的文本翻译方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述文本翻译方法的技术方案的描述。
212.本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述文本翻译方法的步骤。
213.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的文本翻译方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述文本翻译方法的技术方案的描述。
214.本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述文本翻译方法的步骤。
215.上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的文本翻译方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述文本翻译方法的技术方案的描述。
216.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
217.所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所
述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据专利实践的要求进行适当的增减,例如在某些地区,根据专利实践,计算机可读介质不包括电载波信号和电信信号。
218.需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
219.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
220.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

技术特征:
1.一种文本翻译方法,包括:获取待翻译文本和目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;拼接所述参考源文信息和所述待翻译文本,获得待处理文本;将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本。2.如权利要求1所述的方法,将所述待处理文本和所述参考译文信息输入翻译模型之前,还包括:获取样本集,其中,所述样本集包括多个样本文本对和各样本文本对对应的关联信息对,所述样本文本对包括待翻译样本文本和译文样本文本,所述关联信息对包括关联源文信息和关联译文信息,所述关联源文信息与所述待翻译样本文本相关;从所述样本集中,提取目标样本文本对和所述目标样本文本对对应的目标关联信息对,其中,所述目标样本对为所述样本集中的任一样本文本对;拼接所述目标关联信息对中的目标关联源文信息与所述目标样本文本对中的目标待翻译样本文本,获得目标待处理样本文本;将所述目标待处理样本文本和所述目标关联信息对中的目标关联译文信息输入翻译模型;获取所述翻译模型输出的目标预测翻译文本,并基于所述目标预测翻译文本和所述目标样本文本对中的目标译文样本文本计算翻译损失值;基于所述翻译损失值对所述翻译模型的模型参数进行调整,并返回执行从所述样本集中,提取目标样本文本对和所述目标样本文本对对应的第一关联信息对的步骤,直至达到模型训练停止条件,获得训练完成的翻译模型。3.如权利要求2所述的方法,将所述目标待处理文本和所述目标关联信息对中的目标关联译文信息输入翻译模型,包括:将所述目标待处理文本输入所述翻译模型的编码层,获得目标样本编码文本;将所述目标样本编码文本和所述目标关联信息对中的目标关联译文信息输入所述翻译模型的解码层;相应地,获取所述翻译模型输出的目标预测翻译文本,包括:获取所述解码层输出的目标预测翻译文本。4.如权利要求1所述的方法,获取待翻译文本和目标参考信息对,包括:确定所述待翻译文本中的目标字段;基于所述目标字段在文本信息库中获取目标参考源文信息和目标参考译文信息;根据所述目标参考源文信息和所述目标参考译文信息,确定目标参考信息对。5.如权利要求1所述的方法,拼接所述参考源文信息和所述待翻译文本,获得待处理文本,包括:确定预设拼接顺序和所述参考源文信息对应的目标信息类型;获取所述目标信息类型对应的信息标签;基于所述预设拼接顺序对所述参考源文信息、所述信息标签和所述待翻译文本进行拼接,获得待处理文本。
6.如权利要求1所述的方法,将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本,包括:将所述待处理文本输入所述翻译模型的编码层,获得编码翻译文本;将所述参考译文信息和所述编码翻译文本输入所述翻译模型的解码层,获得翻译文本。7.如权利要求1所述的方法,获取待翻译文本和目标参考信息对之前,还包括:确定文本信息库,其中,所述文本信息库中包含参考源文信息和参考译文信息;在所述文本信息库中获取与所述待翻译文本对应的目标参考源文信息和目标参考译文信息,并基于所述目标参考源文信息和所述目标参考译文信息,确定目标参考信息对。8.如权利要求1所述的方法,获得所述待翻译文本对应的翻译文本之后,还包括:将所述翻译文本发送至用户;接收所述用户针对所述翻译文本的校正文本;根据所述校正文本对所述翻译模型进行调整。9.一种翻译模型的训练方法,应用于云侧设备,包括:获取样本集,其中,所述样本集包括多个样本文本对和各样本文本对对应的关联信息对,所述样本文本对包括待翻译样本文本和译文样本文本,所述关联信息对包括关联源文信息和关联译文信息,所述关联源文信息与所述待翻译样本文本相关;从所述样本集中,提取目标样本文本对和所述目标样本文本对对应的目标关联信息对;拼接所述目标关联信息对中的目标关联源文信息与所述目标样本文本对中的目标待翻译样本文本,获得目标待处理样本文本;将所述目标待处理样本文本和所述目标关联信息对中的目标关联译文信息输入翻译模型;获取所述翻译模型输出的目标预测翻译文本,并基于所述目标预测翻译文本和所述目标样本文本对中的目标译文样本文本计算翻译损失值;基于所述翻译损失值对所述翻译模型的模型参数进行调整,并返回执行从所述样本集中,提取目标样本文本对和所述目标样本文本对对应的目标关联信息对的步骤,直至达到模型训练停止条件,获得训练完成的翻译模型;将所述翻译模型的模型参数发送至端侧设备。10.一种文本翻译方法,应用于云侧设备,包括:接收端侧设备发送的待翻译文本;查找与所述待翻译文本对应的目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;拼接所述参考源文信息和所述待翻译文本,获得待处理文本;将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本;将所述翻译文本返回至所述端侧设备。11.一种文本翻译方法,应用于用户客户端,包括:
接收用户的文本翻译请求,并基于所述文本翻译请求获得待翻译文本和目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;拼接所述参考源文信息和所述待翻译文本,获得待处理文本;将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本;展示所述翻译文本。12.一种文本翻译装置,包括:获取模块,被配置为获取待翻译文本和目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;拼接模块,被配置为拼接所述参考源文信息和所述待翻译文本,获得待处理文本;翻译模块,被配置为将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得所述待翻译文本对应的翻译文本。13.一种计算设备,包括:存储器和处理器;所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。

技术总结
本说明书实施例提供文本翻译方法及装置,其中所述文本翻译方法包括:获取待翻译文本和目标参考信息对,其中,所述目标参考信息对包含参考源文信息和参考译文信息,所述参考源文信息与所述待翻译文本相关;拼接所述参考源文信息和所述待翻译文本,获得待处理文本;将所述待处理文本和所述参考译文信息输入翻译模型,基于所述参考译文信息对所述待处理文本进行翻译,获得待翻译文本对应的翻译文本。通过将待翻译文本和目标参考信息对输入翻译模型,使得翻译模型可以基于目标参考信息对中的参考译文信息对待翻译文本进行翻译,即可以基于与待翻译文本相关的参考源文信息以及对应的参考译文信息,对待翻译文本进行翻译,提升翻译模型的翻译准确性。译模型的翻译准确性。译模型的翻译准确性。


技术研发人员:王轲 谢军 张昱琪 赵宇
受保护的技术使用者:阿里巴巴(中国)有限公司
技术研发日:2023.04.14
技术公布日:2023/9/7
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐