一种基于可定制语义的外观专利图像检索方法与系统

1.本发明涉及图像检索，图像理解，专利检索领域，具体涉及一种基于可定制语义的外观专利图像检索方法与系统。


背景技术：

2.知识产权是创新型经济发展的基础，知识产权在国家的经济建设发展中起着举足轻重的作用。高效地分析和利用专利技术，将保护并推动产业的发展，提升国家和企业的创新能力。通过合理分析专利技术文献，可以避免非必要的经费花销，加速研发进度。外观设计专利作为一种创意设计专利，与企业的发展密切相关，优秀的外观设计将直接影响人们的审美习惯，促进经济消费，创造出经济的新增长，提升企业竞争力。由于产品的快速更迭，外观专利数量快速增长，且由于外观设计易于模仿的特点，外观专利极易被侵权。如何维持好外观设计专利的整个生命周期中专利申请、审核和维权等各个过程的合法性，如何高效的管理外观知识产权已经是一个迫在眉睫的问题。其中，外观专利检索作为实现在知识产权创意生成与保护、智能审查、价值评估与交易等场景推广应用的重要一环，如何快速的检索感兴趣的外观专利，提升整个专利生命周期的合理性和合法性，引起了研究人员们的浓厚兴趣。
3.外观专利检索通过各种手段为用户提供感兴趣的外观专利，为专利申请、审核和维权等各个过程提供便利。现有的主要方法是根据关键字检索，从外观专利数据库中检索出拥有相关字眼的外观专利。但是由于外观专利缺乏充分的文本描述，单从关键字进行检索很难获取理想的检索结果。整体上来说。人们需要拥有大量的专业知识才能够检索出相关的外观专利，检索速度快，但是检索精度无法得到保证。
4.近年来，新一轮科技革命和产业变革正在萌发，大数据的形成、理论算法的革新、计算能力的提升及网络设施的演进驱动人工智能发展进入新阶段，智能化成为技术和产业发展的重要方向。在外观专利检索中，智能化也是必然的趋势，进而诞生了一系列基于人工智能的专利检索方法。这些方法主要通过输入外观-文本数据对，运用人工智能模型进行训练，生成文本内容到外观专利的语义映射。但受限于人工智能相关技术的发展，这样的方法需要大量的人力标注数据，以获取到足够多的可学习的数据信息完成对模型的训练，使用有限的数据集很难获取足够精确的语义映射。
5.目前的现有技术之一，一种基于关键字的外观专利检索系统及方法，首先通过专家知识或专利分类对专利进行分类，然后文字比对的方式获取对应的外观专利内容。这种方法的缺点是检索范围局限于专利中的文本内容，检索方式不够灵活，精度欠佳。
6.目前的现有技术之二，一种基于文本语义的外观专利检索系统及方法，首先通过专家知识生成文本-专利对，然后使用深度神经网络学习文本到专利的映射关系，使用训练好的文本到专利的映射关系对当前用户输入进行搜索，获取对应的外观专利内容。这种方法的缺点是需要获取到足够多的可学习的数据信息完成对模型的训练。如果使用有限的数据集，将很难获取足够精确的语义映射。
7.目前的现有技术之三，论文“large scale patent drawing recognition and retrieval”中的一种基于图像的外观专利检索系统及方法，其步骤为：首先通过专家知识生成图像-专利对，然后使用深度神经网络学习图像到专利的映射关系，使用训练好的映射关系对当前用户输入的图像进行搜索，获取对应的外观专利内容。这种方法的缺点是，图像之间的比对速度慢，极大地降低了检索过程的效率。并且由于图像的绘制难度，缺乏定制性，使得图像检索专利变得困难。


技术实现要素：

8.本发明的目的是克服现有方法的不足，提出了一种基于可定制语义的外观专利图像检索方法与系统。本发明解决的主要问题是，现有基于文本的外观专利检索技术通过训练网络模型建立文本到专利的映射关系，但是需要获取到足够多的可学习的数据信息完成对模型的训练，如果使用有限的数据集，将很难获取足够精确的语义映射；现有基于图像的外观专利检索技术通过训练网络模型建立图像到专利的语义映射关系，但是由于图像之间的比对速度慢和图像的绘制难度，缺乏定制性的原因，使得检索难度高，检索效率差。即如何基于人工智能，突破文本到专利以及图像到专利的低效率映射学习的局限，通过混合使用文本和图像到专利的混合映射同时实现外观专利检索的效率和精度的问题。
9.为了解决上述问题，本发明提出了一种基于可定制语义的外观专利图像检索方法，所述方法包括：
10.从外观专利数据库中筛选并获取文本(t)-专利(p)对,并生成每个专利(p)的外观专利图像所对应的手绘草图；
11.利用resnet方法对所述外观专利图像进行语义编码，使用预训练的卷积神经网络resnet来获取所述外观专利图像p的语义特征并存储，构建语义特征库；
12.构建并训练外观专利初次筛选模型，首先利用glove词编码器对文本进行编码获得t
′
，然后利用长短期记忆网络方法对文本进行语义编码，得到文本语义特征再使用卷积神经网络将所述外观专利图像语义特征和所述文本语义特征映射到相同的语义子空间，分别得到和最后使用损失函数对所述网络模型进行训练，并形成外观专利初次筛选模型；
13.构建并训练外观专利最终筛选模型，利用resnet方法获取外观手绘草图s的语义特征然后将所述外观专利图像语义特征和所述草图语义特征映射到相同的语义子空间，分别获取和最后利用所述获取的作为目标向量，使得和能够保留语义标签，并训练形成外观专利最终筛选模型；
14.用户输入待检索的关键词文本，以及待检索的手绘草图，首先以关键词文本作为所述外观专利初次筛选模型的输入，进行检索以初次筛选外观专利，然后以可定制语义的手绘草图作为所述外观专利最终筛选模型的输入，在初次筛选出的外观专利的范围内进行检索以完成对外观专利的最终筛选，从而得到精准的外观专利检索结果。
15.优选地，从外观专利数据库中筛选并获取文本(t)-专利(p)对,并生成每个专利(p)的外观专利图像所对应的手绘草图，具体为：
16.用洛迦诺分类法对数据库中的外观专利进行分类，获取分类名称与外观专利的文本(t)-专利(p)对，用于后续网络模型的训练；
17.使用生成对抗神经网络生成外观专利图像的手绘草图s，所述方法由两个生成模型、两个判别模型以及一个分类器组成，生成对抗网络中的生成器均使用了u-net结构，其中一个生成器使用真实图像作为输入，生成对应的手绘草图，另一个生成器使用手绘草图作为输入，生成真实图像，生成对抗网络中的判别器使用卷积神经网络对生成的手绘草图和图像进行判断，若判断当前图像是计算机生成出来的，则判定为0，否则设为1，生成对抗网络中的分类器使用卷积神经网络对生成的图像进行分类。
18.优选地，利用resnet方法对所述外观专利图像进行语义编码，使用预训练的卷积神经网络resnet来获取所述外观专利图像p的语义特征并存储，构建语义特征库，具体为：
19.所述方法利用卷积神经网络进行训练得到语义特征图，对语义特征图进行分类和回归训练，得到图像内的视觉语义，使用预训练的卷积神经网络resnet来获取外观专利图像p的语义特征并存储起来，用于后续网络模型的训练和使用，具体公式如下：
[0020][0021]
优选地，构建并训练外观专利初次筛选模型，首先利用glove词编码器对文本进行编码获得t
′
，然后利用长短期记忆网络方法对文本进行语义编码，得到文本语义特征再使用卷积神经网络将所述外观专利图像语义特征和所述文本语义特征映射到相同的语义子空间，分别得到和最后使用损失函数对所述网络模型进行训练，并形成外观专利初次筛选模型，具体为：
[0022]
利用glove词编码器对文本进行编码获得t
′
，然后利用长短期记忆网络方法对文本进行语义编码，该方法利用循环神经网络进行训练得到语义特征向量，对语义特征向量进行分类训练，得到文本内的语义信息，具体地，使用预训练的循环神经网络lstm来获取文本信息t
′
的语义特征具体公式如下：
[0023][0024]
使用三种损失函数对所述网络模型进行训练以确保能够执行相应的功能，首先使用一种模态分类器作为网络的判别器，用于区分特征是来自图像或文本，若来自图像，则分配标签为01；若来自文本，则分配标签10，其设计为3层的卷积网络，损失函数为：
[0025][0026]
其中m是每个样本的真实模态标签，d是一种由全连接层组成的前馈网络；
[0027]
然后，为了确保投影的特征具有对语义标签的判别力，本方案使用了一种模态内判别损失函数：
[0028][0029]
其中y是每个样本的真实模态标签，m是一种由全连接层组成的前馈网络；
[0030]
为了确保投影的特征能够适应模态差异，即解决模态之间的鸿沟问题，设计了如下损失函数。首先生成同语义标签不同模态的样本对并组成三元组样本和接着计算跨图像和文本模态的多模态语义不变性损失：
[0031][0032][0033]
其中μ为控制系数，防止数据溢出，l2表示l2距离，用于评估跨模态特征之间的差异：
[0034][0035]
其中m1和m2是一种由全连接层组成的前馈网络，最终模态间损失函数定义为：
[0036]
l
imi
＝l
imi,t
+l
imi,p
；
[0037]
为了防止网络模型过拟合，使用下列损失函数：
[0038][0039]
其中，l表示网络模型的层数，w表示网络的参数集，f表示范数；
[0040]
最终整个网络由三个提出的损失函数组合训练，直到损失函数的结果达到收敛：
[0041]
l＝αl
imi
+βl
imd
+l
reg
，
[0042]
其中超参数α和β控制着两项的贡献。
[0043]
优选地，构建并训练外观专利最终筛选模型，利用resnet方法获取外观手绘草图s的语义特征然后将所述外观专利图像语义特征和所述草图语义特征映射到相同的语义子空间，分别获取和最后利用所述获取的作为目标向量，使得和能够保留语义标签，并训练形成外观专利最终筛选模型，具体为：
[0044]
利用resnet方法对手绘草图进行编码,该方法利用卷积神经网络进行训练得到特征图，对特征图进行分类和回归训练，得到图像内的视觉语义,具体地，使用卷积神经网络resnet来获取外观手绘草图s的语义特征具体公式如下：
[0045][0046]
使用注意力模型能够对给定一张草图/图片的不同区域学习不同权重的特点，将所述外观专利图像语义特征和所述草图语义特征映射到相同的语义子空间，分别获取和为了更好的训练网络，中存在着与拥有相同语义标签的和不同语义标签的
[0047]
为了确保投影的特征能够适应模态差异，即解决模态之间的鸿沟问题，设计如下损失函数：
[0048][0049]
为了使所述网络模型能够区分图像的来源是外观专利图像还是手绘草图，使用下
列损失函数：
[0050][0051]
其中，l0和l1定义为：
[0052][0053]
其中，r表示梯度逆转层，实现网络前后的训练目标是相反的，使得网络模型能够尽可能将外观专利图像还是手绘草图映射到相同的语义子空间的同时，网络模型也能够精准的判断图片的来源，ψ和φ是一种由全连接层组成的前馈网络，i表示样本量，o属于0或1，分别指代草图与真实图像；
[0054]
利用所述获取的作为目标向量，使得和能够保留语义标签，并利用下列损失函数显现这一目标：
[0055][0056]
其中，g()表示表示语义重构网络，将语义空间映射到与文本s相同的语义空间内；
[0057]
最终整个网络由三个提出的损失函数组合训练，直到损失函数的结果达到收敛：
[0058]
l＝α1l1+α2l2+α3l3，
[0059]
其中超参数α1，α2和α3控制着三项的贡献。
[0060]
相应地，本发明还提供了一种基于可定制语义的外观专利图像检索系统，包括：
[0061]
手绘草图生成单元，用于从外观专利数据库中筛选并获取文本(t)-专利(p)对,并生成每个专利(p)的外观专利图像所对应的手绘草图；
[0062]
特征库构建单元，用于利用resnet方法对所述外观专利图像进行语义编码，使用预训练的卷积神经网络resnet来获取所述外观专利图像p的语义特征并存储，构建语义特征库；
[0063]
外观专利初次筛选模型构建和训练单元，用于构建并训练外观专利初次筛选模型，首先利用glove词编码器对文本进行编码获得t
′
，然后利用长短期记忆网络方法对文本进行语义编码，得到文本语义特征再使用卷积神经网络将所述外观专利图像语义特征和所述文本语义特征映射到相同的语义子空间，分别得到和最后使用损失函数对所述网络模型进行训练，并形成外观专利初次筛选模型；
[0064]
外观专利最终筛选模型构建和训练单元，用于构建并训练外观专利最终筛选模型，利用resnet方法获取外观手绘草图s的语义特征然后将所述外观专利图像语义特征和所述草图语义特征映射到相同的语义子空间，分别获取和最后利用所述获取的作为目标向量，使得和能够保留语义标签，并训练形成外观专利最终筛选模型；
[0065]
外观专利检索与结果输出单元，用于用户输入待检索的关键词文本，以及待检索的手绘草图，首先以关键词文本作为所述外观专利初次筛选模型的输入，进行检索以初次筛选外观专利，然后以可定制语义的手绘草图作为所述外观专利最终筛选模型的输入，在
初次筛选出的外观专利的范围内进行检索以完成对外观专利的最终筛选，从而得到精准的外观专利检索结果。
[0066]
实施本发明，具有如下有益效果：
[0067]
本发明基于人工智能的方式，不再局限于文本到专利的低精准映射学习，也没有局限于图像到专利的低效率映射学习，而是混合使用文本和图像到专利的混合映射，同时实现外观专利检索的效率和精度。本发明借助手绘草图等图像通常比文字更容易传达重要科学或技术信息的特点，将传统的以图搜图更换为具有可制定性的以手绘草图搜图，更加有效地降低图像搜索的难度，提升检索细节的能力。
附图说明
[0068]
图1是本发明实施例的基于可定制语义的的外观专利检索方法的流程图；
[0069]
图2是本发明实施例的基于可定制语义的的外观专利检索系统的结构图。
具体实施方式
[0070]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0071]
图1是本发明实施例的基于可定制语义的的外观专利检索方法的流程图，如图1所示，该方法包括：
[0072]
s1，从外观专利数据库中筛选并获取文本(t)-专利(p)对,并生成每个专利(p)的外观专利图像所对应的手绘草图；
[0073]
s2，利用resnet方法对所述外观专利图像进行语义编码，使用预训练的卷积神经网络resnet来获取所述外观专利图像p的语义特征并存储，构建语义特征库；
[0074]
s3，构建并训练外观专利初次筛选模型，首先利用glove词编码器对文本进行编码获得t
′
，然后利用长短期记忆网络方法对文本进行语义编码，得到文本语义特征再使用卷积神经网络将所述外观专利图像语义特征和所述文本语义特征映射到相同的语义子空间，分别得到和最后使用损失函数对所述网络模型进行训练，并形成外观专利初次筛选模型；
[0075]
s4，构建并训练外观专利最终筛选模型，利用resnet方法获取外观手绘草图s的语义特征然后将所述外观专利图像语义特征和所述草图语义特征映射到相同的语义子空间，分别获取和最后利用所述获取的t
′
作为目标向量，使得和能够保留语义标签，并训练形成外观专利最终筛选模型；
[0076]
s5，用户输入待检索的关键词文本，以及待检索的手绘草图，首先以关键词文本作为所述外观专利初次筛选模型的输入，进行检索以初次筛选外观专利，然后以可定制语义的手绘草图作为所述外观专利最终筛选模型的输入，在初次筛选出的外观专利的范围内进
行检索以完成对外观专利的最终筛选，从而得到精准的外观专利检索结果。
[0077]
步骤s1，具体如下：
[0078]
s1-1，用洛迦诺分类法对数据库中的外观专利进行分类，获取分类名称与外观专利的文本(t)-专利(p)对，用于后续网络模型的训练；
[0079]
s1-2，使用生成对抗神经网络生成外观专利图像的手绘草图s，所述方法由两个生成模型、两个判别模型以及一个分类器组成，生成对抗网络中的生成器均使用了u-net结构，其中一个生成器使用真实图像作为输入，生成对应的手绘草图，另一个生成器使用手绘草图作为输入，生成真实图像，生成对抗网络中的判别器使用卷积神经网络对生成的手绘草图和图像进行判断，若判断当前图像是计算机生成出来的，则判定为0，否则设为1，生成对抗网络中的分类器使用卷积神经网络对生成的图像进行分类。
[0080]
步骤s2，具体如下：
[0081]
s2-1，所述方法利用卷积神经网络进行训练得到语义特征图，对语义特征图进行分类和回归训练，得到图像内的视觉语义，使用预训练的卷积神经网络resnet来获取外观专利图像p的语义特征并存储起来，用于后续网络模型的训练和使用，具体公式如下：
[0082][0083]
步骤s3，具体如下：
[0084]
s3-1，利用glove词编码器对文本进行编码获得t
′
，然后利用长短期记忆网络方法对文本进行语义编码，该方法利用循环神经网络进行训练得到语义特征向量，对语义特征向量进行分类训练，得到文本内的语义信息，具体地，使用预训练的循环神经网络lstm来获取文本信息t
′
的语义特征具体公式如下：
[0085][0086]
s3-2，使用三种损失函数对所述网络模型进行训练以确保能够执行相应的功能，首先使用一种模态分类器作为网络的判别器，用于区分特征是来自图像或文本，若来自图像，则分配标签为01；若来自文本，则分配标签10，其设计为3层的卷积网络，损失函数为：
[0087][0088]
其中m是每个样本的真实模态标签，d是一种由全连接层组成的前馈网络；
[0089]
s3-3，然后，为了确保投影的特征具有对语义标签的判别力，本方案使用了一种模态内判别损失函数：
[0090][0091]
其中y是每个样本的真实模态标签，m是一种由全连接层组成的前馈网络；
[0092]
s3-4，为了确保投影的特征能够适应模态差异，即解决模态之间的鸿沟问题。设计了如下损失函数。首先生成同语义标签不同模态的样本对并组成三元组样本和接着计算跨图像和文本模态的多模态语义不变性损失：
[0093]
[0094][0095]
其中μ为控制系数，防止数据溢出，l2表示l2距离，用于评估跨模态语义特征之间的差异：
[0096][0097]
其中m1和m2是一种由全连接层组成的前馈网络，最终模态间损失函数定义为：
[0098]
l
imi
＝l
imi,t
+l
imi,p
；
[0099]
s3-5，为了防止网络模型过拟合，使用下列损失函数：
[0100][0101]
其中，l表示网络模型的层数，w表示网络的参数集，f表示范数；
[0102]
s3-6，最终整个网络由三个提出的损失函数组合训练，直到损失函数的结果达到收敛：
[0103]
l＝αl
imi
+βl
imd
+l
reg
，
[0104]
其中超参数α和β控制着两项的贡献。
[0105]
步骤s4，具体如下：
[0106]
s4-1，作为目标向量，使得和能够保留语义标签，具体为：
[0107]
利用resnet方法对手绘草图进行编码,该方法利用卷积神经网络进行训练得到特征图，对特征图进行分类和回归训练，得到图像内的视觉语义,具体地，使用卷积神经网络resnet来获取外观手绘草图s的语义特征具体公式如下：
[0108][0109]
s4-2，使用注意力模型能够对给定一张草图/图片的不同区域学习不同权重的特点，将所述外观专利图像语义特征和所述草图语义特征映射到相同的语义子空间，分别获取和为了更好的训练网络，中存在着与拥有相同语义标签的和不同语义标签的
[0110]
s4-3，为了确保投影的特征能够适应模态差异，即解决模态之间的鸿沟问题，设计如下损失函数：
[0111][0112]
s4-4，为了使所述网络模型能够区分图像的来源是外观专利图像还是手绘草图，使用下列损失函数：
[0113][0114]
其中，l0和l1定义为：
[0115][0116]
其中，r表示梯度逆转层，实现网络前后的训练目标是相反的，使得网络模型能够尽可能将外观专利图像还是手绘草图映射到相同的语义子空间的同时，网络模型也能够精
准的判断图片的来源，ψ和φ是一种由全连接层组成的前馈网络，i表示样本量，o属于0或1，分别指代草图与真实图像；
[0117]
s4-5，利用所述获取的作为目标向量，使得和能够保留语义标签，并利用下列损失函数显现这一目标：
[0118][0119]
其中，g()表示表示语义重构网络，将语义空间映射到与文本s相同的语义空间内；
[0120]
s4-6，最终整个网络由三个提出的损失函数组合训练，直到损失函数的结果达到收敛：
[0121]
l＝α1l1+α2l2+α3l3，
[0122]
其中超参数α1，α2和α3控制着三项的贡献。
[0123]
相应地，本发明还提供了一种基于可定制语义的外观专利图像检索系统，如图2所示，包括：
[0124]
手绘草图生成单元1，用于从外观专利数据库中筛选并获取文本(t)-专利(p)对,并生成每个专利(p)的外观专利图像所对应的手绘草图；
[0125]
具体地，用洛迦诺分类法对数据库中的外观专利进行分类，获取分类名称与外观专利的文本(t)-专利(p)对，用于后续网络模型的训练；使用生成对抗神经网络生成外观专利图像的手绘草图s，所述网络由两个生成模型、两个判别模型以及一个分类器组成，生成对抗网络中的生成器均使用了u-net结构，其中一个生成器使用真实图像作为输入，生成对应的手绘草图，另一个生成器使用手绘草图作为输入，生成真实图像，生成对抗网络中的判别器使用卷积神经网络对生成的手绘草图和图像进行判断，若判断当前图像是计算机生成出来的，则判定为0，否则设为1，生成对抗网络中的分类器使用卷积神经网络对生成的图像进行分类。
[0126]
特征库构建单元2，用于利用resnet方法对所述外观专利图像进行语义编码，使用预训练的卷积神经网络resnet来获取所述外观专利图像p的语义特征并存储，构建语义特征库；
[0127]
具体地，利用卷积神经网络进行训练得到特征图，对特征图进行分类和回归训练，得到图像内的视觉语义，使用预训练的卷积神经网络resnet来获取外观专利图像p的语义特征并存储起来，用于后续网络模型的训练和使用。
[0128]
外观专利初次筛选模型构建和训练单元3，用于构建并训练外观专利初次筛选模型，首先利用glove词编码器对文本进行编码获得t
′
，然后利用长短期记忆网络方法对文本进行语义编码，得到文本语义特征再使用卷积神经网络将所述外观专利图像语义特征和所述文本语义特征映射到相同的语义子空间，分别得到和最后使用损失函数对所述网络模型进行训练，并形成外观专利初次筛选模型；
[0129]
具体地，利用glove词编码器对文本进行编码获得t
′
，然后利用长短期记忆网络方法对文本进行语义编码，该方法利用循环神经网络进行训练得到特征向量，对特征向量进
行分类训练，得到文本内的语义信息，具体地，使用预训练的循环神经网络lstm来获取文本信息t
′
的语义特征为了区分特征是来自图像或文本，若来自图像，则分配标签为01，若来自文本，则分配标签10，其设计为3层的卷积网络；确保投影的特征具有对语义标签的判别力；确保投影的特征能够适应模态差异，即解决模态之间的鸿沟问题，分别使用三种损失函数对所述网络模型进行训练以确保能够执行所述相应的功能；设计损失函数以防止网络模型过拟合；最终整个网络由所述三个提出的损失函数组合训练，直到损失函数的结果达到收敛。
[0130]
外观专利最终筛选模型构建和训练单元4，用于构建并训练外观专利最终筛选模型，利用resnet方法获取外观手绘草图s的语义特征然后将所述外观专利图像语义特征和所述草图语义特征映射到相同的语义子空间，分别获取和最后利用所述获取的作为目标向量，使得和能够保留语义标签，并训练形成外观专利最终筛选模型；
[0131]
具体地，利用resnet方法对手绘草图进行编码,该方法利用卷积神经网络进行训练得到特征图，对特征图进行分类和回归训练，得到图像内的视觉语义,具体地，使用卷积神经网络resnet来获取外观手绘草图s的语义特征使用注意力模型能够对给定一张草图/图片的不同区域学习不同权重的特点，将所述外观专利图像语义特征和所述草图语义特征映射到相同的语义子空间，分别获取和为了更好的训练网络，中存在着与拥有相同语义标签的和不同语义标签的为了确保投影的特征能够适应模态差异，即解决模态之间的鸿沟问题；使所述网络模型能够区分图像的来源是外观专利图像还是手绘草图；利用所述获取的t
′
作为目标向量，使得和能够保留语义标签，分别使用三种损失函数对所述网络模型进行训练以确保能够执行所述相应的功能；最终整个网络由所述三个提出的损失函数组合训练，直到损失函数的结果达到收敛。
[0132]
外观专利检索与结果输出单元5，用于用户输入待检索的关键词文本，以及待检索的手绘草图，首先以关键词文本作为所述外观专利初次筛选模型的输入，进行检索以初次筛选外观专利，然后以可定制语义的手绘草图作为所述外观专利最终筛选模型的输入，在初次筛选出的外观专利的范围内进行检索以完成对外观专利的最终筛选，从而得到精准的外观专利检索结果。
[0133]
因此，本发明基于人工智能的方式，不再局限于文本到专利的低精准映射学习，也没有局限于图像到专利的低效率映射学习，而是混合使用文本和图像到专利的混合映射，同时实现外观专利检索的效率和精度。本发明借助手绘草图等图像通常比文字更容易传达重要科学或技术信息的特点，将传统的以图搜图更换为具有可制定性的以手绘草图搜图，更加有效地降低图像搜索的难度，提升检索细节的能力。
[0134]
以上对本发明实施例所提供的一种基于可定制语义的外观专利图像检索方法与系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，
本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种基于可定制语义的外观专利图像检索方法，其特征在于，所述方法包括：从外观专利数据库中筛选并获取文本(t)-专利(p)对,并生成每个专利(p)的外观专利图像所对应的手绘草图；利用resnet方法对所述外观专利图像进行语义编码，使用预训练的卷积神经网络resnet来获取所述外观专利图像p的语义特征并存储，构建语义特征库；构建并训练外观专利初次筛选模型，首先利用glove词编码器对文本进行编码获得t
′
，然后利用长短期记忆网络方法对文本进行语义编码，得到文本语义特征再使用卷积神经网络将所述外观专利图像语义特征和所述文本语义特征映射到相同的语义子空间，分别得到和最后使用损失函数对网络模型进行训练，并形成外观专利初次筛选模型；构建并训练外观专利最终筛选模型，利用resnet方法获取外观手绘草图s的语义特征然后将所述外观专利图像语义特征和所述草图语义特征映射到相同的语义子空间，分别获取和最后利用所述获取的作为目标向量，使得和能够保留语义标签，并训练形成外观专利最终筛选模型；用户输入待检索的关键词文本，以及待检索的手绘草图，首先以关键词文本作为所述外观专利初次筛选模型的输入，进行检索以初次筛选外观专利，然后以可定制语义的手绘草图作为所述外观专利最终筛选模型的输入，在初次筛选出的外观专利的范围内进行检索以完成对外观专利的最终筛选，从而得到精准的外观专利检索结果。2.如权利要求1所述的基于可定制语义的外观专利图像检索方法，其特征在于，所述从外观专利数据库中筛选并获取文本(t)-专利(p)对,并生成每个专利(p)的外观专利图像所对应的手绘草图，具体为：用洛迦诺分类法对数据库中的外观专利进行分类，获取分类名称与外观专利的文本(t)-专利(p)对，用于后续网络模型的训练；使用生成对抗神经网络生成外观专利图像的手绘草图s，所述方法由两个生成模型、两个判别模型以及一个分类器组成，生成对抗网络中的生成器均使用了u-net结构，其中一个生成器使用真实图像作为输入，生成对应的手绘草图，另一个生成器使用手绘草图作为输入，生成真实图像，生成对抗网络中的判别器使用卷积神经网络对生成的手绘草图和图像进行判断，若判断当前图像是计算机生成出来的，则判定为0，否则设为1，生成对抗网络中的分类器使用卷积神经网络对生成的图像进行分类。3.如权利要求1所述的基于可定制语义的外观专利图像检索方法，其特征在于，所述利用resnet方法对所述外观专利图像进行语义编码，使用预训练的卷积神经网络resnet来获取所述外观专利图像p的语义特征并存储，构建语义特征库，具体为：所述方法利用卷积神经网络进行训练得到语义特征图，对语义特征图进行分类和回归训练，得到图像内的视觉语义，使用预训练的卷积神经网络resnet来获取外观专利图像p的语义特征并存储起来，用于后续网络模型的训练和使用，具体公式如下：
4.如权利要求1所述的基于可定制语义的外观专利图像检索方法，其特征在于，所述构建并训练外观专利初次筛选模型，首先利用glove词编码器对文本进行编码获得t
′
，然后利用长短期记忆网络方法对文本进行语义编码，得到文本语义特征再使用卷积神经网络将所述外观专利图像语义特征和所述文本语义特征映射到相同的语义子空间，分别得到和最后使用损失函数对所述网络模型进行训练，并形成外观专利初次筛选模型，具体为：利用glove词编码器对文本进行编码获得t
′
，然后利用长短期记忆网络方法对文本进行语义编码，该方法利用循环神经网络进行训练得到语义特征向量，对语义特征向量进行分类训练，得到文本内的语义信息，具体地，使用预训练的循环神经网络lstm来获取文本信息t
′
的语义特征具体公式如下：使用三种损失函数对所述网络模型进行训练以确保能够执行相应的功能，首先使用一种模态分类器作为网络的判别器，用于区分特征是来自图像或文本，若来自图像，则分配标签为01；若来自文本，则分配标签10，其设计为3层的卷积网络，损失函数为：其中m是每个样本的真实模态标签，d是一种由全连接层组成的前馈网络；然后，为了确保投影的特征具有对语义标签的判别力，使用一种模态内判别损失函数：其中y是每个样本的真实模态标签，m是一种由全连接层组成的前馈网络；为了确保投影的特征能够适应模态差异，即解决模态之间的鸿沟问题，设计损失函数，具体为，首先生成同语义标签不同模态的样本对并组成三元组样本和接着计算跨图像和文本模态的多模态语义不变性损失：接着计算跨图像和文本模态的多模态语义不变性损失：其中μ为控制系数，防止数据溢出，l2表示l2距离，用于评估跨模态语义特征之间的差异：其中m1和m2是一种由全连接层组成的前馈网络，最终模态间损失函数定义为：l
imi
＝l
imi,t
+l
imi,p
；为了防止网络模型过拟合，使用下列损失函数：其中，l表示网络模型的层数，w表示网络的参数集，f表示范数；
最终整个网络由三个提出的损失函数组合训练，直到损失函数的结果达到收敛：l＝αl
imi
+βl
imd
+l
reg
，其中超参数α和β控制着两项的贡献。5.如权利要求1所述的基于可定制语义的外观专利图像检索方法，其特征在于，所述构建并训练外观专利最终筛选模型，利用resnet方法获取外观手绘草图s的语义特征然后将所述外观专利图像语义特征和所述草图语义特征映射到相同的语义子空间，分别获取和最后利用所述获取的作为目标向量，使得和能够保留语义标签，并训练形成外观专利最终筛选模型，具体为：利用resnet方法对手绘草图进行编码,该方法利用卷积神经网络进行训练得到特征图，对特征图进行分类和回归训练，得到图像内的视觉语义,具体地，使用卷积神经网络resnet来获取外观手绘草图s的语义特征具体公式如下：使用注意力模型能够对给定一张草图/图片的不同区域学习不同权重的特点，将所述外观专利图像语义特征和所述草图语义特征映射到相同的语义子空间，分别获取和为了更好的训练网络，中存在着与拥有相同语义标签的和不同语义标签的为了确保投影的特征能够适应模态差异，即解决模态之间的鸿沟问题，设计如下损失函数：为了使所述网络模型能够区分图像的来源是外观专利图像还是手绘草图，使用下列损失函数：其中，l0和l1定义为：其中，r表示梯度逆转层，实现网络前后的训练目标是相反的，使得网络模型能够尽可能将外观专利图像还是手绘草图映射到相同的语义子空间的同时，网络模型也能够精准的判断图片的来源，ψ和φ是一种由全连接层组成的前馈网络，i表示样本量，o属于0或1，分别指代草图与真实图像；利用所述获取的作为目标向量，使得和能够保留语义标签，并利用下列损失函数显现这一目标：其中，g()表示表示语义重构网络，将语义空间映射到与文本s相同的语义空间内；最终整个网络由三个提出的损失函数组合训练，直到损失函数的结果达到收敛：
l＝α1l1+α2l2+α3l3，其中，超参数α1，α2和α3控制着三项的贡献。6.一种基于可定制语义的外观专利图像检索系统，其特征在于，所述系统包括：手绘草图生成单元，用于从外观专利数据库中筛选并获取文本(t)-专利(p)对,并生成每个专利(p)的外观专利图像所对应的手绘草图；特征库构建单元，用于利用resnet方法对所述外观专利图像进行语义编码，使用预训练的卷积神经网络resnet来获取所述外观专利图像p的语义特征并存储，构建语义特征库；外观专利初次筛选模型构建和训练单元，用于构建并训练外观专利初次筛选模型，首先利用glove词编码器对文本进行编码获得t
′
，然后利用长短期记忆网络方法对文本进行语义编码，得到文本语义特征再使用卷积神经网络将所述外观专利图像语义特征和所述文本语义特征映射到相同的语义子空间，分别得到和最后使用损失函数对所述网络模型进行训练，并形成外观专利初次筛选模型；外观专利最终筛选模型构建和训练单元，用于构建并训练外观专利最终筛选模型，利用resnet方法获取外观手绘草图s的语义特征然后将所述外观专利图像语义特征和所述草图语义特征映射到相同的语义子空间，分别获取和最后利用所述获取的作为目标向量，使得和能够保留语义标签，并训练形成外观专利最终筛选模型；外观专利检索与结果输出单元，用于用户输入待检索的关键词文本，以及待检索的手绘草图，首先以关键词文本作为所述外观专利初次筛选模型的输入，进行检索以初次筛选外观专利，然后以可定制语义的手绘草图作为所述外观专利最终筛选模型的输入，在初次筛选出的外观专利的范围内进行检索以完成对外观专利的最终筛选，从而得到精准的外观专利检索结果。7.如权利要求6所述的基于可定制语义的外观专利图像检索系统，其特征在于，所述手绘草图生成单元，需要用洛迦诺分类法对数据库中的外观专利进行分类，获取分类名称与外观专利的文本(t)-专利(p)对，用于后续网络模型的训练；使用生成对抗神经网络生成外观专利图像的手绘草图s，所述网络由两个生成模型、两个判别模型以及一个分类器组成，生成对抗网络中的生成器均使用了u-net结构，其中一个生成器使用真实图像作为输入，生成对应的手绘草图，另一个生成器使用手绘草图作为输入，生成真实图像，生成对抗网络中的判别器使用卷积神经网络对生成的手绘草图和图像进行判断，若判断当前图像是计算机生成出来的，则判定为0，否则设为1，生成对抗网络中的分类器使用卷积神经网络对生成的图像进行分类。8.如权利要求6所述的基于可定制语义的外观专利图像检索系统，其特征在于，所述语义特征库构建单元，需要利用卷积神经网络进行训练得到语义特征图，对语义特征图进行分类和回归训练，得到图像内的视觉语义，使用预训练的卷积神经网络resnet来获取外观专利图像p的语义特征并存储起来，用于后续网络模型的训练和使用。9.如权利要求6所述的基于可定制语义的外观专利图像检索系统，其特征在于，所述外
观专利初次筛选模型构建和训练单元，需要利用glove词编码器对文本进行编码获得t
′
，然后利用长短期记忆网络方法对文本进行语义编码，该方法利用循环神经网络进行训练得到特征向量，对特征向量进行分类训练，得到文本内的语义信息，具体地，使用预训练的循环神经网络lstm来获取文本信息t
′
的语义特征为了区分特征是来自图像或文本，若来自图像，则分配标签为01，若来自文本，则分配标签10，其设计为3层的卷积网络；确保投影的特征具有对语义标签的判别力；确保投影的特征能够适应模态差异，即解决模态之间的鸿沟问题，分别使用三种损失函数对所述网络模型进行训练以确保能够执行所述相应的功能；设计损失函数以防止网络模型过拟合；最终整个网络由所述三个提出的损失函数组合训练，直到损失函数的结果达到收敛。10.如权利要求6所述的一种基于可定制语义的外观专利图像检索系统，其特征在于，所述外观专利最终筛选模型构建和训练单元，需要利用resnet方法对手绘草图进行语义编码,该方法利用卷积神经网络进行训练得到语义特征图，对特语义征图进行分类和回归训练，得到图像内的视觉语义,具体地，使用卷积神经网络resnet来获取外观手绘草图s的语义特征使用注意力模型能够对给定一张草图/图片的不同区域学习不同权重的特点，将所述外观专利图像语义特征和所述草图语义特征映射到相同的语义子空间，分别获取和为了更好的训练网络，中存在着与拥有相同语义标签的和不同语义标签的为了确保投影的特征能够适应模态差异，即解决模态之间的鸿沟问题；使所述网络模型能够区分图像的来源是外观专利图像还是手绘草图；利用所述获取的作为目标向量，使得和能够保留语义标签，分别使用三种损失函数对所述网络模型进行训练以确保能够执行所述相应的功能；最终整个网络由所述三个提出的损失函数组合训练，直到损失函数的结果达到收敛。

技术总结
本发明公开了一种基于可定制语义的外观专利图像检索方法与系统。包括：从外观专利数据库中筛选并获取文本-专利对,并生成每个专利的外观专利图像所对应的手绘草图；利用ResNet方法对所述外观专利图像进行语义编码，构建语义特征库；构建并训练外观专利初次筛选模型；构建并训练外观专利最终筛选模型；用户输入待检索的关键词文本以及手绘草图，以关键词文本作为输入进行初次筛选，以可定制的手绘草图作为输入进行最终筛选，从而得到精准的外观专利检索结果。本发明基于人工智能的方式，混合使用文本和图像到专利的混合映射，同时实现外观专利检索的效率和精度，通过可定制语义的手绘草图搜图，更加有效地降低图像搜索的难度，提升检索细节的能力。提升检索细节的能力。提升检索细节的能力。


技术研发人员：周凡 刘明阳 陈小燕 林格
受保护的技术使用者：中山大学
技术研发日：2022.12.30
技术公布日：2023/7/13