基于专利文本的图文检索方法、装置、存储介质及设备与流程

1.本技术涉及数据处理技术领域，特别涉及一种基于专利文本的图文检索方法、装置、存储介质及设备。


背景技术：

2.图文检索的一种形式是以文搜图，即通过文本来检索图片。
3.相关技术中，可以先利用大量的训练数据来训练clip(contrastive language-image pretraining，对比语言-图像预训练)模型，再向clip模型输入查询文本，clip模型根据查询文本生成检索到的图片序列。
4.当将clip模型应用于专利文本中的图文检索时，由于专利图片的数量较大，这就导致clip模型的检索量较大，从而降低了检索效率。


技术实现要素：

5.本技术提供了一种基于专利文本的图文检索方法、装置、存储介质及设备，用于解决利用clip模型进行专利文本的图文检索时，检索效率低的问题。所述技术方案如下：
6.一方面，提供了一种基于专利文本的图文检索方法，所述方法包括：
7.获取输入的查询文本；
8.利用clip模型从分类号库中筛选与所述查询文本相似的多个ipc分类号；
9.利用所述clip模型从专利图片库中筛选与所述多个ipc分类号对应的多张专利图片；
10.利用所述clip模型对所述查询文本和所述多张专利图片进行图文检索，得到检索结果。
11.在一种可能的实现方式中，所述利用所述clip模型对所述查询文本和所述多张专利图片进行图文检索，得到检索结果，包括：
12.对于每张专利图片，利用所述clip模型获取所述专利图片对应的ipc分类号，并获取所述ipc分类号与所述查询文本之间的第一余弦相似度；
13.利用所述clip模型获取所述专利图片与所述查询文本之间的第二余弦相似度；
14.利用所述clip模型对所述第一余弦相似度和所述第二余弦相似度进行计算，得到相似度评分；
15.利用所述clip模型将所述多张专利图片按照相似度评分进行排序，得到检索结果。
16.在一种可能的实现方式中，所述利用所述clip模型获取所述专利图片与所述查询文本之间的第二余弦相似度，包括：
17.利用所述clip模型中的图片编码器对所述专利图片库中的每张专利图片进行编码，得到图片向量；
18.利用所述clip模型中的文本编码器对所述查询文本进行编码，得到第一文本向
量；
19.利用所述clip模型计算所述第一文本向量与每个图片向量之间的第二余弦相似度。
20.在一种可能的实现方式中，所述利用所述clip模型对所述第一余弦相似度和所述第二余弦相似度进行计算，得到相似度评分，包括：
21.利用所述clip模型计算所述第一余弦相似度和所述第二余弦相似度的乘积，将所述乘积作为相似度评分。
22.在一种可能的实现方式中，所述利用所述clip模型获取所述专利图片对应的ipc分类号，包括：
23.利用所述clip模型获取所述专利图片所属的专利文本；
24.利用所述clip模型获取所述专利文本对应的ipc分类号。
25.在一种可能的实现方式中，所述利用clip模型从分类号库中筛选与所述查询文本相似的多个ipc分类号，包括：
26.利用所述clip模型中的文本编码器对所述查询文本进行编码，得到第一文本向量；
27.利用所述clip模型从分类号库中获取所有ipc分类号的第二文本向量，所述第二文本向量是利用所述文本编码器对ipc分类号对应的类别信息进行编码后得到的；
28.利用所述clip模型计算所述第一文本向量与每个第二文本向量之间的第一余弦相似度；
29.利用所述clip模型根据所述第一余弦相似度筛选与所述查询文本相似的多个ipc分类号。
30.在一种可能的实现方式中，所述ipc分类号是四级的ipc分类号。
31.一方面，提供了一种基于专利文本的图文检索装置，所述装置包括：
32.获取模块，用于获取输入的查询文本；
33.筛选模块，用于利用clip模型从分类号库中筛选与所述查询文本相似的多个ipc分类号；
34.所述筛选模块，还用于利用所述clip模型从专利图片库中筛选与所述多个ipc分类号对应的多张专利图片；
35.检索模块，用于利用所述clip模型对所述查询文本和所述多张专利图片进行图文检索，得到检索结果。
36.一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的基于专利文本的图文检索方法。
37.一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的基于专利文本的图文检索方法。
38.本技术提供的技术方案的有益效果至少包括：
39.通过先从分类号库中筛选与查询文本相似的多个ipc分类号，再从专利图片库中筛选与多个ipc分类号对应的多张专利图片，最后对查询文本和多张专利图片进行图文检索，得到检索结果，这样，可以先利用ipc分类号对专利图片进行初选，以缩小专利图片的检
索范围，从而提高了检索效率。
40.通过先获取专利图片对应的ipc分类号与查询文本之间的第一余弦相似度，再获取专利图片与查询文本之间的第二余弦相似度，然后对第一余弦相似度和第二余弦相似度进行计算，得到相似度评分，最后将多张专利图片按照相似度评分进行排序，这样，可以从ipc分类号和专利图片这两个维度来判断专利图片与查询文本之间的相似度，提高了检索的准确性。
附图说明
41.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1是本技术一个实施例提供的基于专利文本的图文检索方法的方法流程图；
43.图2是本技术另一实施例提供的基于专利文本的图文检索方法的方法流程图；
44.图3是本技术再一实施例提供的基于专利文本的图文检索装置的结构框图。
具体实施方式
45.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
46.请参考图1，其示出了本技术一个实施例提供的基于专利文本的图文检索方法的方法流程图，该基于专利文本的图文检索方法可以应用于计算机设备中。该基于专利文本的图文检索方法，可以包括：
47.步骤101，获取输入的查询文本。
48.查询文本是用于检索专利图片的文本。查询文本可以是一个词语，也可以是一个语句，还可以是一段语句。
49.查询文本可以是用户输入的，也可以是从其他设备获取到的，本实施例中不限定查询文本的来源。
50.步骤102，利用clip模型从分类号库中筛选与查询文本相似的多个ipc分类号。
51.在使用clip模型之前，需要对clip模型进行训练。本实施例中的clip模型是通过4亿个图文对训练后得到的，准确率较高，且泛化能力较强。
52.ipc分类号是一种按照技术领域和主题对专利文本进行分类的系统，由世界知识产权组织负责管理，在国际范围内使用，是专利检索和分析的重要工具。一个完整的ipc分类号为五级，ipc分类号的形式为：部(section-1个字母)；大类(class-2个数字)；小类(subclass-1个字母：除a、z、i、o、u、x外)；主组(group-1～3个数字)/分组(除“00”外的2～4个数字)，每个级别对应多种类别信息。比如，部级中a代表的类别信息是人类生活需要，b代表的类别信息是作业、运输，c代表的类别信息是化学、冶金，d代表的类别信息是纺织和造纸，e代表的类别信息是固定结构，f代表的类别信息是机械工程、照明、加热、武器、爆破；g代表的类别信息是物理，h代表的类别信息是电学。
53.每篇专利文本都具有一个ipc(international patent classification，国际专
利分类)分类号。计算机设备可以创建分类号库，将专利库中所有专利文本的ipc分类号添加到分类号库中。
54.clip模型可以将查询文本与分类号库中的每个ipc分类号对应的类别信息进行比较，根据比较结果选择相似的多个ipc分类号。
55.步骤103，利用clip模型从专利图片库中筛选与多个ipc分类号对应的多张专利图片。
56.每篇专利文本中包含至少一张专利图片，计算机设备可以创建专利图片库，将所有专利文本中的专利图片添加到专利图片库中。计算机设备还可以将专利图片库中的专利图片与分类号库中的ipc分类号进行关联。
57.对于步骤102筛选出的每个ipc分类号，clip模型可以从专利图片库中查找与该ipc分类号关联的专利图片，最终筛选出多张专利图片。
58.步骤104，利用clip模型对查询文本和多张专利图片进行图文检索，得到检索结果。
59.clip模型可以将查询文本和每张专利图片比较，根据比较结果选择相似的至少一张专利图片，将至少一张专利图片作为检索结果。
60.综上所述，本技术实施例提供的基于专利文本的图文检索方法，通过先从分类号库中筛选与查询文本相似的多个ipc分类号，再从专利图片库中筛选与多个ipc分类号对应的多张专利图片，最后对查询文本和多张专利图片进行图文检索，得到检索结果，这样，可以先利用ipc分类号对专利图片进行初选，以缩小专利图片的检索范围，从而提高了检索效率。
61.请参考图2，其示出了本技术一个实施例提供的基于专利文本的图文检索方法的方法流程图，该基于专利文本的图文检索方法可以应用于计算机设备中。该基于专利文本的图文检索方法，可以包括：
62.步骤201，获取输入的查询文本。
63.查询文本是用于检索专利图片的文本。查询文本可以是一个词语，也可以是一个语句，还可以是一段语句。
64.查询文本可以是用户输入的，也可以是从其他设备获取到的，本实施例中不限定查询文本的来源。
65.步骤202，利用clip模型中的文本编码器对查询文本进行编码，得到第一文本向量。
66.在使用clip模型之前，需要对clip模型进行训练。本实施例中的clip模型是通过4亿个图文对训练后得到的，准确率较高，且泛化能力较强。
67.clip模型中包括文本编码器和图片编码器，文本编码器用于对文本进行编码，图片编码器用于对图片进行编码。
68.在得到查询文本后，clip模型可以利用文本编码器对查询文本进行编码，将编码得到的向量称为第一文本向量。
69.步骤203，利用clip模型从分类号库中获取所有ipc分类号的第二文本向量，第二文本向量是利用文本编码器对ipc分类号对应的类别信息进行编码后得到的。
70.ipc分类号是一种按照技术领域和主题对专利文本进行分类的系统，由世界知识
产权组织负责管理，在国际范围内使用，是专利检索和分析的重要工具。一个完整的ipc分类号为五级，ipc分类号的形式为：部(section-1个字母)；大类(class-2个数字)；小类(subclass-1个字母：除a、z、i、o、u、x外)；主组(group-1～3个数字)/分组(除“00”外的2～4个数字)。其中，ipc分类号是四级的ipc分类号，每个级别对应多种类别信息。比如，部级中a代表的类别信息是人类生活需要，b代表的类别信息是作业、运输，c代表的类别信息是化学、冶金，d代表的类别信息是纺织和造纸，e代表的类别信息是固定结构，f代表的类别信息是机械工程、照明、加热、武器、爆破；g代表的类别信息是物理，h代表的类别信息是电学。
71.每篇专利文本都具有一个ipc分类号。计算机设备可以创建分类号库，将专利库中所有专利文本的ipc分类号添加到分类号库中。
72.clip模型可以利用文本编码器对ipc分类号对应的类别信息进行编码，将编码得到的向量称为第二文本向量。其中，第二文本向量与下文中的图片向量的维度相同。
73.步骤204，利用clip模型计算第一文本向量与每个第二文本向量之间的第一余弦相似度。
74.步骤205，利用clip模型根据第一余弦相似度筛选与查询文本相似的多个ipc分类号。
75.clip模型可以按照第一余弦相似度从大到小的顺序对所有ipc分类号进行排序，再选择排序在前的多个ipc分类号。
76.在一个示例中，可以预先设置筛选的ipc分类号的数量n，再在排列的ipc分类号中选择前n个ipc分类号，将n个ipc分类号确定为与查询文本相似的ipc分类号。其中，n的数值可以根据需求设置，比如n为100，则clip模型需要筛选出100个ipc分类号。
77.步骤206，利用clip模型从专利图片库中筛选与多个ipc分类号对应的多张专利图片。
78.每篇专利文本中包含至少一张专利图片，计算机设备可以创建专利图片库，将所有专利文本中的专利图片添加到专利图片库中。计算机设备还可以将专利图片库中的专利图片与分类号库中的ipc分类号进行关联。
79.对于步骤205筛选出的每个ipc分类号，clip模型可以从专利图片库中查找与该ipc分类号关联的专利图片，最终筛选出多张专利图片。
80.步骤207，对于每张专利图片，利用clip模型获取专利图片对应的ipc分类号，并获取ipc分类号与查询文本之间的第一余弦相似度。
81.具体的，利用clip模型获取专利图片所属的专利文本；利用clip模型获取专利文本对应的ipc分类号。
82.在得到与专利图片对应的ipc分类号后，clip模型可以根据步骤204的计算结果获取第一余弦相似度。
83.步骤208，利用clip模型获取专利图片与查询文本之间的第二余弦相似度。
84.具体的，利用clip模型中的图片编码器对专利图片库中的每张专利图片进行编码，得到图片向量；利用clip模型中的文本编码器对查询文本进行编码，得到第一文本向量；利用clip模型计算第一文本向量与每个图片向量之间的第二余弦相似度。
85.步骤209，利用clip模型对第一余弦相似度和第二余弦相似度进行计算，得到相似度评分。
86.本实施例中，利用clip模型计算第一余弦相似度和第二余弦相似度的乘积，将乘积作为相似度评分。
87.步骤210，利用clip模型将多张专利图片按照相似度评分进行排序，得到检索结果。
88.clip模型可以按照相似度评分从大到小的顺序对所有专利图片进行排序，并将排序后的专利图片作为检索结果。
89.综上所述，本技术实施例提供的基于专利文本的图文检索方法，通过先从分类号库中筛选与查询文本相似的多个ipc分类号，再从专利图片库中筛选与多个ipc分类号对应的多张专利图片，最后对查询文本和多张专利图片进行图文检索，得到检索结果，这样，可以先利用ipc分类号对专利图片进行初选，以缩小专利图片的检索范围，从而提高了检索效率。
90.通过先获取专利图片对应的ipc分类号与查询文本之间的第一余弦相似度，再获取专利图片与查询文本之间的第二余弦相似度，然后对第一余弦相似度和第二余弦相似度进行计算，得到相似度评分，最后将多张专利图片按照相似度评分进行排序，这样，可以从ipc分类号和专利图片这两个维度来判断专利图片与查询文本之间的相似度，提高了检索的准确性。
91.下面以查询文本为音箱为例，对图文检索的流程进行说明。
92.(1)用户输入与音箱相关的查询文本；
93.(2)clip模型中的文本编码器对查询文本计算出第一文本向量；
94.(3)clip模型对第一文本向量和所有ipc分类号对应的类别信息的第二文本向量计算第一余弦相似度，并将第一余弦相似度按照从大到小的顺序排列，取前100个ipc分类号；
95.(4)clip模型获取100个ipc分类号范围内的专利图片，对第一文本向量和获取到的专利图片的图片向量计算第二余弦相似度；
96.(5)clip模型通过公式将第一余弦相似度和第二余弦相似度融合，得到专利图片的相似度评分，并将专利图片按照相似度评分从大到小的顺序排列，得到最终的检索结果。
97.请参考图3，其示出了本技术一个实施例提供的基于专利文本的图文检索装置的结构框图，该基于专利文本的图文检索装置可以应用于计算机设备中。该基于专利文本的图文检索装置，可以包括：
98.获取模块310，用于获取输入的查询文本；
99.筛选模块320，用于利用clip模型从分类号库中筛选与查询文本相似的多个ipc分类号；
100.筛选模块320，还用于利用clip模型从专利图片库中筛选与多个ipc分类号对应的多张专利图片；
101.检索模块330，用于利用clip模型对查询文本和多张专利图片进行图文检索，得到检索结果。
102.在一个可选的实施例中，检索模块330，还用于：
103.对于每张专利图片，利用clip模型获取专利图片对应的ipc分类号，并获取ipc分类号与查询文本之间的第一余弦相似度；
104.利用clip模型获取专利图片与查询文本之间的第二余弦相似度；
105.利用clip模型对第一余弦相似度和第二余弦相似度进行计算，得到相似度评分；
106.利用clip模型将多张专利图片按照相似度评分进行排序，得到检索结果。
107.在一个可选的实施例中，检索模块330，还用于：
108.利用clip模型中的图片编码器对专利图片库中的每张专利图片进行编码，得到图片向量；
109.利用clip模型中的文本编码器对查询文本进行编码，得到第一文本向量；
110.利用clip模型计算第一文本向量与每个图片向量之间的第二余弦相似度。
111.在一个可选的实施例中，检索模块330，还用于：
112.利用clip模型计算第一余弦相似度和第二余弦相似度的乘积，将乘积作为相似度评分。
113.在一个可选的实施例中，检索模块，还用于：
114.利用clip模型获取专利图片所属的专利文本；
115.利用clip模型获取专利文本对应的ipc分类号。
116.在一个可选的实施例中，筛选模块320，还用于：
117.利用clip模型中的文本编码器对查询文本进行编码，得到第一文本向量；
118.利用clip模型从分类号库中获取所有ipc分类号的第二文本向量，第二文本向量是利用文本编码器对ipc分类号对应的类别信息进行编码后得到的；
119.利用clip模型计算第一文本向量与每个第二文本向量之间的第一余弦相似度；
120.利用clip模型根据第一余弦相似度筛选与查询文本相似的多个ipc分类号。
121.在一个可选的实施例中，ipc分类号是四级的ipc分类号。
122.综上所述，本技术实施例提供的基于专利文本的图文检索装置，通过先从分类号库中筛选与查询文本相似的多个ipc分类号，再从专利图片库中筛选与多个ipc分类号对应的多张专利图片，最后对查询文本和多张专利图片进行图文检索，得到检索结果，这样，可以先利用ipc分类号对专利图片进行初选，以缩小专利图片的检索范围，从而提高了检索效率。
123.通过先获取专利图片对应的ipc分类号与查询文本之间的第一余弦相似度，再获取专利图片与查询文本之间的第二余弦相似度，然后对第一余弦相似度和第二余弦相似度进行计算，得到相似度评分，最后将多张专利图片按照相似度评分进行排序，这样，可以从ipc分类号和专利图片这两个维度来判断专利图片与查询文本之间的相似度，提高了检索的准确性。
124.本技术一个实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的基于专利文本的图文检索方法。
125.本技术一个实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的基于专利文本的图文检索方法。
126.需要说明的是：上述实施例提供的基于专利文本的图文检索装置在进行基于专利文本的图文检索时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要
而将上述功能分配由不同的功能模块完成，即将基于专利文本的图文检索装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于专利文本的图文检索装置与基于专利文本的图文检索方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
127.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
128.以上所述并不用以限制本技术实施例，凡在本技术实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术实施例的保护范围之内。

技术特征：
1.一种基于专利文本的图文检索方法，其特征在于，所述方法包括：获取输入的查询文本；利用clip模型从分类号库中筛选与所述查询文本相似的多个ipc分类号；利用所述clip模型从专利图片库中筛选与所述多个ipc分类号对应的多张专利图片；利用所述clip模型对所述查询文本和所述多张专利图片进行图文检索，得到检索结果。2.根据权利要求1所述的基于专利文本的图文检索方法，其特征在于，所述利用所述clip模型对所述查询文本和所述多张专利图片进行图文检索，得到检索结果，包括：对于每张专利图片，利用所述clip模型获取所述专利图片对应的ipc分类号，并获取所述ipc分类号与所述查询文本之间的第一余弦相似度；利用所述clip模型获取所述专利图片与所述查询文本之间的第二余弦相似度；利用所述clip模型对所述第一余弦相似度和所述第二余弦相似度进行计算，得到相似度评分；利用所述clip模型将所述多张专利图片按照相似度评分进行排序，得到检索结果。3.根据权利要求2所述的基于专利文本的图文检索方法，其特征在于，所述利用所述clip模型获取所述专利图片与所述查询文本之间的第二余弦相似度，包括：利用所述clip模型中的图片编码器对所述专利图片库中的每张专利图片进行编码，得到图片向量；利用所述clip模型中的文本编码器对所述查询文本进行编码，得到第一文本向量；利用所述clip模型计算所述第一文本向量与每个图片向量之间的第二余弦相似度。4.根据权利要求2所述的基于专利文本的图文检索方法，其特征在于，所述利用所述clip模型对所述第一余弦相似度和所述第二余弦相似度进行计算，得到相似度评分，包括：利用所述clip模型计算所述第一余弦相似度和所述第二余弦相似度的乘积，将所述乘积作为相似度评分。5.根据权利要求2所述的基于专利文本的图文检索方法，其特征在于，所述利用所述clip模型获取所述专利图片对应的ipc分类号，包括：利用所述clip模型获取所述专利图片所属的专利文本；利用所述clip模型获取所述专利文本对应的ipc分类号。6.根据权利要求1所述的基于专利文本的图文检索方法，其特征在于，所述利用clip模型从分类号库中筛选与所述查询文本相似的多个ipc分类号，包括：利用所述clip模型中的文本编码器对所述查询文本进行编码，得到第一文本向量；利用所述clip模型从分类号库中获取所有ipc分类号的第二文本向量，所述第二文本向量是利用所述文本编码器对ipc分类号对应的类别信息进行编码后得到的；利用所述clip模型计算所述第一文本向量与每个第二文本向量之间的第一余弦相似度；利用所述clip模型根据所述第一余弦相似度筛选与所述查询文本相似的多个ipc分类号。7.根据权利要求1-6中任一所述的基于专利文本的图文检索方法，其特征在于，所述ipc分类号是四级的ipc分类号。
8.一种基于专利文本的图文检索装置，其特征在于，所述装置包括：获取模块，用于获取输入的查询文本；筛选模块，用于利用clip模型从分类号库中筛选与所述查询文本相似的多个ipc分类号；所述筛选模块，还用于利用所述clip模型从专利图片库中筛选与所述多个ipc分类号对应的多张专利图片；检索模块，用于利用所述clip模型对所述查询文本和所述多张专利图片进行图文检索，得到检索结果。9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7任一所述的基于专利文本的图文检索方法。10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至7任一所述的基于专利文本的图文检索方法。

技术总结
本申请公开了一种基于专利文本的图文检索方法、装置、存储介质及设备，属于数据处理技术领域。所述方法包括：获取输入的查询文本；利用CLIP模型从分类号库中筛选与所述查询文本相似的多个IPC分类号；利用所述CLIP模型从专利图片库中筛选与所述多个IPC分类号对应的多张专利图片；利用所述CLIP模型对所述查询文本和所述多张专利图片进行图文检索，得到检索结果。本申请可以先利用IPC分类号对专利图片进行初选，以缩小专利图片的检索范围，从而提高了检索效率。了检索效率。了检索效率。


技术研发人员：汪敏 严妍 杨春宇 石鑫 彭阗阗 白杨
受保护的技术使用者：开普云信息科技股份有限公司
技术研发日：2023.05.30
技术公布日：2023/10/7