一种面向操作关系的RPA知识图谱构建与操作推荐方法与流程

一种面向操作关系的rpa知识图谱构建与操作推荐方法
技术领域
1.本发明涉及知识图谱构建领域，尤其涉及一种面向操作关系的rpa知识图谱构建与操作推荐方法。


背景技术：

2.知识图谱是2012年谷歌提出的用于语义搜索的工具，知识图谱旨在从数据中识别、发现和推断事物与概念之间的复杂关系,该技术很好地将大数据和人工智能关联起来.知识图谱本质上是结构化的语义知识库,以图模型来描述物理世界中的概念以及相关关系的知识库。
3.机器人流程自动化(robotic process automation)，简称rpa，通过特定的“机器人软件”，拟人在计算机上的操作,按规则自动执行流程任务。从rpa流程中产生模糊的数据，用户可以从模糊的数据中提取出有效的知识与信息，并对这些信息进行信息融合构建知识图谱，可以最大化利用这些知识,使得这些数据越来越有价值。
4.然而，现有的rpa领域知识图谱构建方法较少，并且没有考虑到用户在计算机上的每次操作，实际上用户为了达成某种意图(如：下载公司网银流水)，在计算机上的每一步操作并非孤立发生的，这些操作是用户意图驱动的，是具有潜在关系的。


技术实现要素：

5.为了解决现有知识图谱构建方法无法准确理解和学习用户意图或偏好的技术问题，本技术提供一种面向操作关系的rpa知识图谱构建与操作推荐方法，其中方法具体包括以下步骤：s1：利用rpa流程萃取工具，获取多模态数据集合t；s2：分析多模态数据集合t，挖掘其操作关系，得到操作关系集合r；s3：根据操作关系集合r，利用rpa工具抽取三元组数据，构建rpa知识图谱；s4：根据rpa知识图谱，完成用户操作推荐。
6.本发明提供的有益效果是：（1）针对特定的rpa领域，人工定义规则具有高准确度，在这种机制下无需训练，实现简单，能够以较快的速度抽取出三元组,从而构建图谱。
7.（2）考虑操作间的关系，定义关系集合，最终形成面向操作关系的rpa多模态知识图谱。相较于常见知识图谱，本专利构建的知识图谱具有更加丰富的语义关系以及多模态信息，提供了可解释性。各节点之间通过特定的关系相互联系，有利于进行节点搜索和规则推理。
8.（3）根据节点的关系，以及用户的操作历史，对于用户的需求，为用户推荐一个操作流程。
附图说明
9.图1是本发明方法的流程图。
具体实施方式
10.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
11.首先统一解释相关名词如下：s1：利用rpa流程萃取工具，获取多模态数据集合t；具体的，步骤s1如下:步骤1.1：使用rpa流程萃取工具，记录用户操作，软件会捕捉用户与计算机的交互（鼠标点击和键盘输入等）；步骤1.2：对于用户想要的自动化的流程，rpa流程萃取工具会生成多模态数据，包括：图片、文本、录屏、文档和代码，构成数据集合t。五类模态数据具体内容如下：图片：操作界面截图，且图像中可以标记处本次操作在图像中的位置和输入参数信息。
12.文本：流程记录者会对整个流程操作步骤进行详细的描述。文字部分包括：流程的标题和流程的备注信息。
13.录屏：用户的操作录屏。
14.文档：流程萃取工具会对文本和图像信息生成一个结构化的文档。
15.代码：流程萃取工具会以捕捉的用户与计算机的交互操作形成一个xml和工程文件。
16.s2：分析多模态数据集合t，挖掘其操作关系，得到操作关系集合r；具体的，步骤s2如下：步骤2.1：分析步骤1中的数据集合t，挖掘并定义出能存在的操作关系。
17.步骤2.2：本发明提出的操作关系共五种：递进关系、结果关系、包含关系、解释关系、平行关系。因此定义操作关系集合为，操作关系集合将作为rpa知识图谱构建时的领域知识。
18.s3：根据操作关系集合r，利用rpa工具抽取三元组数据，构建rpa知识图谱；具体的，步骤s3如下：步骤3.1：定义rpa领域知识图谱中三元组形式：(操作1，关系1，操作2)，其中用户在计算机上的操作或计算机的反馈操作作为节点，操作与操作的关系作为边，构成知识图谱中的三元组。
19.步骤3.2：基于rpa自动执行流程萃取工具获取操作，其多模态信息包括获取用户的操作信息，操作页面的页面图像，操作流程的录屏信息，操作流程的流程记录文档和rpa操作流程的工程代码文件。
20.步骤3.2.1：将关键的流程步骤作为文本节点。文本节点具有以下属性：流程步骤描述属性、流程序号属性、流程操作截图属性、操作流程对应的pra代码块属性、操作流程对应的录屏信息。
21.步骤3.2.2：将流程对应的操作截图作为图像节点。图像节点具有以下属性：图像
序号、图像粗粒度元素特征（操作软件、操作界面）、图像细粒度元素特征（操作元素、操作框）。
22.步骤3.3：操作关系获取，根据操作节点中的具体属性信息，如流程名称，流程描述等，从操作关系集合r中获取两个操作间的具体关系，采用基于规则的方法对应到两个操作之间。具体规则集如下：递进关系：操作1后有且仅有操作2存在，且发生，则从操作1到操作2为递进关系。
23.平行关系和包含关系：若操作1后有操作2和操作3，操作2与操作3互斥发生，则操作2与操作3之间为平行关系，操作1与操作2之间为包含关系，操作1和操作3之间为包含关系。
24.结果关系：操作1后发生操作2，且操作2为操作1的结果反馈，则从操作2到操作1为结果关系。
25.解释关系：操作1后发生操作2，且操作1为错误操作，操作2给出操作1的解释，则从操作2到操作1为解释关系。
26.步骤3.4：知识图谱构建：经过步骤3.1、步骤3.2、步骤3.3，从rpa工具记录的用户日志行为数据中抽取出三元组数据，最终构建出rpa知识图谱。
27.s4：根据rpa知识图谱，完成用户操作推荐；具体的，步骤s4如下：步骤4.1信息传播模块：获取用户操作信息步骤4.1.1获取用户的高阶表示初始的用户表示，由用户发生过的操作集表示，定义如下：(1)其中y
uv
=1表示用户u和操作v有交互；e是实体，(v,e)表示操作v和操作e之间有联系。这里表示，初始的用户表示是由其交互过的操作，这些操作相关的那些操作来表示的。
28.初始的操作表示，由操作对应的用户集表示，定义如下：(2)其中，。
29.然后通过如下公式获得用户u的第l层的实体集：（3）步骤4.1.2为每个操作节点划分子图对于操作(item)节点信息的传播使用局部图划分来获得。
30.知识图谱中的邻居节点往往有着很强的关联，模型通过图划分可以得到当前节点关系最紧密的部分节点，并形成子图。将子图中节点的信息聚合到当前节点上，丰富节点的表示。具体来说，使用如下算法，为每个节点划分子图。
31.节点的子图的模块性小于1时，为第一阶段。
32.在第一阶段，计算子图中所有节点的隶属度，隶属度函数定义如下：
其中n表示节点v的相邻节点。节点v与子图的关联度可以被视为节点v的邻居的数量。在子图中，与子图联系更紧密的节点更有可能被划分为子图，即隶属度越大。
33.因此，第一阶段选择最佳节点的公式如下：(4)在第二阶段，子图的结构相对紧凑，选择从子图的相邻节点中选择最佳点，以使子图的模块性尽可能大。
34.第二阶段的隶属度函数如下：(5)其中是指添加子图p之前节点vi的模块性，m(p)则是添加子图之后节点vi的模性。第二阶段选择最佳点的公式如下(6)通过两阶段局部图划分，可以获得与目标节点密切相关的子图。
35.特别说明，模块性的定义如下：(7)其中，e(p)是子图的内边缘数，e
out
(p)是是子图的外边缘数。模块性衡量了子图内部的紧密程度，模块性越大，子图的内部连接就越紧密。
36.步骤4.2嵌入模块在步骤4.1.2中，获得了每个操作节点的子图，并通过嵌入这些节点来丰富当前操作节点的表示：(8)其中|pv|表示子图中的节点数，ti表示节点嵌入表示。
37.步骤4.3预测模块最后，取所获得的用户嵌入表示和操作节点嵌入表示的内积，以获得用户对操作节点的偏好分数。公式如下：(9)其中，eu从公式(3)的结果中获取，ev从公式(8)中获取。
38.本发明的关键点如下：（1）在数据收集阶段，通过基于rpa自动执行操作获取操作，所述获取操作包括获
取用户的操作信息、操作界面截图、操作录屏信息、操作流程记录文档和操作流程工程代码；（2）在关系挖掘阶段，通过分析已有数据，定义出可能存在的关系，形成关系集合r。本专利提出的操作关系共五种：递进关系、结果关系、包含关系、解释关系、平行关系。
39.（3）在图谱构建阶段，根据关系集合r，定义每个关系对应的具体规则，形成规则集，采用基于规则的方法，从数据中抽取出形式为(操作1，关系1，操作2)的三元组，最终构建出rpa知识图谱。
40.（4）在操作推荐阶段，用用户交互过的操作节点作为用户嵌入表示，用交互过的操作节点的用户表示作为操作嵌入表示。并使用局部图划分的算法，找到与操作节点关系更紧密地节点，作为节点的子图，更新操作节点的表示。最终用户嵌入表示和操作节点嵌入表示作内积来预测用户对该操作的偏好分数。从而为用户推荐得分最高的操作节点。
41.本发明的有益效果是：（1）针对特定的rpa领域，人工定义规则具有高准确度，在这种机制下无需训练，实现简单，能够以较快的速度抽取出三元组,从而构建图谱。
42.（2）考虑操作间的关系，定义关系集合，最终形成面向操作关系的rpa多模态知识图谱。相较于常见知识图谱，本专利构建的知识图谱具有更加丰富的语义关系以及多模态信息，提供了可解释性。各节点之间通过特定的关系相互联系，有利于进行节点搜索和规则推理。
43.（3）根据节点的关系，以及用户的操作历史，对于用户的需求，为用户推荐一个操作流程。
44.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种面向操作关系的rpa知识图谱构建与操作推荐方法，其特征在于：包括以下步骤：s1：利用rpa流程萃取工具，获取多模态数据集合t；s2：分析多模态数据集合t，挖掘其操作关系，得到操作关系集合r；s3：根据操作关系集合r，利用rpa工具抽取三元组数据，构建rpa知识图谱；s4：根据rpa知识图谱，完成用户操作推荐。2.如权利要求1所述的一种面向操作关系的rpa知识图谱构建与操作推荐方法，其特征在于：步骤s1具体如下：s11、使用rpa流程萃取工具，记录用户操作；s12、根据用户操作，生成多模态数据集合t，所述多模态数据集合t包括：图片、文本、录屏、文档和代码。3.如权利要求1所述的一种面向操作关系的rpa知识图谱构建与操作推荐方法，其特征在于：步骤s2中，所述操作关系集合r中的操作关系共五种，分别为：递进关系、结果关系、包含关系、解释关系和平行关系；。4.如权利要求1所述的一种面向操作关系的rpa知识图谱构建与操作推荐方法，其特征在于：步骤s3具体为：s31、定义rpa领域知识图谱中三元组形式：[操作1，关系1，操作2]，以用户在计算机上的操作或计算机的反馈操作作为节点，操作与操作的关系作为边，构成知识图谱中的三元组；s32、将用户操作中关键的流程步骤作为文本节点；s33、将流程对应的操作截图作为图像节点；s34、根据操作节点的具体属性信息，从操作关系集合r中获取两个操作间的具体关系，采用基于规则的方法对应到两个操作之间；s35、经过步骤s31~s34，抽取三元组数据，得到rpa知识图谱。5.如权利要求4所述的一种面向操作关系的rpa知识图谱构建与操作推荐方法，其特征在于：步骤s34中所述基于规则的方法，具体为：若操作1后有且操作1后有且仅有操作2存在，且发生，则从操作1到操作2为递进关系；若操作1后有操作2和操作3，操作2与操作3互斥发生，则操作2与操作3之间为平行关系，操作1与操作2之间为包含关系，操作1和操作3之间为包含关系；若操作1后发生操作2，且操作2为操作1的结果反馈，则从操作2到操作1为结果关若系；操作1后发生操作2，且操作1为错误操作，操作2给出操作1的解释，则从操作2到操作1为解释关系。6.如权利要求5所述的一种面向操作关系的rpa知识图谱构建与操作推荐方法，其特征在于：步骤s4具体为：s41、初始的用户表示，由用户发生过的操作集表示如下：（1）其中，y
uv
=1表示用户u和操作v有交互；e是实体，(v,e)表示操作v和操作e之间有联系；
s42、初始的操作表示，由操作对应的用户集表示如下：（2）其中，且；v
v
表示v的相关操作集，表示用户u和操作v
u
有交互；s43、通过以下公式获取用户u的第l层实体集：（3）其中，(h,r,t)为知识图谱三元组，h为三元组头实体，t为三元组尾实体，r是h与t之间的关系，l为初始实体集获得不同距离的扩展实体集的扩展距离；s44、为每个操作节点划分子图，得到操作节点的子图；s45、嵌入操作节点的子图丰富当前操作节点；s46、通过用户的嵌入表示和操作节点的嵌入表示的内积，获取用户对操作节点的偏好分数，根据偏好分数完成用户推荐。7.如权利要求6所述的一种面向操作关系的rpa知识图谱构建与操作推荐方法，其特征在于：步骤s44具体为：s441、当节点的模块性小于1时，为第一阶段划分；s442、在第一阶段，计算子图中所有节点的隶属度，如下：（4）其中，n表示节点v的相邻节点，p是分割后的子图，v
i
与v
j
表示为具体的某个节点，|n(v
i
)|表示v
i
的相邻节点数；s443、通过下式获取第一阶段划分的最佳节点：（5）s444、进入节点的第二阶段划分，计算子图中所有节点的隶属度，如下：（6）其中，是指添加子图p之前节点v
i
的模块性，m(p)是添加子图之后节点v
i
的模块性；s445、根据下式计算第二阶段划分的最佳节点：（7）s446、通过两个阶段的局部图划分，获得与目标节点密切相关的子图。8.如权利要求7所述的一种面向操作关系的rpa知识图谱构建与操作推荐方法，其特征
在于：所述节点的模块性，表示如下：（8）其中，e（p）是子图的内边缘数，e
out
（p）是子图的外边缘数。9.如权利要求6所述的一种面向操作关系的rpa知识图谱构建与操作推荐方法，其特征在于：步骤s45通过嵌入操作节点的子图丰富当前操作节点的过程表示如下：（9）其中，|p
v
|表示子图中的节点数，t
i
表示节点嵌入表示。10.如权利要求6所述的一种面向操作关系的rpa知识图谱构建与操作推荐方法，其特征在于：所述用户偏好分数的公式如下:其中，e
u
为用户的嵌入表示，e
v
为操作节点的嵌入表示。

技术总结
本发明公开了一种面向操作关系的RPA知识图谱构建与操作推荐方法，方法具体如下：利用RPA流程萃取工具，获取多模态数据集合T；分析多模态数据集合T，挖掘其操作关系，得到操作关系集合R；根据操作关系集合R，利用RPA工具抽取三元组数据，构建RPA知识图谱；根据RPA知识图谱，完成用户操作推荐。本发明有益效果是：能够以较快的速度抽取出三元组,从而构建图谱，且图谱具有更加丰富的语义关系以及多模态信息，同时推荐的精度更高。同时推荐的精度更高。同时推荐的精度更高。


技术研发人员：袁水平 高元鑫 朱晓宇 张家伟 卜晨阳 吴信东
受保护的技术使用者：安徽思高智能科技有限公司
技术研发日：2023.06.16
技术公布日：2023/7/22