基于开源项目的溯源方法、装置电子设备及存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种基于开源项目的溯源方法、装置电子设备及存储介质。


背景技术：

2.开源软件开发模式中，开发者通常会将相似或复用的代码，在多个项目中进行共享，这些共享的代码可能会存在潜在的安全风险和漏洞问题。为了解决这些问题，防止不同项目之间的代码交叉感染，需要进行开源项目溯源，找出可能存在的同源文件和组件，以进行跟踪和分析。开源项目溯源技术主要采用源码比对和代码查重的方法，一般会进行源代码文件的指纹提取，然后对指纹直接进行比对，直接进行比对会存在时间和空间复杂度高、比对效果不佳等问题。


技术实现要素：

3.有鉴于此，本技术的目的在于提出一种基于开源项目的溯源方法、装置电子设备及存储介质，用于解决溯源过程中比对效果不佳的问题。
4.基于上述目的，本技术的第一方面提供了一种基于开源项目的溯源方法，包括：
5.获取目标源代码文件；
6.对所述目标源代码文件进行指纹提取，得到指纹信息；
7.根据所述指纹信息确定所述目标源代码文件与指纹库中的每个待匹配源代码文件之间的相似度值；
8.将所述相似度值大于预设的相似度阈值的待匹配源代码文件确定为所述目标源代码文件的同源文件；
9.根据所述目标源代码文件和所述同源文件确定同源组件和同源项目，得到同源项目列表和同源组件列表；
10.根据比较文本文件命令确定与所述同源组件不同版本的版本组件，并将所述版本组件添加至所述同源组件列表；
11.根据比较文本文件命令确定与所述同源项目不同版本的版本项目，并将所述版本项目添加至所述同源项目列表。
12.本技术的第二方面提供了一种基于开源项目的溯源装置，其特征在于，包括：
13.数据获取模块，被配置为：获取目标源代码文件；
14.指纹提取模块，被配置为：对所述目标源代码文件进行指纹提取，得到指纹信息；
15.相似度计算模块，被配置为：根据所述指纹信息确定所述目标源代码文件与指纹库中的每个待匹配源代码文件之间的相似度值；
16.文件级同源检测模块模块，被配置为：将所述相似度值大于预设的相似度阈值的待匹配源代码文件确定为所述目标源代码文件的同源文件；
17.组件项目级同源检测模块，被配置为：根据所述目标源代码文件和所述同源文件
确定同源组件和同源项目，得到同源项目列表和同源组件列表；
18.对比分析模块，被配置为：根据比较文本文件命令确定与所述同源组件不同版本的版本组件，并将所述版本组件添加至所述同源组件列表；根据比较文本文件命令确定与所述同源项目不同版本的版本项目，并将所述版本项目添加至所述同源项目列表。
19.本技术的第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本技术第一方面提供的所述的方法。
20.本技术的第四方面提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行本技术第一方面提供的所述方法。
21.从上面所述可以看出，本技术提供的基于开源项目的溯源方法、装置电子设备及存储介质，在获取到目标源代码文件后，对源代码文件进行指纹提取，得到指纹信息，根据指纹信息确定目标源代码文件与指纹库中的每个源代码文件之间的相似度值，将相似度值大于预设的相似度阈值的源代码文件确定为目标源代码文件的同源文件，通过对之指纹信息计算文件之间的相似值，筛选出相似度值符合要求的文件作为同源文件，实现了文件级同源检测。根据目标源代码文件和同源文件确定同源组件和同源项目，得到同源项目列表和同源组件列表，然后，依据较文本文件命令从版本角度进一步的进行组件溯源和项目溯源，实现了组件级溯源检测和项目级同源检测，通过多角度的溯源，提供了更加精确的同源检测分析，降低了溯源分析的误判率，提高了溯源分析的效率和准确性，帮助用户更好地识别潜在的安全风险和漏洞问题，保证代码的质量和可靠性，提高了开源项目的安全性和可维护性。
附图说明
22.为了更清楚地说明本技术或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本技术实施例基于开源项目的溯源方法的流程图；
24.图2为本技术实施例确定指纹信息的流程图；
25.图3为本技术实施例确定相似度值的流程图；
26.图4为本技术实施例确定同源组件的流程图；
27.图5为本技术实施例确定同源项目的流程图；
28.图6为本技术实施例基于开源项目的溯源装置的结构示意图；
29.图7为本技术实施例电子设备的结构示意图。
具体实施方式
30.为使本技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本技术进一步详细说明。
31.需要说明的是，除非另外定义，本技术实施例使用的技术术语或者科学术语应当
为本技术所属领域内具有一般技能的人士所理解的通常意义。本技术实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
32.在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
33.在一些实施例中，如图1所示，一种基于开源项目的溯源方法，包括：
34.步骤101：获取目标源代码文件。
35.具体实施时，目标源代码文件可以为用户上传的任意任意一个需要进行同源检测分析的源代码文件，源代码文件是由源代码构成的文本文件，源代码是指未编译的按照一定的程序设计语言规范书写的文本文件，是一系列可读的计算机语言指令。在现代程序语言中，源代码最为常用的格式是文本文件，这种典型格式的目的是为了编译出计算机程序。计算机源代码的最终目的是将可读的文本翻译成为计算机可以执行的二进制指令，这种过程叫做编译，通过编译器完成。
36.步骤102：对目标源代码文件进行指纹提取，得到指纹信息。
37.具体实施时，通过代码变换将目标源代码文件转换为中间表示文件，然后将中间表示文件的源代码中的标识符、操作符、语句转换为一些离散的token(文本令牌)，进而将token转换为固定长度的令牌向量，整合全部的令牌向量，得到令牌列表，并将令牌列表确定为指纹信息。
38.其中，对于源代码文件来说，在确定该源代码文件的身份时，不可能去一一检测源代码文件的每个字节，也不能简单地利用文件名、文件大小这些极容易伪装的信息作为识别其身份的信息，所以就需要一种指纹一样的标志来检查源代码文件的可靠性，这种指纹就是通过哈希算法得到的，哈希算法是一种从任意文件中创造小的数字指纹的方法。哈希算法的目的就是以一种较短的信息来保证源代码文件具有唯一性的标志，这种唯一性的标志就是源代码文件的指纹信息，指纹信息与源代码文件的每一个字节都相关，而且难以找到逆向规律。因此，当源代码文件发生改变时，其指纹信息也会发生改变，从而告知文件使用者当前的源代码文件已经不是最初所需求的目标源代码文件。所以使用指纹信息可以保证溯源过程中目标源代码文件不被更改，从溯源需求角度保证溯源的准确性。
39.步骤103：根据指纹信息确定目标源代码文件与指纹库中的每个待匹配源代码文件之间的相似度值。
40.具体实施时，将目标源代码文件和任意一个待匹配源代码文件分词之后，通过局部敏感哈希(locality sensitive hashing，lsh)算法分别确定目标源代码文件的第一局部敏感哈希值和待匹配源代码文件的第二局部敏感哈希值，然后，根据第一局部敏感哈希值和第二局部敏感哈希值，对目标源代码文件和待匹配源代码文件进行相似计算，得到相似度值。
41.步骤104：将相似度值大于预设的相似度阈值的待匹配源代码文件确定为目标源
代码文件的同源文件。
42.具体实施时，根据计算得到的相似度值对待匹配源代码文件进行筛选，只有相似度值大于预设的相似度阈值的待匹配源代码文件才可以作为目标源代码文件的同源文件，进一步对待匹配源代码文件进行筛选，提供了更加精确的同源检测分析，降低了溯源分析的误判率，提高了溯源分析的效率和准确性。
43.步骤105：根据目标源代码文件和同源文件确定同源组件和同源项目，得到同源项目列表和同源组件列表。
44.具体实施时，对于同源项目列表的获取，主要是通过对开源项目的代码库进行分析，提取各个项目的特征形成相应的项目特征向量，再通过余弦相似度计算对项目之间的相似度进行比对，从而找到可能存在的同源项目。
45.具体实现方法如下：
46.1)对于每个目标项目，将该目标项目中的所有文件通过文件级同源检测，标记出该目标项目中的同源文件，得到初始同源文件列表。
47.2)对于该项目的初始同源文件列表中的同源文件，通过文件级同源检测，找出这些同源文件可能存在的子同源文件，整合子同源文件和同源文件，得到通源文件列表。
48.3)将同源文件列表中的文件进行特征提取，将提取出的特征形成相应的项目特征向量。
49.4)通过余弦相似度计算算法，将不同项目的项目特征向量进行比对，找出可能存在的同源项目。
50.对于同源项目列表的获取，主要是通过对已知的开源组件的代码库进行分析，提取各个组件的特征形成相应的组件特征向量，然后使用余弦相似度计算对组件之间的相似度进行比对，找到可能存在的同源组件。
51.具体实现方法如下：
52.1)对于每个目标组件，通过文件级同源检测找出可能存在的同源文件，然后对同源文件进行组件提取，得到该目标组件的目标组件代码。
53.2)将目标组件代码中所有的函数分离出来，作为目标组件的组件特征向量。
54.3)通过余弦相似度计算算法，将不同组件的组件特征向量进行比对，找出可能存在的同源组件。
55.步骤106：根据比较文本文件命令确定与同源组件不同版本的版本组件，并将版本组件添加至同源组件列表。
56.具体实施时，通过比较文本文件命令diff对同一组件的不同版本间进行diff比对，确定与同源组件不同版本的版本组件，并将版本组件添加至同源组件列表，通过识别代码在版本间的变更，区分不同版本的组件之间源代码的变化情况，标记版本间的新增部分、删除部分、修改部分，更好地帮助用户理解源代码之间的关系。
57.步骤107：根据比较文本文件命令确定与同源项目不同版本的版本项目，并将版本项目添加至同源项目列表。
58.具体实施时，通过比较文本文件命令diff对同一项目的不同版本间进行diff比对，确定与同源项目不同版本的版本项目，并将版本项目添加至同源项目列表，通过识别代码在版本间的变更，区分不同版本的项目之间源代码的变化情况，标记版本间的新增部分、
删除部分、修改部分，更好地帮助用户理解源代码之间的关系。
59.综上所述，本技术提供的基于开源项目的溯源方法，在获取到目标源代码文件后，对源代码文件进行指纹提取，得到指纹信息，根据指纹信息确定目标源代码文件与指纹库中的每个源代码文件之间的相似度值，将相似度值大于预设的相似度阈值的源代码文件确定为目标源代码文件的同源文件，通过对之指纹信息计算文件之间的相似值，筛选出相似度值符合要求的文件作为同源文件，实现了文件级同源检测。根据目标源代码文件和同源文件确定同源组件和同源项目，得到同源项目列表和同源组件列表，然后，依据较文本文件命令从版本角度进一步的进行组件溯源和项目溯源，实现了组件级溯源检测和项目级同源检测，通过多角度的溯源，提供了更加精确的同源检测分析，降低了溯源分析的误判率，提高了溯源分析的效率和准确性，帮助用户更好地识别潜在的安全风险和漏洞问题，保证代码的质量和可靠性，提高了开源项目的安全性和可维护性。
60.在一些实施例中，如图2所示，对源代码文件进行指纹提取，得到指纹信息，包括：
61.步骤201：通过代码变换将目标源代码文件转换为中间表示文件。
62.具体实施时，采用语言无关的代码变换技术，将源代码文件转换为中间表示形式(intermediate representation，ir)。语言无关的代码变换技术是基于抽象语法树(abstract syntax tree，ast)进行的。对于目标源代码文件，可以通过构建ast来实现语法解析，示例性的，可以利用antlr或java parser等工具将源代码解析为ast。然后，去除ast中所有与语言文法无关的元素，例如注释、空格、换行符等，最终得到一个与语言相关的表示形式，完成将ast变为中间表示形式的转换。通过转换为中间表示形式可以保证同一份源代码编写的同源文件无论用何种编程语言编写，生成的中间表示形式都是相同的，有利于提高溯源分析的效率和准确性。
63.步骤202：对中间表示文件进行分词，将得到的令牌列表确定为指纹信息。
64.具体实施时，在中间表示文件上执行tokenization以及vectorization操作，将目标源代码文件中的标识符、操作符、语句转换为一些离散的令牌token，进而将token转换为固定长度的令牌向量，整合这些令牌向量，得到令牌列表，并将令牌列表确定为目标源代码文件指纹信息。在java中，我们可以使用antlr或java parser等工具来实现这个过程。
65.在一些实施例中，步骤201包括：
66.步骤2011：通过语法解析器对目标源代码文件进行语法解析，得到抽象语法树。
67.具体实施时，可以通过使用javaparser解析目标源代码文件，获取抽象语法树，其中，抽象语法树是源代码的抽象语法结构的树状表示，树上的每个节点都表示源代码中的一种结构，这种表示是抽象的，因为抽象语法树并不会表示出真实语法出现的每一个细节，示例性的，嵌套括号被隐含在树的结构中，并没有以节点的形式呈现。
68.步骤2012：通过代码变换删除抽象语法树中的目标元素，得到中间表示文件；其中，目标元素为抽象语法树中与语言文法无关的元素。
69.具体实施时，目标元素为抽象语法树中所有与语言文法无关的元素，例如注释、空格、换行符等，将抽象语法树中的目标元素删除后，完成将ast变为中间表示形式的转换，最终得到一个与语言相关的中间表示文件。通过转换为中间表示形式可以保证同一份源代码编写的同源文件无论用何种编程语言编写，生成的中间表示形式都是相同的，有利于提高溯源分析的效率和准确性。
70.在一些实施例中，步骤202包括：
71.步骤2022：对中间表示文件进行分词，得到多个文本令牌。
72.具体实施时，在中间表示文件上进行tokenization操作可以将目标源代码文件中的标识符、操作符、语句等转换为相应文本令牌。
73.步骤2023：根据预设的向量长度对文本令牌进行向量转换，得到多个令牌向量。
74.具体实施时，预设的向量长度可以用字符的个数表示，示例性的，以“文本令牌”和“token”为例，如果向量长度为1，则“文本令牌”在分词后为“[文，本，令，牌]”，“token”在分词后为“[t，o，k，e，n]”；如果向量长度为2，则“文本令牌”在分词后为[文本，本令，令牌]，“token”在分词后为“[to，ok，ke，en]”分词后更加容易比对目标源代码文件与待匹配源代码文件之间的的相似度。示例性的，以“which”和“watch”为例，向量长度为1时，分词后分别为[w，h，i，c，h]和[w，a，t，c，h]，有60％的重复度，相似度较高，当向量长度为2时，分词后分别为[wh，hi，ic，ch]和[wa，at，tc，ch]，有25％的重复度，相似度较低，说明在相似度相同的情况下，向量长度越长准确率越高，由于预设的向量长度不同，对于相似度的影响较大，所以需要根据据实际情况进行向量长度的设置，且进行相似度计算时并不会以明文的形式直接进行比对，所以在此不做具体限定。
[0075]
步骤2024：整合多个令牌向量，得到令牌列表，并将令牌列表确定为指纹信息。
[0076]
具体实施时，目标源代码文件的字符数较多，所以得到分词后得到的令牌也较多，所以需要对多个令牌向量进行整合，得到令牌列表，并将令牌列表确定为指纹信息。
[0077]
在一些实施例中，如图3所示，根据指纹信息确定目标源代码文件与指纹库中的每个源代码文件之间的相似度值，包括：
[0078]
步骤301：根据指纹信息确定目标源代码文件的第一局部敏感哈希值。
[0079]
具体实施时，可以采用局部敏感哈希算法将目标源代码文件的指纹信息中的令牌向量映射为第一局部敏感哈希值。其中，lsh算法可以将高维向量映射到低维空间，并将相似的向量映射到相邻区域，大大降低了计算相似度所需的计算量。
[0080]
其中，在映射过程中，对于预先构建的向量空间，将其划分为多个超立方体桶，对于每个令牌向量，使用随机哈希函数对其进行哈希，并将哈希值映射到对应超立方体桶中。其中，向量空间可以理解为一个n维的空间，根据目标源代码文件的信息或者目标源代码文件文件的片段信息，会出现多个向量空间，一个向量空间对应多个超级立方桶，具体数量与目标源代码文件的数量规模相关，在此不做具体限定。每个超立方体桶对应至少一种特征信息，如果目标源代码文件中存在与该超立方体桶对应的特征信息，就对将对应的第一局部敏感哈希值应映射到这个超立方体桶中。根据目标源代码文件信息的载体量，每个目标源代码文件对应多个第一局部敏感哈希值，相应的，超立方体桶的对应的第一局部敏感哈希值会涉及至少一个源代码文件，所以，对于每个超立方体桶，保留其中的至少一个第一局部敏感哈希值，并将至少一个第一局部敏感哈希值作为超立方体的lsh特征值，用于参与映射。
[0081]
步骤302：在指纹库中选取待匹配源代码文件。
[0082]
具体实施时，在单线程的情况下，可以依次不重复的在指纹库中选取待匹配源代码文件，依次与目标源代码文件进行相似度的比较。在多线程的情况下，可以在指纹库中选取多个待匹配源代码文件同时与目标源代码文件进行相似度的比较。
[0083]
步骤303：确定待匹配源代码文件的第二局部敏感哈希值。
[0084]
具体实施时，可以采用局部敏感哈希算法将待匹配源代码文件的指纹信息中的令牌向量映射为第二局部敏感哈希值。
[0085]
步骤304：根据第一局部敏感哈希值和第二局部敏感哈希值，对目标源代码文件和待匹配源代码文件进行局部敏感哈希匹配，得到相似度值。
[0086]
具体实施时，可以创建了一个lshminhash类来实现局部敏感哈希匹配。预先设定m和b来表示使用的哈希函数数量和超立方体桶的桶数量。随机生成m个哈希函数，用于将向量映射到不同的b个桶中。在每个超立方体桶中保存至少一个哈希值，以增加每个超立方体桶的覆盖范围。分别计算两个实例的每个桶的jaccard similarity，并计算最终的相似度。示例性的，已知有超立方体桶a,b，每个超立方体桶都含有n个二元的属性，n为一个超立方体桶对应的源代码文件的数量，二元的属性表示每个属性都是0或1，m11表示a和b对应位都是1的属性的数量，m10表示a中为1，b中对应位为0的总数量，m01表示a中为0，b中对应位为1的总数量，m00表示对应位都为0的总数量，m11+m10+m01+m00=n，则jaccard相似度为j
[0087]
将相似度大于给定的相似度阈值的待匹配源代码文件确定目标源代码文件为的同源文件。
[0088]
在一些实施例中，如图4所示，根据所述目标源代码文件和所述同源文件确定同源组件，包括：
[0089]
步骤401：确定目标源代码文件所在的目标组件。
[0090]
具体实施时，对于同源项目列表的获取，主要是通过对已知的开源组件的代码库进行分析，提取各个组件的特征形成相应的组件特征向量，然后使用余弦相似度计算对组件之间的相似度进行比对，找到可能存在的同源组件。所以首先需要确定目标源代码文件所在的目标组件，将该目标组件作为比对的基准来寻找同源组件，进而组成同源组件列表。
[0091]
步骤402：根据同源文件进行组件代码提取，得到目标组件的目标组件代码。
[0092]
具体实施时，对于每个目标组件，通过文件级同源检测找出可能存在的同源文件，然后对同源文件进行组件提取，得到该目标组件的目标组件代码。
[0093]
步骤403：对目标组件代码进行特征提取，得到目标组件特征向量。
[0094]
具体实施时，将目标组件代码中所有的函数分离出来，作为目标组件的组件特征向量。
[0095]
步骤404：基于目标组件特征向量，在全部组件中根据余弦相似度计算算法确定目标组件的同源组件。
[0096]
具体实施时，通过余弦相似度计算算法，将不同组件的组件特征向量与目标组件特征向量进行比对，进而在全部组件中找出可能存在的同源组件。
[0097]
在一些实施例中，如图5所示，根据目标源代码文件和同源文件确定同源项目，包括：
[0098]
步骤501：确定目标源代码文件所在的目标项目。
[0099]
具体实施时，对于同源项目列表的获取，主要是通过对开源项目的代码库进行分析，提取各个项目的特征形成相应的项目特征向量，再通过余弦相似度计算对项目之间的
相似度进行比对，从而找到可能存在的同源项目。所以首先需要确定目标源代码文件所在的目标项目，将该目标项目作为比对的基准来寻找同源项目，进而组成同源项目列表。
[0100]
步骤502：确定每个同源文件的子同源文件，并整合全部的同源文件和子同源文件，得到同源文件列表。
[0101]
具体实施时，对于每个目标项目，将该目标项目中的所有文件通过文件级同源检测，标记出该目标项目中的同源文件，得到初始同源文件列表。对于该项目的初始同源文件列表中的同源文件，通过文件级同源检测，找出这些同源文件可能存在的子同源文件，整合子同源文件和同源文件，得到通源文件列表。
[0102]
步骤503：对同源文件列表进行特征提取，得到目标项目特征向量。
[0103]
具体实施时，将同源文件列表中的文件进行特征提取，将提取出的特征形成相应的目标项目特征向量。
[0104]
步骤504：基于目标项目特征向量，在全部项目中根据余弦相似度计算算法确定目标项目的同源项目。
[0105]
具体实施时，通过余弦相似度计算算法，将不同项目的项目特征向量进行与目标项目特征向量比对，找出可能存在的同源项目，进而在全部项目中找出可能存在的同源项目。
[0106]
需要说明的是，本技术实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本技术实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
[0107]
需要说明的是，上述对本技术的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0108]
基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种基于开源项目的溯源装置装置。
[0109]
参考图6，一种基于开源项目的溯源装置，包括：
[0110]
数据获取模块10，被配置为：获取目标源代码文件；
[0111]
指纹提取模块20，被配置为：对目标源代码文件进行指纹提取，得到指纹信息；
[0112]
相似度计算模块30，被配置为：根据指纹信息确定目标源代码文件与指纹库中的每个待匹配源代码文件之间的相似度值；
[0113]
文件级同源检测模块模块40，被配置为：将相似度值大于预设的相似度阈值的待匹配源代码文件确定为目标源代码文件的同源文件；
[0114]
组件项目级同源检测模块50，被配置为：根据目标源代码文件和同源文件确定同源组件和同源项目，得到同源项目列表和同源组件列表；
[0115]
对比分析模块60，被配置为：根据比较文本文件命令确定与同源组件不同版本的版本组件，并将版本组件添加至同源组件列表；根据比较文本文件命令确定与同源项目不同版本的版本项目，并将版本项目添加至同源项目列表。
[0116]
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本技术时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
[0117]
上述实施例的装置用于实现前述任一实施例中相应的基于开源项目的溯源方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0118]
基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的基于开源项目的溯源方法。
[0119]
图7示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
[0120]
处理器1010可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
[0121]
存储器1020可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
[0122]
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
[0123]
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
[0124]
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
[0125]
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
[0126]
上述实施例的电子设备用于实现前述任一实施例中相应的基于开源项目的溯源方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0127]
基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的基于开源项目的溯源方法。
[0128]
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或
其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0129]
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的基于开源项目的溯源方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0130]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本技术的范围(包括权利要求)被限于这些例子；在本技术的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本技术实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
[0131]
另外，为简化说明和讨论，并且为了不会使本技术实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本技术实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本技术实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本技术的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本技术实施例。因此，这些描述应被认为是说明性的而不是限制性的。
[0132]
尽管已经结合了本技术的具体实施例对本技术进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
[0133]
本技术实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本技术实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于开源项目的溯源方法，其特征在于，包括：获取目标源代码文件；对所述目标源代码文件进行指纹提取，得到指纹信息；根据所述指纹信息确定所述目标源代码文件与指纹库中的每个待匹配源代码文件之间的相似度值；将所述相似度值大于预设的相似度阈值的待匹配源代码文件确定为所述目标源代码文件的同源文件；根据所述目标源代码文件和所述同源文件确定同源组件和同源项目，得到同源项目列表和同源组件列表；根据比较文本文件命令确定与所述同源组件不同版本的版本组件，并将所述版本组件添加至所述同源组件列表；根据比较文本文件命令确定与所述同源项目不同版本的版本项目，并将所述版本项目添加至所述同源项目列表。2.根据权利要求1所述的方法，其特征在于，所述对所述源代码文件进行指纹提取，得到指纹信息，包括：通过代码变换将所述目标源代码文件转换为中间表示文件；对所述中间表示文件进行分词，将得到的令牌列表确定为所述指纹信息。3.根据权利要求2所述的方法，其特征在于，所述通过代码变换将所述目标源代码文件转换为中间表示文件，包括：通过语法解析器对所述目标源代码文件进行语法解析，得到抽象语法树；通过代码变换删除所述抽象语法树中的目标元素，得到所述中间表示文件；其中，所述目标元素为所述抽象语法树中与语言文法无关的元素。4.根据权利要求2所述的方法，其特征在于，所述对所述中间表示文件进行分词，将得到的令牌列表确定为所述指纹信息，包括：对所述中间表示文件进行分词，得到多个所述文本令牌；根据预设的向量长度对所述文本令牌进行向量转换，得到多个令牌向量；整合多个所述令牌向量，得到所述令牌列表，并将所述令牌列表确定为所述指纹信息。5.根据权利要求1所述的方法，其特征在于，所述根据所述指纹信息确定所述目标源代码文件与指纹库中的每个待匹配源代码文件之间的相似度值，包括：根据所述指纹信息确定所述目标源代码文件的第一局部敏感哈希值；在所述指纹库中选取所述待匹配源代码文件；确定所述待匹配源代码文件的第二局部敏感哈希值；根据所述第一局部敏感哈希值和所述第二局部敏感哈希值，对所述目标源代码文件和所述待匹配源代码文件进行相似度计算，得到所述相似度值。6.根据权利要求1所述的方法，其特征在于，根据所述目标源代码文件和所述同源文件确定同源组件，包括：确定所述目标源代码文件所在的目标组件；根据所述同源文件进行组件代码提取，得到所述目标组件的目标组件代码；对所述目标组件代码进行特征提取，得到目标组件特征向量；
基于所述目标组件特征向量，在全部组件中根据所述余弦相似度计算算法确定所述目标组件的同源组件。7.根据权利要求1所述的方法，其特征在于，根据所述目标源代码文件和所述同源文件确定同源项目，包括：确定所述目标源代码文件所在的目标项目；确定每个所述同源文件的子同源文件，并整合全部的所述同源文件和所述子同源文件，得到同源文件列表；对所述同源文件列表进行特征提取，得到目标项目特征向量；基于所述目标项目特征向量，在全部项目中根据所述余弦相似度计算算法确定所述目标项目的同源项目。8.一种基于开源项目的溯源装置，其特征在于，包括：数据获取模块，被配置为：获取目标源代码文件；指纹提取模块，被配置为：对所述目标源代码文件进行指纹提取，得到指纹信息；相似度计算模块，被配置为：根据所述指纹信息确定所述目标源代码文件与指纹库中的每个待匹配源代码文件之间的相似度值；文件级同源检测模块模块，被配置为：将所述相似度值大于预设的相似度阈值的待匹配源代码文件确定为所述目标源代码文件的同源文件；组件项目级同源检测模块，被配置为：根据所述目标源代码文件和所述同源文件确定同源组件和同源项目，得到同源项目列表和同源组件列表；对比分析模块，被配置为：根据比较文本文件命令确定与所述同源组件不同版本的版本组件，并将所述版本组件添加至所述同源组件列表；根据比较文本文件命令确定与所述同源项目不同版本的版本项目，并将所述版本项目添加至所述同源项目列表。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至7任一所述方法。

技术总结
本申请提供一种基于开源项目的溯源方法、装置电子设备及存储介质，在获取到目标源代码文件后，根据指纹信息确定目标源代码文件与指纹库中的每个源代码文件之间的相似度值，并根据相似度确定同源文件，实现了文件级同源检测。根据目标源代码文件和同源文件确定同源组件和同源项目，然后，依据较文本文件命令从版本角度进一步的进行组件溯源和项目溯源，实现了组件级溯源检测和项目级同源检测，通过多角度的溯源，提供了更加精确的同源检测分析，降低了溯源分析的误判率，提高了溯源分析的效率和准确性，帮助用户更好地识别潜在的安全风险和漏洞问题，保证代码的质量和可靠性，提高了开源项目的安全性和可维护性。开源项目的安全性和可维护性。开源项目的安全性和可维护性。


技术研发人员：李永刚 林亮成 潘善民 佟雪松 郑杰
受保护的技术使用者：国网思极网安科技（北京）有限公司 国网信息通信产业集团有限公司
技术研发日：2023.05.25
技术公布日：2023/10/15