端云协同数据挖掘方法、装置、系统及计算机集群与流程

1.本技术涉及智能驾驶领域，尤其涉及一种端云协同数据挖掘方法、装置、系统及计算机集群。


背景技术：

2.随着自动驾驶技术发展，自动驾驶的传感方案及监测技术方案差距日益收窄，载有自动驾驶算法的车的量产落地加速，如何从大量的量产车的数据中高效地将所需要的有效数据筛选出来，驱动自动驾驶算法的自动迭代，是自动驾驶算法的持续优化关键。对于车端数据挖掘，目前方式是根据自动驾驶的需求设计开发任务模型或者规则，发布任务模型，然后下发到车端进行相应任务的数据挖掘。采用该种方式开发的任务模型，需要收集大量的训练数据和进行针对性的训练和调优，在测试任务模型前通常采用自动标注或人工标注的方式标注大量的训练数据，测试任务模型要花费大量的人力、物力和财力；且该种方式设计的规则和任务模型只能针对这个特定的需求，不具有可扩展性。


技术实现要素：

3.为了解决上述的问题，本技术的实施例提供了端云协同数据挖掘方法、系统及计算机集群。
4.第一方面，本技术的实施例提供了端云协同数据挖掘方法，所述方法包括：云端根据业务需求确定目标文本和任务配置文件；通过文本编码器对所述目标文本编码获得文本特征；将所述文本特征放在所述任务配置文件中一起下发至所述车端；所述车端通过第一图片编码器对图像数据编码获得图像特征；计算所述文本特征和所述图像特征的相似度的值；根据所述相似度的值和所述任务配置文件确定目标图片；将所述目标图片上传至云端；其中，所述第一图片编码器是第二图片编码器经过压缩和调优得到的；所述文本编码器和所述第二图片编码器为图文多模态大模型的两个模块。
5.由此，利用图文多模态大模型的强的泛化性能，将图文多模态大模型的文本和图片分支分开部署在云端和车端，云端对目标文本编码获得文本特征，车端对任意图像数据编码获得图像特征，实现端云协同挖掘目标图片；采用经过经过压缩和调优简化的第一图片编码器可以满足在有资源限制的设备上运行多模态大模型的需求。
6.在一种可能的实现方式中，所述方法还包括所述图文多模态大模型压缩的步骤：云端通过提取所述第二图片编码器的监督信息进行大模型压缩，获得所述第一图片编码器。
7.由此，在云端对结构复杂的图文多模态大模型进行压缩得到效果接近、结构简单的图片编码器小模型，使网络模型复杂度减小，满足在有资源限制的设备上运行多模态大模型的需求，压缩后的图片编码器小模型具有与图片编码器大模型同等的性能。
8.在一种可能的实现方式中，所述大模型压缩包括蒸馏、量化和/或算子调优。
9.由此，可以进一步通过上述蒸馏、量化和/或算子调优实现大模型压缩，简化网络
tuning)训练，在第二图片编码器和文本编码器之间的图文对齐损失达到收敛的情况下，获得微调参数；微调参数包括视觉微调参数和/或文本微调参数。模型更新模块，云端根据文本微调参数更新文本编码器以生成新的文本特征；车端根据视觉微调参数更新第一图片编码器以生成新的图片特征。
24.第三方面，本技术的实施例提供了端云协同数据挖掘系统，所述系统包括：需求处理装置，设置于所述云端，所述需求处理装置用于根据业务需求确定目标文本和任务配置文件；通过所述文本编码器对所述目标文本编码获得文本特征；将所述文本特征放在所述任务配置文件中一起下发至所述车端；图文处理装置，设置于所述车端，所述图文处理装置用于通过所述第一图片编码器对图像数据编码获得图像特征；计算所述文本特征和所述图像特征的相似度的值；根据所述相似度的值和所述任务配置文件确定目标图片；将所述目标图片上传至云端；其中，所述第一图片编码器是第二图片编码器经过压缩和调优得到的；所述文本编码器和所述第二图片编码器为图文多模态大模型的两个模块。
25.第四方面，本技术的实施例提供了一种计算设备集群，包括至少一个计算设备，每个计算设备包括处理器和存储器；所述至少一个计算设备的处理器用于执行所述至少一个计算设备的存储器中存储的指令，以使得所述计算设备集群执行如第一方面任意一项所述的方法。
26.第五方面，本技术的实施例提供了一种计算机存储介质，所述计算机存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行如第一方面任意一项所述的方法。
27.第六方面，本技术的实施例提供了一种包含指令的计算机程序产品，当所述指令被计算设备集群运行时，使得所述计算设备集群执行如第一方面任意一项所述的方法。
附图说明
28.为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
29.下面对实施例或现有技术描述中所需使用的附图作简单地介绍。
30.图1为本技术实施例提供的软件架构图；
31.图2为本技术实施例提供的端云协同数据挖掘方法的示意图；
32.图3为图片编码器小模型的端云协同更新的示意图；
33.图4为本技术实施例1提供的端云协同数据挖掘方法中大模型压缩示意图；
34.图5为本技术实施例2的端云协同数据挖掘方法的流程图；
35.图6为本技术实施例3的端云协同数据挖掘方法的流程图；
36.图7为本技术实施例提供的端云协同数据挖掘系统的示意图；
37.图8为本技术实施例提供的端云协同数据挖掘装置示意图；
38.图9为本技术实施例提供的计算设备集群示意图；
39.图10为本技术实施例提供的计算设备集群之间的连接方式示意图。
具体实施方式
40.为了使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本技术实施例中的技术方案进行描述。
41.在本技术实施例的描述中，“示例性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
42.在本技术实施例的描述中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，单独存在b，同时存在a和b这三种情况。另外，除非另有说明，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个终端是指两个或两个以上的终端。
43.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
44.在本技术实施例的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
45.在本技术实施例的描述中，所涉及的术语“第一\第二\第三等”或模块a、模块b、模块c等，仅用于区别类似的对象，不代表针对对象的特定排序，可以理解地，在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
46.在本技术实施例的描述中，所涉及的表示步骤的标号，如s110、s120
……
等，并不表示一定会按此步骤执行，在允许的情况下可以互换前后步骤的顺序，或同时执行。
47.大模型的压缩是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，从而能在一些有资源限制的设备上运行。包括两类限制：存储空间限制(limited memory space)和算力限制(limited computing power)。模型压缩的方式包括网络剪枝(network pruning)、知识蒸馏(knowledge distillation)、参数量化(parameter quantization)、架构设计(architecture design)和动态计算(dynamic computation)等。资源限制的设备如手机、手表、飞行器、智能眼镜、自动驾驶系统等。
48.蒸馏(knowledge distillation)是对结构复杂的大模型(teacher)的压缩得到效果接近、结构简单的小模型(student)，由于网络模型复杂度的减小，使得压缩后的小模型的性能得到提升。
49.量化(parameter quantization)是用更少的bit来存值：比如之前用32bit存参数，改用16bit存参数，这样网络大小直接就缩减了一半。
50.prompt技术是指在输入的token中插入一段可学习的参数，然后通过训练该参数达到微调模型目的。当一项新任务只有少量训练样本时，由于模型参数过多，常规的微调通常会导致过拟合，采用prompt技术可以固定模型参数，额外增加少量参数用于训练。
51.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的
技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
52.第一种方案对兴趣目标触发设置目标识别算法，目标识别算法依据兴趣目标的种类来定义，目标识别算法对每一种类型的兴趣目标设置对应的种子触发器；目标识别算法部署到车端。云端根据业务需求，触发车端对应的目标识别算法，输出兴趣目标数据结果；兴趣目标数据结果搜集完成后，对兴趣目标数据结果进行标注，并将标注好的数据输入到对应的种子触发器进行算法迭代训练，形成对目标识别算法优化的数据闭环。其中兴趣目标的类型包括目标车辆、目标非机动车行人、标志牌、障碍物、交通信号等。
53.该方案中，需要对每一种兴趣目标设计和训练目标识别算法，训练这个目标识别算法需要收集大量的训练数据。车端的部署的种子触发器不能更新迭代，无法提升车端挖掘该兴趣目标的精度。虽然车端可以通过更新模型或者更新接口升级整个种子触发器然后再进行该兴趣目标的数据挖掘，但是更新升级的过程较繁琐。
54.在自动驾驶的感知系统中数据挖掘功能是持续提升能力的关键。自动驾驶的感知系统中硬件包括传感器、处理器等；车端通过传感器采集大量数据信息，包括视频信息、图像信息；通过处理器进行数据挖掘和数据处理，将挖掘出来的目标数据上传到云端；软件包括操作系统、传感器驱动以及各个功能单元。
55.本技术实施例提供的端云协同数据挖掘方法主要应用于自动驾驶的感知系统，在云端训练模型，将新增部分参数随任务下发到车端，新增部分参数用于新任务的数据挖掘。能够解决车端挖掘该兴趣目标的精度无法提升、需要收集大量的训练数据、更新升级的过程较繁琐的问题。
56.图1为本技术实施例提供的云端软件架构图。如图1所示，云端的软件架构包括：数据挖掘单元11根据业务需要从大量的数据中获得目标数据；数据处理单元12对目标数据进行预标注或者人工标注；模型预训练单元13将标注好的目标数据输入目标模型，进行目标模型预训练，持续提升目标模型的性能，目标数据包括目标文本和目标图片。
57.其中，目标模型为图文多模态大模型，用于在图文信息检索场景中衡量的文本数据和图像数据之间的图文相关性。图文多模态大模型具有图片和文本两个模态分支，针对文本模态设置对应的文本编码器大模型，针对图片模态设置对应的图片编码器大模型。
58.采用大模型压缩的方法，构建一个图片编码器小模型，图片编码器小模型具有与图片编码器大模型同等的性能，将图片编码器小模型配置于车端。可以将图片编码器小模型记为第一图片编码器，将图片编码器大模型记为第二图片编码器，第一图片编码器为第二图片编码器经过压缩和调优得到的小模型。
59.大模型压缩的方法包括知识蒸馏(knowledge distillation)、参数量化(parameter quantization)等方法。
60.图2为本技术实施例提供的端云协同数据挖掘方法的示意图。如图2所示，文本编码器21配置于云端处理器(简称为云端)，车端图片编码器小模型配置于车端处理器(简称为车端)，方法包括：云端根据业务需求确定目标文本和任务配置文件，通过文本编码器21对目标文本编码获得文本特征；将文本特征和任务配置文件下发至车端；在车端通过图片编码器小模型22对图像数据编码获得图像特征；计算文本特征和图像特征的相似度的值；根据相似度和任务配置文件确定目标图片；将目标图片上传至云端；其中，图片编码器小模
型是图片编码器大模型经过压缩和调优得到的；文本编码器和图片编码器大模型为图文多模态大模型的两个模块。
61.下面对本技术实施例提供的端云协同数据挖掘方法进行具体说明。本技术实施例提供的端云协同数据挖掘方法包括以下步骤s21-s27。
62.s21，云端基于业务需求确定目标文本和任务配置文件。
63.业务需求为业务兴趣目标或场景，如车辆、非机动车行人、标志牌、障碍物、交通信号眩光，雨天等。
64.示例性地，业务需求为挖掘太阳眩光图片，云端根据该业务需求确定目标文本是“a photo of a sun glare”。
65.任务配置文件根据业务需求设置，在任务配置文件中设置的任务相关配置，包括相似度阈值、需启动的算法名称、微调参数等。其中相似度阈值用于保证数据挖掘的图文对齐的精度，目标图片的图像特征与目标文本的文本特征之间的相似度需大于设定的相似度阈值。算法名称用于指示车端启动哪个算法。微调参数用于更新文本编码器和/或第一图片编码器的参数。
66.s22，通过文本编码器21对目标文本编码获得文本特征。
67.文本编码器21用于将一个可变长度的目标文本编码成一个固定长度的特征向量，该固定长度的特征向量记为文本特征。
68.s23，将文本特征放在任务配置文件中下发至车端。
69.任务配置文件中包括相似度阈值；云端将步骤s22获得的文本特征与相似度阈值一起下发至车端。
70.在一些可以实现的实施方式中，任务配置文件中还包括需启动的算法名称，如图片编码器大模型、图片编码器小模型等。
71.s24，车端根据任务需求信息启动车端的图片编码器小模型22，该图片编码器小模型22将传感器接收到的图像数据编码为图像特征。具体包括以下步骤：
72.s241，车端接收云端下发的任务配置文件，解析任务配置文件获得需启动的算法名称和相似度阈值和文本特征；根据算法名称启动车端挖掘算法。
73.车端挖掘算法可以为本技术中的图片编码器小模型22，也可以为其他图片或者雷达挖掘算法，如异型车挖掘算法等。
74.s242，车端通过传感器获得图像数据。
75.传感器包括车载摄像头，雷达等。车端通过车载摄像头采集图像数据信息，获得图像数据
76.s243，通过图片编码器小模型22对图像数据编码获得对应的图像特征。
77.图片编码器小模型22用于将任意图像数据编码成一个固定长度的特征向量；可以将图像数据对应的特征向量记为图像特征。
78.将步骤242获得的图像数据输入图片编码器小模型22编码，输出对应的图像特征，图像特征为y＝(y1,y2,y3,
……
,yn)，图像特征的长度与文本特征的长度相同，均为n。
79.s25，计算图像特征和文本特征的相似度，得到相似度的值。
80.相似度是指两个事物的相似性。通过计算两个事物的特征向量之间的距离获得相似度，如果两个事物的特征之间距离小，那么相似度大；如果两个事物的特征之间距离大，
那么相似度小。
81.对于文本特征x＝(x1,x2,x3,
……
,xn)和图像特征y＝(y1,y2,y3,
……
,yn)，相似性的评估可以采用余弦相似度，即两个向量夹角的余弦值。
82.s26，根据相似度和相似度阈值确定目标图片。
83.比较相似度的值与相似度阈值的大小，在相似度的值大于或等于相似度阈值的情况下确定该图像为目标图片；在相似度的值小于相似度阈值的情况下舍弃该图像。
84.示例性地，车端解析任务配置文件得到的相似度阈值为0.8；通过余弦相似度方法计算得到图像特征x＝(x1,x2,x3,
……
,xn)和文本特征y＝(y1,y2,y3,
……
,yn)之间的相似度的值为0.86，相似度大于相似度阈值，则该图像特征对应的图像数据为目标图片。
85.s27，将目标图片上传至云端。
86.为了提高数据挖掘的精确度，云端通过提示学习(prompt tuning)方法进行参数的高效微调并将新增参数随任务下发到车端，用于新任务的数据挖掘。
87.提示学习方法用于利用少量样本，使用少量参数的微调来提升模型的精度。采用提示学习方法进行参数的高效微调，可以在不改变文本编码器和图像编码器的条件下，增加少量参数来提升模型的精度。
88.图3为图片编码器小模型的端云协同更新的示意图。如图3所示，云端利用少量样本或挖掘到的目标图片，通过提示学习训练文本编码器和第二图像编码器，得到文本微调参数和/或视觉微调参数。将视觉微调参数加入任务配置文件，下发到车端；车端将视觉微调参数加入图片编码器小模型22中，同时云端也可以将文本微调参数加入文本编码器以生成新的文本特征。
89.本技术实施例提供的端云协同数据挖掘方法中模型优化更新包括以下步骤s31-s s36。
90.s31，云端通过提示学习(prompt tuning)优化训练文本编码器和第二图像编码器，得到文本微调参数和视觉微调参数。
91.训练数据可以是车端打包上传的目标图片，也可以是数据库中的标注好的少量训练样本图片。
92.s32，将视觉微调参数放在任务配置文件中，一起下发到车端。在一些可以实现的实施方式中，任务配置文件还包括新的相似度阈值。
93.s33，车端接收任务配置文件，解析任务配置文件获得视觉微调参数和/或新的相似度阈值。
94.s34，将视觉微调参数添加至图片编码器小模型22中，更新图片编码器小模型22，获得优化的图片编码器小模型22。
95.在对传感器接收到的新图像数据时，使用优化的图片编码器小模型22编码获得对应的图像特征，计算该图像特征和云端模型编码出来的文本特征的相似度，按照相似度是否大于新的相似度阈值来挖掘兴趣目标图片数据。
96.实施例1
97.本技术实施例1提供的端云协同数据挖掘方法，在云端对结构复杂的图文多模态大模型进行压缩和调优训练得到效果接近、结构简单的图片编码器小模型22，使网络模型复杂度减小。然后将文本编码器21部署在云端，图片编码器小模型22部署在车端，进行端云
协同数据挖掘训练。
98.图4为本技术实施例1提供的端云协同数据挖掘方法中大模型压缩示意图。如图4所示，大模型压缩包括以下步骤s41-s42。
99.s41，对图文多模态大模型中的图片编码器大模型压缩和优化，获得图片编码器小模型22。
100.可以采用知识蒸馏(knowledge distillation)方法，提取图文多模态大模型中的图片编码器大模型的监督信息，构建一个图片编码器小模型22，图片编码器小模型22具有与图片编码器大模型同等的性能。
101.s42，分别将标注好的少量样本输入图文多模态大模型微调，根据文本编码器21输出的文本特征和图片编码器小模型22输出的图像特征的相似度和标注的类别分别计算交叉熵损失，在交叉熵损失收敛的情况下，获得微调好的文本编码器21和图片编码器小模型22。
102.在一些可以实现的实施方式中，可以采用参数量化(parameter quantization)的方法，微调优化图片编码器小模型22。
103.基于压缩后得到的图片编码器小模型22进行端云协同数据挖掘的步骤如下s43-s46。
104.s43，根据业务需求，确定挖掘的目标文本和使用的挖掘算法。
105.s44，将微调好的文本编码器21和图片编码器小模型22分开部署，文本编码器21部署在云端，图片编码器小模型22部署在车端。
106.s45，云端根据业务需求设置相似度阈值，将挖掘算法名称和相似度阈值写入任务配置文件。
107.示例性地，业务需求可以为挖掘太阳眩光，对应的相似度阈值设置为0.80，将算法名称“通用文本检索”和相似度阈值为0.80写入任务配置文件。
108.s46，根据新的业务需求进行端云协同的数据挖掘，具体实施方式可参考步骤s21-s27。此处不再赘述。
109.实施例2
110.图5为本技术实施例2的端云协同数据挖掘方法的流程图。如图5所示，基于上述实施例1，将图文多模态大模型的文本编码器21和图片编码器小模型22分开部署，文本编码器21部署在云端，图片编码器小模型22部署在车端，图片编码器小模型22根据图片编码器大模型经过压缩得到。端云协同数据挖掘方法方法包括以下步骤：
111.s51，确定业务需求，根据业务需求确定目标文本。
112.业务需求可以是挖掘的目标。
113.示例性地，云端根据当前的自动驾驶模型corner case场景确定兴趣目标为路上的垃圾袋，则目标文本是“a photo of garbage bag on the road”。
114.s52，将步骤s51确定的目标文本输入文本编码器21，文本编码器21输出对应的文本特征。
115.文本编码器21为多模态图文大模型的文本模块。
116.示例性地，云端将目标文本“a photo of garbage bag on the road”输入文本编码器21，生成长度为512bit的文本向量x＝(x1,x2,x3,
……
,xn)，x1,x2,x3,
……
,xn为自然
数。
117.s53，云端将任务配置文件下发到车端。任务配置文件中包括文本特征、需启动的算法名称和相似度阈值。
118.示例性地，云端根据挖掘路上的垃圾袋的业务需求确定需启动的算法名称为“通用文本检索”，目标图片与目标文本之间的相似度的值需大于设定的相似度阈值0.80，云端将长度为512bit的文本向量x＝(x1,x2,x3,
……
,xn)、算法名称
““
通用文本检索”和0.80一起下发至车端。
119.s54，车端接收下发的任务配置文件，解析任务配置文件获得文本特征、需启动的算法名称和相似度阈值。
120.示例性地，需启动的算法名称为“通用文本检索”，相似度的阈值为0.80，文本向量x＝(x1,x2,x3,
……
,xn)。
121.s55，车端可以通过传感器获取逐帧图片数据，然后输入图片编码器小模型22进行编码，得到每一帧图像数据对应的固定长度的特征向量。
122.示例性地，车端将传感器将采集到的图像数据逐帧输入名称“通用文本检索”图片编码器进行编码，得到每一帧图像数据对应的图像特征。每帧图像特征为一个固定长度的特征向量,长度为n。
123.s56，分别计算每帧图像特征与文本特征x的相似度，得到每一帧图像特征与文本特征的相似度的值。
124.示例性地，分别计算每一帧图像数据对应的图像特征y1、y2
……
,y100与文本特征x的相似度，得到每一帧图像特征与文本特征的相似度的值。
125.s57，分别比较每一帧图像数据的相似度的值与相似度阈值的大小，在相似度的值大于相似度阈值的情况下得到多个目标图片。
126.示例性地，每一帧图像数据的相似度的值为：0.71、0.74、0.61、0.88
……
,0.87；相似度阈值为0.80，分别比较每一帧图像数据的相似度的值与相似度阈值的大小，相似度的值大于0.80的图像数据为目标图片，目标图片的数量为多个。
127.s58，将一个时段内多个相似度大于相似度阈值的目标图片打包上传至云端。
128.本技术实施例2提供的端云协同数据挖掘方法，基于图文多模态大模型，利用图文多模态大模型的强的泛化性能，将图文多模态大模型的文本和图片分支分开部署在云端和车端，云端对目标文本编码获得文本特征，车端对任意图像数据编码获得图像特征；根据文本特征、图像特征和相似度阈值挖掘出目标图片。
129.实施例3
130.图6为本技术实施例3的端云协同数据挖掘方法的流程图。如图6所示，本技术实施例3提供的端云协同数据挖掘方法在云端通过结合模型压缩与prompt技术，利用挖掘出的目标图片，精确而有效地调整新的特定于任务的参数，实现挖掘目标图片精度提升；并将其推送到车端，以适应新的挖掘任务。
131.s61，云端采用提示学习(prompt tuning)方法进行参数的高效微调，在不改变文本编码器大模型和图片编码器小模型的情况下，增加一个或多个文本微调参数和/或图片微调参数。
132.云端采用提示学习(prompt tuning)方法，利用挖掘出的目标图片，高效微调预训
练模型，并获得满足特定任务需求的微调参数。
133.示例性地，挖掘出的目标图片可能为“路边装满垃圾的大垃圾袋”图片，与目标文本“aphoto of garbage bag on the road”的匹配度不好，为了提高匹配度，或适应新的挖掘任务，云端采用提示学习方法高效微调图文多模态模型，并获得与目标图片更匹配的相关的一个或多个文本微调参数和图片微调参数。
134.s62，根据一个或多个文本微调参数生成新的文本特征，将新的文本特征加入到任务配置文件中。
135.s63，将一个或多个图片微调参数加入任务配置文件，下发到车端。可以将加入一个或多个图片微调参数和/或新的文本特征的任务配置文件记为第二任务配置文件。
136.引入新的微调参数后，可重新调整分类精度。在一些可以实现的实施方式中，可以根据特定任务需求设置新的相似度阈值，将新的相似度阈值、算法名称与一个或多个视觉微调参数加入第二任务配置文件。
137.s64，车端接收新的任务配置文件，解析新的任务配置文件，获得视觉微调参数和/或新的相似度阈值。
138.s65，将视觉微调参数替换或加入图片编码器小模型22，获得优化的图片编码器小模型22。
139.s66，对传感器接收到的新图像数据，使用优化的图片编码器小模型22进行编码，得到第二图像特征。
140.s67，计算第二图像特征和新的文本特征的相似度，按照相似度是否大于新的相似度阈值确定新的目标图片数据。新的目标图片数据精度得到提升提升。
141.在新一轮的数据挖掘任务中，云端可以根据业务要求指示车端需启用的图片编码器小模型的算法名称。或云端采用提示学习(prompt tuning)方法进行参数的高效微调，在不改变文本编码器大模型和图片编码器大模型的架构的情况下，增加一个或多个微调参数，将该一个或多个微调参数随任务配置文件下发到车端，用于该次的目标数据挖掘。
142.本技术实施例的端云协同数据挖掘方法应用于自动驾驶影子模式中，能够实现利用一个大模型完成任意兴趣目标文本的数据挖掘，无需针对每一类兴趣目标设计开发检测规则。
143.本技术实施例的端云协同数据挖掘方法，可不断更新优化车端的图片编码器，提高模型迭代效率。
144.本技术实施例的实现需要借助于自动驾驶车辆的软硬件系统，其中硬件系统包括感知系统中的传感器、处理器等。软件系统包括操作系统、传感器驱动以及各个系统的处理程序等。
145.图7为本技术实施例提供端云协同数据挖掘系统示意图。如图7所示，包括：需求处理装置71，设置于云端，需求处理装置71根据业务需求确定目标文本和任务配置文件；通过文本编码器对目标文本编码获得文本特征；将文本特征放在任务配置文件中一起下发至车端。图文处理装置72，设置于车端，图文处理装置72通过第一图片编码器对图像数据编码获得图像特征；计算文本特征和图像特征的相似度的值；根据相似度的值和任务配置文件确定目标图片；将目标图片上传至云端。
146.需求处理装置71和图文处理装置72均可以通过软件实现，或者可以通过硬件实
现。示例性的，接下来介绍需求处理装置71的实现方式。类似的，图文处理装置72的实现方式可以参考需求处理装置71的实现方式。
147.作为软件功能单元的一种举例，需求处理装置71可以包括运行在计算实例上的代码。其中，计算实例可以是物理主机(计算设备)、虚拟机、容器等计算设备中的至少一种。进一步地，上述计算设备可以是一台或者多台。例如，需求处理装置71可以包括运行在多个主机/虚拟机/容器上的代码。需要说明的是，用于运行该应用程序的多个主机/虚拟机/容器可以分布在相同的region中，也可以分布在不同的region中。用于运行该代码的多个主机/虚拟机/容器可以分布在相同的az中，也可以分布在不同的az中，每个az包括一个数据中心或多个地理位置相近的数据中心。其中，通常一个region可以包括多个az。
148.同样，用于运行该代码的多个主机/虚拟机/容器可以分布在同一个vpc中，也可以分布在多个vpc中。其中，通常一个vpc设置在一个region内。同一region内两个vpc之间，以及不同region的vpc之间跨区通信需在每个vpc内设置通信网关，经通信网关实现vpc之间的互连。
149.模块作为硬件功能单元的一种举例，需求处理装置71可以包括至少一个计算设备，如服务器等。或者，需求处理装置71也可以是利用asic实现、或pld实现的设备等。其中，上述pld可以是cpld、fpga、gal或其任意组合实现。
150.需求处理装置71包括的多个计算设备可以分布在相同的region中，也可以分布在不同的region中。需求处理装置71包括的多个计算设备可以分布在相同的az中，也可以分布在不同的az中。同样，需求处理装置71包括的多个计算设备可以分布在同一个vpc中，也可以分布在多个vpc中。其中，所述多个计算设备可以是服务器、asic、pld、cpld、fpga和gal等计算设备的任意组合。
151.图8为本技术实施例提供的端云协同数据挖掘装置示意图。如图8所示，包括：
152.需求处理模块81，设置于云端，需求处理模块81根据业务需求确定目标文本和任务配置文件；通过文本编码器对目标文本编码获得文本特征；将文本特征放在任务配置文件中一起下发至车端。
153.图文处理模块82，设置于车端，图文处理模块82通过第一图片编码器对图像数据编码获得图像特征；计算文本特征和图像特征的相似度的值；根据相似度的值和任务配置文件确定目标图片；将目标图片上传至云端。
154.本技术的端云协同数据挖掘装置还包括：压缩模块83，设置于云端，压缩训练模块用于通过提取图片编码器大模型的监督信息进行大模型压缩，获得第一图片编码器。
155.参数更新模块84，将将标注的样本输入图文多模态大模型进行提示学习(prompt tuning)训练，在第二图片编码器和文本编码器之间的图文对齐损失达到收敛的情况下，获得微调参数；微调参数包括视觉微调参数和/或文本微调参数。
156.模型更新模块85，云端根据文本微调参数更新文本编码器以生成新的文本特征；车端根据视觉微调参数更新第一图片编码器以生成新的图片特征。
157.其中，需求处理模块81、图文处理模块82和压缩模块83、参数更新模块84和模型更新模块85均可以通过软件实现，或者可以通过硬件实现。
158.本技术实施例还提供了一种计算设备集群。该计算设备集群包括至少一台计算设备。该计算设备可以是服务器，例如是中心服务器、边缘服务器，或者是本地数据中心中的
本地服务器。在一些实施例中，计算设备也可以是台式机、笔记本电脑或者智能手机等终端设备。
159.如图9所示，所述计算设备集群包括至少一个计算设备100。计算设备100包括：总线102、处理器104、存储器106和通信接口108。处理器104、存储器106和通信接口108之间通过总线102通信。计算设备100可以是服务器或终端设备。应理解，本技术不限定计算设备100中的处理器、存储器的个数。
160.总线102可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。总线102可包括在计算设备100各个部件(例如，存储器106、处理器104、通信接口108)之间传送信息的通路。
161.处理器104可以包括中央处理器(central processing unit，cpu)、图形处理器(graphics processing unit，gpu)、微处理器(micro processor，mp)或者数字信号处理器(digital signal processor，dsp)等处理器中的任意一种或多种。
162.存储器106可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，ram)。存储器106还可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，rom)，快闪存储器，机械硬盘(hard disk drive，hdd)或固态硬盘(solid state drive，ssd)。
163.存储器106中存储有可执行的程序代码，处理器104执行该可执行的程序代码以分别实现前述处理模块81模块、压缩模块83和/或参数更新模块84的功能，从而实现端云协同数据挖掘方法。
164.或者，存储器106中存储有可执行的代码，处理器104执行该可执行的代码以分别实现前述图文处理模块82和模型更新模块85的功能，从而实现端云协同数据挖掘方法。
165.通信接口103使用例如但不限于网络接口卡、收发器一类的收发模块，来实现计算设备100与其他设备或通信网络之间的通信。
166.计算设备集群中的一个或多个计算设备100中的存储器106中可以存有相同的用于执行端云协同数据挖掘方法的指令。
167.在一些可能的实现方式中，该计算设备集群中的一个或多个计算设备100的存储器106中也可以分别存有用于执行端云协同数据挖掘方法的部分指令。换言之，一个或多个计算设备100的组合可以共同执行用于执行端云协同数据挖掘方法的指令。
168.需要说明的是，计算设备集群中的不同的计算设备100中的存储器106可以存储不同的指令，分别用于执行需求处理装置71或图文处理装置72的部分功能。也即，不同的计算设备100中的存储器106存储的指令可以实现需求处理模块81模块、压缩模块83、参数更新模块84或图文处理模块82和模型更新模块85中的一个或多个模块的功能。
169.在一些可能的实现方式中，计算设备集群中的一个或多个计算设备可以通过网络连接。其中，所述网络可以是广域网或局域网等等。
170.图10示出了一种可能的实现方式。如图10所示，两个计算设备100a和100b之间通过网络进行连接。具体地，通过各个计算设备中的通信接口与所述网络进行连接。在这一类可能的实现方式中，计算设备100a中的存储器106中存有执行需求处理模块81模块的功能
的指令。同时，计算设备100b中的存储器106中存有执行图文处理模块82的功能的指令。
171.图10所示的计算设备集群之间的连接方式可以是考虑到本技术提供的端云协同数据挖掘方法需要大量地存储数据和优化微调模型，因此考虑将压缩模块83、参数更新模块84实现的功能交由计算设备100a执行，将模型更新模块85交由计算设备100b执行。
172.应理解，图10中示出的计算设备100a的功能也可以由多个计算设备100完成。同样，计算设备100b的功能也可以由多个计算设备100完成。
173.本技术实施例还提供了一种计算机可读存储介质。所述计算机可读存储介质可以是计算设备能够存储的任何可用介质或者是包含一个或多个可用介质的数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘)等。该计算机可读存储介质包括指令，所述指令指示计算设备执行端云协同数据挖掘方法。
174.本技术实施例还提供了一种包含指令的计算机程序产品。所述计算机程序产品可以是包含指令的，能够运行在计算设备上或被储存在任何可用介质中的软件或程序产品。当所述计算机程序产品在至少一个计算设备上运行时，使得至少一个计算设备执行端云协同数据挖掘方法。
175.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的保护范围。

技术特征：
1.一种端云协同数据挖掘方法，其特征在于，所述方法包括：云端根据业务需求确定目标文本和任务配置文件；通过文本编码器对所述目标文本编码获得文本特征；将所述文本特征放在所述任务配置文件中一起下发至所述车端；所述车端通过第一图片编码器对图像数据编码获得图像特征；计算所述文本特征和所述图像特征的相似度的值；根据所述相似度的值和所述任务配置文件确定目标图片；将所述目标图片上传至云端；其中，所述第一图片编码器是第二图片编码器经过压缩和调优得到的；所述文本编码器和所述第二图片编码器为图文多模态大模型的两个模块。2.根据权利要求1所述的方法，其特征在于，所述方法还包括所述图文多模态大模型压缩的步骤：云端通过提取所述第二图片编码器的监督信息进行大模型压缩，获得所述第一图片编码器。3.根据权利要求2所述的方法，其特征在于，所述大模型压缩包括蒸馏、量化和/或算子调优。4.根据权利要求1-3任意一项所述的方法，其特征在于，所述方法还包括所述图文多模态大模型参数微调的步骤：将标注的样本输入所述图文多模态大模型进行训练，在所述第二图片编码器和所述文本编码器之间的图文对齐损失达到收敛的情况下，获得微调参数；所述微调参数包括视觉微调参数和/或文本微调参数。5.根据权利要求4所述的方法，其特征在于，所述云端根据所述文本微调参数更新所述文本编码器以生成新的文本特征。6.根据权利要求4所述的方法，其特征在于，所述任务配置文件包括所述视觉微调参数，所述车端根据所述视觉微调参数更新所述第一图片编码器。7.根据权利要求1-5任意一项所述的方法，其特征在于，所述任务配置文件包括算法名称，所述车端根据所述算法名称启动对应的所述第一图片编码器。8.根据权利要求1-7任意一项所述的方法，其特征在于，所述任务配置文件包括相似度阈值，所述根据所述相似度的值和所述任务配置文件确定目标图片，包括：在所述文本特征和所述图像特征的相似度的值大于所述相似度阈值的情况下，确定对应的所述图像数据为所述目标图片。9.根据权利要求1-8任意一项所述的方法，其特征在于，所述云端根据业务需求确定目标文本和任务配置文件，包括：所述云端根据业务需求更新所述任务配置文件，所述任务配置文件包括更新的相似度阈值。10.一种端云协同数据挖掘装置，其特征在于，所述装置包括：需求处理模块，设置于所述云端，用于根据业务需求确定目标文本和任务配置文件；通过所述文本编码器对所述目标文本编码获得文本特征；将所述文本特征放在所述任务配置文件中一起下发至所述车端；图文处理模块，设置于所述车端，用于通过所述第一图片编码器对图像数据编码获得图像特征；计算所述文本特征和所述图像特征的相似度的值；根据所述相似度的值和所述
任务配置文件确定目标图片；将所述目标图片上传至云端；其中，所述第一图片编码器是第二图片编码器经过压缩和调优得到的；所述文本编码器和所述第二图片编码器为图文多模态大模型的两个模块。11.根据权利要求10所述的装置，其特征在于，还包括：压缩模块，设置于云端，所述压缩模块用于通过提取所述第二图片编码器的监督信息进行大模型压缩，获得所述第一图片编码器。12.根据权利要求10或11所述的装置，其特征在于，还包括：参数更新模块，设置于云端，用于将标注的样本输入所述图文多模态大模型进行提示学习(prompt tuning)训练，在所述第二图片编码器和所述文本编码器之间的图文对齐损失达到收敛的情况下，获得微调参数；所述微调参数包括视觉微调参数和/或文本微调参数。13.根据权利要求10或11所述的装置，其特征在于，还包括：模型更新模块，所述云端根据所述文本微调参数更新所述文本编码器以生成新的文本特征；所述车端根据所述视觉微调参数更新所述第一图片编码器以生成新的图片特征。14.一种端云协同数据挖掘系统，其特征在于，所述系统包括：需求处理装置，设置于所述云端，所述需求处理装置用于根据业务需求确定目标文本和任务配置文件；通过所述文本编码器对所述目标文本编码获得文本特征；将所述文本特征放在所述任务配置文件中一起下发至所述车端；图文处理装置，设置于所述车端，所述图文处理装置用于通过所述第一图片编码器对图像数据编码获得图像特征；计算所述文本特征和所述图像特征的相似度的值；根据所述相似度的值和所述任务配置文件确定目标图片；将所述目标图片上传至云端；其中，所述第一图片编码器是第二图片编码器经过压缩和调优得到的；所述文本编码器和所述第二图片编码器为图文多模态大模型的两个模块。15.一种计算设备集群，其特征在于，包括至少一个计算设备，每个计算设备包括处理器和存储器；所述至少一个计算设备的处理器用于执行所述至少一个计算设备的存储器中存储的指令，以使得所述计算设备集群执行如权利要求1所述的方法。16.一种计算机存储介质，所述计算机存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-8任意一项所述的方法。

技术总结
一种端云协同数据挖掘方法，包括：云端根据业务需求确定目标文本和任务配置文件；通过文本编码器对目标文本编码获得文本特征；将文本特征放在任务配置文件中一起下发至车端；车端通过第一图片编码器对图像数据编码获得图像特征；计算文本特征和图像特征的相似度的值；根据相似度的值和任务配置文件确定目标图片；将目标图片上传至云端；其中，第一图片编码器是第二图片编码器经过压缩和调优得到的；文本编码器和第二图片编码器为图文多模态大模型的两个模块。本申请应用于自动驾驶影子模式中，能够利用一个大模型完成任意兴趣目标文本的数据挖掘，无需针对每一类兴趣目标设计开发检测规则。可不断更新优化车端的图片编码器，提高模型迭代效率。提高模型迭代效率。提高模型迭代效率。


技术研发人员：彭有凑 袁鹏 韩志强 王玉泽 冯柏岚
受保护的技术使用者：华为技术有限公司
技术研发日：2023.03.31
技术公布日：2023/8/9