基于区块链技术的分布式AI推理系统的制作方法

基于区块链技术的分布式ai推理系统
技术领域
1.本发明涉及人工智能、分布式计算和区块链技术。


背景技术：

2.随着深度学习和人工智能技术的发展，ai模型变得越来越复杂，需要大量的计算资源进行训练和推理。在本地设备上运行大型模型可能会面临算力不足和显存不足的问题。本发明提出了一种基于区块链技术的分布式ai推理系统，可以有效解决这些问题，同时激励用户共享计算资源。


技术实现要素：

3.本发明提供了一种基于区块链技术的分布式ai推理系统，其主要组成部分包括：
4.ai模型分解模块：将大型ai模型拆分为较小的子模型，以便在多个设备上并行运行。
5.资源共享模块：通过区块链技术建立一个去中心化的计算资源市场，让用户共享存储空间和算力。
6.代币激励模块：设计一种代币经济机制，鼓励用户提供计算资源并参与维护生态系统。
7.数据隐私和安全模块：确保对敏感数据进行加密，并使用安全的通信协议。采用零知识证明或安全多方计算等技术在不泄露原始数据的情况下进行计算。
8.分布式推理调度模块：负责分配子模型到各个设备上，并将推理结果汇总以得到最终结果。
9.优点：
10.有效利用闲置计算资源，降低单个设备的计算负担。
11.提高大型ai模型推理速度，解决本地算力和显存不足的问题。
12.通过代币激励机制，吸引更多用户参与并共享计算资源。
13.确保数据隐私和安全，保护敏感信息。
具体实施方式
14.假设用户a需要在本地设备上运行一个大型ai模型进行推理。用户a将模型发送到本发明的分布式推理系统，系统将模型拆分为较小的子模型。然后，系统将子模型分配到各个参与者(例如用户b、c和d)的设备上。这些参与者的设备将并行执行推理任务，并将结果返回给系统。系统将收到的推理结果进行汇总，以得到最终结果。最后，系统将最终结果返回给用户a。
15.在整个过程中，系统使用加密技术和安全通信协议来保护数据的隐私和安全。此外，可以采用零知识证明或安全多方计算等技术，在不泄露原始数据的情况下进行计算。
16.为了激励用户共享计算资源，本发明引入了代币经济机制。用户b、c和d在完成推
理任务后，将获得系统发行的代币作为奖励。这些代币可以在系统内进行交易，或兑换成其他加密货币或法定货币。代币经济激励用户更积极地参与生态系统，共享计算资源。
17.本发明基于区块链技术的分布式ai推理系统，可以应用于各种场景，如自然语言处理、计算机视觉、推荐系统等。通过将大型模型拆分为较小的子模型，并在多个设备上并行运行，系统可以有效解决本地算力和显存不足的问题。同时，代币激励机制鼓励用户共享计算资源，形成一个可持续发展的生态系统。
18.实施例2：基于区块链技术的分布式ai推理系统在自然语言处理场景中的应用
19.在这个实施例中，我们将阐述如何将基于区块链技术的分布式ai推理系统应用于自然语言处理(nlp)场景。
20.假设用户a希望建立一个高质量的机器翻译系统。由于机器翻译模型通常较大，用户a的本地计算资源无法满足模型的推理需求。因此，用户a决定使用基于区块链技术的分布式ai推理系统来解决这个问题。
21.首先，用户a将机器翻译模型上传至系统。系统的ai模型分解模块将机器翻译模型拆分为多个较小的子模型。然后，系统利用区块链技术建立一个去中心化的计算资源市场，让用户b、c和d共享他们的gpu资源。
22.分布式推理调度模块将子模型分配到用户b、c和d的设备上。在执行推理任务的过程中，系统使用加密技术和安全通信协议保护数据的隐私和安全。采用零知识证明或安全多方计算等技术，在不泄露原始数据的情况下进行计算。
23.当用户b、c和d完成推理任务后，系统将收到的推理结果进行汇总，得到最终的机器翻译结果。接着，系统将翻译结果返回给用户a。
24.作为参与计算资源共享的奖励，用户b、c和d获得系统发行的代币。这些代币可以在系统内进行交易，或兑换成其他加密货币或法定货币。这一激励机制鼓励更多的用户加入生态系统，共享计算资源。
25.通过这个实施例，我们展示了基于区块链技术的分布式ai推理系统在自然语言处理场景中的应用。这种系统可以有效解决本地算力和显存不足的问题，同时激励用户共享计算资源，形成一个可持续发展的生态系统。
26.实施例3：基于区块链技术的分布式ai推理系统在医学影像分析场景中的应用
27.在这个实施例中，我们将介绍如何将基于区块链技术的分布式ai推理系统应用于医学影像分析场景。
28.假设医院希望建立一个ai辅助诊断系统，用于分析医学影像(如ct、mri等)，以提高诊断的准确性和效率。然而，这些医学影像处理模型通常非常大，对计算资源和显存的需求很高。医院的本地计算资源无法满足这些需求。因此，医院决定使用基于区块链技术的分布式ai推理系统来解决这个问题。
29.首先，医院将医学影像处理模型上传至系统。系统的ai模型分解模块将医学影像处理模型拆分为多个较小的子模型。然后，系统利用区块链技术建立一个去中心化的计算资源市场，让其他用户共享他们的gpu资源。
30.分布式推理调度模块将子模型分配到多个用户的设备上。在执行推理任务的过程中，系统使用加密技术和安全通信协议保护患者的隐私和数据安全。采用零知识证明或安全多方计算等技术，在不泄露原始数据的情况下进行计算。
31.当各个用户完成推理任务后，系统将收到的推理结果进行汇总，得到最终的医学影像分析结果。接着，系统将分析结果返回给医院。
32.作为参与计算资源共享的奖励，提供gpu资源的用户获得系统发行的代币。这些代币可以在系统内进行交易，或兑换成其他加密货币或法定货币。这一激励机制鼓励更多的用户加入生态系统，共享计算资源。
33.通过这个实施例，我们展示了基于区块链技术的分布式ai推理系统在医学影像分析场景中的应用。这种系统可以有效解决本地算力和显存不足的问题，同时确保患者数据的隐私和安全。并且，激励用户共享计算资源，形成一个可持续发展的生态系统。


技术特征：
1.一种基于区块链技术的分布式ai推理系统，包括ai模型分解模块、资源共享模块、代币激励模块、数据隐私和安全模块以及分布式推理调度模块。2.根据权利要求1所述的系统，其中ai模型分解模块将大型ai模型拆分为较小的子模型，以便在多个设备上并行运行。3.根据权利要求1所述的系统，其中资源共享模块通过区块链技术建立一个去中心化的计算资源市场，让用户共享存储空间和算力。4.根据权利要求1所述的系统，其中代币激励模块设计一种代币经济机制，鼓励用户提供计算资源并参与维护生态系统。5.根据权利要求1所述的系统，其中数据隐私和安全模块确保对敏感数据进行加密，并使用安全的通信协议。采用零知识证明或安全多方计算等技术在不泄露原始数据的情况下进行计算。6.根据权利要求1所述的系统，其中分布式推理调度模块负责分配子模型到各个设备上，并将推理结果汇总以得到最终结果。7.根据权利要求1所述的系统，其中代币激励模块向完成推理任务的用户发放代币奖励，代币可以在系统内进行交易，或兑换成其他加密货币或法定货币。8.根据权利要求1所述的系统，适用于各种ai应用场景，如自然语言处理、计算机视觉、推荐系统等。9.一种基于区块链技术的分布式ai推理方法，包括以下步骤：接收用户提交的ai模型；将ai模型拆分为较小的子模型；将子模型分配到多个设备上；在各个设备上并行执行推理任务；汇总推理结果以得到最终结果；将最终结果返回给用户。10.根据权利要求9所述的方法，其中在将子模型分配到多个设备上之前，通过区块链技术建立一个去中心化的计算资源市场，让用户共享存储空间和算力。11.根据权利要求9所述的方法，其中在执行推理任务的过程中，采用加密技术和安全通信协议保护数据的隐私和安全。可以采用零知识证明或安全多方计算等技术，在不泄露原始数据的情况下进行计算。12.根据权利要求9所述的方法，其中在汇总推理结果以得到最终结果之后，向完成推理任务的用户发放代币奖励。代币可以在系统内进行交易，或兑换成其他加密货币或法定货币。13.一种计算机程序产品，包括计算机可读介质和存储在该计算机可读介质上的计算机程序代码，所述计算机程序代码用于实现根据权利要求9所述的基于区块链技术的分布式ai推理方法。14.一种计算机程序，包括计算机程序代码，所述计算机程序代码用于实现根据权利要求9所述的基于区块链技术的分布式ai推理方法。一种计算机系统，包括处理器、内存以及与处理器和内存连接的输入/输出设备，所述处理器配置为执行存储在内存中的计算机程序代码，以实现根据权利要求9所述的基于区块链技术的分布式ai推理方法。15.根据权利要求14所述的计算机系统，其中所述处理器进一步配置为在将子模型分配到多个设备上之前，通过区块链技术建立一个去中心化的计算资源市场，让用户共享存储空间和算力。16.根据权利要求14所述的计算机系统，其中所述处理器进一步配置为在执行推理任
务的过程中，采用加密技术和安全通信协议保护数据的隐私和安全。可以采用零知识证明或安全多方计算等技术，在不泄露原始数据的情况下进行计算。17.根据权利要求14所述的计算机系统，其中所述处理器进一步配置为在汇总推理结果以得到最终结果之后，向完成推理任务的用户发放代币奖励。代币可以在系统内进行交易，或兑换成其他加密货币或法定货币。18.一种云服务平台，用于提供根据权利要求9所述的基于区块链技术的分布式ai推理方法。所述云服务平台包括服务器、存储设备以及与服务器和存储设备连接的网络设备。19.根据权利要求18所述的云服务平台，其中所述服务器配置为在将子模型分配到多个设备上之前，通过区块链技术建立一个去中心化的计算资源市场，让用户共享存储空间和算力。根据权利要求18所述的云服务平台，其中所述服务器配置为在执行推理任务的过程中，采用加密技术和安全通信协议保护数据的隐私和安全。可以采用零知识证明或安全多方计算等技术，在不泄露原始数据的情况下进行计算。20.根据权利要求18所述的云服务平台，其中所述服务器配置为在汇总推理结果以得到最终结果之后，向完成推理任务的用户发放代币奖励。代币可以在系统内进行交易，或兑换成其他加密货币或法定货币。21.一种提供根据权利要求9所述的基于区块链技术的分布式ai推理方法的api(应用程序编程接口)。22.根据权利要求21所述的api，包括用于接收用户提交的ai模型、将ai模型拆分为较小的子模型、将子模型分配到多个设备上、在各个设备上并行执行推理任务、汇总推理结果以得到最终结果、将最终结果返回给用户的功能。23.一种基于权利要求9所述的基于区块链技术的分布式ai推理方法的软件开发工具包(sdk)。

技术总结
本发明通过基于区块链技术的分布式AI推理系统和方法，为AI应用提供了一个高效、可扩展、安全的解决方案。该系统不仅可以有效解决本地算力和显存不足的问题，而且可以激励用户共享计算资源，从而形成一个可持续发展的生态系统。通过云服务平台、API和SDK等多种形式，本发明可以广泛应用于自然语言处理、计算机视觉、推荐系统等各种AI场景。推荐系统等各种AI场景。


技术研发人员：张天
受保护的技术使用者：上海辛禧医药科技事务所
技术研发日：2023.03.28
技术公布日：2023/7/18