基于大数据深度学习的文本生成3D打印模型方法与流程

基于大数据深度学习的文本生成3d打印模型方法
技术领域
1.本发明涉及三维场景重建领域，公开了一种基于大数据深度学习的文本生成3d打印模型方法。


背景技术：

2.随着生成图像模型的爆炸性增长，人们对训练类似的生成性模型的兴趣越来越大，例如音频、视频和3d模型等。这些模式中的大多数都适合使用自然、固定大小的张量表示，例如图像的像素网格或音频的样本阵列。然而，如何以一种高效生成并易于在下游应用中使用的方式来表示三维模型，却不太清楚。
3.最近提出的显示三维生成模型point-e，是一种基于点云的显式生成模型，使用接收到的内容创建3d点云模型，然后转换为网格。现有的一些研究旨在通过在显式三维表征上训练自编码器，然后在产生的潜空间中训练生成模型来生成3d模型。achlioptas等人对点云进行自编码器训练，并尝试使用gan和gmm来建模生成的潜空间。现有技术公开了通过对点云自编码器进行训练，但他们的解码器本身是一个条件生成模型，他们还使用归一化流来建模潜空间。也有现有技术使用扩散模型代替归一化流作为解码器。训练一个分层自编码器，其中第二阶段对潜在向量的点云进行编码，而不是单个潜在代码；在层次结构的两个阶段都使用扩散模型。
4.这些方法都依赖于显式输出表示，它们通常受到固定分辨率的限制或者缺乏充分表达三维模型的能力，这导致生成三维模型的速度较为缓慢，生成的结果也不够精确，三维模型大多比较模糊。
5.同时，对于食品、玩偶等模型，由于其材质与金属模型不同，因此生成的模型在打印的过程中，经常会出现问题，导致打印产品的效果较差。


技术实现要素：

6.发明目的：提供一种基于大数据深度学习的文本生成3d打印模型方法，以解决上述问题。
7.技术方案：根据本技术的一个方面，提供一种基于大数据深度学习的文本生成3d打印模型方法，包括如下步骤：步骤s1、调用预训练的3d生成模型，接收输入的图像或文本；生成隐式函数的参数；步骤s2、基于参数渲染纹理网格和神经辐射场，随后生成三维模型。
8.根据本技术的一个方面，还包括3d生成模型的训练步骤s0：步骤s01、训练一个编码器，产生隐式表征，提取隐式表征中的潜在表征；编码器采用神经辐射场进行预训练，向神经辐射场中的多层感知器添加额外的输出头，预测有符号距离函数值和纹理颜色，训练编码器时采用底层三维模型数据集，渲染每个数据集中的三维模型的60个视图，生成16k的点云；
步骤s02、在编码器提取的潜在表征上训练扩散模型，扩散模型采用潜在向量序列，扩散模型的输出参数化预测数据样本；步骤s03、将有符号距离函数值和纹理颜色的近似值提炼到输出头中，用可区分的渲染进行训练。
9.根据本技术的一个方面，编码器采用神经辐射场进行预训练具体为将数据集中的点云和三维模型的渲染视图输入编码器，输出多层感知器的参数，多层感知器代表一个隐式函数。
10.根据本技术的一个方面，三维模型分为两个独立的表示：点云和多视角点云，编码器对点云进行下采样，获取一组嵌入，结合学习到的输入嵌入得到一个查询序列，通过交叉关注补丁嵌入的多视角点云更新查询序列，使用转换器处理查询序列，得到潜在向量，引入双曲正切函数，激活潜在向量，最终得到扩散模型的潜在向量。
11.根据本技术的一个方面，编码器利用神经辐射场渲染进行预训练，具体为：遵循nerf公式，计算得到第一个损失l
rgb
：
12.其中r为光线方向， c(r)为颜色；对每条光线的透射率添加额外的损失，一条光线的积分密度给出了粗渲染和细渲染的透射率估计估算值分别为与, 使用来自真实渲染结果的图像通道来获取透射率目标t(r)，从而得到第二个损失l
t
：
13.对联合目标进行优化后：
14.根据本技术的一个方面，所述步骤s1进一步为：步骤s11、构建与3d生成模型数据连接的模型生成辅助模块，所述模型生成辅助模块用于存储3d打印模型相关参数和生成约束，在接收到输入的图像或文本后，基于所述生成约束对图像或文本进行优化修正，获得第一优化输入数据；步骤s12、将第一优化输入数据输出至用户交互界面，接收用户输入的确认或修正信息并响应，再将响应结果传送给3d生成模型。
15.根据本技术的一个方面，所述步骤s2还包括：步骤s21、构建3d模型校验模块，所述3d模型校验模块包括基于打印材料参数集合构建的弹性参数网格；步骤s22、通过模型分割单元将3d模型分割成若干对象区域，判断是否存在重点区域，并针对每一重点区域，计算重点区域中的弹性参数是否超出阈值；所述重点区域包括区域曲率大于预设值、联接区域或过渡区域的截面积小于预设值、垂直方向上的长度与直径比大于预设值；若存在重点区域，进入下一步，否则，结束；步骤s23、通过3d模型校验模块查找所述重点区域，并将间距小于阈值的重点区域连通成整体区块，形成不连通的重点区域集合，并根据重点区域的类型进行分类；
步骤s24、针对每一类型的不连通的重点区域，接收用户输入的调整信息，并响应，给出模型修正建议；根据模型修正建议对3d打印模型进行修正。
16.根据本技术的一个方面，所述步骤s21中，构建模型生成辅助模块的过程包括：步骤s21a、采集3d打印过程中各个原料的物理参数和化学参数，形成原料参数数据集；步骤s21b、针对每一原料，构建不同尺寸的通用打印形态模型，采用3d打印机进行打印，并对打印效果进行评价，获得每一原料对应的打印形态的上下界数据；步骤s21c、基于上下界数据，构建弹性参数网格，形成每一原料的弹性参数权重集合。
17.根据本技术的一个方面，所述步骤s24中，对3d打印模型进行修正的过程包括：步骤s24a、读取所有的重点区域，作为动态调整区域集合，并将除重点区域之外的其他区域作为静态区域集合；步骤s24b、响应用户输入的调整信息，并对动态调整区域集合进行修改，形成修改方案集合；通过图像重建模块顺次调用修改方案，并于静态区域集合融合，形成修正模型集合，对每一修正模型进行结构分析，获得至少两个最终修正方案；步骤s24c、将最终修正方案发送到用户界面，并接收用户的选择指令确定定稿模型，并对定稿模型进行最终优化。
18.根据本技术的一个方面，所述步骤s03还包括：将sdf和纹理颜色的近似值提炼到输出头中，直接用可区分的渲染进行训练；对输入坐标进行随机采样，使用point-e的sdf回归模型获得sdf蒸馏目标，使用rgb点云中最近的邻居的颜色获得rgb目标。
19.有益效果：本发明通过提供一种基于大数据深度学习的文本生成3d打印模型方法，提高了生成三维模型的速度和清晰度。更为具体的是，针对现有技术生成的模型，没有针对3d打印进行设计，在很多场景下，无法进行打印，或者打印效果很差的情况，提供了一种解决方案，为3d打印，比如食品、药品、工艺品的3d打印提供了一种可行的技术方案。
附图说明
20.图1为本发明的流程图。
21.图2为本发明训练步骤s0的流程图。
22.图3为本发明步骤s1的流程图。
23.图4为本发明某一实施例的步骤s2的流程图。
24.图5为本发明步骤s21的流程图。
25.图6为本发明步骤s24的流程图。
实施方式
26.随着生成图像模型的爆炸性增长，人们对训练类似的生成性模型的兴趣越来越大，例如音频、视频和3d模型等。这些模式中的大多数都适合使用自然、固定大小的张量表示，例如图像的像素网格或音频的样本阵列。然而，如何以一种高效生成并易于在下游应用中使用的方式来表示三维模型，却不太清楚。
27.最近提出的显示三维生成模型point-e，是一种基于点云的显式生成模型，使用接
收到的内容创建3d点云模型，然后转换为网格。现有的一些研究旨在通过在显式三维表征上训练自编码器，然后在产生的潜空间中训练生成模型来生成3d模型。它通常受到固定分辨率的限制或者缺乏充分表达三维模型的能力，这导致生成三维模型的速度较为缓慢，生成的结果也不够精确，三维模型大多比较模糊。
28.本发明提出一种基于大数据深度学习的文本生成3d打印模型方法，具体为接收输入的图像或文本，生成隐式函数的参数，渲染函数的参数，生成三维模型。
29.本发明还包括两个阶段的训练，第一阶段为训练一个编码器，产生隐式表征，提取隐式表征中的潜在表征；第二阶段为在编码器提取的潜在表征上训练扩散模型。
30.根据本技术的一个方面，渲染函数的参数具体为渲染成纹理网格和神经辐射场。
31.渲染纹理网格的过程可以为：需要准备三维模型文件和对应的纹理图像文件，将三维模型文件和纹理图像文件加载到内存中，并进行解析和预处理，据三维模型文件中的顶点、面片等信息，创建对应的网格结构，并为每个面片分配一个唯一的id号。为了实现光照效果，需要计算每个面片的法向量。通常使用平均法线或插值法线等方法来计算法向量。将纹理图像映射到网格表面上，通常使用uv坐标来表示每个顶点在纹理图像中的位置。使用图形库，将网格结构和纹理信息传递给gpu进行渲染。在渲染过程中，可以设置光照、阴影、反射等效果，以增强模型的真实感。
32.根据本技术的一个方面，编码器采用神经辐射场进行预训练，向神经辐射场中的多层感知器添加额外的输出头，预测有符号距离函数值和纹理颜色。
33.在进一步的实施例中，只用nerf渲染目标来预训练编码器，因为发现这比基于网格的目标更稳定，可以进行优化。在nerf预训练之后，为sdf和纹理颜色预测增加了额外的输出头，并使用两阶段过程训练这些头。
34.在只对nerf进行预训练后，在mlp中增加了额外的stf输出头，预测sdf值和纹理颜色。为了构建一个三角形网格，沿着一个规则的128
3 网格查询顶点的sdf，并应用 marching cubes 33的可微调实现。然后，在得到的网格的每个顶点查询纹理颜色头。使用pytorch3d对得到的纹理网格进行可区分的渲染。总是用相同的照明配置进行渲染，这与用于预处理数据集的照明配置是相同的。
35.根据本技术的一个方面，扩散模型采用了潜在向量序列，扩散模型的输出参数化预测数据样本。
36.在进一步的实施例中，对于生成模型，采用了point-e的基于转化器的扩散结构，但用潜在向量序列代替了点云。潜在向量是形状为1024
×
1024的序列，将其作为1024个标记的序列送入转化器，每个标记对应不同行的mlp权重矩阵。因此，模型在计算上与基本的point-e模型大致具有相同的计算等效性，同时由于输入和输出通道增加而在更高维度空间中生成样本。
37.遵循与point-e相同的调节策略。对于图像条件的生成，把256个标记的clip嵌入序列预置到transformer上下文。对于文本条件的生成，预置一个包含clip文本嵌入的单一标记。为了支持无分类指导，在训练期间以0.1的概率将条件信息随机地设置为零。与point-e不同的是，没有将扩散模型的输出参数化为随机噪声的预测。相反，直接预测数据样本，这在代数上等同于预测随机噪声，但在早期实验中产生了更多连贯的样本。
38.根据本技术的一个方面，训练一个编码器时采用底层三维模型数据集，渲染每个
数据集中的三维模型的60个视图，生成16k的点云。
39.在进一步的实施例中，为了计算点云，对每个物体渲染60个视图，而不是20个，发现，只使用20个视图有时会导致推断出的点云出现小裂缝。生产的点云是16k点，而不是4k点。在为训练编码器渲染视图时，简化了照明和材料。特别是，所有的模型都是用一个固定的照明配置来渲染的，只支持漫反射和环境阴影。这使得用可区分的渲染器来匹配照明设置变得更加容易。对比文本条件模型和对应的point-e基础模型，采用了一个扩大的基础三维模型和文字说明的数据集。对于这个数据集，从高质量的数据源收集了大约100多万个3d模型。此外 ，从人类标签者那里收集了12万个标题，用于数据集的高质量子集。在文本到3d模型的训练过程中，当人类提供的标签和原始文本说明都可用时，会在两者之间随机选择。
40.在进一步的实施例中，渲染函数的过程还可以为：描述相机在世界坐标系中的位置和朝向，用于将三维场景转换到相机坐标系中。描述相机的投影方式，例如透视投影或正交投影，用于将相机坐标系中的物体投影到二维屏幕上。描述物体在世界坐标系中的位置、旋转和缩放等变换信息，用于将物体从模型空间转换到世界空间。描述光源在世界坐标系中的位置、颜色和强度等信息，用于计算光照效果。描述物体表面材质的颜色、反射率、折射率等属性，用于计算反射、折射等效果。
41.在进一步的实施例中，训练一个编码器，根据已知三维模型的密集显式表示生成隐式函数的参数，具体而言，编码器生成三维模型的潜在表征，然后线性投影以获得多层感知机的权重；在将编码器应用于数据集后获得的潜在数据集上训练一个扩散先验模型，该模型可以根据图像或文本描述进行条件约束，在一个包含大量三维模型、相应渲染图像、点云和文字说明的数据集上训练所有模型。
42.根据本技术的一个方面，编码器采用神经辐射场进行预训练具体为将数据集中的点云和三维模型的渲染视图输入编码器，输出多层感知器的参数，多层感知器代表一个隐式函数。
43.在进一步的实施例中，给编码器提供点云和三维模型的渲染视图，它输出多层感知器mlp的参数，该感知器将模型表示为一个隐含函数。点云和输入的视图都是通过交叉注意来处理的，然后是一个转化器主干，将潜在的表征产生为一个向量序 列。这个序列中的每个向量然后通过一个潜在的瓶颈和投影层，其输出被视为所产生的 mlp权重矩阵的单一行。在训练期间，mlp被查询，输出被用于图像重建损失或蒸馏损失。
44.根据本技术的一个方面，三维模型分为两个独立的表示：点云和多视角点云，编码器对点云进行下采样，获取一组嵌入，结合学习到的输入嵌入得到一个查询序列，通过交叉关注补丁嵌入的多视角点云更新查询序列，使用转换器处理查询序列，得到潜在向量，引入双曲正切函数，激活潜在向量，最终得到扩散模型的潜在向量。
45.在进一步的实施例中，给编码器提供了两个独立的3d模型的代表：点云，对于每个三维模型，预先计算出一个有16384个点的rgb点云；多视角点云，除了点云之外，以256
×
256的分辨率从随机的相机角度对每个三维模型渲染20个视图。用一个（x，y，z）表面坐标来增强每个前景像素，得到一个形状为256
×
256
×
7的图像。应用一个8
×
8补丁嵌入这些增强的渲染，产生一个代表多视角点云的20480个向量序列。
46.编码器首先使用一个点卷积层，将输入的点云下采样为一组1k的嵌入。这组嵌入与学习到的输入嵌入h
l ，得到一个查询序列h。然后，用一个引用输入点云的单一交叉注意
力层来更新h。接下来，通过交叉注意到补丁嵌入的多视角点云m来再次更新h，对h应用一个变换器，并将1k个后缀标记作为潜在向量，然后将tanh(x)激活到这些潜像上，将它们夹在[-1, 1]的范围内，由此得到了扩散模型所针对的潜在向量，这样能够更好的捕捉输入的3d模型的细节。
[0047]
根据本技术的一个方面，预训练还包括将有符号距离函数值和纹理颜色的近似值提炼到输出头中，用可区分的渲染进行训练。
[0048]
在实施例中，发现随机初始化的stf输出头是不稳定的，很难用基于渲染的目标进行训练。为了缓解这个问题，首先将sdf和纹理颜色的近似值提炼到这些输出头中，然后再直接用可区分的渲染进行训练。特别是，对输入坐标进行随机采样，使用point-e的sdf回归模型获得sdf蒸馏目标，使用rgb点云中最近的邻居的颜色获得rgb目标。在蒸馏训练期间，使用蒸馏损失和预训练的nerf损失之和：
[0049]
一旦stf输出头通过蒸馏被初始化为合理的值，就对nerf和stf渲染的编码器进行端到端的微调。发现在stf渲染中使用l1-loss是不稳定的，所以在这种渲染方法中只使用l2-loss。特别是，为stf渲染优化了以下损失：
[0050]
其中，n是图像的数量，s是图像的分辨率，meshi是样本i的构建网格，imagei是图像i的目标rgba渲染，render(x)使用可区分渲染器渲染网格。不包括单独的透射率损失，因为这已经被图像的alpha通道所捕获。
[0051]
在这最后的微调步骤中，优化总和目标：
[0052]
根据本技术的一个方面，编码器利用神经辐射场渲染进行预训练，具体为：遵循原始的nerf公式，得到第一个损失：
[0053]
其中r为光线方向， c(r)为颜色，对每条光线的透射率添加了额外的损失，一条光线的积分密度给出了粗渲染和细渲染的透射率估计估算值分别为与, 使用来自真实渲染结果的图像通道来获取透射率目标t(r)，从而得到第二个损失：对联合目标进行优化后：
[0054]
在进一步的实施例中，在很大程度上遵循原始的nerf公式，只是在粗模型和细模型之间共享参数。对每个训练样本随机采样4096条光线，并在真实颜色c(r)和nerf预测颜
色之间最小化第一个损失，
[0055]
还对每条光线的透射率添加了额外的损失，具体而言，一条光线的积分密度会给出粗糙渲染和细致渲染的透射率估计与,。使用来自地面真实渲染的alpha通道来获取透射率目标t(r)，从而得到第二个损失。
[0056][0057]
然后对联合目标进行优化：
[0058]
在整个编码器训练过程中跟踪两个基于渲染的指标。首先，评估重建图像和地面真实渲染图像之间的峰值信噪比（psnr）。此外，为了衡量编码器对三维模型的语义相关细节的捕捉能力，对由最大的point-e模型产生的网格进行编码，并重新评估重建的nerf和stf渲染的clip r-精度。在训练的不同阶段跟踪这两个指标，如下表所示，评估每个阶段训练后的编码器，评估了重建和地面真实渲染之间的psnr，以及来自point-e 1b的样本重建的clip r-精度，其中峰值性能大约是46.8%。实验发现，蒸馏损害了nerf的重建质量，但是微调恢复了并略微提高了nerf的质量，同时大幅提高了stf渲染的质量。
[0059]
潜在扩散模型与point-e共享相同的结构、训练数据集和条件模式，所以与point-e的对比有助于确定生成隐式神经表征和显式表征之间的影响。实验发现这些模型对相同的文本提示经常产生定性不同的样本。且与point-e生成的模型相比本技术生成的模型质量明显更好，图像也更清晰，而且在实验过程中本技术只需要十几秒钟就可以生成模型，而point-e则需要更长的时间，因此本技术也提高了生成模型的速度。
[0060]
在进一步的实施例中，所述步骤s1进一步为：步骤s11、构建与3d生成模型数据连接的模型生成辅助模块，所述模型生成辅助模块用于存储3d打印模型相关参数和生成约束，在接收到输入的图像或文本后，基于所述生成约束对图像或文本进行优化修正，获得第一优化输入数据；步骤s12、将第一优化输入数据输出至用户交互界面，接收用户输入的确认或修正信息并响应，再将响应结果传送给3d生成模型。
[0061]
为了提高3d打印模型的可用率，本技术提供了一种模型生成辅助模块，具体是对用户的输入数据，比如图像或文本进行预处理，从而提高模型生成方向的准确性，降低模型的不可靠率。比如生成的模型中有较多的尖角或较细的部分，在3d打印的过程中，会出现塌陷或精度无法满足等问题。在本实施例中，通过构建与3d生成模型连接的模型生成辅助模块，对预输入的数据进行分析和判断，反馈给用户一些建议，从而为高质量的模型生成提供基础。
[0062]
比如用户输入“一只背上具有绿树的乌龟”，如果没有辅助模块，则3d生成模型有可能会生成细节比较多的绿树，而如果采用巧克力来打印上述模型，则打印精度无法达到预期，而且绿树枝叶下方没有支撑，因此会造成塌陷，进而给用户的产品无法满足要求。在有了预处理模块之后，可以给出预处理建议，从而建议修改为一只背上具有蘑菇的乌龟或
者一只背上具有松树的乌龟，从而使得生成的模型能够符合相关要求。
[0063]
总之，在本实施例中，通过构建模型生成辅助模块，可以快速存储和管理3d打印模型相关参数和生成约束，从而提高数据处理效率。基于所述生成约束对图像或文本进行优化修正，可以精确控制3d打印模型的生成过程，保证生成结果的准确性。将第一优化输入数据输出至用户交互界面，并接收用户输入的确认或修正信息并响应，可以实现用户与系统之间的良好互动，提高用户体验。通过存储3d打印模型相关参数和生成约束，可以根据不同需求进行个性化定制，满足不同用户的需求。
[0064]
根据本技术的一个方面，所述步骤s2还包括：步骤s21、构建3d模型校验模块，所述3d模型校验模块包括基于打印材料参数集合构建的弹性参数网格；步骤s22、通过模型分割单元将3d模型分割成若干对象区域，判断是否存在重点区域，并针对每一重点区域，计算重点区域中的弹性参数是否超出阈值；所述重点区域包括区域曲率大于预设值、联接区域或过渡区域的截面积小于预设值、垂直方向上的长度与直径比大于预设值；若存在重点区域，进入下一步，否则，结束；步骤s23、通过3d模型校验模块查找所述重点区域，并将间距小于阈值的重点区域连通成整体区块，形成不连通的重点区域集合，并根据重点区域的类型进行分类；步骤s24、针对每一类型的不连通的重点区域，接收用户输入的调整信息，并响应，给出模型修正建议；根据模型修正建议对3d打印模型进行修正。
[0065]
具体而言，即使增加了预处理模块，即生成辅助模块，在后续生成的模型中，整体上大致是符合打印要求的，但是部分区域有可能不符合要求，这个情况，是用户无法进行判断的，在模型未生成之前，也是无法进行审核的，因此在模型生成之后，通过模型校验模块，对模型进行整体分析，判断模型是否能够符合打印要求。比如，一只背上具有松树的乌龟，由于松树的形态是锥形，因此大部分的区域是符合打印要求的，如果生成的模型中，部分过渡很大，比如曲面的曲率变化很大，则在打印的时候，有可能无法达到打印精度，进而使得打印原料被堆积在龟背上，同时曲率变化很大，对于打印路径的生成和打印速度的调整也提出了较高的要求，使得3d打印机无法满足相关要求。因此，需要对局部的区域进行修正。类似这样的情况，一个打印模型中可能会出现多个区域，为此，需要对各个区域进行调整优化，从而获得更好的模型，为客户展示更好的3d打印产品。由于这些区域，通过人眼很难观察，客户也没有办法进行判断，因此通过构建检验模块，对模型进行计算，比如材料为巧克力时，其凝固时间、流动度、粘性、密度等是判断其能否形成某些形态的主要指标，因此通过这些参数构建弹性网格，每个网格中的材料参数相对均一，即可判断是否能够生成符合条件的模型，在另外一些区域，原料为粘稠度较高的糖，那么根据糖的相关参数构建的弹性系数网格，即可判断能否符合打印的要求。
[0066]
在本实施例中，通过判断重点区域中的弹性参数是否超出阈值，并根据重点区域的类型进行分类，可以精确控制3d打印模型的生成过程，保证生成结果的准确性。通过构建3d模型校验模块，可以快速对3d打印模型进行校验和修正，提高数据处理效率。
[0067]
具体地，根据本技术的一个方面，所述步骤s21中，构建模型生成辅助模块的过程包括：步骤s21a、采集3d打印过程中各个原料的物理参数和化学参数，形成原料参数数
据集；可以快速对3d打印模型进行校验和修正，提高数据处理效率。
[0068]
步骤s21b、针对每一原料，构建不同尺寸的通用打印形态模型，采用3d打印机进行打印，并对打印效果进行评价，获得每一原料对应的打印形态的上下界数据；可以精确控制3d打印模型的生成过程，保证生成结果的准确性。
[0069]
步骤s21c、基于上下界数据，构建弹性参数网格，形成每一原料的弹性参数权重集合。可以构建不同尺寸的通用打印形态模型，并根据不同需求进行个性化定制。
[0070]
该技术方案可以根据需要不断扩充原料参数数据集和弹性参数权重集合，以适应更多种类、更复杂的3d打印材料。因此在本实施例中，通过不同的实验，可以不断增加数据集的案例，从而不断提高3d参数的数据集，为精准打印提供基础。
[0071]
辅助模块的构建过程，还可以通过现有的打印模型，比如现有的已经构建好的或者打印好的模型，反算相关参数，从而获得评价信息。具体可以为：使用3d扫描仪对已经打印好的实物进行扫描，获取其三维坐标点云数据。对点云数据进行滤波、去噪、重构等预处理操作，以去除噪声和不必要的信息，并生成连续的曲面网格模型。使用cad软件或其他三维建模软件对曲面网格模型进行修复、优化和加工，以便于后续的处理。
[0072]
或者，对物体的结构进行分析和优化，生成具有特定功能和性能的三维模型。对三维模型进行修复、优化和加工，以便于后续的3d打印信息处理。在食品3d打印中可以使用拓扑优化法对蛋糕进行结构分析和优化，生成具有特定形状和纹理的三维模型。然后，可以对三维模型进行修复和优化，以便于后续的3d打印处理。最后，将优化后的三维模型导入到3d打印机中进行打印即可。
[0073]
再者，使用计算机视觉技术对食物进行图像分析和处理，提取出其表面特征并转换为三维几何信息。对三维几何信息进行修复、优化和加工，以便于后续的3d打印信息处理。在食品3d打印中可以使用计算机视觉技术对面包进行图像分析和处理，提取出其表面特征并转换为三维几何信息。然后，可以对三维几何信息进行修复和优化，以便于后续的3d打印信息处理。
[0074]
换句话说，通过不同的方法，快速获得大量的不同材料的不同模型，为构建检验模型参数提供参考，不断扩充检验的参数集合，提高检验的性能和效率。
[0075]
根据本技术的一个方面，所述步骤s24中，对3d打印模型进行修正的过程包括：步骤s24a、读取所有的重点区域，作为动态调整区域集合，并将除重点区域之外的其他区域作为静态区域集合；步骤s24b、响应用户输入的调整信息，并对动态调整区域集合进行修改，形成修改方案集合；通过图像重建模块顺次调用修改方案，并于静态区域集合融合，形成修正模型集合，对每一修正模型进行结构分析，获得至少两个最终修正方案；步骤s24c、将最终修正方案发送到用户界面，并接收用户的选择指令确定定稿模型，并对定稿模型进行最终优化。
[0076]
在进一步的实施例中，动态调整区域集合的生成可以通过识别3d模型的特征点来实现。根据3d模型特征点的密度，将模型空间划分为多个子区域，子区域内特征点密度较高的识别为重点区域，形成动态调整区域集合，同时形成静态区域集合。
[0077]
同时，通过引入智能优化算法，针对用户输入的调整信息，不仅仅对动态调整区域
集合进行修改，同时也可以自动分析并优化静态区域集合。优化后的动态调整区域及静态区域在一起形成多个修正模型集合，并为每个修正模型生成修正方案。通过对各修正方案的结构分析，筛选出至少两个最终修正方案。
[0078]
除了发送修正方案至用户界面外，还可以根据用户以往选择行为和喜好，预测用户可能的选择倾向，并为用户提供个性化推荐的修正方案。此外，在用户选择确定定稿模型后，可以采用更高级的网格优化、拓扑优化和强度分析方法，以确保模型的质量和性能。
[0079]
总之，在本发明中，该技术方案可以自动化生成3d模型，减少了人工操作的时间和成本。通过读取重点区域并进行动态调整，可以更加精细地修正模型，提高了修正的准确性和效率。可以响应用户输入的调整信息，并形成修改方案集合，满足用户个性化需求。通过结构分析获得至少两个最终修正方案，提供多种选择，增加了灵活性和可选性。最终优化可以进一步提高模型的质量和精度。
[0080]
在具体的过程中，可以使用深度学习算法对三维模型数据进行特征提取，例如使用卷积神经网络（cnn）对点云或网格进行卷积操作，提取出其局部和全局特征。可以使用多层感知机（mlp）或其他深度学习模型对提取出的特征进行进一步处理和筛选，以提高特征的准确性和鲁棒性。将提取出的局部和全局特征进行融合，例如使用自注意力机制（self-attention）或其他融合方法将不同尺度、不同层次的特征进行整合。可以使用多层感知机或其他深度学习模型对融合后的特征进行进一步处理和筛选，以提高特征的表达能力和稳定性。将融合后的特征输入到模型中，例如使用变分自编码器（vae）或生成对抗网络（gan）等深度学习模型重新生成三维模型，这些三维模型可以作为校验模块的参考。可以使用cad软件或其他三维建模软件对生成的三维模型进行修复、优化和加工，以便于后续的3d打印。对生成的三维模型进行评估，并根据评估结果对算法进行优化。可以使用各种指标来评估生成的三维模型质量，例如重建误差、形状相似度、纹理相似度等指标。根据评估结果对算法进行优化，例如调整网络结构、改进特征提取和融合方法等。
[0081]
以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

技术特征：
1.基于大数据深度学习的文本生成3d打印模型方法，其特征在于，包括如下步骤：步骤s1、调用预训练的3d生成模型，接收输入的图像或文本；生成隐式函数的参数；步骤s2、基于参数渲染纹理网格和神经辐射场，随后生成三维模型。2.根据权利要求1所述基于大数据深度学习的文本生成3d打印模型方法，其特征在于，还包括3d生成模型的训练步骤s0：步骤s01、训练一个编码器，产生隐式表征，提取隐式表征中的潜在表征；编码器采用神经辐射场进行预训练，向神经辐射场中的多层感知器添加额外的输出头，预测有符号距离函数值和纹理颜色，训练编码器时采用底层三维模型数据集，渲染每个数据集中的三维模型的60个视图，生成16k的点云；步骤s02、在编码器提取的潜在表征上训练扩散模型，扩散模型采用潜在向量序列，扩散模型的输出参数化预测数据样本；步骤s03、将有符号距离函数值和纹理颜色的近似值提炼到输出头中，用可区分的渲染进行训练。3.根据权利要求2所述基于大数据深度学习的文本生成3d打印模型方法，其特征在于，编码器采用神经辐射场进行预训练具体为将数据集中的点云和三维模型的渲染视图输入编码器，输出多层感知器的参数，多层感知器代表一个隐式函数。4.根据权利要求2所述基于大数据深度学习的文本生成3d打印模型方法，其特征在于，三维模型分为两个独立的表示：点云和多视角点云，编码器对点云进行下采样，获取一组嵌入，结合学习到的输入嵌入得到一个查询序列，通过交叉关注补丁嵌入的多视角点云更新查询序列，使用转换器处理查询序列，得到潜在向量，引入双曲正切函数，激活潜在向量，最终得到扩散模型的潜在向量。5.根据权利要求2所述基于大数据深度学习的文本生成3d打印模型方法，其特征在于，编码器利用神经辐射场渲染进行预训练，具体为：遵循nerf公式，计算得到第一个损失l
rgb
：其中r为光线方向，c(r)为颜色；对每条光线的透射率添加额外的损失，一条光线的积分密度给出了粗渲染和细渲染的透射率估计估算值分别为与, 使用来自真实渲染结果的图像通道来获取透射率目标t(r)，从而得到第二个损失l
t
：对联合目标进行优化后：。6.根据权利要求4所述基于大数据深度学习的文本生成3d打印模型方法，其特征在于，所述步骤s1进一步为：步骤s11、构建与3d生成模型数据连接的模型生成辅助模块，所述模型生成辅助模块用于存储3d打印模型相关参数和生成约束，在接收到输入的图像或文本后，基于所述生成约
束对图像或文本进行优化修正，获得第一优化输入数据；步骤s12、将第一优化输入数据输出至用户交互界面，接收用户输入的确认或修正信息并响应，再将响应结果传送给3d生成模型。7.根据权利要求6所述基于大数据深度学习的文本生成3d打印模型方法，其特征在于，所述步骤s2还包括：步骤s21、构建3d模型校验模块，所述3d模型校验模块包括基于打印材料参数集合构建的弹性参数网格；步骤s22、通过模型分割单元将3d模型分割成若干对象区域，判断是否存在重点区域，并针对每一重点区域，计算重点区域中的弹性参数是否超出阈值；所述重点区域包括区域曲率大于预设值、联接区域或过渡区域的截面积小于预设值、垂直方向上的长度与直径比大于预设值；若存在重点区域，进入下一步，否则，结束；步骤s23、通过3d模型校验模块查找所述重点区域，并将间距小于阈值的重点区域连通成整体区块，形成不连通的重点区域集合，并根据重点区域的类型进行分类；步骤s24、针对每一类型的不连通的重点区域，接收用户输入的调整信息，并响应，给出模型修正建议；根据模型修正建议对3d打印模型进行修正。8.根据权利要求7所述基于大数据深度学习的文本生成3d打印模型方法，其特征在于，所述步骤s21中，构建模型生成辅助模块的过程包括：步骤s21a、采集3d打印过程中各个原料的物理参数和化学参数，形成原料参数数据集；步骤s21b、针对每一原料，构建不同尺寸的通用打印形态模型，采用3d打印机进行打印，并对打印效果进行评价，获得每一原料对应的打印形态的上下界数据；步骤s21c、基于上下界数据，构建弹性参数网格，形成每一原料的弹性参数权重集合。9.根据权利要求7所述基于大数据深度学习的文本生成3d打印模型方法，其特征在于，所述步骤s24中，对3d打印模型进行修正的过程包括：步骤s24a、读取所有的重点区域，作为动态调整区域集合，并将除重点区域之外的其他区域作为静态区域集合；步骤s24b、响应用户输入的调整信息，并对动态调整区域集合进行修改，形成修改方案集合；通过图像重建模块顺次调用修改方案，并于静态区域集合融合，形成修正模型集合，对每一修正模型进行结构分析，获得至少两个最终修正方案；步骤s24c、将最终修正方案发送到用户界面，并接收用户的选择指令确定定稿模型，并对定稿模型进行最终优化。10.根据权利要求2所述基于大数据深度学习的文本生成3d打印模型方法，其特征在于，所述步骤s03还包括：将sdf和纹理颜色的近似值提炼到输出头中，直接用可区分的渲染进行训练；对输入坐标进行随机采样，使用point-e的sdf回归模型获得sdf蒸馏目标，使用rgb点云中最近的邻居的颜色获得rgb目标。

技术总结
本发明提出了一种基于大数据深度学习的文本生成3D打印模型方法，将文本或图像直接生成可以呈现为纹理网格和神经辐射场的隐式函数参数，之后再渲染成三维模型。与基于点云的显式生成模型Point-E相比，本发明收敛更快，并且在建模高维度、多重表示输出空间时达到了可比或更好的样本质量。比或更好的样本质量。比或更好的样本质量。


技术研发人员：周海鹏 孙伟 周亮
受保护的技术使用者：南京威布三维科技有限公司
技术研发日：2023.06.06
技术公布日：2023/8/13