一种文物图像识别与精细化模型构建方法

1.本发明涉及图像识别及模型构建领域，尤其涉及一种文物图像识别与精细化模型构建方法。


背景技术：

2.现有技术中雕塑文物艺术的数字化研究包括沉浸式展示、彩塑三维重建、主题投影展示和多媒体呈现；以及提出通过数字化技术实现艺术元素的提炼加工和二次创作从而形成较为完整的文化产业链；以及具体的数字化信息采集，和基于二维图像的自动三维数字化建模、基于二位线稿手动建模以及绘制贴图等数字化保护方式；以及利用trimble cx 3d扫描仪对于文物进行3d扫描和建立三维模型的过程；以及研究三维扫描、三维建模、三维打印技术在文物仿制、文物碎片拼接、和残缺文物修复中的优势分析，以及存在的不足与问题。
3.根据不同文物的不同的特征，从而选择不同的设备以及通过不同的参数化调整，达到雕刻文物的数字化信息采集，还有通过建立的三维模型，衍生出效果图，展示视频等数字化成果，为石刻类文物保护提供了有益的研究思路和手段。本发明研究了基于3ds max建模技术，对于古建筑文化遗产的数字化保护，以及几种不同的建筑实体的建造方法，这为完善古建筑数字化保护提供了新思路。同时本发明提供了雕塑文物的三维数字建模可供参考的方式方法，提高了文物保护研究效率和效益。


技术实现要素：

4.为了实现上述目标，本发明在三维模型建立完整后进行表面肌理与色彩信息的生成，采用绘制贴图的方法与渲染技术相结合的方式来进行色彩修复。通过对文物艺术特征分析、文物造像信息的获取、三维模型的建立及拓补、表面肌理与色彩信息的生成等步骤，增加数字化保护的效率。本发明具体采取如下技术方案：一种文物图像识别与精细化模型构建方法，该方法包括如下步骤：（1）文物的数字信息获取文物扫描，通过分站扫描的方法，按照文物雕塑的结构，将雕塑划分成不同的被扫描区域，然后再逐一扫描；数据处理，在完成一件文物造像的扫描后，将扫描多余的、重复的部分删除，然后再将扫描的各个角度的模型块拼合到一起，然后修补没有扫描到的部分，直至生成一个封闭的，完整的，细节较为丰富的模型；（2）三维数字建模（2.1）根据扫描的现有信息，通过maya软件中的绘制多边形工具，以及四边形绘制工具，对模型进行拓补，得到完整的大型，然后将完整的大型导入zbrush中，再将扫描的造像模型同时导入zbrush，通过zbrush中的project all 投射功能，将已有的大部分细节信息投射到参数化建模完成的完整低模上，最后再将细节处理完整，得到完整的造像形体；
（2.2）将模型的三视图照片在ps中处理成为线稿模式，将得到的线稿导入maya中，调低图片的透明度，开启动态捕捉，手动对照图片进行点线面的建模，然后将得到的基础低模导入zbrush，最后参考现场得到的照片信息，进行细部的雕刻；（2.3）将扫描后的信息导入zbrush中，在zbrush中通过建立z球的方式，填充破碎的有漏洞的模型。最终将z球转换为可编辑模式，与原有模型合并得到封闭的可编辑的模型；（3）表面肌理与色彩信息的生成（3.1）在zbrush中还原物体的色彩信息，首先分析文物的材质与设色，然后对色彩信息进行复原，在绘制颜色前需要先将具有不同质感、不同颜色的区域进行分组；（3.2）将建立好的高精度模型导入到zbrush当中，然后在texture面板中，导入与该模型相对应的高清照片，然后点击add to spotliqht，之后会弹出lightbox的界面，先将lightbox界面关掉，然后使用环形工具的spotlight面板对图片和模型进行匹配。通过缩放调整图片的大小将图片中的信息与模型中的信息匹配、重合；（3.3）将zbrush中带有细分的模型切换到最低级别，导出模型文件，在maya中舒展uv，在maya舒展好uv之后，将uv传递到zbrush当中烘焙高模的法线贴图，然后将maya模型导出到 substance painter，进行贴图绘制，将烘焙好的模型法线贴到substance painter里面对应的uv象限上，进行烘焙，烘焙完成后，看所烘焙的法线是否与低模匹配，最后制作贴图。
5.本发明具有如下有益效果：（1）通过三维扫描的方式，进行数据采集。
6.（2）通过三维建模技术与数字雕塑技术相结合的方式，探究更为高效、便捷的数字化保护方式。
7.（3）通过表面肌理与色彩信息的生成，来达到造像数字化信息的完整，从而达到文物造像的数字化保护与永久保存。
实施方式
8.（4）文物的数字信息获取文物扫描，在扫描过程中要注意：为了能够更好的捕捉被扫描对象的信息，需要将手持式扫描仪与文物保持半米左右的距离。同时为了有更好的扫描效果，要匀速的扫描，不能在同一个区域重复扫描，以防止扫描的模型数据出现大量的重叠层。否则会为后期的合成造成较大的困难。由于此次扫描的文物具有色彩信息，且色彩为颜色较深或较为鲜亮的色彩，于是就不存在激光点无法识别表面信息的情况。 在扫描过程中发现，文物造像结构复杂多变，细节丰富。而由于3d scanner手持式扫描仪精度不支持手办级别的扫描，于是在扫描雕塑造像凹陷区域与精细的浮雕与背光区域时,三维扫描仪无法捕捉到造像信息。 通过分站扫描的方法，按照文物雕塑的结构，将雕塑划分成不同的被扫描区域，然后再逐一扫描。但是在分站扫描的过程中组与组之间要相互关联，要有信息重合的区域。这样做的目的是为了方便后期的自动拟合。分站扫描的优势一是可以降低每次扫描的数据大小，可以保证扫描快速高效地完成。二是使扫描信息量更加丰富，最终得到的效果更加完整。
9.数据处理，在完成一件文物造像的扫描后，需要对扫描的模型进行合成与粗略的
配准等工作，用到了与扫描仪相适配的合成软件。由于时间、环境、工具等条件限制，在扫描的过程中无法直接一次扫描成功，于是只能在同一模型上多次扫描，然后进行分组。最后将扫描多余的、重复的部分删除，然后再将扫描的各个角度的模型块拼合到一起。然后修补没有扫描到的部分，直至生成一个封闭的，完整的，细节较为丰富的模型。由于文物的体量较大，在进行分站扫描后的数据仍然较大，所携带笔记本电脑内存较小，运算处理速度较慢。所以需要大量的时间来进行合成。于是只在软件中进行基本的配准与拟合，查看扫描效果然后对信息进行保存。
10.（5）三维数字建模由于造像结构复杂特殊，多为高浮雕，以及浮雕壁画与圆雕相结合的特殊结构，有较多的扫描盲区。造成了扫描的困难，导致信息获取不够完整。模型网格破碎，不是闭合网格。在将模型信息完整化的过程中，采用三种不同的方式进行建模，寻找出更加便捷高效的建模方式来处理扫描信息不够完整这一实际问题。
11.（2.1）根据扫描的现有信息，通过maya软件中的绘制多边形工具，以及四边形绘制工具，对模型进行拓补，得到完整的大型，然后将完整的大型导入zbrush中，再将扫描的造像模型同时导入zbrush，通过zbrush中的project all 投射功能，将已有的大部分细节信息投射到参数化建模完成的完整低模上。最后再将细节处理完整，得到完整的造像形体。
12.（2.2）将模型的三视图照片在ps中处理成为线稿模式，将得到的线稿导入maya中，调低图片的透明度，开启动态捕捉，手动对照图片进行点线面的建模，然后将得到的基础低模导入zbrush，最后参考现场得到的照片信息，进行细部的雕刻。
13.（2.3）将扫描后的信息导入zbrush中，在zbrush中通过建立z球的方式，填充破碎的有漏洞的模型。最终将z球转换为可编辑模式，与原有模型合并得到封闭的可编辑的模型。
14.具体实施方案：因为一个数字化的模型，只有在网格封闭，且具备一定的厚度的时候，才可以与其它的软件进行交互，或者进行3d打印。因此，结合前面分析的三种建模思路，在maya中进行网格的拓补，从而建立低模。将软件导入maya前，需要在zbrush中对模型进行减面操作，避免因为模型面数过多导致在maya中卡顿的现象。减面之后的模型为三角面，但是不妨碍在maya中进行拓补。将减面的模型导入maya,通过polygon功能，手动创建四边形网格，在创建四边形之前，需要将吸附命令打开，让编辑的新的低模信息附着在扫描文件上，这样可以最大程度的保证扫描信息的准确度。在创建低模的过程中，有些原始文件中信息丢失的区域，无法吸附拓补，这时候需要用到editmesh 中splitpolygontool 进行加线。 建立好的低模只具备大的形态特征，并没有过多细节。在maya中一点点通过点线面来建立众多的细节和繁杂的装饰，似乎大大降低了三维建模的效率。于是，建议将建好的低模继续导入zbrush进行细节的处理。在zbrush中，先对导入的低模进行动态网格重组，也就是将在maya中手动拓补的部分进行dynamesh,以便于雕刻。因为扫描的文物正面细节保存下来的较多，所以利用zbrush中的映射功能可以将高模中的细节映射到低模上。
15.（6）表面肌理与色彩信息的生成（3.1）在zbrush中还原物体的色彩信息。zbrush基于手绘板的创作方式，让色彩信息的还原方式更加自由。通过在模型上直接添加颜色的方式来对模型的色彩信息进行复
原。在绘制色彩信息之前，首先分析文物的材质与设色。然后对色彩信息进行复原。在绘色的时候，要选择合适的材质球和颜色。在绘制颜色前需要先将具有不同质感、不同颜色的区域进行分组。例如把模型拆分为面部、身体、头发、头冠四个子工具。这样做的目的是为了分别给予材质。从而达到整体效果的完整性。例如，在绘制头部色彩时，可以先为模型添加一层接近于泥巴质感的颜色。然后赋予头部金属质感的材质球。最后将画笔调制rgb模式，进行上色。这样得到的效果，是具有金属质感的藏青色。身体的其他部位可以依据此原则，逐一进行绘制。
16.（3.2）将建立好的高精度模型导入到zbrush当中。然后在texture面板中，导入与该模型相对应的高清照片，然后点击add to spotliqht。之后会弹出lightbox的界面，先将lightbox界面关掉，然后使用环形工具的spotlight面板对图片和模型进行匹配。通过缩放调整图片的大小将图片中的信息与模型中的信息匹配、重合。spotlight还具备photoshop中的一些图形处理功能。例如nudge液化工具，通过这种工具可以调整图片具体的位置信息。 最后调整完大小和对齐之后就可以用soptlightradios。调整spotlight笔刷大小，按z键进入绘画模式。关掉zadd雕刻模式，打开rgb开始绘画。在手动映射的过程中，系统默认的为打开对称模式的下的映射。因此模型是两边同时进行，这大大提高了映射的效率。但是，在为一些高精度的、不是对称模型映射贴图时，还可以通过在spotlight里面对图像进行翻转，然后微调，处理好各个位置细节的契合度。根据这个原理，可以导入不同部位的细节图贴合到模型上，直到达到满意的效果。
17.（3.3）将zbrush中带有细分的模型切换到最低级别，导出模型文件。在maya中舒展uv，在maya舒展好uv之后，将uv传递到zbrush当中烘焙高模的法线贴图。然后将maya模型导出到 substance painter，进行贴图绘制。将烘焙好的模型法线贴到substance painter里面对应的uv象限上，进行烘焙。烘焙完成后，注意看所烘焙的法线是否与低模匹配，接下来制作贴图。在substance painter中，能够比较直观的观察你所出的纹理、颜色以及质感，在这个软件里，有许多的预设材质球，可以非常快速的制作所需要的细节。

技术特征：
1.一种文物图像识别与精细化模型构建方法，其特征在于，该方法包括如下步骤：（1）文物的数字信息获取文物扫描，通过分站扫描的方法，按照文物雕塑的结构，将雕塑划分成不同的被扫描区域，然后再逐一扫描；数据处理，在完成一件文物造像的扫描后，将扫描多余的、重复的部分删除，然后再将扫描的各个角度的模型块拼合到一起，然后修补没有扫描到的部分，直至生成一个封闭的，完整的，细节较为丰富的模型；（2）三维数字建模（2.1）根据扫描的现有信息，通过maya软件中的绘制多边形工具，以及四边形绘制工具，对模型进行拓补，得到完整的大型，然后将完整的大型导入zbrush中，再将扫描的造像模型同时导入zbrush，通过zbrush中的project all 投射功能，将已有的大部分细节信息投射到参数化建模完成的完整低模上，最后再将细节处理完整，得到完整的造像形体；（2.2）将模型的三视图照片在ps中处理成为线稿模式，将得到的线稿导入maya中，调低图片的透明度，开启动态捕捉，手动对照图片进行点线面的建模，然后将得到的基础低模导入zbrush，最后参考现场得到的照片信息，进行细部的雕刻；（2.3）将扫描后的信息导入zbrush中，在zbrush中通过建立z球的方式，填充破碎的有漏洞的模型。最终将z球转换为可编辑模式，与原有模型合并得到封闭的可编辑的模型；（3）表面肌理与色彩信息的生成（3.1）在zbrush中还原物体的色彩信息，首先分析文物的材质与设色，然后对色彩信息进行复原，在绘制颜色前需要先将具有不同质感、不同颜色的区域进行分组；（3.2）将建立好的高精度模型导入到zbrush当中，然后在texture面板中，导入与该模型相对应的高清照片，然后点击add to spotliqht，之后会弹出lightbox的界面，先将lightbox界面关掉，然后使用环形工具的spotlight面板对图片和模型进行匹配。通过缩放调整图片的大小将图片中的信息与模型中的信息匹配、重合；（3.3）将zbrush中带有细分的模型切换到最低级别，导出模型文件，在maya中舒展uv，在maya舒展好uv之后，将uv传递到zbrush当中烘焙高模的法线贴图，然后将maya模型导出到 substance painter，进行贴图绘制，将烘焙好的模型法线贴到substance painter里面对应的uv象限上，进行烘焙，烘焙完成后，看所烘焙的法线是否与低模匹配，最后制作贴图。

技术总结
本发明提供一种文物图像识别与精细化模型构建方法，该方法在三维模型建立完整后进行表面肌理与色彩信息的生成，采用绘制贴图的方法与渲染技术相结合的方式来进行色彩修复。通过对文物艺术特征分析、文物造像信息的获取、三维模型的建立及拓补、表面肌理与色彩信息的生成等步骤，增加数字化保护的效率。增加数字化保护的效率。


技术研发人员：杨宇渊
受保护的技术使用者：北京理工大学
技术研发日：2023.03.20
技术公布日：2023/7/18