一种基于裸眼3D的智能交互虚拟展示系统的制作方法

一种基于裸眼3d的智能交互虚拟展示系统
技术领域
1.本发明涉及电子通信技术领域，具体涉一种基于裸眼3d的智能交互虚拟展示系统。


背景技术：

2.现有3d虚拟呈现方案：
3.一、采用l型led转角大屏。其主要原理是用特殊角度的动画，通过视觉错觉和前景遮蔽原理达到3d感觉，其实是一种“伪3d”技术，本质上还是二维屏，只是转折了的二维屏。其局限性是这种转角led屏(也有称cave屏)只能允许观众站在40
°
视角范围内看，否则会出现画面变形，使观众有“穿帮出戏”的感觉。
4.另一局限是只能播放单向播音的虚拟人，即普通动画片，不能做成ai互动的虚拟展示。
5.二、投影仪全息膜虚拟人。其主要原理是用全息膜加投影仪来播放。其局限性包括以下几个方面：
6.局限性1：对场地要求很高，必须要求全暗灯光环境。且不好固定安装，一般只用于临时。
7.局限性2：投影仪和全息膜通常以笨重的组合全息柜形式出现，成本高占地大。不方便移动。
8.局限性3：这种方式出现的虚拟人通常不太有纵深感和饱满的3d感，有点像单薄的纸片人。用户近看能看出全息膜的边界，也能看出裸眼人像是在扁平的全息膜平面上，从而破坏3d立体感。


技术实现要素：

9.针对现有技术中的缺陷，本发明提供一种基于裸眼3d的智能交互虚拟展示系统，对场地要求不受限，在保证3d立体感的同时，能够实现ai语音交互的虚拟展示。
10.为实现上述目的，本发明的技术方案如下：
11.一种基于裸眼3d的智能交互虚拟展示系统，所述系统包括：
12.裸眼3d投影仪本体，以及内嵌设置于所述裸眼3d投影仪本体内部的处理芯片；
13.还包括与所述处理芯片连接的ai语音处理模块和云端api调用接口；所述云端api调用接口与本地服务器连接；本地服务器包括预先建立的数据库和本地音画同步模块；
14.所述处理芯片内置网络连接模块、微型麦克风模块、摄像头、音频输出模块；
15.所述网络连接模块，用于与本地服务器建立网络连接；
16.微型麦克风模块，用于接收用户终端的语音对话信息；
17.所述摄像头，用于采集当前用户终端的人体互动手势信息；
18.所述ai语音处理模块，用于当微型麦克风模块接收用户终端的语音对话信息或者摄像头采集的的人体互动手势信息时，调用云端的ai智能语音接口，与预先建立的数据库
进行匹配，获得相应的回复消息，并控制音频输出模块进行语音播放；同时启用本地音画同步模块，在播报语音时，自动显示相应动画。
19.优选的，所述裸眼3d投影仪本体还包括智能交互模块，用于为用户终端提供交互界面；
20.其中，所述智能交互模块包括：选择单元，用于选择显示画面中呈现的虚拟人物形象、服装、音色；
21.生成单元，用于根据终端选择的虚拟人物形象、服装、音色，生成目标虚拟人物。
22.优选的，所述处理芯片包括：构建模块，用于通过对预先建立的数据库进行训练获得数据模型，采用图模一体化的方式对数据模型进行拼接与合并；
23.展示模块，用于将经拼接后的数据模型加载到交互界面中，以生成基于目标虚拟人物的三维模型，并对三维模型进行可视化展示。
24.优选的，所述本地服务器包括：
25.第一定义单元，用于根据语法规则、预先建立的字词词性、词义库、字词的整合规则、句子语气类型的辨析规则和回复规则的设定，所述字词的整合规则的设定指将字词整合成词组；
26.第二定义单元，用于根据所述整合规则、所述回复规则、所述句子语气类型及所述分类知识的设定，进行回复的设定，得到多种回复方式；
27.数据库构建单元，用于根据所述多种回复方式，拟合手势动作和表情，建立数据库。
28.优选的，所述ai语音处理模块包括：分别与摄像头和微型麦克风模块连接的获取子模块，用于当用户与三维模型进行语音或手势互动时获取当前环境下来自用户终端的人体互动手势信息和语音对话信息；
29.确定子模块，用于根据所述用户终端的人体互动手势信息和语音对话信息，确定当前智能交互信息；
30.识别子模块，用于接收所述智能交互信息后，调用云端的ai智能语音接口，与预先建立的数据库进行匹配，解析所述程序交互信息，获得对应的回复消息，其包括三维模型输出的语音文字信息、动作和表情；
31.控制子模块，用于基于回复信息向处理芯片发送控制信号，控制音频输出模块进行语音播放以及控制本地音画同步模块输出的动作和表情构成的动画。
32.优选的，所述本地音画同步模块，包括转换单元，用于将回复消息转成bin码格式的动画，在播报语音时进行实时动画播放。
33.进一步地，所述识别子模块包括：
34.语音识别单元，用于通过转换器对获得的语音对话信息进行内容识别，将识别获得的语音内容转写为文本信息；基于预先建立的数据模型，对转写后的文本信息进行语义识别，识别出文本内容；
35.动作识别单元，用于识别用户互动时的动作特征信息。
36.进一步地，所述动作识别单元包括：
37.第一图像识别单元，用于识别图像中的表情特征并转变为文本格式；将转变为文本形式的文本信息进行语义识别；
38.第二图像识别单元，用于提取图像中的对象特征信息，并与预先建立的数据模型识别出图片中的对象特征。
39.进一步地，所述语音识别单元包括：
40.字词拆分单元，用于将文本信息拆分成独立的字词，得到多个字词；
41.词性句义分析单元，用于根据每个字词在文本信息中的组合方式、在不同句型中的位置以及语法规律，找出对应的词性，得到带有词性的字词；将所述带有词性的字词进行整合，得到所述带有词性的字词的组合规律；并结合带有词性的字词的组合规律，得到所述带有词性的字词的词义，得出用户终端的文字信息对应的真实句义；
42.查找单元，用于根据所述真实句义，在预先建立的数据库中找出对应的内容，得到所述用户终端输入的程序交互信息对应的回复消息。
43.本发明的有益效果体现在：
44.本发明专利提出一种基于裸眼3d的智能交互虚拟展示系统，是一个可呈现ai智能交互虚拟人的软硬件一体化裸眼3d互动仪。此前的裸眼3d仪行业全球范围内都没有交互功能，更不用说富有ai大脑的高阶智能交互虚拟人。
45.本发明提供的系统比现有的其他裸眼3d方案的交互虚拟人方案(比如投影仪加全息膜组成的全息柜)的成本降低了3/5，因为由于不需要全息投影仪，也不需要固定安装的全息膜，大大降低了硬件成本，免除了安装成本。
46.与现有技术相比，裸眼3d的实现原理不同，且比其他任何形式的裸眼3d虚拟人都更有悬浮感、纵深感和3d立体感。
47.本发明涉及的裸眼3d技术由于看不见屏幕与边框，只能看见3d立体物体，所以在悬浮感、纵深感参数上均明显优于其他裸眼3d形式和裸眼全息方案。可以展现虚拟人各个立面的3d体积感饱满效果，可视视角达到180度，使用户产生触手可及、与一个鲜活生命对话交流的感觉。
48.其次，ai语音互动的加入使得每一位用户都可以跟虚拟人对话。语音互动添加了个性化ai大脑的虚拟形象，给娱乐及服务行业的虚拟人应用提供了更多可能性：
49.本发明可以播放ai语音互动的裸眼3d虚拟系统，可用于景区导游、博物馆导览、商场导购或其他交互服务型岗位。
50.与现有技术相比，本系统具有便携可移动的特点。而其他的虚拟人成像设备，包括全息膜、全息柜等笨重不便移动。并且对安装环境和播放环境无要求。无需全暗场环境，在正常日照及灯光下，本系统也能清晰成像展示并交互。而全息投影仪和全息膜不行，必须在全暗场环境。
51.本发明针对“在裸眼3d仪这种机器没有统一的类似安卓这样的行业底层平台，需要直接对机器做指令，且裸眼3d仪cpu的内存处理能力也很小很慢”的行业难点，采取了云端语音与本地bin格式动画的音画同步方法，从而解决了以上述难题。该方案即使在cpu内存小算力不够的情况下，虚拟人也能做到1.5秒内回答，并且对通讯系统也要求低，语音是从网端传回，而动画在本地根据不同语音调用，因此即使wifi流量小也无需担心。语音云端，而bin格式动画在机器本地，两者音画同步，且延时很小，能够达到1.5秒内。实现了最小延时的ai对话裸眼3d虚拟人。
附图说明
52.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
53.图1为本发明发明提供的一种基于裸眼3d的智能交互虚拟展示系统结构示意图。
具体实施方式
54.下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
55.需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为发明所属领域技术人员所理解的通常意义。
56.实施例1：本发明具体实施方式实施例1提出一种基于裸眼3d的智能交互虚拟展示系统，如图1所示，所述系统包括：
57.裸眼3d投影仪本体，以及内嵌设置于所述裸眼3d投影仪本体内部的处理芯片；
58.还包括与所述处理芯片连接的ai语音处理模块和云端api调用接口；所述云端api调用接口与本地服务器连接；本地服务器包括预先建立的数据库和本地音画同步模块；
59.所述处理芯片内置网络连接模块、微型麦克风模块、摄像头、音频输出模块；
60.所述网络连接模块，用于与本地服务器建立网络连接；
61.微型麦克风模块，用于接收用户终端的语音对话信息；
62.所述摄像头，用于采集当前用户终端的人体互动手势信息；
63.所述ai语音处理模块，用于当微型麦克风模块接收用户终端的语音对话信息或者摄像头采集的的人体互动手势信息时，调用云端的ai智能语音接口，与预先建立的数据库进行匹配，获得相应的回复消息，并控制音频输出模块进行语音播放；同时启用本地音画同步模块，在播报语音时，自动显示相应动画。
64.其中，所述裸眼3d投影仪本体还包括智能交互模块，用于为用户终端提供交互界面；
65.所述智能交互模块包括：选择单元，用于选择显示画面中呈现的虚拟人物形象、服装、音色；
66.生成单元，用于根据终端选择的虚拟人物形象、服装、音色，生成目标虚拟人物。
67.所述处理芯片还包括：构建模块，用于通过对预先建立的数据库进行训练获得数据模型，采用图模一体化的方式对数据模型进行拼接与合并；
68.展示模块，用于将经拼接后的数据模型加载到交互界面中，以生成基于目标虚拟人物的三维模型，并对三维模型进行可视化展示。
69.所述本地服务器包括：
70.第一定义单元，用于根据语法规则、预先建立的字词词性、词义库、字词的整合规则、句子语气类型的辨析规则和回复规则的设定，所述字词的整合规则的设定指将字词整合成词组；
71.第二定义单元，用于根据所述整合规则、所述回复规则、所述句子语气类型及所述
分类知识的设定，进行回复的设定，得到多种回复方式；
72.数据库构建单元，用于根据所述多种回复方式，拟合手势动作和表情，建立数据库。
73.所述本地音画同步模块，包括转换单元，用于将回复消息转成bin码格式的动画，在播报语音时进行实时动画播放。
74.所述ai语音处理模块包括：分别与摄像头和微型麦克风模块连接的获取子模块，用于当用户与三维模型进行语音或手势互动时获取当前环境下来自用户终端的人体互动手势信息和语音对话信息；
75.确定子模块，用于根据所述用户终端的人体互动手势信息和语音对话信息，确定当前智能交互信息；
76.识别子模块，用于接收所述智能交互信息后，调用云端的ai智能语音接口，与预先建立的数据库进行匹配，解析所述程序交互信息，获得对应的回复消息，其包括三维模型输出的语音文字信息、动作和表情；
77.控制子模块，用于基于回复信息向处理芯片发送控制信号，控制音频输出模块进行语音播放以及控制本地音画同步模块输出的动作和表情构成的动画。
78.其中，所述识别子模块包括：
79.语音识别单元，用于通过转换器对获得的语音对话信息进行内容识别，将识别获得的语音内容转写为文本信息；基于预先建立的数据模型，对转写后的文本信息进行语义识别，识别出文本内容；
80.动作识别单元，用于识别用户互动时的动作特征信息。
81.所述动作识别单元包括：
82.第一图像识别单元，用于识别图像中的表情特征并转变为文本格式；将转变为文本形式的文本信息进行语义识别；
83.第二图像识别单元，用于提取图像中的对象特征信息，并与预先建立的数据模型识别出图片中的对象特征。
84.所述语音识别单元包括：
85.字词拆分单元，用于将文本信息拆分成独立的字词，得到多个字词；
86.词性句义分析单元，用于根据每个字词在文本信息中的组合方式、在不同句型中的位置以及语法规律，找出对应的词性，得到带有词性的字词；将所述带有词性的字词进行整合，得到所述带有词性的字词的组合规律；并结合带有词性的字词的组合规律，得到所述带有词性的字词的词义，得出用户终端的文字信息对应的真实句义；
87.查找单元，用于根据所述真实句义，在预先建立的数据库中找出对应的内容，得到所述用户终端输入的程序交互信息对应的回复消息。
88.最后应说明的是：以上各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

技术特征：
1.一种基于裸眼3d的智能交互虚拟展示系统，其特征在于，所述系统包括：裸眼3d投影仪本体，以及内嵌设置于所述裸眼3d投影仪本体内部的处理芯片；还包括与所述处理芯片连接的ai语音处理模块和云端api调用接口；所述云端api调用接口与本地服务器连接；本地服务器包括预先建立的数据库和本地音画同步模块；所述处理芯片内置网络连接模块、微型麦克风模块、摄像头、音频输出模块；所述网络连接模块，用于与本地服务器建立网络连接；微型麦克风模块，用于接收用户终端的语音对话信息；所述摄像头，用于采集当前用户终端的人体互动手势信息；所述ai语音处理模块，用于当微型麦克风模块接收用户终端的语音对话信息或者摄像头采集的的人体互动手势信息时，调用云端的ai智能语音接口，与预先建立的数据库进行匹配，获得相应的回复消息，并控制音频输出模块进行语音播放；同时启用本地音画同步模块，在播报语音时，自动显示相应动画。2.如权利要求1所述的系统，其特征在于，所述裸眼3d投影仪本体还包括智能交互模块，用于为用户终端提供交互界面；其中，所述智能交互模块包括：选择单元，用于选择显示画面中呈现的虚拟人物形象、服装、音色；生成单元，用于根据终端选择的虚拟人物形象、服装、音色，生成目标虚拟人物。3.如权利要求1所述的系统，其特征在于，所述处理芯片包括：构建模块，用于通过对预先建立的数据库进行训练获得数据模型，采用图模一体化的方式对数据模型进行拼接与合并；展示模块，用于将经拼接后的数据模型加载到交互界面中，以生成基于目标虚拟人物的三维模型，并对三维模型进行可视化展示。4.如权利要求1所述的系统，其特征在于，所述本地服务器包括：第一定义单元，用于根据语法规则、预先建立的字词词性、词义库、字词的整合规则、句子语气类型的辨析规则和回复规则的设定，所述字词的整合规则的设定指将字词整合成词组；第二定义单元，用于根据所述整合规则、所述回复规则、所述句子语气类型及所述分类知识的设定，进行回复的设定，得到多种回复方式；数据库构建单元，用于根据所述多种回复方式，拟合手势动作和表情，建立数据库。5.如权利要求1所述的系统，其特征在于，所述ai语音处理模块包括：分别与摄像头和微型麦克风模块连接的获取子模块，用于当用户与三维模型进行语音或手势互动时获取当前环境下来自用户终端的人体互动手势信息和语音对话信息；确定子模块，用于根据所述用户终端的人体互动手势信息和语音对话信息，确定当前智能交互信息；识别子模块，用于接收所述智能交互信息后，调用云端的ai智能语音接口，与预先建立的数据库进行匹配，解析所述程序交互信息，获得对应的回复消息，其包括三维模型输出的语音文字信息、动作和表情；控制子模块，用于基于回复信息向处理芯片发送控制信号，控制音频输出模块进行语音播放以及控制本地音画同步模块输出的动作和表情构成的动画。
6.如权利要求1所述的系统，其特征在于，所述本地音画同步模块，包括转换单元，用于将回复消息转成bin码格式的动画，在播报语音时进行实时动画播放。7.根据权利要求5所述的系统，其特征在于，所述识别子模块包括：语音识别单元，用于通过转换器对获得的语音对话信息进行内容识别，将识别获得的语音内容转写为文本信息；基于预先建立的数据模型，对转写后的文本信息进行语义识别，识别出文本内容；动作识别单元，用于识别用户互动时的动作特征信息。8.根据权利要求7所述的系统，其特征在于，所述动作识别单元包括：第一图像识别单元，用于识别图像中的表情特征并转变为文本格式；将转变为文本形式的文本信息进行语义识别；第二图像识别单元，用于提取图像中的对象特征信息，并与预先建立的数据模型识别出图片中的对象特征。9.根据权利要求7所述的系统，其特征在于，所述语音识别单元包括：字词拆分单元，用于将文本信息拆分成独立的字词，得到多个字词；词性句义分析单元，用于根据每个字词在文本信息中的组合方式、在不同句型中的位置以及语法规律，找出对应的词性，得到带有词性的字词；将所述带有词性的字词进行整合，得到所述带有词性的字词的组合规律；并结合带有词性的字词的组合规律，得到所述带有词性的字词的词义，得出用户终端的文字信息对应的真实句义；查找单元，用于根据所述真实句义，在预先建立的数据库中找出对应的内容，得到所述用户终端输入的程序交互信息对应的回复消息。

技术总结
本发明公开了一种基于裸眼3D的智能交互虚拟展示系统，包括裸眼3D投影仪本体以及内嵌器内部的处理芯片；还包括AI语音处理模块和云端API调用接口；云端API调用接口与本地服务器连接；本地服务器包括预先建立的数据库和本地音画同步模块；处理芯片内置网络连接模块、微型麦克风模块、摄像头、音频输出模块；当微型麦克风模块接收用户终端的语音对话信息或者摄像头采集的的人体互动手势信息时，调用云端的AI智能语音接口与预先建立的数据库进行匹配，获得相应的回复消息，并控制音频输出模块进行语音播放；同时启用本地音画同步模块，在播报语音时自动显示相应动画。通过上述系统既能实现裸眼3D悬浮成像效果，又能实现AI语音交互的虚拟展示。虚拟展示。虚拟展示。


技术研发人员：郑居安
受保护的技术使用者：猿点科技（北京）有限公司
技术研发日：2023.06.09
技术公布日：2023/8/13