一种智能展厅的智能显示系统

1.本发明涉及投影技术领域，特别涉及一种智能展厅的智能显示系统。


背景技术：

2.智能展厅是一种利用科技手段将展览内容进行数字化的展示空间。目前主流的展厅显示系统所用到的设备包括led屏幕、触摸屏、投影仪、智能电视以及多媒体终端，也有将投影仪与交互技术进行结合，从而可以在立体空间上投影图像，并通过手势或触摸进行交互。
3.然而，上述展厅显示系统的交互方式比较单一，显示设备也有其相应的缺点，例如led屏幕只能二维显示和观看，观看角度有限，触摸屏和多媒体终端都只有单一的交互方式，显示内容有限，投影仪只能二维显示，观展者无法获得更多的展品细节。
4.因此，仍需对现有的展厅显示系统做改进，以解决现有展厅显示系统的交互方式单一以及显示内容有限的问题。


技术实现要素：

5.本发明的主要目的为提供一种智能展厅的智能显示系统，以解决现有展厅显示系统的交互方式单一以及显示内容有限的问题。
6.为实现上述目的，本发明提供了一种智能展厅的智能显示系统，包括：全息投影模块，用于向观展者提供展品的三维影像；其中，三维影像为悬浮影像；裸眼3d显示模块，用于向观展者提供展品的三维影像；其中，三维影像为屏幕影像；场景化还原模块，用于向观展者展示与展品相关的还原场景；互动投影模块，用于供观展者与投影内容互动，其中，投影内容与展品相关；体感交互模块，用于供观展者通过肢体动作实现与展品的互动。
7.可选的，所述智能展厅的智能显示系统还包括内容推荐模块；所述内容推荐模块用于向观展者推荐展品信息。
8.可选的，所述内容推荐模块包括：第一采集单元，用于采集观展者在真实展厅和/或虚拟展厅的行为数据；第一预处理单元，用于对行为数据进行预处理，得到与行为数据对应的第一数据；第一生成单元，用于根据第一数据生成观展者的行为特征；内容推荐单元，用于将行为特征输入预设的预测模型，得到预测结果并向观展者推荐与预测结果对应的展品信息；其中，预测结果为观展者感兴趣的展品类型。
9.可选的，所述智能展厅的智能显示系统还包括向观展者提供沉浸式交互的增强现实模块和/或虚拟现实模块。
10.可选的，所述场景化还原模块包括：场景创建单元，用于在虚拟展厅中创建场景；
第二采集单元，用于采集真实展厅的真实数据；其中，真实数据包括场景数据、展品数据；第二预处理单元，用于对真实数据进行预处理，并得到与真实数据对应的第二数据；第二生成单元，用于根据第二数据生成三维模型；其中，所述三维模型与场景或展品对应；渲染单元，用于根据真实数据对所述三维模型进行渲染；添加单元，用于在虚拟展厅中添加画面控制逻辑以及供观展者使用的观展路径；展示单元，用于展示虚拟展厅。
11.可选的，所述互动投影模块包括：展品识别模块，用于对展品进行识别，并得到展品识别结果；手势识别模块，用于对观展者的手势进行识别，并得到手势识别结果；轨迹生成模块，用于生成观展者在预设时段内的运动轨迹；人体姿态估计模块，用于对观展者进行人体姿态估计，得到人体姿态估计结果。
12.可选的，所述展品识别模块包括：第三采集单元，用于采集辅助识别数据；其中，辅助识别数据包括第三数据和/或第四数据，第三数据为展品的三维坐标信息，且通过深度相机进行采集，第四数据为展品的距离信息，且通过超声波传感器进行采集；展品识别单元，用于基于优化后的yolo v5算法和辅助识别数据进行展品识别，得到展品识别结果。
13.可选的，所述手势识别模块包括：第四采集单元，用于采集观展者的手势图片；其中，通过深度相机进行采集；第一提取单元，用于提取手势图片中的手部3d关键点；其中，通过handpointnet算法进行提取；第一识别单元，用于根据手部3d关键点进行观展者的手势识别，得到手势识别结果。
14.可选的，所述轨迹生成模块，或包括：第五采集单元，用于在预设时段内采集观展者的姿态和运动信息；其中，通过陀螺仪或加速度计进行采集；第一确定单元，用于根据观展者的姿态和运动信息确定观展者在预设时段内的位置；第三生成单元，用于根据观展者在预设时段内的位置生成观展者在预设时段内的运动轨迹；或包括：第六采集单元，用于在预设时段内采集观展者的图像；第二确定单元，用于根据观展者的图像确定观展者在预设时段内的位置；第四生成单元，用于根据观展者在预设时段内的位置生成观展者在预设时段内的运动轨迹；
或包括：第七采集单元，用于在预设时段内采集观展者所持移动终端的wifi信号强度信息；第三确定单元，用于根据wifi信号强度信息确定观展者在预设时段内的位置；其中，观展者在预设时段内的位置为观展者所持移动终端的位置；第五生成单元，用于根据观展者在预设时段内的位置生成观展者在预设时段内的运动轨迹。
15.可选的，所述人体姿态估计模块，或包括：第八采集单元，用于采集观展者的深度图像；其中，通过深度相机进行采集；第二提取单元，用于提取深度图像中2d的人体关键点坐标；其中，通过2d cnn算法进行提取；第一转换单元，用于根据深度图像所对应的深度信息以及2d的人体关键点坐标，进行坐标转换，得到3d的人体关键点坐标；第一姿态估计单元，用于基于3d姿态回归算法以及3d的人体关键点坐标，对观展者进行人体姿态估计，得到人体姿态估计结果；或包括：第九采集单元，用于采集观展者的三维坐标信息；其中，通过激光雷达进行采集；第六生成单元，用于根据观展者的三维坐标信息生成深度图像；第三提取单元，用于提取深度图像中2d的人体关键点坐标；其中，通过2d cnn算法进行提取；第二转换单元，用于根据深度图像所对应的深度信息以及2d的人体关键点坐标，进行坐标转换，得到3d的人体关键点坐标；第二姿态估计单元，用于基于3d姿态回归算法以及3d的人体关键点坐标，对观展者进行人体姿态估计，得到人体姿态估计结果。
16.本发明所提供的智能显示系统，包括全息投影模块、裸眼3d显示模块、场景化还原模块、互动投影模块、体感交互模块，具体效果包括：（1）全息投影模块通过全息投影方式呈现各种展品，使得观展者可以更加直观地了解展品的文化、历史、或者三维形态；（2）裸眼3d显示模块提供了另一种用于呈现展品的三维形态技术，通过将该技术应用在展厅中，有助于展示展品及与展品相关的场景，使得观展者更加直观地了解展品的历史和文化；（3）针对一些特殊展品，需要向观展者剖析具体的实现过程或者展示方式，此时，场景化还原模块可以很好地满足需求，场景化还原使得观展者可以身临其境地感受历史、文化、自然等方面的内容，也可以帮助保护真实展品，减少展品的损坏或磨损；（4）互动投影模块将投影技术和互动技术相结合，可以提供更加真实、沉浸的观展体验，针对不同展品的展示以及交互需求，需要不同的展示和交互方式，通过互动投影模块，可以为观展者提供更加自然的观展交互体验；（5）通过体感交互模块，观展者可以通过肢体动作实现与展品的互动，体验感强。总体而言，通过本发明所提供的系统，观展者可以通过更先进的技术获得更好的观展体验，在展厅观展时，能获得多维度的显示效果，不再局限于二维显示和单一的观看角度，能获得更多的三维效果；同时交互方式也多样化。
附图说明
17.图1是本发明实施例一所提供的一种智能展厅的智能显示系统的结构组成图；图2是本发明实施例二所提供的一种智能展厅的智能显示系统的结构组成图。
18.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
19.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
20.实施例一本发明实施例提供了一种智能展厅的智能显示系统，如图1所示，包括：全息投影模块10，用于向观展者提供展品的三维影像；其中，三维影像为悬浮影像；裸眼3d显示模块11，用于向观展者提供展品的三维影像；其中，三维影像为屏幕影像；场景化还原模块12，用于向观展者展示与展品相关的还原场景；互动投影模块13，用于供观展者与投影内容互动，其中，投影内容与展品相关；体感交互模块14，用于供观展者通过肢体动作实现与展品的互动。
21.本实施例所提供的智能显示系统，包括全息投影模块10、裸眼3d显示模块11、场景化还原模块12、互动投影模块13、体感交互模块14，具体效果包括：（1）全息投影模块10通过全息投影方式呈现各种展品，使得观展者可以更加直观地了解展品的文化、历史、或者三维形态；（2）裸眼3d显示模块11提供了另一种用于呈现展品的三维形态技术，通过将该技术应用在展厅中，有助于展示展品及与展品相关的场景，使得观展者更加直观地了解展品的历史和文化；（3）针对一些特殊展品，需要向观展者剖析具体的实现过程或者展示方式，此时，场景化还原模块12可以很好地满足需求，场景化还原使得观展者可以身临其境地感受历史、文化、自然等方面的内容，也可以帮助保护真实展品，减少展品的损坏或磨损；（4）互动投影模块13将投影技术和互动技术相结合，可以提供更加真实、沉浸的观展体验，针对不同展品的展示以及交互需求，需要不同的展示和交互方式，通过互动投影模块13，可以为观展者提供更加自然的观展交互体验；（5）通过体感交互模块14，观展者可以通过肢体动作实现与展品的互动，体验感强。
22.总体而言，通过本实施例所提供的系统，观展者可以通过更先进的技术获得更好的观展体验，在展厅观展时，能获得多维度的显示效果，不再局限于二维显示和单一的观看角度，能获得更多的三维效果；同时交互方式也多样化。
23.可选的，本实施例还包括：（1）led屏幕；（2）触摸屏，一种可以通过手指触摸来进行操作的显示设备。它可以实现互动式展示，让观展者可以通过触摸屏幕来获取展品信息、进行导览、进行互动游戏等；（3）投影仪，在展厅中，投影仪可以放映用于介绍展品的视频、演示ppt等；（4）智能电视，一种具有智能化功能的电视机，可以通过互联网获取视频、音频、图
像等多种媒体资源，在展厅中智能电视可以播放用于介绍展品的视频；（5）多媒体终端，可以播放用于介绍展品的视频、演示ppt，供观展者与展品进行互动等。
24.可选的，体感交互模块14，集3d体感摄影、体感交互软件以及三维数字内容为一体，通过捕捉观展者实时的视频流或深度图像，发射红外线对整个展厅进行立体定位，同时摄像头借助红外线来识别观展者的运动，动作感应器追踪观展者全身的动作，并且会根据数据建立观展者的骨架，从而可以对观展者的多个部位进行实时追踪，并利用识别处理算法计算观展者姿态、识别观展者的肢体动作，从而让观展者通过自己的肢体动作直接进行控制，凌空操控屏幕影像。
25.可选的，本实施例还可以增设语音识别模块，供观展者进行交互，从而观看不同的展品内容。
26.可选的，本实施例还可以引入智能化管理模块，以优化展厅的运营和维护。具体的，智能化管理模块利用物联网技术实现对其他各个模块的远程监测和故障预警，缩短维修时间、减少维修成本，还可以通过数据分析和智能算法，优化展厅布局和展品内容，从而提升观展者的满意度。
27.实施例二本发明实施例还提供了一种智能展厅的智能显示系统，与实施例一相同之处不再赘述，如图2所示，不同之处在于：智能展厅的智能显示系统还包括内容推荐模块15；内容推荐模块15用于向观展者推荐展品信息。通过增设内容推荐模块15，可以优化展厅的宣传效果，使得展厅与观展者的联系更加紧密。
28.实施例三本发明实施例还提供了一种智能展厅的智能显示系统，与实施例二相同之处不再赘述，不同之处在于，内容推荐模块15包括：第一采集单元，用于采集观展者在真实展厅和/或虚拟展厅的行为数据；第一预处理单元，用于对行为数据进行预处理，得到与行为数据对应的第一数据；第一生成单元，用于根据第一数据生成观展者的行为特征；内容推荐单元，用于将行为特征输入预设的预测模型，得到预测结果并向观展者推荐与预测结果对应的展品信息；其中，预测结果为观展者感兴趣的展品类型。
29.本实施例所提供的智能显示系统中，第一采集单元采集行为数据，第一预处理单元对行为数据进行预处理，得到与行为数据对应的第一数据，第一生成单元对第一数据进行分析和挖掘，得到观展者的行为特征，内容推荐单元基于实时的行为特征信息，判断当前行为特征与展品类型的相关度，自动推荐最适合观展者的展品信息，帮助观展者发现和获取感兴趣的展品信息。总体而言，通过本实施例所提供的系统，可以有针对性地向观展者推荐展品信息，培养观展者持续观展的兴趣。
30.可选的，（1）行为数据包括但不限于历史行为、兴趣爱好、展品的点击率、观看展品的驻留时间、搜索记录、重复观看的频率；（2）关于训练预测模型，具体过程包括：采集观展者在展厅的行为数据，进而，对行为数据进行预处理，得到第一数据，进而，根据第一数据生成观展者的行为特征，进而对行为特征进行特征工程及向量化处理，得到与行为特征对应的第五数据，进而基于机器学习算法以及第五数据进行建模，得到预测模型；进而启用预测
模型，并根据其预测结果，向观展者推荐展品信息；（3）启用预测模型之后，使用交叉验证的方法进行模型评估优化，找到最优的模型参数和特征组合，提高模型的准确率和泛化能力，从而提升观展者的满意度；（4）第一采集单元可以为展厅内所安装的部件如传感器、监控摄像头，也可以是展厅网站；（5）第一预处理单元的预处理内容包括但不限于去除重复数据、处理缺失值；（6）第一生成单元生成的行为特征包括但不限于点击次数、驻留时间、搜索关键词、观看视频的次数，还可以对行为特征进行处理和组合，生成新的行为特征，比如平均驻留时间、搜索关键词的热度。
31.实施例四本发明实施例还提供了一种智能展厅的智能显示系统，与实施例一相同之处不再赘述，不同之处在于，智能展厅的智能显示系统还包括向观展者提供沉浸式交互的增强现实模块和/或虚拟现实模块。增强现实模块和虚拟现实模块都可以将展品以数字化形式呈现、供观展者进行互动游戏，通过向观展者提供沉浸式交互，可以提高观展者的参与感，使观展者获得个性化的观展体验，提升观展者的满意度。
32.其中，具体效果包括：（1）虚拟现实模块，可以提供导览系统，通过在真实展品的周围创建虚拟环境，让观展者戴着虚拟现实模块的头盔进行游览，可以让观展者在虚拟环境中自由移动，以便更好地观察展品，并获取更多的展品信息和多媒体内容；同时，导览系统还可以提供更好的互动性，如观展者可以使用手势或虚拟现实模块的控制器来与展品进行互动。关于虚拟现实模块的使用示例，可以在虚拟环境中创建并展示一个3d的展品，让观展者自由地欣赏展品，再另外创建一个虚拟环境，让观展者使用控制器去操控展品，并了解展品的背景和设计过程等。
33.（2）增强现实模块，通过将增强现实与真实展品相结合，可以创造出沉浸感及互动性更强的观展体验。例如，使用增强现实技术在观展者的移动终端（如手机和平板电脑）上创建虚拟环境，并将虚拟图像与真实展品相结合，这可以提供更多的展品信息和多媒体内容给观展者。
34.实施例五本发明实施例还提供了一种智能展厅的智能显示系统，与实施例一相同之处不再赘述，不同之处在于，场景化还原模块12包括：场景创建单元，用于在虚拟展厅中创建场景；第二采集单元，用于采集真实展厅的真实数据；其中，真实数据包括场景数据、展品数据；第二预处理单元，用于对真实数据进行预处理，并得到与真实数据对应的第二数据；第二生成单元，用于根据第二数据生成三维模型；其中，三维模型与场景或展品对应；渲染单元，用于根据真实数据对三维模型进行渲染；添加单元，用于在虚拟展厅中添加画面控制逻辑以及供观展者使用的观展路径；展示单元，用于展示虚拟展厅。
35.可选的，（1）场景创建单元利用unity 3d软件创建场景，在场景中添加光源、阴影、
地面等元素；（2）第二采集单元为激光雷达、摄像机、扫描仪中的至少一种；（3）第二预处理单元利用三维重建软件对采集到的真实数据进行处理；（4）第二生成单元利用三维重建软件生成三维模型；（5）渲染单元利用unity 3d软件进行3d渲染，对三维模型进行纹理、材质等设计，模拟灯光和环境，渲染出真实的3d场景；（6）添加单元所添加的画面控制逻辑为脚本和动画，使得展品在展示过程中可以进行旋转、缩放、移动等操作，以展示展品的不同角度和特征，观展路径是固定的，且用一个移动摄像机沿着观展路径进行摄影，使展品画面以电影片段的方式连续播放，再控制移动摄像机的镜头以任意切换各个场景；（7）展示单元通过漫游动画的形式展示虚拟展厅。
36.实施例六本发明实施例还提供了一种智能展厅的智能显示系统，与实施例一相同之处不再赘述，不同之处在于：互动投影模块13包括：展品识别模块，用于对展品进行识别，并得到展品识别结果；手势识别模块，用于对观展者的手势进行识别，并得到手势识别结果；轨迹生成模块，用于生成观展者在预设时段内的运动轨迹；人体姿态估计模块，用于对观展者进行人体姿态估计，得到人体姿态估计结果。
37.具体的，（1）展品识别模块利用超声波检测技术或图像识别技术，对展品进行识别，得到展品识别结果后，可用于触发相应动作；（2）手势识别模块利用图像识别技术，对观展者的手势进行识别，得到手势识别结果后，可用于触发相应动作；（3）轨迹生成模块利用传感器检测技术或图像识别技术，生成观展者在预设时段内的运动轨迹，得到运动轨迹后，可用于触发相应动作；（4）人体姿态估计模块利用图像识别技术或雷达探测技术，对观展者进行人体姿态估计，得到人体姿态估计结果后，可用于触发相应动作。
38.因此，上述互动投影模块13集合了手势、体态、位置等多种监测方式，从多种途径监测观展者状态，因此，针对不同展品的展示以及交互需求，观展者可以选择不同的交互方式，从而有更自然、更真实、沉浸感更强的交互体验。
39.实施例七本发明实施例还提供了一种智能展厅的智能显示系统，与实施例六相同之处不再赘述，不同之处在于，展品识别模块包括：第三采集单元，用于采集辅助识别数据；其中，辅助识别数据包括第三数据和/或第四数据，第三数据为展品的三维坐标信息，且通过深度相机进行采集，第四数据为展品的距离信息，且通过超声波传感器进行采集；展品识别单元，用于基于优化后的yolo v5算法和辅助识别数据进行展品识别，得到展品识别结果。
40.具体的，（1）第三采集单元利用超声波技术和/或图像识别技术，采集辅助识别数据，以用于后续的展品识别；（2）展品识别单元采用了优化后的yolo v5算法，该算法的精度高、实时性好、轻量化且灵活性强，识别时结合了辅助识别数据，可以提升展品识别的准确率，得到展品识别结果后，可用于触发相应动作。
41.实施例八本发明实施例还提供了一种智能展厅的智能显示系统，与实施例六相同之处不再赘述，不同之处在于，手势识别模块包括：
第四采集单元，用于采集观展者的手势图片；其中，通过深度相机进行采集；第一提取单元，用于提取手势图片中的手部3d关键点；其中，通过handpointnet算法进行提取；第一识别单元，用于根据手部3d关键点进行观展者的手势识别，得到手势识别结果。
42.具体的，（1）第四采集单元利用图像技术采集观展者的手势图片，更便于后续获取手部3d关键点；（2）第一提取单元所采用的handpointnet算法，具备良好的实时性、鲁棒性、准确性；（3）第一识别单元根据手部3d关键点进行观展者的手势识别，得到手势识别结果后，可用于触发相应动作。
43.实施例九本发明实施例还提供了一种智能展厅的智能显示系统，与实施例六相同之处不再赘述，不同之处在于，轨迹生成模块，或包括：第五采集单元，用于在预设时段内采集观展者的姿态和运动信息；其中，通过陀螺仪或加速度计进行采集；第一确定单元，用于根据观展者的姿态和运动信息确定观展者在预设时段内的位置；第三生成单元，用于根据观展者在预设时段内的位置生成观展者在预设时段内的运动轨迹；或包括：第六采集单元，用于在预设时段内采集观展者的图像；第二确定单元，用于根据观展者的图像确定观展者在预设时段内的位置；第四生成单元，用于根据观展者在预设时段内的位置生成观展者在预设时段内的运动轨迹；或包括：第七采集单元，用于在预设时段内采集观展者所持移动终端的wifi信号强度信息；第三确定单元，用于根据wifi信号强度信息确定观展者在预设时段内的位置；其中，观展者在预设时段内的位置为观展者所持移动终端的位置；第五生成单元，用于根据观展者在预设时段内的位置生成观展者在预设时段内的运动轨迹。
44.具体的，轨迹生成模块包括第五采集单元、第一确定单元以及第三生成单元时，（1）第五采集单元利用微电子机械系统（micro-electro-mechanical systems）采集观展者的姿态和运动信息，以用于后续确定观展者的位置；（2）第一确定单元根据观展者的姿态和运动信息确定观展者在预设时段内的位置，以用于后续生成运动轨迹；（3）第三生成单元根据观展者在预设时段内的位置生成观展者在预设时段内的运动轨迹，得到运动轨迹后，可以根据不同的运动轨迹触发不同的动作。前述模块适用于搭载在移动终端中，如手机、手表，模块具有小尺寸、低功耗和快速响应的优点，能够准确捕捉运动轨迹。
45.轨迹生成模块包括第六采集单元、第二确定单元以及第四生成单元时，（1）第六采集单元利用图像技术采集观展者的图像，以用于后续确定观展者的位置；（2）第二确定单元根据观展者的图像确定观展者在预设时段内的位置，以用于后续生成运动轨迹；（3）第四生成单元根据观展者在预设时段内的位置生成观展者在预设时段内的运动轨迹，得到运动轨迹后，可以根据不同的运动轨迹触发不同的动作。前述模块在室内环境中尤其有效，可以捕捉到更为详细的观展者的状态信息。
46.轨迹生成模块包括第七采集单元、第三确定单元以及第五生成单元时，（1）第七采集单元利用网络传输技术采集wifi信号强度信息，以用于后续确定观展者的位置；（2）第三确定单元根据wifi信号强度信息确定观展者在预设时段内的位置，以用于后续生成运动轨迹；（3）第五生成单元根据观展者在预设时段内的位置生成观展者在预设时段内的运动轨迹，得到运动轨迹后，可以根据不同的运动轨迹触发不同的动作。前述模块具有广泛的覆盖范围，适用于室内和室外环境。
47.实施例十本发明实施例还提供了一种智能展厅的智能显示系统，与实施例六相同之处不再赘述，不同之处在于，人体姿态估计模块，或包括：第八采集单元，用于采集观展者的深度图像；其中，通过深度相机进行采集；第二提取单元，用于提取深度图像中2d的人体关键点坐标；其中，通过2d cnn算法进行提取；第一转换单元，用于根据深度图像所对应的深度信息以及2d的人体关键点坐标，进行坐标转换，得到3d的人体关键点坐标；第一姿态估计单元，用于基于3d姿态回归算法以及3d的人体关键点坐标，对观展者进行人体姿态估计，得到人体姿态估计结果；或包括：第九采集单元，用于采集观展者的三维坐标信息；其中，通过激光雷达进行采集；第六生成单元，用于根据观展者的三维坐标信息生成深度图像；第三提取单元，用于提取深度图像中2d的人体关键点坐标；其中，通过2d cnn算法进行提取；第二转换单元，用于根据深度图像所对应的深度信息以及2d的人体关键点坐标，进行坐标转换，得到3d的人体关键点坐标；第二姿态估计单元，用于基于3d姿态回归算法以及3d的人体关键点坐标，对观展者进行人体姿态估计，得到人体姿态估计结果。
48.具体的，人体姿态估计模块包括第八采集单元、第二提取单元、第一转换单元以及第一姿态估计单元时，（1）第八采集单元利用图像技术采集观展者的深度图像，以用于后续的关键点坐标提取；（2）第二提取单元所采用的2d cnn算法，对图像的处理非常高效，计算可以并行处理，适用于图形处理器（gpu）等并行计算设备；（3）第一转换单元根据深度图像所对应的深度信息以及2d的人体关键点坐标，进行坐标转换，得到3d的人体关键点坐标，以用于后续的姿态估计；（4）第一姿态估计单元所采用的3d姿态回归算法，可以直接预测观展者的三
维姿态，在处理遮挡和视角变化时具有较好的鲁棒性。前述模块提供丰富的深度信息，深度相机可以直接获取观展者身体不同部位的深度信息，提供了丰富的三维空间信息，有助于更准确地进行人体姿态估计；同时，深度图像不受遮挡和视角变化的影响，稳定性好；人体姿态估计模块包括第九采集单元、第六生成单元、第三提取单元、第二转换单元以及第二姿态估计单元时，（1）第九采集单元利用雷达技术采集观展者的三维坐标信息，以用于后续生成深度图像；（2）第六生成单元根据观展者的三维坐标信息生成深度图像，以用于后续的关键点坐标提取；（3）第三提取单元和第二提取单元的作用相同；（4）第二转换单元和第一转换单元的作用相同；（5）第二姿态估计单元和第一姿态估计单元的作用相同。前述模块所采集的三维坐标信息较为精确且稳定，有助于得到准确的人体姿态估计结果。
49.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
50.以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种智能展厅的智能显示系统，其特征在于，包括：全息投影模块，用于向观展者提供展品的三维影像；其中，三维影像为悬浮影像；裸眼3d显示模块，用于向观展者提供展品的三维影像；其中，三维影像为屏幕影像；场景化还原模块，用于向观展者展示与展品相关的还原场景；互动投影模块，用于供观展者与投影内容互动，其中，投影内容与展品相关；体感交互模块，用于供观展者通过肢体动作实现与展品的互动。2.根据权利要求1所述的一种智能展厅的智能显示系统，其特征在于，所述智能展厅的智能显示系统还包括内容推荐模块；所述内容推荐模块用于向观展者推荐展品信息。3.根据权利要求2所述的一种智能展厅的智能显示系统，其特征在于，所述内容推荐模块包括：第一采集单元，用于采集观展者在真实展厅和/或虚拟展厅的行为数据；第一预处理单元，用于对行为数据进行预处理，得到与行为数据对应的第一数据；第一生成单元，用于根据第一数据生成观展者的行为特征；内容推荐单元，用于将行为特征输入预设的预测模型，得到预测结果并向观展者推荐与预测结果对应的展品信息；其中，预测结果为观展者感兴趣的展品类型。4.根据权利要求1所述的一种智能展厅的智能显示系统，其特征在于，所述智能展厅的智能显示系统还包括向观展者提供沉浸式交互的增强现实模块和/或虚拟现实模块。5.根据权利要求1所述的一种智能展厅的智能显示系统，其特征在于，所述场景化还原模块包括：场景创建单元，用于在虚拟展厅中创建场景；第二采集单元，用于采集真实展厅的真实数据；其中，真实数据包括场景数据、展品数据；第二预处理单元，用于对真实数据进行预处理，并得到与真实数据对应的第二数据；第二生成单元，用于根据第二数据生成三维模型；其中，所述三维模型与场景或展品对应；渲染单元，用于根据真实数据对所述三维模型进行渲染；添加单元，用于在虚拟展厅中添加画面控制逻辑以及供观展者使用的观展路径；展示单元，用于展示虚拟展厅。6.根据权利要求1所述的一种智能展厅的智能显示系统，其特征在于，所述互动投影模块包括：展品识别模块，用于对展品进行识别，并得到展品识别结果；手势识别模块，用于对观展者的手势进行识别，并得到手势识别结果；轨迹生成模块，用于生成观展者在预设时段内的运动轨迹；人体姿态估计模块，用于对观展者进行人体姿态估计，得到人体姿态估计结果。7.根据权利要求6所述的一种智能展厅的智能显示系统，其特征在于，所述展品识别模块包括：第三采集单元，用于采集辅助识别数据；其中，辅助识别数据包括第三数据和/或第四数据，第三数据为展品的三维坐标信息，且通过深度相机进行采集，第四数据为展品的距离信息，且通过超声波传感器进行采集；
展品识别单元，用于基于优化后的yolo v5算法和辅助识别数据进行展品识别，得到展品识别结果。8.根据权利要求6所述的一种智能展厅的智能显示系统，其特征在于，所述手势识别模块包括：第四采集单元，用于采集观展者的手势图片；其中，通过深度相机进行采集；第一提取单元，用于提取手势图片中的手部3d关键点；其中，通过handpointnet算法进行提取；第一识别单元，用于根据手部3d关键点进行观展者的手势识别，得到手势识别结果。9.根据权利要求6所述的一种智能展厅的智能显示系统，其特征在于，所述轨迹生成模块，或包括：第五采集单元，用于在预设时段内采集观展者的姿态和运动信息；其中，通过陀螺仪或加速度计进行采集；第一确定单元，用于根据观展者的姿态和运动信息确定观展者在预设时段内的位置；第三生成单元，用于根据观展者在预设时段内的位置生成观展者在预设时段内的运动轨迹；或包括：第六采集单元，用于在预设时段内采集观展者的图像；第二确定单元，用于根据观展者的图像确定观展者在预设时段内的位置；第四生成单元，用于根据观展者在预设时段内的位置生成观展者在预设时段内的运动轨迹；或包括：第七采集单元，用于在预设时段内采集观展者所持移动终端的wifi信号强度信息；第三确定单元，用于根据wifi信号强度信息确定观展者在预设时段内的位置；其中，观展者在预设时段内的位置为观展者所持移动终端的位置；第五生成单元，用于根据观展者在预设时段内的位置生成观展者在预设时段内的运动轨迹。10.根据权利要求6所述的一种智能展厅的智能显示系统，其特征在于， 所述人体姿态估计模块，或包括：第八采集单元，用于采集观展者的深度图像；其中，通过深度相机进行采集；第二提取单元，用于提取深度图像中2d的人体关键点坐标；其中，通过2d cnn算法进行提取；第一转换单元，用于根据深度图像所对应的深度信息以及2d的人体关键点坐标，进行坐标转换，得到3d的人体关键点坐标；第一姿态估计单元，用于基于3d姿态回归算法以及3d的人体关键点坐标，对观展者进行人体姿态估计，得到人体姿态估计结果；或包括：第九采集单元，用于采集观展者的三维坐标信息；其中，通过激光雷达进行采集；
第六生成单元，用于根据观展者的三维坐标信息生成深度图像；第三提取单元，用于提取深度图像中2d的人体关键点坐标；其中，通过2d cnn算法进行提取；第二转换单元，用于根据深度图像所对应的深度信息以及2d的人体关键点坐标，进行坐标转换，得到3d的人体关键点坐标；第二姿态估计单元，用于基于3d姿态回归算法以及3d的人体关键点坐标，对观展者进行人体姿态估计，得到人体姿态估计结果。

技术总结
本发明涉及投影技术领域，特别涉及一种智能展厅的智能显示系统。针对现有展厅显示系统的交互方式单一以及显示内容有限的问题，所采用的方案为：系统包括全息投影模块、裸眼3D显示模块、场景化还原模块、互动投影模块、体感交互模块，全息投影模块用于向观展者提供展品的三维影像；裸眼3D显示模块用于向观展者提供展品的三维影像；场景化还原模块用于向观展者展示与展品相关的还原场景；互动投影模块用于供观展者与投影内容互动；体感交互模块用于供观展者通过肢体动作实现与展品的互动。通过前述方案，观展者在展厅观展时，能获得多维度的显示效果，不再局限于二维显示和单一的观看角度，能获得更多的三维效果；同时交互方式也多样化。样化。样化。


技术研发人员：王卫文 张勇 钟林 凡钟俊
受保护的技术使用者：深圳大学
技术研发日：2023.08.10
技术公布日：2023/9/9