基于无人机倾斜摄影技术和CIM的智慧博物馆云旅游平台工作方法

基于无人机倾斜摄影技术和cim的智慧博物馆云旅游平台工作方法
技术领域
1.本发明涉及云旅游技术领域，特别是涉及基于无人机倾斜摄影技术和cim的智慧博物馆云旅游平台工作方法。


背景技术：

2.目前主流的智慧博物馆大多单独划出的，脱离传统陈列而单独存在的。智慧是一种思维，而用这种思维去掌控高端技术，在陈列与观众互动方面是要去弥补传统陈列的不足。其次，智慧博物馆的理念是以人为本，强调观众的个性化需求。以人为本不是说把和观众互动的游戏做的多么高科技，而是要把这种理念，想办法贯穿到观众的整个参观过程中来。
3.从数字博物馆到智慧博物馆的发展是以人为本理念在博物馆领域深入实践和物联网等新枝术在博物馆应用普及的必然结果。智慧博物馆是传统实体博物馆发展到一定阶段所产生的一种新的博物馆高级形态，具有主体的人本性、资源的整合性和数据的再生产性等基本特征。与数字博物馆相比,智慧博物馆的"智慧化"主要体现在数据来源的多样性、数据传输的多向性和数据交换的普遍性上。


技术实现要素：

4.为解决上述问题，本发明提出了基于无人机倾斜摄影技术和cim的智慧博物馆云旅游平台工作方法，具体步骤如下，其特征在于：
5.步骤1，通过无人机倾斜摄影技术创建实景三维模型，并与cim相结合，利用unity渲染，真实再现智慧博物馆及周边景色；
6.步骤2，平台设立自主游览和无人机直播的两种模式，供不同的用户选择，在自主游览模式中，用户可通过点击藏品来获得相关信息，若途中迷失或搜寻不到藏品时，上位机或app会进行a*算法的最佳路径导航；
7.步骤3，在无人机直播模式中，用户可以选择规定的路径，在线观看博物馆直播，实时游览博物馆藏品信息和景色动态，同时可获取博物馆的相关环境参数，进而控制博物馆的相关设备，以此来弥补目前云旅游市场的泛娱乐化、单一化以及缺少人性化的问题。
8.进一步，步骤1中实景三维模型真实再现智慧博物馆及周边景色的过程可以表示为：
9.通过dji无人机对博物馆进行航拍，在航拍过程中应飞到所拍摄最高建筑上方20m，利用交叠环绕法和田字法对博物馆进行全面、全方位的拍摄，并对照片进行去模糊化处理，将处理后的照片导入cc master软件中，对照片的经纬度、高度等信息进行空三测量，导出cim格式为3mx的模型，导入unity3d中进行渲染，并且利用unity引擎对cim进行二次开发，unity可以将地理信息系统(gis)、建筑信息模型(bim)等数据导入统一的数字孪生平台处理，通过unity定制开发的数字孪生应用可以接入实时物联网(iot)数据等城市感知数
据，整合多维多尺度信息模型数据，最终在多个终端平台实现“一次构建，多次部署”。
10.进一步，步骤1中照片进行去模糊化处理的过程可以表示为：
11.通过构建生成器和判别器对模糊图像进行清晰化处理；
12.步骤1.1构建生成器，生成器在将模糊图像生成复原图像的过程分为两部分：特征提取和上采样；其中生成器的特征提取模块由卷积层、残差模块、droupout网络组成，上采样模块由反卷积层、亚像素卷积层和全连接神经网络等组成；
13.步骤1.2构建判别器，判别器主要由卷积层、归一化函数、激活函数和损失函数等组成；
14.步骤1.3设计生成对抗网络的目标损失函数：
15.v(d,g)＝e
x～μ
[logd(x)]+e
z～γ
[log(1-d(g(z)))]
[0016]
式中e是分布期望，x是训练样本，μ是训练样本x的概率分布，z是生成器的随机样本，γ是随机样本z的概率分布，d(x)是判别器的鉴别函数，g(z)是生成器的生成样本；生成对抗网络的提升网络性能的目标是：
[0017][0018]
在优化生成器时，要使得目标函数值最小，在优化判别器时，要使得目标函数值最大。
[0019]
步骤1.4初始化生成器和判别器网络参数；
[0020]
步骤1.5固定生成器参数，从训练样本中抽取n个模糊图像样本，输入到生成器中，来训练判别器；
[0021]
步骤1.6当循环更新判别器后，开始更新一次生成器，使得判别器无法分别生成器输出的复原图像和清晰图像；
[0022]
步骤1.7重复步骤1.5和步骤1.6，使得满足目标损失函数的优化目标，令判别器判别复原图像和清晰图像的概率为0.5，完成改进的生成对抗网络模糊图像复原模型训练。
[0023]
进一步，步骤1中将物联网感知信息到unity实现的过程可以表示为：
[0024]
选择stm32f103rct6作为终端节点和协调器的控制器，在控制器上接上传感器实现数据的测量，连接上esp8266与onenet云平台的通信，主要完成环境数据的测量与控制执行元件的运动，unity平台可通过onenet云平台获取博物馆信息和进行博物馆相关设备控制；通过zigbee节点管理器完成的各节点之间的通信建立，pc机作为数据接受终端，数据测量终端作为从机挂载到zigbee网络中，其中博物馆环境传感器选型为：
[0025]
(1)温湿度传感器dht11
[0026]
温湿度传感器使用dht11模块，通过单总线协议通信，可采集到当前环境的温度和湿度数据；
[0027]
(2)气敏传感器mq-2、危险气体传感器mq7
[0028]
气敏传感器使用mq-2，可采集当前室内多种气体，例如烟雾、酒精、液化气等，传感器数字量引脚输出高低电平表示当前浓度是否超过设定值；危险气体传感器使用mq-7对环境中的一氧化碳浓度进行检测，工作原理与mq-2大致相同；
[0029]
(3)opencv
[0030]
本项目使用opencv结合火源识别中常用的rgb+hsi判据对藏品实时采集的图像信息进行火源检测；
[0031]
(4)火焰传感器
[0032]
火焰传感器用于检测是否发生火灾，辅助opencv进行火焰识别，当探测到前方发生火灾时，传感器引脚输出高电平。
[0033]
进一步，步骤2中平台自主游览的过程可以表示如下：
[0034]
根据智慧博物馆的cim模型，在unity平台中建立智慧博物馆内部bim模型，进行简单渲染，再调用unity提供的可以实现移动的组件角色控制器charactercontroller，便可以以第一视角在建筑内部实现自主浏览。
[0035]
进一步，步骤2中a*算法藏品信息导航的过程可以表示如下：
[0036]
当用户在博物馆需要找到相关藏品的时候，可借助uwb定位模块对藏品所在博物馆的位置进行定位，再结合自身所处的位置，根据a*算法，为用户规划路径，寻找藏品：
[0037]
首先在相关藏品的附近安装uwb定位模块和5g通信模块，定位信息会通过5g网络传输到上位机和app，上位机和app进而对定位信息分析；
[0038]
再将纷繁复杂的博物馆地图抽象成寻路网格，把博物馆地图划分为多个正方形单元或正多边形单元，也可以划分为非均匀的凸多边形，并将网格看作是一个个“寻路点”；每个寻路点都有f、g、h这三个属性，f为通过这个点的总代价，代价越低，这个点就更有可能在最短路径上，g是从起点到这个点的代价，h是从这个点到终点的代价，这两个代价加起来就是这个点的总代价，a*算法使用f(n)作为路径评价指标：
[0039]
f(n)＝g(n)+h(n)
[0040]
式中，g(n)表示从起点到任何顶点的路径的确切成本，h(n)表示从顶点到目标的启发式估计成本，n表示当前位置节点坐标；
[0041]
再设置两个地图网格点集合，一个是open集合，一个是close集合，open集合里存放的是还未计算代价的点，close集合里是已经计算过的点；开始时open集合里只有起点，close集合没有元素，每次迭代将open集合里f最小的点作为基点，对于基点周围的相邻点做如下处理：
[0042]
(1)如果这个点是博物馆障碍点，直接无视；
[0043]
(2)如果这个点不在open表和close表中，则加入open表；
[0044]
(3)如果这个点已经在open表中，并且当前基点所在路径代价更低，则更新它的g值和父亲；
[0045]
(4)如果这个点在close表中，忽略；
[0046]
最后，处理完之后将基点加入close集合；当终点出现在open表中的时候，迭代结束，获得最佳寻优路径。
[0047]
进一步，步骤3中无人机直播旅游的过程可以表示如下：
[0048]
将单目摄像机釆集的图像信息通过图像传输模块发送到地面处理中心进行处理，并将数据处理计算得到的视觉导航信息发送至机载飞控处理器；增加一个机载室内导航处理器用于处理机载激光测距仪的距离信息，同时向机载飞控处理器提取视觉计算的导航信息，确定最终导航路径，引导四旋翼无人机实现位置控制和执行任务；并设计模糊pi-pd控制器的无人机姿态控制方式，其中pi控制器能够使系统快速无稳态误差的收敛，pd控制器可以有效的抑制系统超调量；其中，四旋翼机体质量m为0.82kg，对称电机轴距l为450mm，旋翼转速与升力关系可表示为：
[0049]
8000r/m＝9.8n
[0050]
角度初始值俯仰角为0
°
、俯仰角期望值为0
°
，模糊pi-pd控制器先对电机实际转速r与给定转速nr进行比较计算，得出最终偏差e以及偏差变化率ec，在模糊控制器1中将上述两项偏差进行模糊化，将经过模糊化之后的偏差与偏差变化率交与模糊控制器1开展推理工作，从而得到解模糊化后的控制器1比例参数k
1p
和积分参数k
1i
，在模糊控制器2中采用同样的方法得到控制器2比例参数k
2p
和积分参数k
2i
，然后将两个模糊控制器输出按下式计算：
[0051]kp
＝k
2p
*k
1p
+k
p0
[0052]ki
＝k
2i
*k
1i
+k
i0
[0053]
其中，k
p0
、k
i0
是系统参数的预设初始值，k
1p
、k
1i
是模糊控制器1的输出值，k
2p
、k
2i
是模糊控制器2的输出值，k
p
、ki是两级模糊控制器最新调节的比例参数和积分参数，其结果输入到pi控制器中，最后经过pd控制调节输入到无人机无刷直流电机模型中，达到控制无人机姿态控制的目的。
[0054]
本发明基于无人机倾斜摄影技术和cim的智慧博物馆云旅游平台工作方法，有益效果：本发明的技术效果在于：
[0055]
1.本发明平台具有自主旅游和直播旅游的功能，在自主旅游中，用户可以在博物馆外观赏景色，也可以选择博物馆不同的楼层和入口，进入博物馆欣赏藏品；
[0056]
2.本发明在处理模糊图像时，可充分获取图像的先验知识，有效地提高图像处理速度，充分利用中间层的有用信息，与经过模糊核处理的图像对比，本发明处理后的模糊图像更加真实；
[0057]
3.当用户无法找到藏品时，可通过小地图对藏品进行a*算法的导航，也可选择直播旅游的形式，通过基于模糊pi-pd算法的姿态控制无人机直播，在线浏览博物馆内外的真实动态景色与藏品；
[0058]
4.本发明为智慧博物馆的建设提供了一种重要技术手段。
附图说明
[0059]
图1为本发明云平台运行流程图；
[0060]
图2为本发明cim模型图；
[0061]
图3为本发明博物馆的物联网感知模块架构图；
[0062]
图4为本发明博物馆内部自主浏览图；
[0063]
图5为本发明a*算法流程图
[0064]
图6为本发明云平台a*导航藏品算法的实现效果
[0065]
图7为本发明无人机硬件架构图；
[0066]
图8为本发明模糊pi-pd控制图；
具体实施方式
[0067]
下面结合附图与具体实施方式对本发明作进一步详细描述：
[0068]
本发明提出了基于无人机倾斜摄影技术和cim的智慧博物馆云旅游平台工作方法，与cim相结合，利用unity渲染，真实再现智慧博物馆及周边景色。同时为了贯彻智慧博
物馆“以人为本”的观念，平台设立自主游览和模糊pi-pd算法的姿态控制无人机直播的两种模式，供不同的用户选择。在自主游览模式中，用户可通过点击藏品来获得相关信息，若途中迷失或搜寻不到藏品时，上位机或app会进行a*算法的最佳路径导航。在无人机直播模式中，用户可以选择规定的路径，在线观看博物馆直播，实时游览博物馆藏品信息和景色动态。此外还可以获取博物馆的相关环境参数，进而控制博物馆的相关设备，以此来弥补目前云旅游市场的泛娱乐化、单一化以及缺少人性化的问题，图1为云平台运行流程图，下面对本发明的步骤作详细介绍。
[0069]
步骤1，通过无人机倾斜摄影技术创建实景三维模型，并与cim相结合，利用unity渲染，真实再现智慧博物馆及周边景色；
[0070]
步骤1中实景三维模型真实再现智慧博物馆及周边景色的过程可以表示为：
[0071]
采用dji无人机对博物馆进行航拍，在航拍过程中应飞到所拍摄最高建筑上方20m，利用交叠环绕法和田字法对博物馆进行全面、全方位的拍摄，打开cc engine软件(命令行样式)，接着打开cc master软件。将照片导入cc master软件中，对照片的经纬度、高度等信息进行空三测量，导出cim格式为3mx的模型，导入unity3d中进行渲染，并且利用unity引擎对cim进行二次开发，unity可以将地理信息系统(gis)、建筑信息模型(bim)等数据导入统一的数字孪生平台处理，通过unity定制开发的数字孪生应用可以接入实时物联网(iot)数据等城市感知数据，整合多维多尺度信息模型数据。最终在多个终端平台实现“一次构建，多次部署”，cim模型如图2所示。
[0072]
进一步，步骤1中照片进行去模糊化处理的过程可以表示为：
[0073]
通过构建生成器和判别器对模糊图像进行清晰化处理；
[0074]
步骤1.1构建生成器，生成器在将模糊图像生成复原图像的过程分为两部分：特征提取和上采样；其中生成器的特征提取模块由卷积层、残差模块、droupout网络组成，上采样模块由反卷积层、亚像素卷积层和全连接神经网络等组成；
[0075]
步骤1.2构建判别器，判别器主要由卷积层、归一化函数、激活函数和损失函数等组成；
[0076]
步骤1.3设计生成对抗网络的目标损失函数：
[0077]
v(d,g)＝e
x～μ
[logd(x)]+e
z～γ
[log(1-d(g(z)))]
[0078]
式中e是分布期望，x是训练样本，μ是训练样本x的概率分布，z是生成器的随机样本，γ是随机样本z的概率分布，d(x)是判别器的鉴别函数，g(z)是生成器的生成样本；生成对抗网络的提升网络性能的目标是：
[0079][0080]
在优化生成器时，要使得目标函数值最小，在优化判别器时，要使得目标函数值最大。
[0081]
步骤1.4初始化生成器和判别器网络参数；
[0082]
步骤1.5固定生成器参数，从训练样本中抽取n个模糊图像样本，输入到生成器中，来训练判别器；
[0083]
步骤1.6当循环更新判别器后，开始更新一次生成器，使得判别器无法分别生成器输出的复原图像和清晰图像；
[0084]
步骤1.7重复步骤1.5和步骤1.6，使得满足目标损失函数的优化目标，令判别器判
别复原图像和清晰图像的概率为0.5，完成改进的生成对抗网络模糊图像复原模型训练。
[0085]
进一步，步骤1中将物联网感知信息到unity实现的过程可以表示为：
[0086]
选择stm32f103rct6作为终端节点和协调器的控制器，在控制器上接上传感器实现数据的测量，连接上esp8266与onenet云平台的通信，主要完成环境数据的测量与控制执行元件的运动，unity平台可通过onenet云平台获取博物馆信息和进行博物馆相关设备控制；通过zigbee节点管理器完成的各节点之间的通信建立，pc机作为数据接受终端，数据测量终端作为从机挂载到zigbee网络中，博物馆的物联网感知模块架构图如图3所示，其中博物馆环境传感器选型为：
[0087]
(1)温湿度传感器dht11
[0088]
温湿度传感器使用dht11模块，通过单总线协议通信，可采集到当前环境的温度和湿度数据；
[0089]
(2)气敏传感器mq-2、危险气体传感器mq7
[0090]
气敏传感器使用mq-2，可采集当前室内多种气体，例如烟雾、酒精、液化气等，传感器数字量引脚输出高低电平表示当前浓度是否超过设定值；危险气体传感器使用mq-7对环境中的一氧化碳浓度进行检测，工作原理与mq-2大致相同；
[0091]
(3)opencv
[0092]
本项目使用opencv结合火源识别中常用的rgb+hsi判据对藏品实时采集的图像信息进行火源检测；
[0093]
(4)火焰传感器
[0094]
火焰传感器用于检测是否发生火灾，辅助opencv进行火焰识别，当探测到前方发生火灾时，传感器引脚输出高电平。
[0095]
进一步地，步骤1中平台自主游览的过程为：根据智慧博物馆的cim模型，在unity平台中建立智慧博物馆内部bim模型，进行简单渲染，再调用unity提供的可以实现移动的组件角色控制器charactercontroller，便可以以第一视角在建筑内部实现自主浏览，博物馆内部自主浏览图如图4所示。
[0096]
步骤2，平台设立自主游览和无人机直播的两种模式，供不同的用户选择，在自主游览模式中，用户可通过点击藏品来获得相关信息，若途中迷失或搜寻不到藏品时，上位机或app会进行a*算法的最佳路径导航；
[0097]
步骤2中平台自主游览的过程可以表示如下：
[0098]
根据智慧博物馆的cim模型，在unity平台中建立智慧博物馆内部bim模型，进行简单渲染，再调用unity提供的可以实现移动的组件角色控制器charactercontroller，便可以以第一视角在建筑内部实现自主浏览。
[0099]
进一步，步骤2中a*算法藏品信息导航的过程可以表示如下：
[0100]
当用户在博物馆需要找到相关藏品的时候，可借助uwb定位模块对藏品所在博物馆的位置进行定位，再结合自身所处的位置，根据a*算法，为用户规划路径，寻找藏品，如图5为a*算法流程图：
[0101]
首先在相关藏品的附近安装uwb定位模块和5g通信模块，定位信息会通过5g网络传输到上位机和app，上位机和app进而对定位信息分析；
[0102]
再将纷繁复杂的博物馆地图抽象成寻路网格，把博物馆地图划分为多个正方形单
元或正多边形单元，也可以划分为非均匀的凸多边形，并将网格看作是一个个“寻路点”；每个寻路点都有f、g、h这三个属性，f为通过这个点的总代价，代价越低，这个点就更有可能在最短路径上，g是从起点到这个点的代价，h是从这个点到终点的代价，这两个代价加起来就是这个点的总代价，a*算法使用f(n)作为路径评价指标：
[0103]
f(n)＝g(n)+h(n)
[0104]
式中，g(n)表示从起点到任何顶点的路径的确切成本，h(n)表示从顶点到目标的启发式估计成本，n表示当前位置节点坐标；
[0105]
再设置两个地图网格点集合，一个是open集合，一个是close集合，open集合里存放的是还未计算代价的点，close集合里是已经计算过的点；开始时open集合里只有起点，close集合没有元素，每次迭代将open集合里f最小的点作为基点，对于基点周围的相邻点做如下处理：
[0106]
(1)如果这个点是博物馆障碍点，直接无视；
[0107]
(2)如果这个点不在open表和close表中，则加入open表；
[0108]
(3)如果这个点已经在open表中，并且当前基点所在路径代价更低，则更新它的g值和父亲；
[0109]
(4)如果这个点在close表中，忽略；
[0110]
最后，处理完之后将基点加入close集合；当终点出现在open表中的时候，迭代结束，获得最佳寻优路径，云平台a*导航藏品算法的实现效果如图6所示。
[0111]
进一步，步骤2中无人机直播旅游的过程为：对于室外空间大、北斗卫星信号高的情况下，只需要使用目前市场上的无人机即可。这类无人机依靠北斗模块进行定位和导航，能够在室外高效工作。但针对室内空间窄、信号弱的情况，限制了无人机的选型和机载传感器的选择范围,给导航系统的微型化和室内导航技术带来新的挑战。虽然市场上不乏各种类型的无人机，但几乎都是手动操作和体积较大的类型。这对于进行室内直播无法起到相对应的作用。
[0112]
本发明根据单目视觉导航和激光测距仪两种导航的优缺点，取其长处，将两者配合应用于室内自主导航。在未知的室内导航问题中包含三个关键要素：地图的创建、定位和运动控制。本项目将单目摄像机釆集的图像信息通过图像传输模块发送到地面处理中心进行处理，并将数据处理计算得到的视觉导航信息发送至机载飞控处理器；增加一个机载室内导航处理器用于处理机载激光测距仪的距离信息，同时向机载飞控处理器提取视觉计算的导航信息，确定最终导航路径，引导四旋翼无人机实现位置控制和执行任务，如图7为无人机硬件架构图。
[0113]
步骤3，在无人机直播模式中，用户可以选择规定的路径，在线观看博物馆直播，实时游览博物馆藏品信息和景色动态，同时可获取博物馆的相关环境参数，进而控制博物馆的相关设备，以此来弥补目前云旅游市场的泛娱乐化、单一化以及缺少人性化的问题；
[0114]
进一步，步骤3中无人机直播旅游的过程可以表示如下：
[0115]
将单目摄像机釆集的图像信息通过图像传输模块发送到地面处理中心进行处理，并将数据处理计算得到的视觉导航信息发送至机载飞控处理器；增加一个机载室内导航处理器用于处理机载激光测距仪的距离信息，同时向机载飞控处理器提取视觉计算的导航信息，确定最终导航路径，引导四旋翼无人机实现位置控制和执行任务；并设计模糊pi-pd控
制器的无人机姿态控制方式，其中pi控制器能够使系统快速无稳态误差的收敛，pd控制器可以有效的抑制系统超调量；其中，四旋翼机体质量m为0.82kg，对称电机轴距l为450mm，旋翼转速与升力关系可表示为：
[0116]
8000r/m＝9.8n
[0117]
角度初始值俯仰角为0
°
、俯仰角期望值为0
°
，模糊pi-pd控制器先对电机实际转速r与给定转速nr进行比较计算，得出最终偏差e以及偏差变化率ec，在模糊控制器1中将上述两项偏差进行模糊化，将经过模糊化之后的偏差与偏差变化率交与模糊控制器1开展推理工作，从而得到解模糊化后的控制器1比例参数k
1p
和积分参数k
1i
，在模糊控制器2中采用同样的方法得到控制器2比例参数k
2p
和积分参数k
2i
，然后将两个模糊控制器输出按下式计算：
[0118]kp
＝k
2p
*k
1p
+k
p0
[0119]ki
＝k
2i
*k
1i
+k
i0
[0120]
其中，k
p0
、k
i0
是系统参数的预设初始值，k
1p
、k
1i
是模糊控制器1的输出值，k
2p
、k
2i
是模糊控制器2的输出值，k
p
、ki是两级模糊控制器最新调节的比例参数和积分参数，其结果输入到pi控制器中，最后经过pd控制调节输入到无人机无刷直流电机模型中，结构如图8所示，达到控制无人机姿态控制的目的。
[0121]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

技术特征：
1.基于无人机倾斜摄影技术和cim的智慧博物馆云旅游平台工作方法，具体步骤如下，其特征在于：步骤1，通过无人机倾斜摄影技术创建实景三维模型，并与cim相结合，利用unity渲染，真实再现智慧博物馆及周边景色；步骤2，平台设立自主游览和无人机直播的两种模式，供不同的用户选择，在自主游览模式中，用户通过点击藏品来获得相关信息，若途中迷失或搜寻不到藏品时，上位机或app会进行a*算法的最佳路径导航；步骤3，在无人机直播模式中，用户选择规定的路径，在线观看博物馆直播，实时游览博物馆藏品信息和景色动态，同时可获取博物馆的相关环境参数，进而控制博物馆的相关设备。2.根据权利要求1所述的基于无人机倾斜摄影技术和cim的智慧博物馆云旅游平台工作方法，其特征在于：步骤1中实景三维模型真实再现智慧博物馆及周边景色的过程表示为：通过dji无人机对博物馆进行航拍，在航拍过程中应飞到所拍摄最高建筑上方20m，利用交叠环绕法和田字法对博物馆进行全面、全方位的拍摄，并对照片进行去模糊化处理，将处理后的照片导入cc master软件中，对照片的经纬度、高度等信息进行空三测量，导出cim格式为3mx的模型，导入unity3d中进行渲染，并且利用unity引擎对cim进行二次开发，unity将地理信息系统gis和建筑信息模型bim数据导入统一的数字孪生平台处理，通过unity定制开发的数字孪生应用可以接入实时物联网iot数据城市感知数据，整合多维多尺度信息模型数据，最终在多个终端平台实现一次构建，多次部署。3.根据权利要求1所述的基于无人机倾斜摄影技术和cim的智慧博物馆云旅游平台工作方法，其特征在于：步骤1中通过构建生成器和判别器对实景三维模型的模糊图像进行清晰化处理；步骤1.1构建生成器，生成器在将模糊图像生成复原图像的过程分为两部分：特征提取和上采样；其中生成器的特征提取模块由卷积层、残差模块、droupout网络组成，上采样模块由反卷积层、亚像素卷积层和全连接神经网络等组成；步骤1.2构建判别器，判别器主要由卷积层、归一化函数、激活函数和损失函数组成；步骤1.3设计生成对抗网络的目标损失函数：v(d,g)＝e
x～μ
[logd(x)]+e
z～γ
[log(1-d(g(z)))]式中e是分布期望，x是训练样本，μ是训练样本x的概率分布，z是生成器的随机样本，γ是随机样本z的概率分布，d(x)是判别器的鉴别函数，g(z)是生成器的生成样本；生成对抗网络的提升网络性能的目标是：在优化生成器时，要使得目标函数值最小，在优化判别器时，要使得目标函数值最大。步骤1.4初始化生成器和判别器网络参数；步骤1.5固定生成器参数，从训练样本中抽取n个模糊图像样本，输入到生成器中，来训练判别器；步骤1.6当循环更新判别器后，开始更新一次生成器，使得判别器无法分别生成器输出
的复原图像和清晰图像；步骤1.7重复步骤1.5和步骤1.6，使得满足目标损失函数的优化目标，令判别器判别复原图像和清晰图像的概率为0.5，完成改进的生成对抗网络模糊图像复原模型训练。4.根据权利要求2所述的基于无人机倾斜摄影技术和cim的智慧博物馆云旅游平台工作方法，其特征在于：步骤1中将物联网iot数据城市感知数据信息到unity实现的过程表示为：选择stm32f103rct6作为终端节点和协调器的控制器，在控制器上接上传感器实现数据的测量，连接上esp8266与onenet云平台的通信，完成环境数据的测量与控制执行元件的运动，unity平台通过onenet云平台获取博物馆信息和进行博物馆相关设备控制；通过zigbee节点管理器完成的各节点之间的通信建立，pc机作为数据接受终端，数据测量终端作为从机挂载到zigbee网络中，其中博物馆环境传感器选型为：(1)温湿度传感器dht11；温湿度传感器使用dht11模块，通过单总线协议通信，采集到当前环境的温度和湿度数据；(2)气敏传感器mq-2、危险气体传感器mq7；气敏传感器使用mq-2，可采集当前室内气体，包括烟雾、酒精和液化气，传感器数字量引脚输出高低电平表示当前浓度是否超过设定值；危险气体传感器使用mq-7对环境中的一氧化碳浓度进行检测，工作原理与mq-2大致相同；(3)opencv；使用opencv结合火源识别中常用的rgb+hsi判据对藏品实时采集的图像信息进行火源检测；(4)火焰传感器；火焰传感器用于检测是否发生火灾，辅助opencv进行火焰识别，当探测到前方发生火灾时，传感器引脚输出高电平。5.根据权利要求1所述的基于无人机倾斜摄影技术和cim的智慧博物馆云旅游平台工作方法，其特征在于：步骤2中平台自主游览的过程表示如下：根据智慧博物馆的cim模型，在unity平台中建立智慧博物馆内部bim模型，进行简单渲染，再调用unity提供的可以实现移动的组件角色控制器charactercontroller，便可以以第一视角在建筑内部实现自主浏览。6.根据权利要求1所述的基于无人机倾斜摄影技术和cim的智慧博物馆云旅游平台工作方法，其特征在于：步骤2中a*算法藏品信息导航的过程表示如下：当用户在博物馆需要找到相关藏品的时候，借助uwb定位模块对藏品所在博物馆的位置进行定位，再结合自身所处的位置，根据a*算法，为用户规划路径，寻找藏品：首先在相关藏品的附近安装uwb定位模块和5g通信模块，定位信息会通过5g网络传输到上位机和app，上位机和app进而对定位信息分析；再将纷繁复杂的博物馆地图抽象成寻路网格，把博物馆地图划分为多个正方形单元或正多边形单元，也可以划分为非均匀的凸多边形，并将网格看作是一个个“寻路点”；每个寻路点都有f、g、h这三个属性，f为通过这个点的总代价，代价越低，这个点就更有可能在最短路径上，g是从起点到这个点的代价，h是从这个点到终点的代价，这两个代价加起来就是这
个点的总代价，a*算法使用f(n)作为路径评价指标：f(n)＝g(n)+h(n)式中，g(n)表示从起点到任何顶点的路径的确切成本，h(n)表示从顶点到目标的启发式估计成本，n表示当前位置节点坐标；再设置两个地图网格点集合，一个是open集合，一个是close集合，open集合里存放的是还未计算代价的点，close集合里是已经计算过的点；开始时open集合里只有起点，close集合没有元素，每次迭代将open集合里f最小的点作为基点，对于基点周围的相邻点做如下处理：(1)如果这个点是博物馆障碍点，直接无视；(2)如果这个点不在open表和close表中，则加入open表；(3)如果这个点已经在open表中，并且当前基点所在路径代价更低，则更新它的g值和父亲；(4)如果这个点在close表中，忽略；最后，处理完之后将基点加入close集合；当终点出现在open表中的时候，迭代结束，获得最佳寻优路径。7.根据权利要求1所述的基于无人机倾斜摄影技术和cim的智慧博物馆云旅游平台工作方法，其特征在于：步骤3中无人机直播旅游的过程表示如下：将单目摄像机釆集的图像信息通过图像传输模块发送到地面处理中心进行处理，并将数据处理计算得到的视觉导航信息发送至机载飞控处理器；增加一个机载室内导航处理器用于处理机载激光测距仪的距离信息，同时向机载飞控处理器提取视觉计算的导航信息，确定最终导航路径，引导四旋翼无人机实现位置控制和执行任务；并设计模糊pi-pd控制器的无人机姿态控制方式，其中pi控制器能够使系统快速无稳态误差的收敛，pd控制器可以有效的抑制系统超调量；其中，四旋翼机体质量m为0.82kg，对称电机轴距l为450mm，旋翼转速与升力关系可表示为：8000r/m＝9.8n角度初始值俯仰角为0
°
、俯仰角期望值为0
°
，模糊pi-pd控制器先对电机实际转速r与给定转速n
r
进行比较计算，得出最终偏差e以及偏差变化率e
c
，在模糊控制器1中将上述两项偏差进行模糊化，将经过模糊化之后的偏差与偏差变化率交与模糊控制器1开展推理工作，从而得到解模糊化后的控制器1比例参数k
1p
和积分参数k
1i
，在模糊控制器2中采用同样的方法得到控制器2比例参数k
2p
和积分参数k
2i
，然后将两个模糊控制器输出按下式计算：k
p
＝k
2p
*k
1p
+k
p0
k
i
＝k
2i
*k
1i
+k
i0
其中，k
p0
、k
i0
是系统参数的预设初始值，k
1p
、k
1i
是模糊控制器1的输出值，k
2p
、k
2i
是模糊控制器2的输出值，k
p
、k
i
是两级模糊控制器最新调节的比例参数和积分参数，其结果输入到pi控制器中，最后经过pd控制调节输入到无人机无刷直流电机模型中，达到控制无人机姿态控制的目的。

技术总结
基于无人机倾斜摄影技术和CIM的智慧博物馆云旅游平台工作方法，利用Unity渲染，真实再现智慧博物馆及周边景色。同时为了贯彻智慧博物馆“以人为本”的观念，平台设立自主游览和模糊PI-PD算法的姿态控制无人机直播的两种模式，供不同的用户选择。在自主游览模式中，用户可通过点击藏品来获得相关信息，若途中迷失或搜寻不到藏品时，上位机或App会进行A*算法的最佳路径导航。在无人机直播模式中，用户可以选择规定的路径，在线观看博物馆直播，通过模糊化算法对图像进行清晰化处理，实时游览博物馆藏品信息和景色动态。此外还可以获取博物馆的相关环境参数，进而控制博物馆的相关设备，以此来弥补目前云旅游市场的泛娱乐化、单一化以及缺少人性化的问题。以及缺少人性化的问题。以及缺少人性化的问题。


技术研发人员：李永琳 李浩然 姜玉东 王贵 管兆昶 韩修磊 王翠红 杨庆凤 辛玉红 李子文 张嘉 周星辰
受保护的技术使用者：金陵科技学院
技术研发日：2023.04.06
技术公布日：2023/7/25