一种高还原度虚拟环境的数据生成及自动标注方法

1.本发明涉及数据生成和无人机仿真技术领域，更具体的说是涉及一种高还原度虚拟环境的数据生成及自动标注方法。


背景技术：

2.视觉算法是当前无人机领域的热门问题，视觉数据则是算法的重中之重。目前，考虑到试验成本和安全性问题，自动驾驶和无人机领域都对数字孪生仿真系统的开发和应用十分重视。常用的数字孪生平台包括以游戏渲染引擎为代表的unity、unreal（虚幻引擎），以界面建模为代表的太极、blender等。近年来，由于虚幻引擎的游戏渲染引擎的真实度高和接口友好的特点，研究人员提出了包括carla、airsim、urdfsim等多种不同的仿真平台，然而，unreal作为游戏引擎，其整体的数据通讯和图像处理接口并不完善，难以支持高清晰度的图像获取和传递功能。
3.从虚幻引擎中获取视觉数据目前主要有以下几种方法：（1）hdmi图像采集卡：在多种仿真系统中，仿真环境可根据需求构建，并将其渲染出逼真的影像数据，影像数据通过hdmi接口传输到hdmi图像采集卡中，此方法获取的是整个屏幕的图像，需要二次处理截取有用部分作为视觉图像数据；（2）窗口捕获：任何有窗口的应用程序都可以通过操作系统api获取到主窗口句柄，得到设备上下文进行截图，其本质上还是截取当前屏幕中指定位置及大小的图像；（3）虚幻引擎的pixelstreaming（像素流）插件：该插件允许从任何有屏幕的联网设备（例如计算机，手机，平板电脑等）播放虚幻项目，其原理是插件从虚幻引擎的渲染线程中通过回调函数获取该帧的最终渲染画面，并使用h.264视频压缩对每个渲染帧的最终结果进行编码，将这些视频帧随游戏音频一同打包到媒体流送中，并通过直接点对点连接将该流送发送到一个或多个连线的浏览器上。
4.近年来，基于虚幻引擎的仿真系统越来越受到视觉集群算法的青睐，虚幻引擎能够提供高还原度的虚拟仿真环境，为视觉集群算法提供更加真实的仿真数据。但是在仿真视觉图像数据的导出方法上存在各种局限性，主要包括：（1）当显示器分辨率不足或仿真主窗口未全屏时，截取的渲染图像质量较低，或图像需要经过裁剪，难以有效使用，无法满足视觉集群算法要求；（2）导出的图像数据传输到算法模块需要保证实时性及有效性，常用的基于udp的图像传输能够保证数据实时传输到算法模块，但出现丢包的现象使图像数据严重失真，增大算法验证难度；（3）仿真获取的视觉图像数据需要再经过图像识别算法等提取图像信息，作为训练数据，还需进行人工标注，极大耗费人力；并且，人工标注的尺度不统一且容易出现漏标误标的问题，影响视觉算法性能。
5.因此，如何解决特殊环境图像数据采集困难、无人机视觉信息标注成本高且尺度不统一的问题是本领域技术人员亟需解决的技术问题。


技术实现要素：

6.有鉴于此，本发明提供了一种高还原度虚拟环境的数据生成及自动标注方法，图像质量固定可控，可以保证图像数据传输的高效性和有效性，完成整体数据采集和标注任务。
7.为了实现上述目的，本发明提供如下技术方案：一种高还原度虚拟环境的数据生成及自动标注方法，包括以下步骤：采用虚幻引擎渲染虚拟仿真环境，获取视景相机渲染图像并导出；通过自定义的网络协议以及传输控制协议，对视景相机渲染图像进行实时图像编码及单帧图像传输；利用环境投影原理和目标关键点坐标信息，将目标世界坐标转换到相机坐标中，提取目标标注信息，完成自动标注任务。
8.上述技术方案达到的技术效果为：解决虚幻引擎当前的图像接口不足、单帧图传容易丢包、数据传输量大、传输延迟高以及虚幻引擎只能将坐标转移到屏幕坐标系的弊端，支持多相机的图像采集和自动标注任务。
9.可选的，虚幻引擎包括普通相机模组和电影相机模组，其中：普通相机模组将采集的图像数据转换为2d像素贴图并进行后处理，导出低动态图像并存储；普通相机模组的可调参数包括高宽比、水平视场；电影相机模组的可调参数包括像元尺寸、镜头焦距、镜头光圈、高宽比、水平视场、追踪设置、相机焦距。
10.可选的，采用虚幻引擎渲染虚拟仿真环境，具体包括以下步骤：利用合成压缩插件，将电影相机的图像实时转化为贴图素材；将贴图素材送入后台渲染线程中单独渲染，得到图像数据。
11.可选的，在将电影相机的图像实时转化为贴图素材之前，所述方法还包括：将电影相机的图像导入到cg图层中进行显示，再将cg图层中的渲染数据导入到一个贴图素材中进行保存。
12.可选的，将贴图素材送入后台渲染线程中单独渲染，具体包括以下步骤：利用后端渲染线程将贴图素材利用图形处理器在后台进行单独渲染，并在渲染数据完成后自动开启一条可释放的图像编码线程；将贴图素材中的原始图像数据进行常规图像可读压缩，根据图像编码线程开启任务完成转发或存储任务。
13.可选的，在进行常规图像可读压缩之前，所述方法还包括：使用的超参数对贴图素材进行伽玛校正，完成图像的色彩还原任务；其中，伽玛校正的公式为：；式中：l表示矫正值，r表示校正前红色通道值，g表示校正前绿色通道值，b表示校正前蓝色通道值。
14.上述技术方案达到的技术效果为：为虚幻引擎开发了一套专用的高动态图像数据获取方法，分为图像获取和压缩编码两部分，可以解决电影相机生成的高动态图像数据无法导出、软件存在的延迟和卡顿问题，在硬件允许范围内开启多节点同时执行采图任务；利用伽玛校正解决高动态图像在导出时整体的画面对比度和亮度明显低于实际渲染数据的问题，能够达到更好的工作效果。
15.可选的，对视景相机渲染图像进行实时图像编码及单帧图像传输，具体包括以下步骤：设计图像链接协议，将图像链接协议的标识位依次设置为协议起始位、当前接收图像帧号、当前图像拆分包数、当前接收包在当前图像包的序号、当前包有效数据长度、当前传递数据类型、图像编码数据、协议校验位；在数据包丢失时，利用传输控制协议和当前图像拆分包数、当前接收包在当前图像包的序号的标识位即时产生响应，直接省略当前解码图像；在读取到校验位时，先计算数据长度是否与当前包有效数据长度的标识位一致以确定是否解码完成，再判断协议校验位是否一致。
16.上述技术方案达到的技术效果为：能够保证图像数据传输的稳定性和实时性，支持实时的信息传递任务。
17.可选的，将目标世界坐标转换到相机坐标中，具体包括以下步骤：通过具有齐次坐标形式的旋转矩阵与平移向量结合组成的变换矩阵表示世界坐标系、机体坐标系和相机坐标系之间的转换关系；当已知坐标系对应的俯仰角、滚转角、偏航角时，旋转矩阵的表达式为：；世界坐标系中点和相机坐标系中之间的对应关系表示为：；式中：c表示相机内参矩阵，r表示相机中心偏移向量；利用相机的位置向量和旋转矩阵以及相机自身参数矫正得到的投影矩阵，计算当前视角下的视觉投影矩阵：；式中：表示相机在机体系中x方向的位置偏移量，表示相机在机体系中y方向
的位置偏移量，表示相机在机体系中z方向的位置偏移量；将和目标在世界坐标系中的位置进行计算，得到目标在相机坐标系中的坐标，其中，用于将计算得到的xy数据进行归一化，最终的坐标投影结果为：；式中：和为获取图像的长宽值；为世界点坐标在当前图像中的像素坐标。
18.可选的，在进行自动标注任务时，所述方法还包括：对当前图像的所有标注结果间的最大交并比和标注面积进行计算，当计算结果不满足预设阈值时对标注结果进行择优或舍弃，完成对当前图像的自动标注任务。
19.可选的，所述方法还包括：通过外部触发软件计算当前触发帧号，并将当前触发帧号发送给虚幻引擎的渲染部分；虚幻引擎完成图像读取和自动标注任务之后，利用网络端口传递给外部触发软件；外部触发软件将得到的图像和结果利用帧号进行数据对齐并存储至对应的硬盘空间中，完成完整的数据标注任务。
20.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种高还原度虚拟环境的数据生成及自动标注方法，具有以下有益效果：（1）本发明设计了一种针对高动态图像的图像实时读取和编码方法，解决虚幻引擎当前的图像接口不足的问题，能够在不掉帧的前提下实现对仿真图像的实时稳定提取；（2）本发明提出了一种新的图像传输协议framelink（图像链接协议），解决单帧图传容易丢包、数据传输量大、传输延迟高的问题，能够实现低延迟的单帧图像数据传输任务；（3）本发明提出了一种基于虚幻引擎相机投影参数和投影规则的仿真平台数据自动标注方法，该方法能够解决虚幻引擎只能将坐标转移到屏幕坐标系的弊端，与本技术方案的高动态图像读取方法的适配度更高，能够同时支持多相机的图像采集和自动标注任务。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
22.图1为本发明提供的高还原度虚拟环境的数据生成及自动标注方法的流程图；
图2为本发明提供的高动态图像读取流程图；图3为本发明提供的图像链接协议的示意图；图4为本发明提供的相机投影模型示意图；图5为本发明提供的外触发标注及数据传输结果示意图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.本发明实施例公开了一种高还原度虚拟环境的数据生成及自动标注方法，如图1所示，包括以下步骤：采用虚幻引擎渲染高还原度虚拟仿真环境，获取视景相机渲染图像并导出；通过自定义的网络协议以及tcp传输（传输控制协议），对视景相机渲染图像进行实时图像编码及单帧图像传输；利用环境投影原理和目标关键点坐标信息，将目标世界坐标转换到相机坐标中，提取目标标注信息，完成自动标注任务。
25.图1所示的步骤可以概括为：基于虚幻引擎摄像机系统的高动态图像导出及存储方法、基于tcp的实时图像编码及单帧图传方法、基于虚幻引擎视景相机投影矩阵的自动标注方法。接下来，对图1所示的技术方案进行具体阐述。
26.虚幻引擎作为一个目前行业领先的两个游戏引擎之一，可以进行高精度建模和实时动态渲染，并广泛应用于影视cg制作等场景，能够维持极高的真实度和场景还原度，非常适合利用该环境进行数据采集来丰富无人机、无人车、机器人等高智能平台中智能算法所使用的数据集。
27.进一步地，虚幻引擎包括普通相机模组和电影相机模组，其中：普通相机模组将采集的图像数据转换为2d像素贴图并进行深度、红外等后处理，导出低动态图像并存储；这种方法是虚幻引擎自带的图像导出方法和显示方法，其可调参数较少，仅包括高宽比、水平视场；由于其自带后处理功能，图像在导出时会存在明显的畸变问题，不能满足视觉数据集采集的需要；电影相机模组的可调参数较多，包括像元尺寸、镜头焦距、镜头光圈、高宽比、水平视场、追踪设置、相机焦距，能够极大还原真实相机参数，且获取图像无变形，但由于获取图像为高动态图像，无法导出和后处理，因此无法支持数据集制作。
28.进一步地，为了更好的完成图像数据获取任务，本实施例为unreal（虚幻引擎）开发了一套专用的hdr（高动态图像）图像数据获取方法，整体的方案流程如图2所示，图像数据捕获方法可以分为两步，分别是图像获取和压缩编码。
29.具体地，利用影视后处理插件composure（合成压缩插件）将电影相机的图像实时转化为贴图素材。在此之前，需要先将电影相机的图像导入到cg图层中进行显示，再将cg图层中的渲染数据导入到一个贴图素材中进行保存。这种方法可以解决电影相机生成的hdr图像数据无法导出的问题。捕获部分工作在软件的主线程中，该步骤仅为数据读取任务，不
适用cpu或gpu进行数据处理，因此实时性强，算法基本延迟低。
30.而图像原始数据的压缩编码步骤则较为复杂。这是由于虚幻引擎自带函数无法对贴图素材直接进行处理和存储；而直接将原始数据导出到硬盘的方法会直接在主线程中进行大量图像处理运算，阻塞主线程运行，导出图像时程序的运行帧率甚至会低至10帧以下，无法满足正常使用需求。因此，本实施例在后处理步骤中进行如下处理：利用rhi（后端渲染）线程将贴图素材利用gpu（图形处理器）在后台进行单独渲染，并且在渲染数据完成后自动开启一条可释放的图像编码线程；将读取的图像数据进行常规图像可读压缩；之后，根据线程开启任务可以完成转发或存储任务。从而解决软件存在的延迟和卡顿问题，并且可以在硬件允许范围内同时开启多节点同时执行采图任务。
31.除此之外，hdr图像在导出时整体的画面对比度和亮度会明显低于实际渲染数据，为进一步地解决该问题，本实施例在图像压缩之前使用的超参数对贴图素材进行伽玛校正，完成图像的色彩还原任务；其中，伽玛校正的公式为：；式中：l表示矫正值，r表示校正前红色通道值，g表示校正前绿色通道值，b表示校正前蓝色通道值；该方法通过使用虚幻引擎特有的可自动释放的独立线程启动模式，在完成单张图像渲染后直接将对应的渲染线程进行释放，因此，在整体的工作进程中计算机的内存和显存不会持续增长，维持在一个基本稳定的状态下，整体工作效果良好。
32.进一步地，基于tcp的实时图像编码及单帧图传方法如下：虚幻引擎本身提供了一个pixelstreaming（像素流）插件，用于将当前项目的显示界面和控制指令利用tcp网络和h.264进行传递，该方法直接读取渲染线程的渲染数据，并将渲染的视频数据进行h.264编码。这与本实施例的思路类似。但是，本技术方案本身作为一种自动标注方法，需要将图像的帧号与标注信息根据时间戳进行对齐，这时视频数据的编码方式整体的效果就难以达到理想效果，为此，本实施例专门设计了一种framelink（图像链接）协议，基于tcp方法完成实时的图像转发任务，其具体的协议内容如图3和表1所示。
33.表1 framelink（图像链接协议）具体内容标识位数据类型内容说明hduint8协议起始位，默认为0x86sequint16当前接收图像帧号pnuint8当前图像拆分包数psuint8当前接收包在当前图像包的序号lenuint16当前包有效数据长度msguint8当前传递数据类型payloaduint8*图像编码数据fcsuint8协议校验位，为数据累加后最终结果
利用tcp传输稳定性和pn、ps校验位能够在数据包丢失时即时产生响应，并直接省略当前解码图像。而len和payload定义用于保证读取对应数据长度和位数，在读取到校验位时，首先计算数据长度是否与len一致来保证解码完成，再判断校验位是否一致。通过这一简单协议传输方法能够保证图像数据传输的稳定性和实时性，支持实时的信息传递任务。
34.进一步地，基于虚幻引擎视景相机投影矩阵的自动标注方法如下：图4是在计算机视觉领域常用的四个坐标系，即像素坐标系、图像坐标系、相机坐标系、世界坐标系的关系示意图。该图能够很好的展示计算机视觉进行图像处理时使用的五个坐标系的相对关系（其中，世界坐标系：；机体坐标系：；相机坐标系：；图像坐标系：；像素坐标系：）。值得一提的是，相机坐标系以相机光心为原点，机体坐标系以无人机质心为原点，当无人机采用捷联式导引方法时，相机坐标系与机体坐标系就可以在三维空间得到一个满足特殊欧氏群的变换矩阵，实现像素点信息到局部空间信息的转换。
35.自动标注的原理就是基于上述投影关系得到的，是一个将目标世界坐标投影到像素坐标的方法。三维坐标系都属于欧拉坐标系，包括了三个自由度的平移和三个自由度的旋转，一般使用旋转向量、四元数、旋转矩阵、吉布斯向量等方法表示旋转，并利用旋转矩阵和表示平移的平移向量进行结合表示当前姿态。
36.具体地，通过具有齐次坐标形式的旋转矩阵与平移向量结合组成的变换矩阵表示世界坐标系、机体坐标系和相机坐标系之间的转换关系；当已知坐标系对应的俯仰角、滚转角、偏航角时，旋转矩阵的表达式为：；世界坐标系中点和相机坐标系中之间的对应关系表示为：；式中：c表示相机内参矩阵，r表示相机中心偏移向量；而在虚幻引擎中，由于相机本身在进行渲染时需要利用相机的投影关系，因此，可以直接利用相机的位置向量和旋转矩阵以及相机自身参数矫正得到的投影矩阵，计算当前视角下的视觉投影矩阵：；式中：表示相机在机体系中x方向的位置偏移量，表示相机在机体系中y方向的位置偏移量，表示相机在机体系中z方向的位置偏移量；
之后，直接将和目标在世界坐标系中的位置进行计算，得到目标在相机坐标系中的坐标，其中，用于将计算得到的xy数据进行归一化，最终的坐标投影结果为：；式中：和为获取图像的长宽值；为世界点坐标在当前图像中的像素坐标。
37.利用这种方法，可以完成目标边界框标注、关键点标注等多项自动标注任务。以目标边界框标注为例，同时将某一目标的8个空间顶点的世界坐标汇总至一个列表中，分别将各顶点进行坐标转换。将各顶点的在x和y方向上的两个最值分别与图像的长宽值和0值进行比较，得到最终的标注结果。之后，考虑到重叠目标和小目标标注的问题，对当前图像的所有标注结果间的最大iou（交并比）和标注面积进行计算，当该值不满足预设阈值条件时对标注结果进行择优或舍弃，完成对当前图像的自动标注任务。该方法可以根据目标对象类别进行区分，根据不同对象中的高宽比参数生成更为真实的标注信息。
38.进一步地，为了更好的契合自动标注任务和图像传递结果，该自动标注方法需要使用外部udp触发的方法对图像和标注结果进行对齐。整体的方案流程图如图5所示：通过外部触发软件计算当前触发帧号，并将当前触发帧号发送给虚幻引擎的渲染部分；虚幻引擎完成图像读取和自动标注任务之后，利用网络端口传递给外部触发软件；外部触发软件将得到的图像和结果利用帧号进行数据对齐并存储至对应的硬盘空间中，完成完整的数据标注任务。
39.本实施例设计了一种高还原度虚拟环境的数据生成及自动标注方法，该方法使用虚幻引擎渲染高还原度虚拟仿真环境，针对仿真渲染图像截取分辨率不足问题，设计了一种hdr图像导出及存储方法，直接获取视景相机渲染图像并导出，图像质量固定可控；针对图像数据传输有效性无法保证的问题，设计一种实时图像编码及单帧图传方法，通过自定义的网络协议以及可靠的tcp传输，保证图像数据传输的高效性和有效性；针对图像人工标注成本问题，设计一种基于视景图像投影的自动标注方法，利用环境投影原理和目标关键点坐标信息，将目标世界坐标转换到相机坐标中，提取目标标注信息，完成整体数据采集和标注任务。
40.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种高还原度虚拟环境的数据生成及自动标注方法，其特征在于，包括以下步骤：采用虚幻引擎渲染虚拟仿真环境，获取视景相机渲染图像并导出；通过自定义的网络协议以及传输控制协议，对视景相机渲染图像进行实时图像编码及单帧图像传输；利用环境投影原理和目标关键点坐标信息，将目标世界坐标转换到相机坐标中，提取目标标注信息，完成自动标注任务。2.根据权利要求1所述的一种高还原度虚拟环境的数据生成及自动标注方法，其特征在于，虚幻引擎包括普通相机模组和电影相机模组，其中：普通相机模组将采集的图像数据转换为2d像素贴图并进行后处理，导出低动态图像并存储；普通相机模组的可调参数包括高宽比、水平视场；电影相机模组的可调参数包括像元尺寸、镜头焦距、镜头光圈、高宽比、水平视场、追踪设置、相机焦距。3.根据权利要求2所述的一种高还原度虚拟环境的数据生成及自动标注方法，其特征在于，采用虚幻引擎渲染虚拟仿真环境，具体包括以下步骤：利用合成压缩插件，将电影相机的图像实时转化为贴图素材；将贴图素材送入后台渲染线程中单独渲染，得到图像数据。4.根据权利要求3所述的一种高还原度虚拟环境的数据生成及自动标注方法，其特征在于，在将电影相机的图像实时转化为贴图素材之前，所述方法还包括：将电影相机的图像导入到cg图层中进行显示，再将cg图层中的渲染数据导入到一个贴图素材中进行保存。5.根据权利要求3所述的一种高还原度虚拟环境的数据生成及自动标注方法，其特征在于，将贴图素材送入后台渲染线程中单独渲染，具体包括以下步骤：利用后端渲染线程将贴图素材利用图形处理器在后台进行单独渲染，并在渲染数据完成后自动开启一条可释放的图像编码线程；将贴图素材中的原始图像数据进行常规图像可读压缩，根据图像编码线程开启任务完成转发或存储任务。6.根据权利要求5所述的一种高还原度虚拟环境的数据生成及自动标注方法，其特征在于，在进行常规图像可读压缩之前，所述方法还包括：使用 的超参数对贴图素材进行伽玛校正，完成图像的色彩还原任务；其中，伽玛校正的公式为：；式中：l表示矫正值，r表示校正前红色通道值，g表示校正前绿色通道值，b表示校正前蓝色通道值。7.根据权利要求1所述的一种高还原度虚拟环境的数据生成及自动标注方法，其特征在于，对视景相机渲染图像进行实时图像编码及单帧图像传输，具体包括以下步骤：设计图像链接协议，将图像链接协议的标识位依次设置为协议起始位、当前接收图像帧号、当前图像拆分包数、当前接收包在当前图像包的序号、当前包有效数据长度、当前传
递数据类型、图像编码数据、协议校验位；在数据包丢失时，利用传输控制协议和当前图像拆分包数、当前接收包在当前图像包的序号的标识位即时产生响应，直接省略当前解码图像；在读取到校验位时，先计算数据长度是否与当前包有效数据长度的标识位一致以确定是否解码完成，再判断协议校验位是否一致。8.根据权利要求1所述的一种高还原度虚拟环境的数据生成及自动标注方法，其特征在于，将目标世界坐标转换到相机坐标中，具体包括以下步骤：通过具有齐次坐标形式的旋转矩阵与平移向量结合组成的变换矩阵表示世界坐标系、机体坐标系和相机坐标系之间的转换关系；当已知坐标系对应的俯仰角、滚转角、偏航角时，旋转矩阵的表达式为：；世界坐标系中点和相机坐标系中之间的对应关系表示为：；式中：c表示相机内参矩阵，r表示相机中心偏移向量；利用相机的位置向量和旋转矩阵以及相机自身参数矫正得到的投影矩阵，计算当前视角下的视觉投影矩阵：；式中：表示相机在机体系中x方向的位置偏移量，表示相机在机体系中y方向的位置偏移量，表示相机在机体系中z方向的位置偏移量；将和目标在世界坐标系中的位置进行计算，得到目标在相机坐标系中的坐标，其中，用于将计算得到的xy数据进行归一化，最终的坐标投影结果为：；式中：和为获取图像的长宽值；为世界点坐标在当前图像中的像素坐标。9.根据权利要求1所述的一种高还原度虚拟环境的数据生成及自动标注方法，其特征在于，在进行自动标注任务时，所述方法还包括：对当前图像的所有标注结果间的最大交并比和标注面积进行计算，当计算结果不满足预设阈值时对标注结果进行择优或舍弃，完成对当前图像的自动标注任务。10.根据权利要求1所述的一种高还原度虚拟环境的数据生成及自动标注方法，其特征
在于，所述方法还包括：通过外部触发软件计算当前触发帧号，并将当前触发帧号发送给虚幻引擎的渲染部分；虚幻引擎完成图像读取和自动标注任务之后，利用网络端口传递给外部触发软件；外部触发软件将得到的图像和结果利用帧号进行数据对齐并存储至对应的硬盘空间中，完成完整的数据标注任务。

技术总结
本发明公开了一种高还原度虚拟环境的数据生成及自动标注方法，涉及数据生成和无人机仿真技术领域，包括：采用虚幻引擎渲染虚拟仿真环境，获取视景相机渲染图像并导出；通过自定义的网络协议以及传输控制协议，对视景相机渲染图像进行实时图像编码及单帧图像传输；利用环境投影原理和目标关键点坐标信息，将目标世界坐标转换到相机坐标中，提取目标标注信息，完成整体数据采集和标注任务。本发明可以在不掉帧的前提下实现对仿真图像的实时稳定提取，实现低延迟的单帧图像数据传输任务，解决虚幻引擎只能将坐标转移到屏幕坐标系的弊端，支持多相机的图像采集和自动标注任务。支持多相机的图像采集和自动标注任务。支持多相机的图像采集和自动标注任务。


技术研发人员：刘畅 张晟 扶磊 李娟 陈市 杨成伟
受保护的技术使用者：北京理工大学
技术研发日：2023.03.14
技术公布日：2023/9/7