人体传感器判断模型的训练方法、装置、人体传感器与流程

1.本发明涉及传感技术领域，尤其涉及一种人体传感器判断模型的训练方法、装置、人体传感器。


背景技术：

2.现有的摄像头视觉识别技术已经相当成熟，可以实现多种类型的识别，如人体姿态、骨架、距离估测等。并且，由于标注好的视频训练集易于获取，通过训练后的网络模型实现摄像头视觉识别是容易实现的。
3.人体传感器中可以设置雷达，雷达数据在经过训练后理论上也能达到类似的效果。但由于雷达数据的训练样本数量有限，且采样和标注成本较高，导致其应用受限。
4.公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。


技术实现要素：

5.针对现有技术存在的问题，本发明提供一种人体传感器判断模型的训练方法、装置、人体传感器。
6.本发明的技术方案提供的一种人体传感器判断模型的训练方法，所述方法包括：
7.获取待监测空间内的雷达数据和视频数据；
8.输入所述雷达数据至第一判断模型，获取所述第一判断模型输出的识别结果，所述第一判断模型通过预先标注过的视频作为第一训练集进行训练；
9.以与所述雷达数据同时获取到的所述视频数据为输入，以所述识别结果为输出，构建第二训练集；
10.基于所述第二训练集，训练第二判断模型，所述第二判断模型作为所述人体传感器的判断模型，用于基于所述视频数据获取人体相关的识别结果。
11.可选地，所述雷达数据包括：
12.多发多收雷达获取的点云数据或者一发一收雷达获取的时域数据。
13.可选地，所述雷达数据和所述视频数据的获取方法包括：
14.使得摄像头和雷达至少具有相同的位置和/或角度和/或移动轨迹，所述摄像头用于获取所述视频数据，所述雷达用于获取所述雷达数据；
15.所述摄像头和所述雷达同时分别收集所述视频数据和所述雷达数据。
16.可选地，所述判断模型至少包括如下的一种：
17.目标检测模型、人体姿态估计模型、行为识别模型、空间对象识别模型；
18.其中，
19.所述目标检测模型至少包括如下的一种：
20.yolo、faster r-cnn、ssd；
21.所述人体姿态估计模型至少包括如下的一种：
22.openpose、alphapose、posenet；
23.所述行为识别模型至少包括如下的一种：
24.i3d、c3d、tsm；
25.所述空间对象识别模型至少包括如下的一种：
26.nerf、ponf。
27.本发明的技术方案还提供的一种人体传感器，所述人体传感器包括：
28.壳体；
29.雷达，所述雷达内置于所述壳体内，用于获取雷达数据；
30.处理器，所述处理器内置于所述壳体内，所述处理器与所述雷达通讯连接，所述处理器内设置判断模型，所述判断模型采用所述的人体传感器判断模型的训练方法训练；
31.其中，所述人体传感器不包括摄像头。
32.可选地，所述判断模型在训练完后，还包括如下处理中的至少一项：
33.模型压缩处理、模型剪枝处理、模型量化处理。
34.可选地，所述判断模型的运行方法包括：
35.在所述处理器中部署推理框架的解释器，在所述解释器中运行判断模型；
36.或者，
37.通过推理框架将所述判断模型编译以形成原生代码，在所述处理器上运行所述原生代码。
38.本发明的技术方案还提供的一种人体传感器判断模型的训练装置，所述装置包括：
39.获取模块，用于获取待监测空间内的雷达数据和视频数据；
40.识别模块，用于输入所述雷达数据至第一判断模型，获取所述第一判断模型输出的识别结果，所述第一判断模型通过预先标注过的视频作为第一训练集进行训练；
41.训练集构建模块，用于以与所述雷达数据同时获取到的所述视频数据为输入，以所述识别结果为输出，构建第二训练集；
42.训练模块，用于基于所述第二训练集，训练第二判断模型，所述第二判断模型作为所述人体传感器的判断模型，用于基于所述视频数据获取人体相关的识别结果。
43.本发明的技术方案还提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述人体传感器判断模型的训练方法的步骤。
44.本发明的技术方案还提供的一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述人体传感器判断模型的训练方法的步骤。
45.一种采集装置，所述采集装置包括：
46.雷达，用于获取雷达数据；
47.摄像头，用于获取视频数据；
48.电路板，所述电路板与所述雷达和所述摄像头电连接，用于获取所述雷达数据和所述视频数据，所述电路板还与处理器通讯连接，所述处理器内设置判断模型，所述判断模型采用任一所述的人体传感器判断模型的训练方法训练；
49.其中，所述雷达和所述摄像头具有相同的位置和角度。
50.本发明提供的人体传感器判断模型的训练方法、装置、人体传感器，通过将视频数据的识别结果迁移应用至雷达数据，使得人体传感器能够降低对雷达数据训练集获取的成本，使得在人体传感器中设置基于雷达数据的判断模型具备可行性。
附图说明
51.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
52.图1为本发明实施例提供的一种人体传感器判断模型的训练方法；
53.图2为本发明实施例提供的一种人体传感器判断模型的训练装置结构示意图；
54.图3为本发明提供的一种电子设备的实体结构示意图；
55.图4为本发明实施例的一种采集装置的结构示意图。
具体实施方式
56.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
57.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的人体传感器判断模型的训练方法进行详细地说明。
58.图1为本发明实施例提供的一种人体传感器判断模型的训练方法，如图1所示，本发明的技术方案提供的一种人体传感器判断模型的训练方法，方法包括如下步骤。
59.s110、获取待监测空间内的雷达数据和视频数据。
60.可选地，雷达数据包括：多发多收雷达获取的点云数据或者一发一收雷达获取的时域数据。进一步地，所述时域数据通过傅里叶变化转换成频域数据后用作后续判断模型的输入。
61.可选地，雷达数据和视频数据的获取方法包括：使得摄像头和雷达至少具有相同的位置和/或角度和/或移动轨迹，摄像头用于获取视频数据，雷达用于获取雷达数据；摄像头和雷达同时分别收集视频数据和雷达数据。
62.在一个实施例中，雷达和摄像头被安装在相同的位置，具有相同的监测角度，同时获取待检测空间的雷达数据和视频数据，使得将雷达数据的识别结果迁移给视频数据使用，更符合真实的状态，从而提高后续的模型训练效果。
63.需要说明的是，本发明中提及的摄像头指代可见光摄像头，并不包括红外摄像头。
64.s120、输入雷达数据至第一判断模型，获取第一判断模型输出的识别结果，第一判断模型通过预先标注过的视频作为第一训练集进行训练。预先标注过的视频可以通过在互联网有关的公开数据集中直接获取，或者，也可以直接本地化制作，或者，也可以使用由神经网络模型(如：神经辐射场模型等)生成虚拟标注数据。
65.s130、以与雷达数据同时获取到的视频数据为输入，以识别结果为输出，构建第二训练集。例如，基于当前帧的图像数据，第一判断模型输出待监测空间内无人存在的识别结果，则将当前帧的雷达数据作为输入，将待监测空间内无人存在的识别结果作为输出标记给当前帧的雷达数据，这就构成了一个训练样本，通过获取大量的类似的训练样本，形成第二训练集。
66.s140、基于第二训练集，训练第二判断模型，第二判断模型作为人体传感器的判断模型，用于基于视频数据获取人体相关的识别结果。在第二判断模型，还可以引入自注意机制，获得更强的特征聚合和全局感知能力效果。
67.在一个实施例中，第二判断模型和第一判断模型是相互独立的模型，第一判断模型可能是无法基于视频数据输出识别结果的，同时，第二判断模型也可能是无法基于雷达数据输出识别结果。
68.在另一个实施例中，第二判断模型和第一判断模型可以是同一个统一模型，该统一模型既能够基于视频数据输出识别结果，也能够基于雷达数据输出识别结果，第一判断模型对应着统一模型的第一参数状态，第二判断模型对应着统一模型的第二参数状态。
69.可选地，第二判断模型至少包括如下的一种：目标检测模型、人体姿态估计模型、行为识别模型、空间对象识别模型；其中，目标检测模型至少包括如下的一种：yolo、faster r-cnn、ssd；人体姿态估计模型至少包括如下的一种：openpose、alphapose、posenet；行为识别模型至少包括如下的一种：i3d、c3d、tsm；所述空间对象识别模型至少包括如下的一种：nerf、ponf。
70.在一个实施例中，第二判断模型包括目标检测模型、人体姿态估计模型、行为识别模型，目标检测模型的结果输入人体姿态估计模型，人体姿态估计模型的结果输入行为识别模型，分别实现多层递进目标，比如，首先判断是否有人，如果有，其次判断人体姿态，比如判断人体处于平躺姿态，最后，判断人的行为特征，比如，基于平躺姿态，判断人是否在睡觉。
71.进一步地，在一个实施例中，空间对象识别模型包括在第二判断模型之中，每次判断处理一组监测数据，空间对象识别模型前置在所述目标检测模型的输入之前，把可能不是人体的目标小对象(比如，墙面、家具、绿植、电风扇、宠物等)过滤掉。在另一个实施例中，空间对象识别模型独立于第二判断模型，空间对象识别模型首先通过雷达识别出监测空间大致的环境，对监测空间的各部分作出解释，例如，空间对象识别模型通过雷达识别到了固定的干扰源时后，将固定干扰源所在空间标记为干扰项，在运行第二判断模型时直接把干扰项的数据去除后再进一步分析。
72.本发明的技术方案还提供的一种人体传感器，人体传感器包括：壳体；雷达，雷达内置于壳体内，用于获取雷达数据；处理器，处理器内置于壳体内，处理器与雷达通讯连接，处理器内设置判断模型，判断模型采用的人体传感器判断模型的训练方法训练；其中，人体传感器不包括摄像头。不安装摄像头，一方面降低硬件成本和运行复杂度，同时，提高了人体传感器在隐私方面的安全性。并且，通过在训练阶段，采用摄像头接入的方式，训练所述判断模型，大大降低了判断模型的训练门槛，使得基于雷达数据的判断模型的训练具有切实的可用性。
73.需要说明的是，上述人体传感器不包括摄像头，但是仍然可能包括红外摄像头，比
如红外热释电传感器等。
74.可选地，判断模型在训练完后，还包括如下处理中的至少一项：模型压缩处理、模型剪枝处理、模型量化处理。通过优化模型大小，降低计算复杂度，适应嵌入式设备的资源约束。
75.可选地，判断模型的运行方法包括：在处理器中部署推理框架的解释器，在解释器中运行判断模型；或者，通过推理框架将判断模型编译以形成原生代码，在处理器上运行原生代码。常用的推理框架有tensorflow lite、pytorch mobile、mxnet等，这些框架可以将优化后的模型转换为人体传感器上运行的模型格式，具体地，如tensorflow lite转换为.tflite格式，pytorch mobile转换为.pt格式等。需要说明的是，在设备上运行推理框架的解释器，直接运行优化后的模型，这种方式部署简单，但执行效率较低；利用推理框架编译模型为设备上的原生代码(如arm代码)，运行编译后的代码，这种方式可以获得更高的执行效率，但编译过程较复杂。
76.本发明实施例的人体传感器用低成本的技术方案，就能实现雷达有关判断模型的训练，获得高效果的人体识别性能，使得人体传感器具有低配置成本和高识别效果，具备更好的商业前景。
77.下面对本发明提供的人体传感器判断模型的训练装置进行描述，下文描述的人体传感器判断模型的训练装置与上文描述的人体传感器判断模型的训练方法可相互对应参照。需要说明的是，这里所述的装置包括计算机、处理器等程序运行设备上的虚拟装置。
78.图2为本发明实施例提供的一种人体传感器判断模型的训练装置结构示意图，如图2所示，本发明的技术方案还提供的一种人体传感器判断模型的训练装置，装置包括：
79.获取模块，用于获取待监测空间内的雷达数据和视频数据；
80.识别模块，用于输入雷达数据至第一判断模型，获取第一判断模型输出的识别结果，第一判断模型通过预先标注过的视频作为第一训练集进行训练；
81.训练集构建模块，用于以与雷达数据同时获取到的视频数据为输入，以识别结果为输出，构建第二训练集；
82.训练模块，用于基于第二训练集，训练第二判断模型，第二判断模型作为人体传感器的判断模型，用于基于视频数据获取人体相关的识别结果。
83.本实施例通过将视频数据的识别结果迁移应用至雷达数据，使得人体传感器能够降低对雷达数据训练集获取的成本，使得在人体传感器中设置基于雷达数据的判断模型具备可行性。
84.图3为本发明提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行人体传感器判断模型的训练方法，所述方法包括：
85.获取待监测空间内的雷达数据和视频数据；
86.输入所述雷达数据至第一判断模型，获取所述第一判断模型输出的识别结果，所述第一判断模型通过预先标注过的视频作为第一训练集进行训练；
87.以与所述雷达数据同时获取到的所述视频数据为输入，以所述识别结果为输出，
构建第二训练集；
88.基于所述第二训练集，训练第二判断模型，所述第二判断模型作为所述人体传感器的判断模型，用于基于所述视频数据获取人体相关的识别结果。
89.此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
90.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的人体传感器判断模型的训练方法，所述方法包括：
91.获取待监测空间内的雷达数据和视频数据；
92.输入所述雷达数据至第一判断模型，获取所述第一判断模型输出的识别结果，所述第一判断模型通过预先标注过的视频作为第一训练集进行训练；
93.以与所述雷达数据同时获取到的所述视频数据为输入，以所述识别结果为输出，构建第二训练集；
94.基于所述第二训练集，训练第二判断模型，所述第二判断模型作为所述人体传感器的判断模型，用于基于所述视频数据获取人体相关的识别结果。
95.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的人体传感器判断模型的训练方法，所述方法包括：
96.获取待监测空间内的雷达数据和视频数据；
97.输入所述雷达数据至第一判断模型，获取所述第一判断模型输出的识别结果，所述第一判断模型通过预先标注过的视频作为第一训练集进行训练；
98.以与所述雷达数据同时获取到的所述视频数据为输入，以所述识别结果为输出，构建第二训练集；
99.基于所述第二训练集，训练第二判断模型，所述第二判断模型作为所述人体传感器的判断模型，用于基于所述视频数据获取人体相关的识别结果。
100.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
101.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上
述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
102.在本发明的一个实施例中，图4为本发明实施例的一种采集装置的结构示意图，如图4所示，还提供一种采集装置，所述采集装置包括：雷达，用于获取雷达数据；摄像头，用于获取视频数据；电路板，所述电路板与所述雷达和所述摄像头电连接，用于获取所述雷达数据和所述视频数据，所述电路板还与处理器通讯连接，所述处理器内设置判断模型，所述判断模型采用任一所述的人体传感器判断模型的训练方法训练；其中，所述雷达和所述摄像头具有相同的位置和角度。所述雷达和所述摄像头具有相同的位置和角度具体可以指雷达和摄像头安装于同一位置，并且监测朝向的角度也相同。此外，采集装置可以包括多个摄像头，比如一种双目采集装置。
103.需要说明的是，在一个实施例中，处理器安装在所述采集装置内，即采集装置包括处理器，而在另一实施例中，处理器设置在采集装置的外部，即采集装置不包括处理器，处理器通过有线或者无线的方式与所述主板通讯连接。
104.通过该采集装置，实现雷达数据和视频数据的同步采集。进一步地，该采集装置可以是具备摄像头的一种人体传感器样机。
105.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种人体传感器判断模型的训练方法，其特征在于，所述方法包括：获取待监测空间内的雷达数据和视频数据；输入所述雷达数据至第一判断模型，获取所述第一判断模型输出的识别结果，所述第一判断模型通过预先标注过的视频作为第一训练集进行训练；以与所述雷达数据同时获取到的所述视频数据为输入，以所述识别结果为输出，构建第二训练集；基于所述第二训练集，训练第二判断模型，所述第二判断模型作为所述人体传感器的判断模型，用于基于所述视频数据获取人体相关的识别结果。2.根据权利要求1所述的人体传感器判断模型的训练方法，其特征在于，所述雷达数据包括：多发多收雷达获取的点云数据或者一发一收雷达获取的时域数据。3.根据权利要求1或2所述的人体传感器判断模型的训练方法，其特征在于，所述雷达数据和所述视频数据的获取方法包括：使得摄像头和雷达至少具有相同的位置和/或角度和/或移动轨迹，所述摄像头用于获取所述视频数据，所述雷达用于获取所述雷达数据；所述摄像头和所述雷达同时分别收集所述视频数据和所述雷达数据。4.根据权利要求1-3中任一所述的人体传感器判断模型的训练方法，其特征在于，所述第二判断模型至少包括如下的一种：目标检测模型、人体姿态估计模型、行为识别模型、空间对象识别模型；其中，所述目标检测模型至少包括如下的一种：yolo、faster r-cnn、ssd；所述人体姿态估计模型至少包括如下的一种：openpose、alphapose、posenet；所述行为识别模型至少包括如下的一种：i3d、c3d、tsm；所述空间对象识别模型至少包括如下的一种：nerf、ponf。5.一种人体传感器，其特征在于，所述人体传感器包括：壳体；雷达，所述雷达内置于所述壳体内，用于获取雷达数据；处理器，所述处理器内置于所述壳体内，所述处理器与所述雷达通讯连接，所述处理器内设置判断模型，所述判断模型采用权利要求1-4中任一所述的人体传感器判断模型的训练方法训练；其中，所述人体传感器不包括摄像头。6.根据权利要求5所述的人体传感器，其特征在于，所述判断模型在训练完后，还包括如下处理中的至少一项：模型压缩处理、模型剪枝处理、模型量化处理。7.根据权利要求5或6所述的人体传感器，其特征在于，所述判断模型的运行方法包括：
在所述处理器中部署推理框架的解释器，在所述解释器中运行判断模型；或者，通过推理框架将所述判断模型编译以形成原生代码，在所述处理器上运行所述原生代码。8.一种人体传感器判断模型的训练装置，其特征在于，所述装置包括：获取模块，用于获取待监测空间内的雷达数据和视频数据；识别模块，用于输入所述雷达数据至第一判断模型，获取所述第一判断模型输出的识别结果，所述第一判断模型通过预先标注过的视频作为第一训练集进行训练；训练集构建模块，用于以与所述雷达数据同时获取到的所述视频数据为输入，以所述识别结果为输出，构建第二训练集；训练模块，用于基于所述第二训练集，训练第二判断模型，所述第二判断模型作为所述人体传感器的判断模型，用于基于所述视频数据获取人体相关的识别结果。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一项所述人体传感器判断模型的训练方法的步骤。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述人体传感器判断模型的训练方法的步骤。11.一种采集装置，其特征在于，所述采集装置包括：雷达，用于获取雷达数据；摄像头，用于获取视频数据；电路板，所述电路板与所述雷达和所述摄像头电连接，用于获取所述雷达数据和所述视频数据，所述电路板还与处理器通讯连接，所述处理器内设置判断模型，所述判断模型采用权利要求1-4中任一所述的人体传感器判断模型的训练方法训练；其中，所述雷达和所述摄像头具有相同的位置和角度。

技术总结
一种人体传感器判断模型的训练方法、装置、人体传感器，所述方法包括：获取待监测空间内的雷达数据和视频数据；输入所述雷达数据至第一判断模型，获取所述第一判断模型输出的识别结果，所述第一判断模型通过预先标注过的视频作为第一训练集进行训练；以与所述雷达数据同时获取到的所述视频数据为输入，以所述识别结果为输出，构建第二训练集；基于所述第二训练集，训练第二判断模型，所述第二判断模型作为所述人体传感器的判断模型。通过将视频数据的识别结果迁移应用至雷达数据，使得人体传感器能够降低对雷达数据训练集获取的成本，使得在人体传感器中设置基于雷达数据的判断模型具备可行性。具备可行性。具备可行性。


技术研发人员：周子庆
受保护的技术使用者：子擎科技（上海）有限公司
技术研发日：2023.04.19
技术公布日：2023/7/25