一种手势控制方法、装置、计算机设备及存储介质与流程

1.本公开涉及计算机技术领域，具体而言，涉及一种手势控制方法、装置、计算机设备及存储介质。


背景技术：

2.传统车辆的控制主要通过汽车中控实现，而对于车舱后排的乘客，由于距离汽车中控距离较远，因此往往难以对车辆进行控制。
3.相关技术中，为了提高车舱内各乘客的乘车体验，可以采用语音控制等方式对车辆进行控制，但是车辆在行驶过程中往往会有一定的噪音，因此语音控制的方式可能会因为噪音的干扰无法准确的实现对于车舱内控制设备的控制。


技术实现要素：

4.本公开实施例至少提供一种手势控制方法、装置、计算机设备及存储介质。
5.第一方面，本公开实施例提供了一种手势控制方法，包括：
6.获取在目标车舱内采集的待识别图像，并确定所述待识别图像所包含的手势信息；所述手势信息包括手部在目标车舱中的三维位置信息以及目标语义信息；
7.将所述三维位置信息映射至预设平面得到二维位置信息，并基于所述二维位置信息确定所述手势信息在所述预设平面中指示选取的目标区域；
8.确定所述目标车舱内与所述目标区域关联的目标控制设备；
9.基于与所述目标语义信息对应的目标控制指令控制所述目标控制设备。
10.一种可能的实施方式中，所述待识别图像包含深度信息；
11.所述方法还包括根据以下步骤确定所述手部在目标车舱中的三维位置信息：
12.确定所述手部在所述待识别图像中的目标关键点的图像坐标；
13.基于所述目标关键点的图像坐标和所述手部的深度信息，确定所述手部在所述目标车舱中的三维位置信息。
14.一种可能的实施方式中，所述预设平面为基于显示设备在所述目标车舱中所处位置确定的，所述预设平面中包括所述显示设备对应至少一个第一区域，以及围绕所述显示设备划定的多个第二区域；
15.其中，不同的第二区域用于控制不同的控制设备，各第二区域控制的控制设备与各第二区域在所述预设平面中的第一位置、以及各控制设备在所述目标车舱内的第二位置相关。
16.一种可能的实施方式中，在确定所述目标车舱内与所述目标区域关联的目标控制设备之后，所述方法还包括：
17.在所述显示设备上展示目标浮窗，其中，所述目标浮窗上展示有多个控制设备标识；
18.将所述目标控制设备的标识进行突出显示。
19.一种可能的实施方式中，在所述目标控制设备为可持续调节的控制设备的情况下，所述方法还包括：
20.响应于所述手势信息中的三维位置信息发生变化，基于变化后的三维位置信息，确定所述手部的运动变化量；所述运动变化量包括移动距离和/或移动角度；
21.基于所述运动变化量，确定控制所述目标控制设备时的状态变化量；
22.基于所述状态变化量确定对所述目标控制设备的状态控制指令，以基于所述状态控制指令变更所述目标控制设备的状态。
23.一种可能的实施方式中，所述方法还包括根据以下步骤确定与所述目标语义信息对应的目标控制指令：
24.确定与所述手势信息对应的车舱位置信息；
25.基于预设的与所述车舱位置信息匹配的，语义信息与控制指令的对应关系，确定所述目标语义信息对应的目标控制指令；其中，不同车舱位置信息匹配的语义信息与控制指令的对应关系不同。
26.第二方面，本公开实施例还提供一种智能驾驶车辆，包括：图像采集装置、数据处理器、图像显示设备、以及至少一个控制设备；
27.所述图像采集装置用于在目标车舱内采集待识别图像，并将所述待识别图像传输至所述数据处理器；
28.所述数据处理器，用于根据如第一方面中任一所述的手势控制方法，对获取的待识别图像进行处理得到目标控制指令，并按照所述目标控制指令控制目标控制设备；
29.所述图像显示设备，用于展示被控制的目标控制设备的设备名称。
30.第三方面，本公开实施例还提供一种手势控制装置，包括：
31.第一确定模块，用于获取在目标车舱内采集的待识别图像，并确定所述待识别图像所包含的手势信息；所述手势信息包括手部在目标车舱中的三维位置信息以及目标语义信息；
32.第二确定模块，用于将所述三维位置信息映射至预设平面得到二维位置信息，并基于所述二维位置信息确定所述手势信息在所述预设平面中指示选取的目标区域；
33.第三确定模块，用于确定所述目标车舱内与所述目标区域关联的目标控制设备；
34.控制模块，用于基于与所述目标语义信息对应的目标控制指令控制所述目标控制设备。
35.第四方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
36.第五方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
37.关于上述手势控制装置、计算机设备、及计算机可读存储介质的效果描述参见上述手势控制方法的说明，这里不再赘述。
38.本公开实施例提供的手势控制方法、装置、计算机设备及存储介质，通过确定出目
标车舱内采集的待识别图像所包含的手势信息，并将手势信息中的三维位置信息映射至预设平面中，能够在映射至预设平面后确定出于二位位置信息对应的目标控制设备，从而可以使用余手势信息中的目标语义信息对应的目标控制指令对所述目标控制设备进行控制。这样，相较于传统的直接通过触发汽车中控进行控制的方式，能够提高车舱后排的乘客的交互体验，而相较于使用语音控制等控制方式，通过手部在车舱中的三维位置信息对车舱内的控制设备进行手势控制，能够避免在控制过程中被噪音干扰的问题，提升对车舱内的控制设备的控制精度。
39.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
40.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
41.图1示出了本公开实施例所提供的一种手势控制方法的流程图；
42.图2示出了本公开实施例所提供的手势控制方法中，预设平面的示意图；
43.图3示出了本公开实施例所提供的手势控制方法中，目标浮窗的示意图；
44.图4示出了本公开实施例所提供的一种手势控制装置的架构示意图；
45.图5示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
46.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
47.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
48.本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
49.经研究发现，为了提高车舱内各乘客的乘车体验，可以采用语音控制等方式对车辆进行控制，但是车辆在行驶过程中往往会有一定的噪音，因此语音控制的方式可能会因为噪音的干扰无法准确的实现对于车舱内控制设备的控制。
50.基于上述研究，本公开提供了一种手势控制方法、装置、计算机设备及存储介质，通过确定出目标车舱内采集的待识别图像所包含的手势信息，并将手势信息中的三维位置信息映射至预设平面中，能够在映射至预设平面后确定出于二位位置信息对应的目标控制设备，从而可以使用余手势信息中的目标语义信息对应的目标控制指令对所述目标控制设备进行控制。这样，相较于传统的直接通过触发汽车中控进行控制的方式，能够提高车舱后排的乘客的交互体验，而相较于使用语音控制等控制方式，通过手部在车舱中的三维位置信息对车舱内的控制设备进行手势控制，能够避免在控制过程中被噪音干扰的问题，提升对车舱内的控制设备的控制精度。
51.为便于对本实施例进行理解，首先对本公开实施例所公开的一种手势控制方法进行详细介绍，本公开实施例所提供的手势控制方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该手势控制方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
52.参见图1所示，为本公开实施例提供的手势控制方法的流程图，所述方法包括s101～s104，其中：
53.s101：获取在目标车舱内采集的待识别图像，并确定所述待识别图像所包含的手势信息；所述手势信息包括手部在目标车舱中的三维位置信息以及目标语义信息。
54.s102：将所述三维位置信息映射至预设平面得到二维位置信息，并基于所述二维位置信息确定所述手势信息在所述预设平面中指示选取的目标区域。
55.s103：确定所述目标车舱内与所述目标区域关联的目标控制设备。
56.s104：基于与所述目标语义信息对应的目标控制指令控制所述目标控制设备。
57.以下是对上述步骤的详细介绍。
58.针对s101，所述目标车舱可以是部署有图像采集装置的车舱，所述图像采集装置可以部署在所述目标车舱的车载屏幕周围，用于实时采集所述目标车舱中不同车舱位置处分别对应的待识别图像；所述图像采集装置的数量可以有多个，不同的图像采集装置可以部署在所述目标车舱中的不同位置，从而可以从所述目标车舱内的不同拍摄角度采集所述待识别图像；所述待识别图像可以为包含深度信息的图像，从而在对所述待识别图像进行识别时可以结合深度信息确定出更为准确的手势信息；所述目标语义信息可以为预设的手势对应的语义信息，所述预设的手势例如可以是握拳、手推手势(五指伸出且分开的手势)等。
59.需要说明的是，在采集所述待识别图像之前，可以通过展示提示信息等提示方式对用户进行提醒，并在接收到用户授权进行图像采集后进行待识别图像的采集。
60.实际应用中，由于车辆在行驶过程中可能会出现颠簸等情况，因此用户的手部可能会被短暂识别到做出了某些手势，但此时用户可能并没有相应的控制意图，因此在进行手势识别过程中还可以判断用户此时是否有相应的控制意图。
61.一种可能的实施方式中，还可以通过以下步骤a1～a2确定所述手部在目标车舱中的三维位置信息：
62.a1：确定所述手部在所述待识别图像中的目标关键点的图像坐标。
63.a2：基于所述目标关键点的图像坐标和所述手部的深度信息，确定所述手部在所述目标车舱中的三维位置信息。
64.这里，所述目标关键点可以是所述待识别图像对应的关键点中满足预设条件的关键点，所述预设条件可以是在连续多帧采集的待识别图像中，关键点对应的偏移量小于预设的偏移量。
65.具体的，在确定所述手部在所述待识别图像中的目标关键点的图像坐标时，可以确定手部在连续多帧待识别图像中的待筛选关键点，并根据各待筛选关键点在所述连续多帧待识别图像中分别对应的偏移量，确定出各候选关键点中的目标关键点。
66.进一步的，在确定出所述手部对应的目标关键点后，即可根据所述目标关键点对应的图像坐标和所述手部的深度信息，确定出所述手部在所述目标车舱中的三维位置信息，从而能够更为精确的对用户手势进行识别。
67.具体的，在确定所述待识别图像所包含的目标语义信息时，可以对所述目标关键点进行识别，从而得到所述手部对应的目标语义信息，也即可以确定出所述手部做出了何种预设的手势。
68.一种可能的实施方式中，在所述图像采集装置的数量为多个的情况下，在确定所述手部在目标车舱中的三维位置信息时，可以确定所述手部在各所述图像采集装置同时采集的待识别图像中，目标关键点分别对应的多个图像坐标，并基于所述多个图像坐标、各所述图像采集装置采集的所述手部的深度信息以及各所述图像采集装置分别对应的部署位置，确定出所述手部在所述目标车舱中的三维位置信息。
69.其中，由于不同的图像采集装置采集的所述手部对应的深度信息可以不同，不同图像采集装置对应的目标关键点的图像坐标也是针对相机坐标系的，因此可以将不同图像采集装置采集到的图像坐标和深度信息转换至统一的坐标系下，在进行转换时可以按照与任一图像采集装置对应的坐标系转换关系，将该图像采集装置对应的目标关键点的图像坐标和深度信息转换至预设坐标系下，从而可以在完成各所述图像采集装置的转换后得到所述手部在所述目标车舱内的三维位置信息。
70.这样，通过将变化较为稳定的关键点作为识别用户手势信息的目标关键点，可以更为准确的判断用户的手势控制意图，从而可以提高手势信息的识别精度。
71.实际应用中，不同车舱位置处的乘客也可能同时做出手势，也即需要识别的手势信息中包含了不同用户的手势，而不同的手势对应的控制操作可能是冲突的，比如用户a想要打开天窗，而用户b想要关闭车窗。
72.一种可能的实施方式中，在确定的所述待识别图像所包含的手势信息中包含多个用户对应的手部的情况下，可以根据与各用户的车舱位置对应的手势识别优先级，依次确定各用户分别针对控制设备的目标控制指令，并按照所述目标控制指令对控制设备进行控制；或者，还可以各用户分别针对各控制设备的目标控制指令是否存在冲突，若不存在冲突则可以同时对各控制设备进行控制，若存在冲突则可以生成冲突提示信息进行提示。
73.其中，在判断各目标控制指令是否存在冲突时，可以从各目标控制指令针对的控制设备是否同一个控制设备、针对的同一个控制设备是否为相反的控制指令(比如一个是打开，另一个是关闭)等维度进行冲突判断，本技术对具体的冲突判断逻辑不做限定，以能
够实现为准。
74.针对s102、
75.这里，所述预设平面可以是基于显示设备在所述目标车舱中所处位置确定的，所述预设平面中包括所述显示设备对应至少一个第一区域，以及围绕所述显示设备划定的多个第二区域；所述目标区域可以是所述第一区域和/或所述第二区域中的至少一个区域。
76.其中，不同的第二区域用于控制不同的控制设备，各第二区域控制的控制设备与各第二区域在所述预设平面中的第一位置、以及各控制设备在所述目标车舱内的第二位置相关。
77.示例性的，所述预设平面的示意图可以如图2所示，图2中，所述预设平面由显示设备对应的第一区域(图2中白色区域)，以及围绕所述显示设备划定的多个第二区域(图2中灰色区域)，所述预设平面左侧的第二区域对应车舱左侧的控制设备，比如左前空调、左前车窗、左后车窗、左后空调，所述预设平面右侧的第二区域对应车舱右侧的控制设备，比如右前空调、右前车窗、右后车窗、右后空调，所述预设平面上方的第二区域对应车舱的车顶窗，所述预设平面下方的第二区域对应“呼出菜单”功能，通过触发“呼出菜单”对应的第二区域，可以在显示设备对应的第一区域中展示包含预设展示内容的显示页面。
78.具体的，在将所述三维位置信息映射至预设平面得到二维位置信息时，可以根据预设的三维位置信息和二维位置信息之间的转换关系，将识别到的待识别图像所包含的手部在目标车舱中的三维位置信息转换至所述预设平面中，从而能够将实时采集的待识别图像中所述手部对应的三维位置新消息转换至所述预设平面，便于在所述预设平面中对用户的手势控制意图进行判断；其中，在所述图像采集装置的数量为多个的情况下，不同的图像采集装置对应的三维位置信息和二位位置信息之间的转换关系可以是不同的，任一所述图像采集装置对应的三维位置信息和二位位置信息之间的转换关系，与该图像采集装置在所述目标车舱内的部署位置相关。
79.针对s103、
80.这里，与所述目标区域关联的目标控制设备可以包括多个控制设备，在确定的目标区域相同的情况下，不同车舱位置的用户可以控制的控制设备可以是不同的，所述控制设备可以是与车辆驾驶无关的控制设备，例如可以是车舱内的车窗、顶窗、空调等。
81.具体的，在确定所述目标车舱内与所述目标区域关联的目标控制设备时，可以根据所述目标区域和所述手势信息对应的车舱位置信息，确定与所述目标区域和所述车舱位置信息对应的目标控制设备。
82.示例性的，以所述目标车舱中包含的车舱位置为a、b、c、d为例，则用户1在车舱位置a做出手势1后，可以根据实时采集的待识别图像确定出所述手势1对应的手势信息，并在将手势信息中的三维位置信息转换到所述预设平面后，确定出所述手势1对应的手势信息所指示的目标区域为区域1，并根据区域1和车舱位置a确定出，表征车舱位置a对应的用户1此时所能控制的目标控制设备为“设备a和设备b”；用户2在车舱位置b做出手势2后，可以根据实时采集的待识别图像确定出所述手势2对应的手势信息，并在将手势信息中的三维位置信息转换到所述预设平面后，确定出所述手势2对应的手势信息所指示的目标区域为区域1，并根据区域1和车舱位置b确定出，表征车舱位置b对应的用户2此时所能控制的目标控制设备为“设备c和设备d”。
83.这样，通过为不同车舱位置上的用户设置不同的手势控制交互逻辑(即相同的操作控制不同的设备)，可以使得驾驶员能够控制的控制设备与乘客所能控制的控制设备是不同的，比如乘客不能控制开启驾驶位的车窗或者调节驾驶位的座椅，从而可以避免驾驶员在行驶过程中受到突发干扰，提高驾驶过程中的安全性。
84.此外，由于车门会挡着用户的一侧手臂，从而使得用户在乘客位乘车时可能左臂或者右臂难以轻松的做出特定手势，且用户还可以根据车舱内的操作按钮实现对于所处位置环境的控制，比如左后方乘客位上的用户，左臂可能难以轻松的做出特定手势，但可以快速的通过车窗调节按钮实现左后方车窗调控，而通过手势再控制左后方车窗调节并不会比车窗调节按钮更为便捷，则此时可以使用其他控制设备代替当前不便控制的控制设备，因此不同乘客之间所能控制的控制设备也可以是不同的，这样可以增加可被手势控制的控制设备的数量，丰富手势控制时的交互逻辑；另一方面，还可以同时针对不同的车舱位置设置出更符合用户在车舱内空间环境的手势交互逻辑，可以有效的对已有车舱控制方式进行补充，丰富目标车舱内各车舱位置处用户的乘车体验。
85.实际应用中，若用户在手部做出手势后没有得到信息反馈，可能难以对手势信息进行调整，从而控制其实际想要控制的控制设备，因此可以根据手势信息对用户进行信息反馈，以对用户进行提示。
86.一种可能的实施方式中，在确定所述目标车舱内与所述目标区域关联的目标控制设备之后，还可以通过以下步骤b1～b2提示用户当前控制的目标控制设备：
87.b1：在所述显示设备上展示目标浮窗，其中，所述目标浮窗上展示有多个控制设备标识。
88.b2：将所述目标控制设备的标识进行突出显示。
89.示例性的，所述目标浮窗的示意图可以如图3所示，图3中，设备上展示的目标浮窗中包含的控制设备标识为“顶窗”、“左前窗”、“右前窗”、“左后窗”、“右后窗”，当前突出展示的目标控制设备为“左前窗”，突出展示的方式为改变所述目标控制设备的标识所在区域的背景颜色。
90.此外，在对用户当前控制的设备进行提示时，还可以通过语音提示等其他方式进行提示，在进行语音提示时，可以根据与所述用户对应的车舱位置信息匹配的音频播放装置播放语音提示信息，比如可以根据车舱位置信息，使用所述目标车舱内部署与左后方的音频播放装置对位于左后方乘客位上的用户进行语音提示，以提示用户当前控制的目标控制设备。
91.这样，通过对用户当前控制的目标控制设备进行及时提示，可以帮助用户快速的对其实际想要控制的控制设备进行控制，从而提高用户的手势控制效率；此外，本公开实施例中其他可以被提示的信息也可以通过上述任一提示方式进行提示，比如在启动手势识别后可以进行语音提示，在对所述目标控制设备进行调节后，也可以通过语音提示等方式提示所述目标控制设备在被调节后的实时状态参数，本公开实施例对如何进行提示以及对各种信息进行提示不做限定，以实际使用过程中能够实现为准。
92.针对s104、
93.这里，语义信息与控制指令的对应关系可以是预先设置好的，比如手势“握拳后张开”可以对应触发操作、食指顺时针旋转可以对应增加操作、食指逆时针旋转可以对应减小
操作等；所述控制所述目标控制设备包括对所述目标控制设备的状态进行调整。
94.具体的，在基于与所述目标语义信息对应的目标控制指令控制所述目标控制设备时，可以根据所述目标控制指令对所述目标控制设备的目标参数进行调整，以实现对所述目标控制设备的控制。
95.实际应用中，对设备的控制除了包括开启或关闭某项功能外，还可以包括对设备的连续控制，比如连续增大音量、连续增大亮度、连续调节座椅角度、连续调节空调风扇朝向等，对于可持续调节的控制设备，可以针对性的设置控制方式，以提高对可持续调节设备的调节效率。
96.一种可能的实施方式中，在所述目标控制设备为可持续调节的控制设备的情况下，可以通过以下步骤c1～c3变更所述目标控制设备的状态：
97.c1：响应于所述手势信息中的三维位置信息发生变化，基于变化后的三维位置信息，确定所述手部的运动变化量；所述运动变化量包括移动距离和/或移动角度。
98.c2：基于所述运动变化量，确定控制所述目标控制设备时的状态变化量。
99.具体的，在基于所述运动变化量确定所述状态变化量时，可以根据预设的运动变化量与所述状态变化量之间的映射关系进行确定，比如顺时针旋转90
°
对应增大一档音量，向右移动手部5cm对应增大一档灯光亮度等。
100.c3：基于所述状态变化量确定对所述目标控制设备的状态控制指令，以基于所述状态控制指令变更所述目标控制设备的状态。
101.其中，所述运动变化量可以与控制所述目标控制设备时的状态变化量呈正比，也即所述手部的运动幅度越大则所述目标控制设备对应的状态变化量越大。
102.具体的，在基于所述状态控制指令变更所述目标控制设备的状态时，可以基于实时确定出的状态变化量对应的状态控制指令，对所述目标控制设备的状态进行实时调节，从而实现对于所述目标控制设备的连续控制。
103.另一种可能的实施方式中，在所述目标控制设备为可持续调节的控制设备的情况下，还可以根据所述目标语义信息对应的目标控制指令，将所述目标控制设备的状态从固定状态调整为可调节状态，并使得所述目标控制设备按照预设的自动调节方式进行自动调节，直至满足预设的停止调节条件后；
104.其中，所述停止调节条件可以包括用户做出与停止调节操作对应的手势、用户改变当前正在做出的手势等。
105.示例性的，针对车舱座椅，用户可以通过食指顺时针旋转的手势，将座椅从固定状态调整可调节状态，并使得车舱座椅按照预设的调节方式自动的降低座椅靠背高度，并在座椅靠背高度合适后通过做出握拳的手势停止座椅靠背的自动调节，从而可以通过手势将座椅靠背高度调节至期望的高度。
106.实际应用中，针对同一控制设备，不同车舱位置的用户的控制需求也可能是不同的，比如针对车舱中的某一车舱座椅，该车舱座椅位置处的用户往往比其他车舱座椅位置处的用户更需要对当前的车舱座椅进行精细的调节，以达到更为舒适的乘车体验，因此不用车舱位置处的用户对同一控制设备的交互逻辑也可以是不同的，比如当前车舱位置的用户可以对当前车舱位置所处环境进行精细控制(比如1档～10档的多档位调节等)，而对其他车舱位置所处环境进行粗略控制(比如1档～3档的档位调节等)。
107.一种可能的实施方式中，在确定与所述目标语义信息对应的目标控制指令时，可以通过下述步骤d1～d2：
108.d1：确定与所述手势信息对应的车舱位置信息。
109.d2：基于预设的与所述车舱位置信息匹配的，语义信息与控制指令的对应关系，确定所述目标语义信息对应的目标控制指令；其中，不同车舱位置信息匹配的语义信息与控制指令的对应关系不同。
110.其中，所述语义信息与控制指令的对应关系可以用于表征针对控制设备的交互逻辑，不同的车舱位置信息匹配的交互逻辑可以是不同的，从而可以使得控制设备的交互逻辑能够满足不同车舱位置用户不同的需求。
111.本公开实施例提供的手势控制方法，通过确定出目标车舱内采集的待识别图像所包含的手势信息，并将手势信息中的三维位置信息映射至预设平面中，能够在映射至预设平面后确定出于二位位置信息对应的目标控制设备，从而可以使用余手势信息中的目标语义信息对应的目标控制指令对所述目标控制设备进行控制。这样，相较于传统的直接通过触发汽车中控进行控制的方式，能够提高车舱后排的乘客的交互体验，而相较于使用语音控制等控制方式，通过手部在车舱中的三维位置信息对车舱内的控制设备进行手势控制，能够避免在控制过程中被噪音干扰的问题，提升对车舱内的控制设备的控制精度。
112.另一种可能的实施方式中，本公开实施例还提供一种智能驾驶车辆，包括：图像采集装置、数据处理器、图像显示设备、以及至少一个控制设备；其中，
113.所述图像采集装置用于在目标车舱内采集待识别图像，并将所述待识别图像传输至所述数据处理器；
114.所述数据处理器，用于根据如本公开实施例中任一所述的手势控制方法，对获取的待识别图像进行处理得到目标控制指令，并按照所述目标控制指令控制目标控制设备；
115.所述图像显示设备，用于展示被控制的目标控制设备的设备名称。
116.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
117.基于同一发明构思，本公开实施例中还提供了与手势控制方法对应的手势控制装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述手势控制方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
118.参照图4所示，为本公开实施例提供的一种手势控制装置的架构示意图，所述装置包括：第一确定模块401、第二确定模块402、第三确定模块403、控制模块404；其中，
119.第一确定模块401，用于获取在目标车舱内采集的待识别图像，并确定所述待识别图像所包含的手势信息；所述手势信息包括手部在目标车舱中的三维位置信息以及目标语义信息；
120.第二确定模块402，用于将所述三维位置信息映射至预设平面得到二维位置信息，并基于所述二维位置信息确定所述手势信息在所述预设平面中指示选取的目标区域；
121.第三确定模块403，用于确定所述目标车舱内与所述目标区域关联的目标控制设备；
122.控制模块404，用于基于与所述目标语义信息对应的目标控制指令控制所述目标
控制设备。
123.一种可能的实施方式中，所述待识别图像包含深度信息；
124.所述第一确定模块401还用于根据以下步骤确定所述手部在目标车舱中的三维位置信息：
125.确定所述手部在所述待识别图像中的目标关键点的图像坐标；
126.基于所述目标关键点的图像坐标和所述手部的深度信息，确定所述手部在所述目标车舱中的三维位置信息。
127.一种可能的实施方式中，所述预设平面为基于显示设备在所述目标车舱中所处位置确定的，所述预设平面中包括所述显示设备对应至少一个第一区域，以及围绕所述显示设备划定的多个第二区域；
128.其中，不同的第二区域用于控制不同的控制设备，各第二区域控制的控制设备与各第二区域在所述预设平面中的第一位置、以及各控制设备在所述目标车舱内的第二位置相关。
129.一种可能的实施方式中，在确定所述目标车舱内与所述目标区域关联的目标控制设备之后，所述第三确定模块403还用于：
130.在所述显示设备上展示目标浮窗，其中，所述目标浮窗上展示有多个控制设备标识；
131.将所述目标控制设备的标识进行突出显示。
132.一种可能的实施方式中，在所述目标控制设备为可持续调节的控制设备的情况下，所述控制模块404还用于：
133.响应于所述手势信息中的三维位置信息发生变化，基于变化后的三维位置信息，确定所述手部的运动变化量；所述运动变化量包括移动距离和/或移动角度；
134.基于所述运动变化量，确定控制所述目标控制设备时的状态变化量；
135.基于所述状态变化量确定对所述目标控制设备的状态控制指令，以基于所述状态控制指令变更所述目标控制设备的状态。
136.一种可能的实施方式中，所述控制模块404还用于根据以下步骤确定与所述目标语义信息对应的目标控制指令：
137.确定与所述手势信息对应的车舱位置信息；
138.基于预设的与所述车舱位置信息匹配的，语义信息与控制指令的对应关系，确定所述目标语义信息对应的目标控制指令；其中，不同车舱位置信息匹配的语义信息与控制指令的对应关系不同。
139.本公开实施例提供的手势控制装置，通过确定出目标车舱内采集的待识别图像所包含的手势信息，并将手势信息中的三维位置信息映射至预设平面中，能够在映射至预设平面后确定出于二位位置信息对应的目标控制设备，从而可以使用余手势信息中的目标语义信息对应的目标控制指令对所述目标控制设备进行控制。这样，相较于传统的直接通过触发汽车中控进行控制的方式，能够提高车舱后排的乘客的交互体验，而相较于使用语音控制等控制方式，通过手部在车舱中的三维位置信息对车舱内的控制设备进行手势控制，能够避免在控制过程中被噪音干扰的问题，提升对车舱内的控制设备的控制精度。
140.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上
述方法实施例中的相关说明，这里不再详述。
141.基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图5所示，为本公开实施例提供的计算机设备500的结构示意图，包括处理器501、存储器502、和总线503。其中，存储器502用于存储执行指令，包括内存5021和外部存储器5022；这里的内存5021也称内存储器，用于暂时存放处理器501中的运算数据，以及与硬盘等外部存储器5022交换的数据，处理器501通过内存5021与外部存储器5022进行数据交换，当计算机设备500运行时，处理器501与存储器502之间通过总线503通信，使得处理器501在执行以下指令：
142.获取在目标车舱内采集的待识别图像，并确定所述待识别图像所包含的手势信息；所述手势信息包括手部在目标车舱中的三维位置信息以及目标语义信息；
143.将所述三维位置信息映射至预设平面得到二维位置信息，并基于所述二维位置信息确定所述手势信息在所述预设平面中指示选取的目标区域；
144.确定所述目标车舱内与所述目标区域关联的目标控制设备；
145.基于与所述目标语义信息对应的目标控制指令控制所述目标控制设备。
146.本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的手势控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
147.本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的手势控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
148.其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
149.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
150.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
151.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
152.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开
的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
153.最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种手势控制方法，其特征在于，包括：获取在目标车舱内采集的待识别图像，并确定所述待识别图像所包含的手势信息；所述手势信息包括手部在目标车舱中的三维位置信息以及目标语义信息；将所述三维位置信息映射至预设平面得到二维位置信息，并基于所述二维位置信息确定所述手势信息在所述预设平面中指示选取的目标区域；确定所述目标车舱内与所述目标区域关联的目标控制设备；基于与所述目标语义信息对应的目标控制指令控制所述目标控制设备。2.根据权利要求1所述的方法，其特征在于，所述待识别图像包含深度信息；所述方法还包括根据以下步骤确定所述手部在目标车舱中的三维位置信息：确定所述手部在所述待识别图像中的目标关键点的图像坐标；基于所述目标关键点的图像坐标和所述手部的深度信息，确定所述手部在所述目标车舱中的三维位置信息。3.根据权利要求1或2所述的方法，其特征在于，所述预设平面为基于显示设备在所述目标车舱中所处位置确定的，所述预设平面中包括所述显示设备对应至少一个第一区域，以及围绕所述显示设备划定的多个第二区域；其中，不同的第二区域用于控制不同的控制设备，各第二区域控制的控制设备与各第二区域在所述预设平面中的第一位置、以及各控制设备在所述目标车舱内的第二位置相关。4.根据权利要求3所述的方法，其特征在于，在确定所述目标车舱内与所述目标区域关联的目标控制设备之后，所述方法还包括：在所述显示设备上展示目标浮窗，其中，所述目标浮窗上展示有多个控制设备标识；将所述目标控制设备的标识进行突出显示。5.根据权利要求1所述的方法，其特征在于，在所述目标控制设备为可持续调节的控制设备的情况下，所述方法还包括：响应于所述手势信息中的三维位置信息发生变化，基于变化后的三维位置信息，确定所述手部的运动变化量；所述运动变化量包括移动距离和/或移动角度；基于所述运动变化量，确定控制所述目标控制设备时的状态变化量；基于所述状态变化量确定对所述目标控制设备的状态控制指令，以基于所述状态控制指令变更所述目标控制设备的状态。6.根据权利要求1所述的方法，其特征在于，所述方法还包括根据以下步骤确定与所述目标语义信息对应的目标控制指令：确定与所述手势信息对应的车舱位置信息；基于预设的与所述车舱位置信息匹配的，语义信息与控制指令的对应关系，确定所述目标语义信息对应的目标控制指令；其中，不同车舱位置信息匹配的语义信息与控制指令的对应关系不同。7.一种智能驾驶车辆，其特征在于，包括：图像采集装置、数据处理器、图像显示设备、以及至少一个控制设备；所述图像采集装置用于在目标车舱内采集待识别图像，并将所述待识别图像传输至所述数据处理器；
所述数据处理器，用于根据如权利要求1～6任一所述的手势控制方法，对获取的待识别图像进行处理得到目标控制指令，并按照所述目标控制指令控制目标控制设备；所述图像显示设备，用于展示被控制的目标控制设备的设备名称。8.一种手势控制装置，其特征在于，包括：第一确定模块，用于获取在目标车舱内采集的待识别图像，并确定所述待识别图像所包含的手势信息；所述手势信息包括手部在目标车舱中的三维位置信息以及目标语义信息；第二确定模块，用于将所述三维位置信息映射至预设平面得到二维位置信息，并基于所述二维位置信息确定所述手势信息在所述预设平面中指示选取的目标区域；第三确定模块，用于确定所述目标车舱内与所述目标区域关联的目标控制设备；控制模块，用于基于与所述目标语义信息对应的目标控制指令控制所述目标控制设备。9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的手势控制方法的步骤。10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一所述的手势控制方法的步骤。

技术总结
本公开提供了一种手势控制方法、装置、计算机设备及存储介质，其中，该方法包括：获取在目标车舱内采集的待识别图像，并确定所述待识别图像所包含的手势信息；所述手势信息包括手部在目标车舱中的三维位置信息以及目标语义信息；将所述三维位置信息映射至预设平面得到二维位置信息，并基于所述二维位置信息确定所述手势信息在所述预设平面中指示选取的目标区域；确定所述目标车舱内与所述目标区域关联的目标控制设备；基于与所述目标语义信息对应的目标控制指令控制所述目标控制设备。的目标控制指令控制所述目标控制设备。的目标控制指令控制所述目标控制设备。


技术研发人员：赵阳阳 徐持衡 周舒岩 罗予晨
受保护的技术使用者：上海临港绝影智能科技有限公司
技术研发日：2023.04.25
技术公布日：2023/7/21