一种车内乘客互动系统的制作方法

1.本发明涉及汽车技术领域，尤其是一种车内乘客互动系统。


背景技术：

2.在汽车使用过程中，存在驾驶员独自带幼儿出行的需求。通常幼儿需要坐在汽车后排，由于驾驶途中得不到照料以及路途颠簸等原因，容易出现幼儿哭闹的情况，加上幼儿无法看到驾驶员正面，哭闹容易持续或者加剧，而这往往会使驾驶员扭头查看幼儿情况，导致驾驶员分心，影响驾驶安全。


技术实现要素：

3.针对目前驾驶员独自带幼儿驾车出行时幼儿容易哭闹导致驾驶员分心，影响驾驶安全等技术问题，本发明的目的在于提供一种车内乘客互动系统。
4.本发明实施例包括一种车内乘客互动系统，所述车内乘客互动系统包括控制模块、第一显示屏、第一摄像头、第二显示屏和第二摄像头；
5.所述控制模块分别与所述第一显示屏、所述第一摄像头、所述第二显示屏和所述第二摄像头连接；
6.所述第一摄像头用于采集第一人脸信息；所述第一人脸信息为前排乘坐区域内的第一乘员的人脸信息；
7.所述第二摄像头用于采集第二人脸信息；所述第二人脸信息为后排乘坐区域内的第二乘员的人脸信息；
8.所述控制模块用于对所述第一人脸信息进行处理，获得第一图像信息，将所述第一图像信息发送至第二显示屏，对所述第二人脸信息进行处理，获得第二图像信息，将所述第二图像信息发送至第一显示屏；
9.所述第一显示屏用于向所述前排乘坐区域，显示所述第二图像信息的内容；
10.所述第二显示屏用于向所述后排乘坐区域，显示所述第一图像信息的内容。
11.进一步地，所述控制模块用于对所述第二人脸信息进行识别，获得人脸识别结果，在监测到所述人脸识别结果属于目标人物时，触发所述第一显示屏、所述第一摄像头、所述第二显示屏和所述第二摄像头进入工作状态。
12.进一步地，所述车内乘客互动系统还包括声音采集模块；所述声音采集模块用于采集所述第二乘员的声音；
13.所述控制模块用于对所述第二乘员的声音进行识别，获得声音识别结果，在监测到所述声音识别结果包含哭闹声时，触发所述第一显示屏、所述第一摄像头、所述第二显示屏和所述第二摄像头进入工作状态。
14.进一步地，所述车内乘客互动系统还包括体重采集模块；所述体重采集模块用于采集所述第二乘员的体重，获得体重数据；
15.所述控制模块用于在监测到所述体重数据大于体重阈值，锁定所述第一显示屏、
所述第一摄像头、所述第二显示屏和所述第二摄像头不进入工作状态。
16.进一步地，所述对所述第一人脸信息进行处理，获得第一图像信息，包括：
17.获取图像背景模板；
18.对所述第一人脸信息与所述图像背景模板进行合成，获得所述第一图像信息。
19.进一步地，所述车内乘客互动系统还包括第三摄像头，所述第三摄像头用于对车外进行拍摄；
20.所述获取图像背景模板，包括：
21.调用所述第三摄像头进行拍摄，获得第三图像信息；
22.以所述第三图像信息作为所述图像背景模板。
23.进一步地，所述获取图像背景模板，包括：
24.获取驾驶参数；
25.根据所述驾驶参数，读取相应内容的动画形象；
26.以所述动画形象作为所述图像背景模板。
27.进一步地，所述获取图像背景模板，包括：
28.对所述第二人脸信息进行识别，获得表情识别结果；
29.根据所述表情识别结果，读取相应内容的动画形象；
30.以所述动画形象作为所述图像背景模板。
31.进一步地，所述控制模块用于对所述第二人脸信息进行识别，获得个性识别结果和表情识别结果，获取驾驶参数，根据所述个性识别结果调用经过预训练的第一人工智能模型，以所述表情识别结果作为训练集中的输入数据，以所述驾驶参数作为训练集中的期望输出，根据所述第一人工智能模型进行迁移训练，获得第二人工智能模型。
32.进一步地，所述控制模块用于对所述第二人脸信息进行识别，获得当前表情识别结果，获取当前驾驶参数，将所述当前表情识别结果输入至所述第二人工智能模型进行处理，根据所述第二人工智能模型的输出结果和所述当前驾驶参数，生成驾驶建议信息。
33.本发明的有益效果是：实施例中的车内乘客互动系统，能够使乘坐在前排的第一乘员通过观看第一显示屏，看到第二图像信息中包含的第二乘员的人脸，从而能够在不扭头观察的情况下也能了解到第二乘员的状态，及时通过言语或者表情等沟通方式对第二乘员进行安抚，能够避免在不清楚第二乘员状况的情况下产生焦急心理影响行车安全，第一乘员无需进行扭头观察等操作也能及时了解到第二乘员的状态，从而避免驾驶员分心，保障驾驶安全。
附图说明
34.图1实施例中车内乘客互动系统的功能结构示意图；
35.图2实施例中车内乘客互动系统的实物结构示意图。
具体实施方式
36.本实施例中，车内乘客互动系统的功能结构如图1所示。参照图1，车内乘客互动系统包括控制模块、第一显示屏、第一摄像头、第二显示屏和第二摄像头。控制模块通过can总线，分别与第一显示屏、第一摄像头、第二显示屏和第二摄像头连接，使得控制模块与第一
显示屏、第一摄像头、第二显示屏和第二摄像头之间能够传输指令和数据。
37.本实施例中，车内乘客互动系统的实物结构如图2所示。本实施例中，第一摄像头采集前排乘坐区域内的第一乘员的第一人脸信息，即第一摄像头的视野范围主要在前排乘坐区域内；第一显示屏向前排乘坐区域显示内容，使得乘坐在前排乘坐区域的第一乘员能够清楚地观看第一显示屏显示的内容。第二摄像头采集后排乘坐区域内的第二乘员的第二人脸信息，即第二摄像头的视野范围主要在后排乘坐区域内；第二显示屏向后排乘坐区域显示内容，使得乘坐在后排乘坐区域的第二乘员能够清楚地观看第二显示屏显示的内容。
38.本实施例中，“前排乘坐区域”与“后排乘坐区域”中的“前”与“后”是相对而言的，例如部分汽车有两排乘坐空间，其中前排是驾驶员所在的一排，部分汽车有三排乘坐空间，那么驾驶员所在的一排相对于另外两排属于本实施例中的“前排乘坐区域”，另外两排相对于驾驶员所在的一排属于本实施例中的“后排乘坐区域”，中间一排相对于最靠近车尾的一排属于本实施例中的“前排乘坐区域”。
39.本实施例中，以驾驶员座位作为“前排乘坐区域”的例子，以驾驶员座位正后方的乘客座位作为“后排乘坐区域”的例子，以驾驶员作为“第一乘员”的例子，以乘坐在驾驶员座位正后方(可以配备儿童座椅)的幼儿作为“第二乘员”的例子，对车内乘客互动系统进行说明。
40.本实施例中，可以将第一摄像头和第一显示屏安装在驾驶座正对的仪表的位置，或者将第一摄像头安装在方向盘上，使得第一摄像头能够清楚地拍摄到驾驶员的人脸，而使用抬头显示器作为第一显示屏，使得驾驶员无需低头即可观看第一显示屏显示的内容，保障驾驶安全。
41.本实施例中，可以将第二摄像头和第二显示屏安装在驾驶座后背的位置，使得第二摄像头能够清楚地拍摄到乘坐在驾驶座正后方的幼儿的人脸，而幼儿可以正面观看第二显示屏显示的内容。
42.本实施例中，可以使用汽车上的ecu或者专用的设备作为控制模块。控制模块可以配备足够强的性能，从而在本地完成所有的数据处理工作。控制模块可以配备通信功能，与云端服务器建立通信，将需要处理的数据发送到云端服务器进行处理，从云端服务器接收处理结果，通过云端服务器的远程数据处理功能支持，可以降低对控制模块的性能要求。
43.第二摄像头对幼儿进行拍摄，采集到幼儿的人脸信息即第二人脸信息，将第二人脸信息发送至控制模块，控制模块对第二人脸信息进行处理获得第二图像信息，将第二图像信息发送至第一显示屏，第一显示屏将第二图像信息显示出来。乘坐在前排的驾驶员能够通过观看第一显示屏，看到第二图像信息中包含的幼儿的人脸，从而能够在不扭头观察的情况下也能了解到幼儿的状态，及时通过言语或者表情等沟通方式对幼儿进行安抚，能够避免在不清楚幼儿状况的情况下产生焦急心理影响行车安全，驾驶员无需进行扭头观察等操作也能及时了解到幼儿的状态，从而避免驾驶员分心，保障驾驶安全。
44.第一摄像头对驾驶员进行拍摄，采集到驾驶员的人脸信息即第一人脸信息，将第一人脸信息发送至控制模块，控制模块对第一人脸信息进行处理获得第一图像信息，将第一图像信息发送至第二显示屏，第二显示屏将第一图像信息显示出来。乘坐在后排的幼儿能够通过观看第二显示屏，看到第一图像信息中包含的驾驶员的人脸，从而获得安抚，有利于幼儿平复心情，减轻哭闹，降低驾驶员分心的可能性，保障驾驶安全。
45.本实施例中，参照图2，可以在汽车中控台或者方向盘等位置安装开关，由驾驶员按下开关，触发第一显示屏、第一摄像头、第二显示屏和第二摄像头进入工作状态。
46.本实施例中，车内乘客互动系统在初始运行状态下，第一显示屏、第一摄像头和第二显示屏可以暂不进入工作状态，即第一摄像头暂不进行拍摄，第一显示屏和第二显示屏暂不进行显示，由第二摄像头进入预备工作状态。在预备工作状态下，第二摄像头对后排乘坐区域进行单张拍摄，获得第二人脸信息，将第二人脸信息发送到控制模块。控制模块在本地或者通过云端服务器对第二人脸信息进行人脸识别，获得人脸识别结果，可以通过人脸识别结果确定当前在后排乘坐区域的第二乘员的身份。控制模块可以预先存储目标人物名单，目标人物名单中记录了有可能乘坐本车而需要安抚的幼儿的身份信息。控制模块将人脸识别结果与目标人物名单中记录的身份信息进行对比，当确认人脸识别结果属于其中一个目标人物，控制模块触发第一显示屏、第一摄像头、第二显示屏和第二摄像头进入工作状态，即第一摄像头开始拍摄第一人脸信息，第二摄像头开始拍摄第二人脸信息，控制模块对第一人脸信息进行处理获得第一图像信息，对第二人脸信息进行处理获得第二图像信息，第二显示屏显示第一图像信息，第一显示屏显示第二图像信息。
47.通过由第二人脸信息触发车内乘客互动系统中的各模块进入工作状态，可以无需设置实体的开关，也无需驾驶员执行额外的操作动作，从而提高车内乘客互动系统的智能化程度和使用便利性。
48.本实施例中，车内乘客互动系统还设置了声音采集模块，声音采集模块可以采集第二乘员的声音。具体地，声音采集模块可以不针对特定的对象去采集驾驶舱内的声音，将采集到的声音数据发送到控制模块进行处理。
49.车内乘客互动系统在初始运行状态下，第一显示屏、第一摄像头、第二显示屏和第二摄像头可以暂不进入工作状态，即第一摄像头和第二摄像头暂不进行拍摄，第一显示屏和第二显示屏暂不进行显示，由控制模块对声音采集模块采集到的声音数据进行声音识别，获得声音识别结果。声音识别结果可以是声纹数据等形式，可以对声纹数据进行特征分析，确定声音识别结果中是否包含哭闹声等反映幼儿不安情绪的声音。当控制模块确定声音识别结果包含哭闹声，触发第一显示屏、第一摄像头、第二显示屏和第二摄像头进入工作状态，即第一摄像头开始拍摄第一人脸信息，第二摄像头开始拍摄第二人脸信息，控制模块对第一人脸信息进行处理获得第一图像信息，对第二人脸信息进行处理获得第二图像信息，第二显示屏显示第一图像信息，第一显示屏显示第二图像信息。
50.通过设置声音采集模块，可以在识别到哭闹声的情况下触发车内乘客互动系统中的各模块进入工作状态，可以无需设置实体的开关，也无需驾驶员执行额外的操作动作，在幼儿发出哭闹声时即可触发车内乘客互动系统工作，使得驾驶员能够及时使用车内乘客互动系统了解和安抚幼儿情绪，实现安全驾驶的效果，提高车内乘客互动系统的智能化程度和使用便利性。
51.本实施例中，车内乘客互动系统还设置了体重采集模块。其中，体重采集模块可以是设置在后排乘坐区域的座椅上的压力传感器，可以通过测量座椅受到的压力，从而获得体重数据，确定第二乘员的体重。体重采集模块的形式也可以是一个数据采集接口，该数据采集接口可以与儿童座椅等外部设备连接，由儿童座椅等外部设备测量得到幼儿的体重数据，将体重数据发送到体重采集模块。
52.在设置了体重采集模块的情况下，体重采集模块将体重数据发送到控制模块，控制模块根据体重数据确定第二乘员的体重，将第二乘员的体重与体重阈值进行对比。其中，可以根据10岁儿童的最大体重或者平均体重设定体重阈值。在体重数据不大于体重阈值的情况下，控制模块触发第一显示屏、第一摄像头、第二显示屏和第二摄像头进入工作状态，即第一摄像头开始拍摄第一人脸信息，第二摄像头开始拍摄第二人脸信息，控制模块对第一人脸信息进行处理获得第一图像信息，对第二人脸信息进行处理获得第二图像信息，第二显示屏显示第一图像信息，第一显示屏显示第二图像信息；在体重数据大于体重阈值的情况下，控制模块锁定第一显示屏、第一摄像头、第二显示屏和第二摄像头不进入工作状态，即第一摄像头和第二摄像头暂不进行拍摄，第一显示屏和第二显示屏暂不进行显示。
53.通过设置体重采集模块，控制模块可以根据体重采集模块检测到的体重数据，判断后排乘坐区域中的第二乘员是成人还是幼儿，当体重数据大于体重阈值，也就是第二乘员是成人，可以无需使用车内乘客互动系统的功能，锁定第一摄像头和第二摄像头等不进入工作状态，可以有效保护第二乘员的隐私，并且该过程无需驾驶员或者第二乘员进行操作，提高车内乘客互动系统的智能化程度和使用便利性。
54.本实施例中，控制模块在执行对第一人脸信息进行处理，获得第一图像信息这一步骤时可以只是进行必要的图像渲染等处理，当第一图像信息被第二显示屏显示出来时，显示内容中只单纯包含第一人脸信息所呈现的人脸图像。
55.本实施例中，控制模块在执行对第一人脸信息进行处理，获得第一图像信息这一步骤时，具体可以执行以下步骤：
56.p1.获取图像背景模板；
57.p2.对第一人脸信息与图像背景模板进行合成，获得第一图像信息。
58.通过执行步骤p1-p2，当第一图像信息被第二显示屏显示出来时，显示内容中除了包含第一人脸信息所呈现的人脸图像，还包含图像背景模板所呈现的内容，从而使得第一图像信息的显示效果更加丰富，有利于吸引幼儿的注意力，提高对幼儿的安抚效果。
59.本实施例中，车内乘客互动系统还设有第三摄像头，第三摄像头对车外进行拍摄。例如，第三摄像头可以安装在车头等位置，从而拍摄到汽车行驶时的前方景色。
60.本实施例中，在车内乘客互动系统还设有第三摄像头的情况下，控制模块在执行步骤p1，也就是获取图像背景模板这一步骤时，具体可以执行以下步骤：
61.p101a.调用第三摄像头进行拍摄，获得第三图像信息；
62.p102a.以第三图像信息作为图像背景模板。
63.步骤p101a中，控制模块向第三摄像头发出指令，触发第三摄像头进行拍摄，第三摄像头将拍摄得到的第三图像信息发送至控制模块。步骤p102a中，控制模块以第三图像信息作为图像背景模板。
64.通过执行步骤p101a-p102a，能够使得控制模块在执行步骤p2时，对第一人脸信息与第三图像信息进行合成，获得第一图像信息，使得第二显示屏根据第一图像信息进行显示时，显示内容中除了根据第一人脸信息所显示出的驾驶员的人脸图像，还包括根据第三图像信息显示出的车外景色。幼儿通过观看第二显示屏，除了能看到驾驶员的人脸获得安抚效果，还可以观看车外景色，当在汽车行驶状态下实时拍摄第三图像信息，幼儿观看到的车外景色能够与幼儿感受到的汽车驾驶状态联动，尤其是拍摄汽车正前方景色得到第三图
像信息的情况下，幼儿最终观看到的内容以汽车正前方景色为背景、以驾驶员人脸为主要内容，能够感受到汽车在驾驶员的控制下平稳行驶，从而降低不安感，获得更佳的安抚效果。
65.本实施例中，在使用ecu作为控制模块的情况下，控制模块能够获得油门踏板深度、当前行驶速度、加速度等驾驶参数，控制模块在执行步骤p1，也就是获取图像背景模板这一步骤时，具体可以执行以下步骤：
66.p101b.获取驾驶参数；
67.p102b.根据驾驶参数，读取相应内容的动画形象；
68.p103b.以动画形象作为图像背景模板。
69.步骤p101b中，控制模块可以获取某一驾驶参数，例如当前行驶速度。
70.步骤p102b中，控制模块可以从本地或者云端服务器中，读取内容与驾驶参数相对应的动画形象。例如，可以存储一组动画形象，每个动画形象都是一只奔跑中的老虎，老虎的脸部为空白区域，不同的动画形象中老虎的步频各不相同。当前行驶速度越快，则读取步频越高的动画形象，步骤p103b中以老虎动画形象作为图像背景模板，能够使得控制模块在执行步骤p2时，对第一人脸信息与老虎动画形象进行合成，具体地，可以将第一人脸信息嵌入到老虎的脸部区域，获得第一图像信息，使得第二显示屏根据第一图像信息进行显示时，显示出一个具有驾驶员人脸的老虎动画形象，幼儿通过观看第二显示屏，除了能看到驾驶员的人脸获得安抚效果，还可以通过生动的老虎动画形象获得安抚效果。而且，汽车的行驶速度越快，幼儿观看到的老虎动画形象的步频越高，幼儿能够感受到汽车驾驶与老虎动画形象联动，从而吸引幼儿的注意力，从而降低不安感，获得更佳的安抚效果。
71.本实施例中，控制模块在执行步骤p1，也就是获取图像背景模板这一步骤时，具体可以执行以下步骤：
72.p101c.对第二人脸信息进行识别，获得表情识别结果；
73.p102c.根据表情识别结果，读取相应内容的动画形象；
74.p103c.以动画形象作为图像背景模板。
75.步骤p101c中，控制模块对第二人脸信息进行识别，获得表情识别结果，可以确定幼儿的表情种类，例如开心、惊恐、哭闹等。
76.步骤p102c中，控制模块可以从本地或者云端服务器中，读取内容与表情识别结果相对应的动画形象。例如，当表情识别结果为开心，可以读取老虎动画形象；当表情识别结果为惊恐，可以读取熊猫动画形象，这些动画形象的脸部为空白区域。
77.步骤p103c中以动画形象作为图像背景模板，能够使得控制模块在执行步骤p2时，对第一人脸信息与动画形象进行合成，具体地，可以将第一人脸信息嵌入到老虎或者熊猫等动画形象的脸部区域，获得第一图像信息，使得第二显示屏根据第一图像信息进行显示时，显示出一个具有驾驶员人脸的老虎或者熊猫动画形象，幼儿通过观看第二显示屏，除了能看到驾驶员的人脸获得安抚效果，还可以通过有亲和力的老虎或者熊猫动画形象获得安抚效果。例如，当幼儿的表情为开心，观看到老虎动画形象有利于维持幼儿的兴奋；当幼儿的表情为惊恐，观看到熊猫动画形象有利于使幼儿感受到亲和力，尽快平复下来
78.而且，汽车的行驶速度越快，幼儿观看到的老虎动画形象的步频越高，幼儿能够感受到汽车驾驶与老虎动画形象联动，从而吸引幼儿的注意力，从而降低不安感，获得更佳的
安抚效果。
79.本实施例中，控制模块还可以对第二人脸信息进行识别，获得个性识别结果和表情识别结果。其中，个性识别结果可以是幼儿的性别、年龄等信息，表情识别结果可以是开心、惊恐、哭闹等。控制模块获取油门踏板、行驶速度、加速度等驾驶参数。
80.控制模块根据个性识别结果，从本地或者云端服务器调用经过预训练的第一人工智能模型。第一人工智能模型预训练时所使用的训练集，具有与个性识别结果相对应的特征。例如，第一人工智能模型预训练时所使用的训练集中，所包含的人类表情图片中人类的性别与个性识别结果相同，所包含的人类表情图片中人类的年龄与个性识别结果相近。
81.控制模块读取已经经过预训练的第一人工智能模型，进行迁移训练。具体地，控制模块以表情识别结果作为训练集中的输入数据，将表情识别结果输入到第一人工智能模型进行处理，获取第一人工智能模型的实际输出结果，以驾驶参数作为训练集中的期望输出，根据实际输出结果与期望输出确定误差函数，根据误差函数决定对第一人工智能模型进行新一轮调参或者停止训练。在对第一人工智能模型完成最后一轮调参后，所得到的第一人工智能模型为第二人工智能模型。
82.本实施例中，根据个性识别结果调用经过预训练的第一人工智能模型，所得到的第一人工智能模型具备了对当前幼儿的表情识别结果进行处理，输出相应的驾驶参数的基本功能。通过使用表情识别结果和驾驶参数对第一人工智能模型进行迁移训练，能够对第一人工智能模型进行参数微调，最终得到的第二人工智能模型能够更适合当前幼儿的特征识别。在迁移训练时，所使用的表情识别结果和驾驶参数可以是数百帧的规模，当在云端服务器进行迁移训练时，可以在数秒的时间内完成迁移训练，从而能够较快获得第二人工智能模型。
83.本实施例中，在训练得到第二人工智能模型后，控制模块可以继续调用第二摄像头进行拍摄获得新的第二人脸信息，对第二人脸信息进行识别，获得当前表情识别结果。控制模块将当前表情识别结果输入至第二人工智能模型进行处理，第二人工智能模型输出的处理结果，可以表示导致幼儿出现当前表情识别结果的驾驶参数，即由于驾驶员(在t-1时刻)进行驾驶产生了与第二人工智能模型输出的处理结果相当的驾驶参数，从而导致幼儿出现当前表情识别结果。
84.控制模块获取当前驾驶参数(在t时刻的驾驶参数)，将当前驾驶参数(在t时刻的驾驶参数)与(在t-1时刻)驾驶参数进行对比。
85.如果当前驾驶参数(在t时刻的驾驶参数)与(在t-1时刻)驾驶参数相同，那么表示幼儿可能再次出现与当前表情识别结果相同的表情识别结果，如果表情识别结果为好(例如开心)，那么控制模块生成的驾驶建议信息可以表示建议维持当前驾驶方式，如果表情识别结果为差(例如惊恐)，那么控制模块生成的驾驶建议信息可以表示建议改变驾驶方式。
86.如果当前驾驶参数(在t时刻的驾驶参数)与(在t-1时刻)驾驶参数不相同，那么表示幼儿再次出现与当前表情识别结果相同的表情识别结果的可能性较小，如果表情识别结果为好(例如开心)，那么控制模块生成的驾驶建议信息可以表示改变驾驶方式，如果表情识别结果为差(例如惊恐)，那么控制模块生成的驾驶建议信息可以表示建议建议维持当前驾驶方式。
87.本实施例中，控制模块可以将驾驶建议信息发送到第一显示屏，以文字形式显示
出来，或者发送到语音模块，以声音方式显示出来，从而使得驾驶员能够了解到影响幼儿情绪的驾驶方面的原因，从而维持好的驾驶方式或者改变不好的驾驶方式，有利于通过驾驶来安抚幼儿的情绪，保障行车安全。
88.需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
89.应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
90.应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
91.此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
92.进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
93.计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据
以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
94.以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

技术特征：
1.一种车内乘客互动系统，其特征在于，所述车内乘客互动系统包括控制模块、第一显示屏、第一摄像头、第二显示屏和第二摄像头；所述控制模块分别与所述第一显示屏、所述第一摄像头、所述第二显示屏和所述第二摄像头连接；所述第一摄像头用于采集第一人脸信息；所述第一人脸信息为前排乘坐区域内的第一乘员的人脸信息；所述第二摄像头用于采集第二人脸信息；所述第二人脸信息为后排乘坐区域内的第二乘员的人脸信息；所述控制模块用于对所述第一人脸信息进行处理，获得第一图像信息，将所述第一图像信息发送至第二显示屏，对所述第二人脸信息进行处理，获得第二图像信息，将所述第二图像信息发送至第一显示屏；所述第一显示屏用于向所述前排乘坐区域，显示所述第二图像信息的内容；所述第二显示屏用于向所述后排乘坐区域，显示所述第一图像信息的内容。2.根据权利要求1所述的车内乘客互动系统，其特征在于：所述控制模块用于对所述第二人脸信息进行识别，获得人脸识别结果，在监测到所述人脸识别结果属于目标人物时，触发所述第一显示屏、所述第一摄像头、所述第二显示屏和所述第二摄像头进入工作状态。3.根据权利要求1所述的车内乘客互动系统，其特征在于，所述车内乘客互动系统还包括声音采集模块；所述声音采集模块用于采集所述第二乘员的声音；所述控制模块用于对所述第二乘员的声音进行识别，获得声音识别结果，在监测到所述声音识别结果包含哭闹声时，触发所述第一显示屏、所述第一摄像头、所述第二显示屏和所述第二摄像头进入工作状态。4.根据权利要求1所述的车内乘客互动系统，其特征在于，所述车内乘客互动系统还包括体重采集模块；所述体重采集模块用于采集所述第二乘员的体重，获得体重数据；所述控制模块用于在监测到所述体重数据大于体重阈值，锁定所述第一显示屏、所述第一摄像头、所述第二显示屏和所述第二摄像头不进入工作状态。5.根据权利要求1所述的车内乘客互动系统，其特征在于，所述对所述第一人脸信息进行处理，获得第一图像信息，包括：获取图像背景模板；对所述第一人脸信息与所述图像背景模板进行合成，获得所述第一图像信息。6.根据权利要求5所述的车内乘客互动系统，其特征在于，所述车内乘客互动系统还包括第三摄像头，所述第三摄像头用于对车外进行拍摄；所述获取图像背景模板，包括：调用所述第三摄像头进行拍摄，获得第三图像信息；以所述第三图像信息作为所述图像背景模板。7.根据权利要求5所述的车内乘客互动系统，其特征在于，所述获取图像背景模板，包括：获取驾驶参数；根据所述驾驶参数，读取相应内容的动画形象；
以所述动画形象作为所述图像背景模板。8.根据权利要求5所述的车内乘客互动系统，其特征在于，所述获取图像背景模板，包括：对所述第二人脸信息进行识别，获得表情识别结果；根据所述表情识别结果，读取相应内容的动画形象；以所述动画形象作为所述图像背景模板。9.根据权利要求1-8任一项所述的车内乘客互动系统，其特征在于，所述控制模块用于对所述第二人脸信息进行识别，获得个性识别结果和表情识别结果，获取驾驶参数，根据所述个性识别结果调用经过预训练的第一人工智能模型，以所述表情识别结果作为训练集中的输入数据，以所述驾驶参数作为训练集中的期望输出，根据所述第一人工智能模型进行迁移训练，获得第二人工智能模型。10.根据权利要求9所述的车内乘客互动系统，其特征在于，所述控制模块用于对所述第二人脸信息进行识别，获得当前表情识别结果，获取当前驾驶参数，将所述当前表情识别结果输入至所述第二人工智能模型进行处理，根据所述第二人工智能模型的输出结果和所述当前驾驶参数，生成驾驶建议信息。

技术总结
本发明公开了一种车内乘客互动系统，包括控制模块、第一显示屏、第一摄像头、第二显示屏和第二摄像头，第一摄像头和第二摄像头分别采集第一人脸信息和第二人脸信息，控制模块用于对第一人脸信息进行处理获得第一图像信息，将第一图像信息发送至第二显示屏进行显示，对第二人脸信息进行处理获得第二图像信息，将第二图像信息发送至第一显示屏进行显示。本发明能够使乘坐在前排的第一乘员在不扭头观察的情况下也能了解到第二乘员的状态，及时通过言语或者表情等沟通方式对第二乘员进行安抚，能够避免产生焦急心理影响行车安全，第一乘员无需扭头观察也能了解第二乘员的状态，从而避免驾驶员分心，保障驾驶安全本发明广泛应用于汽车技术领域。技术领域。技术领域。


技术研发人员：曾丽吟 贾利虎
受保护的技术使用者：广汽本田汽车研究开发有限公司
技术研发日：2023.03.28
技术公布日：2023/7/4