情绪建模方法及其设备

情绪建模方法及其设备
1.相关申请的交叉参考
2.本技术要求2022年1月7日在韩国知识产权局提交的第10-2022-0002841号韩国专利申请的权益，其全部内容通过引用并入本文。
技术领域
3.本发明的实施例涉及一种情绪建模方法及其设备，用于在车辆环境中考虑用户的情绪来对用户的情绪进行建模以提供车辆声音。


背景技术：

4.医疗保健系统是一种识别驾驶员的状态并引导驾驶员接收指导和警报并结合车辆系统执行安全驾驶的技术。医疗保健系统可以使用传感器来收集生物特征信息，例如驾驶员的心电图(ecg)、心率、运动等，以确定驾驶员的状态。此外，医疗保健系统可以使用其摄像头识别驾驶员的面部表情，以确定驾驶员的情绪状态。


技术实现要素：

5.已经做出本发明的实施例以解决现有技术中出现的上述问题，同时完整地保持现有技术实现的优点。
6.本发明的实施例提供一种情绪建模方法及其设备，用于基于用户的话语对用户的声音情绪进行建模以针对车辆环境中的用户的情绪提供定制的车辆声音。
7.本发明要解决的技术问题不限于上述问题，并且本发明所属领域的技术人员通过以下描述将清楚地理解本文未提及的任何其他技术问题。
8.根据本发明的实施例，情绪建模方法可以包括通过用户话语接收声音，使用情绪分析算法基于声音确定情绪属性，通过使用人工神经网络分析情绪属性的社会心理后果来推导声音概念的工具值(instrumental value)，以及基于声音概念的工具值生成情绪模型。
9.情绪属性的确定可以包括使用情绪分类器对声音中包含的用户情绪进行分类，以及将所分类的用户情绪转化为具体属性。
10.用户情绪的分类可以包括使用会话记忆网络(cmn)对用户情绪进行分类。
11.将所分类的用户情绪转化为具体属性可以包括将相关关键字与所分类的用户情绪进行匹配。
12.情绪模型的生成可以包括通过以声音概念的工具值执行保守、进步、稳定、有趣的位置计算，建立确定边界数据的标准，以及基于该标准确定情绪建模方法。
13.社会心理后果的分析可以包括使用逻辑回归(lr)、支持向量机(svm)和k-最近邻(knn)算法中的至少一种对车辆环境开发需求进行分类，或者反映所分类的车辆环境开发需求中的社会心理后果。
14.声音概念的工具值的推导可以包括使用多元线性回归(mlr)或支持向量回归
(svr)中的至少一种来预测车辆环境功能(function)，以推导声音概念的工具值。
15.根据本发明的另一实施例，情绪建模设备可以包括：检测器，其通过用户话语检测声音；和处理器，其使用情绪分析算法基于声音确定情绪属性，通过使用人工神经网络分析情绪属性的社会心理后果推导声音概念的工具值，并且基于声音概念的工具值生成情绪模型。
16.处理器可以使用情绪分类器对声音中包含的用户情绪进行分类，并且可以将所分类的用户情绪转化为具体属性。
17.处理器可以使用会话记忆网络(cmn)对用户情绪进行分类。
18.处理器可以将相关关键字与所分类的用户情绪进行匹配。
19.处理器可以通过以声音概念的工具值执行保守、进步、稳定、有趣的位置计算，建立确定边界数据的标准，并且基于该标准确定情绪建模方法。
20.处理器可以使用逻辑回归(lr)、支持向量机(svm)和k-最近邻(knn)算法中的至少一种对车辆环境开发需求进行分类，或者可以反映所分类的车辆环境开发需求中的社会心理后果。
21.处理器可以使用多元线性回归(mlr)或支持向量回归(svr)中的至少一种来预测车辆环境功能，以推导声音概念的工具值。
22.如所讨论，方法和系统适当地包括使用控制器或处理器。
23.在另一方面，提供了包括如本文所公开的设备的车辆。
附图说明
24.本发明的上述和其他目的、特征和优点将通过以下结合附图的详细描述而更加清楚：
25.图1是示出了根据本发明的实施例的情绪建模设备的配置的方框图；
26.图2是示出了根据本发明的实施例的情绪建模过程的概念图；
27.图3是示出了根据本发明的实施例的情绪建模建立的图；
28.图4是示出了根据本发明的实施例的使用情绪模型生成车辆声音的过程的图；以及
29.图5是示出了根据本发明的实施例的用于执行情绪建模方法的计算系统的方框图。
具体实施方式
30.在下文中，件参考示例性附图详细描述本发明的一些实施例。在附图中，将始终使用相同的附图标记来表示相同或等效的元件。另外，将排除对众所周知的特征或功能的详细描述，以免不必要地模糊本发明的主旨。
31.应当理解，本文使用的术语“车辆”或“车用”或其他类似术语通常包括机动车辆，如乘用车，包括运动型多功能车(suv)、公共汽车、卡车、各种商用车辆、包括各种船只的船舶、飞机等，并包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆和其他替代燃料车辆(例如，源自石油以外的资源的燃料)。如本文所提及的，混合动力车辆是一种具有两个或更多个动力源的车辆，例如同时具有汽油动力和电动力的车辆。
32.本文使用的术语仅出于描述特定实施例的目的，并不旨在限制本发明。如本文所用，单数形式“一”和“该”旨在也包括复数形式，除非上下文另有明确指示。这些术语仅旨在将一个组件与另一个组件区分开来，并且这些术语并不限制组成组件的性质、序列或顺序。将进一步理解，当在本说明书中使用时，术语“包括”和/或“包含”指定了所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组的存在或添加。如本文所用，术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。在整个说明书中，除非有相反的明确描述，否则词语“包括”和诸如“包括了”或“包含有”的变体将被理解为暗示包含所述元素，但不排除任何其他元素。另外，说明书中描述的术语“单元”、
“‑
器”、
“‑
件”和“模块”是指用于处理至少一个功能和操作的单元，并且可以通过硬件组件或软件组件及其组合实现。
33.尽管示例性实施例被描述为使用多个单元来执行示例性过程，但是应当理解的是示例性过程也可以由一个或多个模块执行。此外，应当理解的是术语控制器/控制单元是指一种包括存储器和处理器并被具体地编程为执行本文描述的过程的硬件装置。存储器被配置为存储模块，并且处理器被具体地配置为执行所述模块，以执行下文进一步描述的一个或多个过程。
34.此外，本发明的控制逻辑可以被体现为计算机可读介质上的非暂时性计算机可读介质，该计算机可读介质包含由处理器、控制器等执行的可执行程序指令。计算机可读介质的示例包括但不限于rom、ram、光盘(cd)-rom、磁带、软盘、闪存驱动器、智能卡和光学数据存储装置。计算机可读介质也可以分布在网络耦合的计算机系统中，使得计算机可读介质以分布的方式，例如通过远程信息处理服务器或控制器局域网(can)进行存储和执行。
35.在描述根据本发明的实施例的组件中，可以使用诸如第一、第二、“a”、“b”、(a)、(b)等术语。这些术语仅用于将一个元素与另一个元素区分开来，但不限制对应元素，而不管对应元素的顺序或优先级。此外，除非另有定义，否则在此使用的所有术语，包括技术和科学术语，都应按照本发明所属领域的惯例进行解释。通用词典中定义的术语应被解释为具有与相关技术领域的上下文含义相同的含义，并且不应被解释为具有理想或过度正式的含义，除非明确定义为在本技术中具有此类含义。
36.图1是示出了根据本发明的实施例的情绪建模设备的配置的方框图。
37.情绪建模设备100可以包括检测器110、存储器120和处理器130。
38.检测器110可以使用传感器检测声音(或音频信号)。作为示例，检测器110可以使用麦克风等检测通过用户(或说话者)发出的语音信号。
39.存储器120可以存储情绪分析算法、情绪模型、用于车辆声音的用户响应数据等。存储器120可以是存储由处理器130执行的指令的非暂时性存储介质。存储器120可以被实施为存储介质中的至少一种，如闪存、硬盘、固态盘(ssd)、安全数字(sd)卡、随机存取存储器(ram)、静态ram(sram)、只读存储器(rom)、可编程rom(prom)、电可擦可编程rom(eeprom)、可擦可编程rom(eprom)、嵌入式多媒体卡(emmc)和/或通用闪存(ufs)。
40.处理器130可以使用检测器110获得针对车辆声音的用户响应数据(或声音、音频或话语)，如从电动车辆输出的虚拟声音(例如，驾驶声音、加速声音等)和警告声音。处理器130可以使用情绪分析算法分析获得的用户响应数据。情绪分析算法可以对每个说话者的话语进行编码，以通过与目标句子的计算推导结果。作为基于声音的文本计算算法的会话
记忆网络(cmn)可以用作情绪分析算法。情绪分析算法可以用作基于声音的情绪分类器。
41.处理器130可以使用基于声音的情绪分类器来对用户响应数据，即声音中包含的用户情绪进行分类。换句话说，处理器130可以通过基于声音的情绪分类器提出与声音匹配的情绪。
42.处理器130可以将所分类的用户情绪，即情绪提议(emotion proposal)转化为具体属性(或情绪属性)。处理器130可以将情绪提议与相关关键字进行匹配。处理器130可以将诸如古典音乐、游戏声音、赛车或家庭声音等关键词与情绪提议相关联，以在未来汽车中使用听觉体验。
43.例如，当说话者说出“将在未来汽车中开发出安静和缓解压力的声音”时，处理器130可以匹配“像古典乐器的声音”作为相关关键字。可替代地，当说话者说出“未来汽车在加速时可以感受到发动机的声音，让驾驶变得有趣和愉快”时，处理器130可以匹配相关关键字，“像赛车游戏一样的声音”。
44.处理器130可以使用人工神经网络(ann)来生成情绪模型。ann是一种配置为对人脑进行建模并以与大脑类似的方式处理各种数据的算法，当每个神经元充当独立运行的处理器时，它具有对给定环境进行情绪分析和学习的能力。当接收到情绪提议和具体属性时，ann可以通过分析社会心理后果来推导工具值，并且可以使用推导出的工具值来建立情绪模型。
45.处理器130可以基于情绪属性分析社会心理后果。处理器130可以使用分类技术对车辆环境开发需求进行分类，并且可以反映所分类的车辆环境开发需求中的社会心理后果。逻辑回归(lr)、支持向量机(svm)或k-最近邻(knn)算法中的至少一种可以用作分类技术。lr可以使用自变量的线性组合来预测情绪得分出现的可能性。支持向量机是人工智能的机器学习领域之一，它可以创建一个非概率二元线性分类模型，基于作为模式识别和数据分析的监督学习模型给出的数据集确定新数据是否属于任何类别。knn算法可以使用与新数据(或描述变量值)最相似(距离近)的k个旧数据的结果(例如，响应变量：簇)通过多数投票对新数据(或描述变量值)进行分类。
46.处理器130可以通过分析社会心理后果推导声音概念的工具值。处理器130可以基于所反映的社会心理后果预测车辆环境功能，以推导声音概念的工具值。处理器130可以使用诸如多元线性回归(mlr)或支持向量回归(svr)之类的预测技术中的至少一种来推导工具值。mlr可以创建一个回归模型，用于使用若干自变量x来预测因变量y。svr是一种基于svm出色的预测能力扩展以解决回归问题域的方法。
47.处理器130可以通过分类和预测确定声音概念。声音概念可以分为三个概念，例如文雅的声音、娱乐的声音和可适应的声音。文雅的声音是柔和且奢华的中低音。娱乐的声音是一种有趣的面向未来的声音。可适应的声音是一种根据用户的心情变化的声音。处理器130可以根据声音概念生成三种类型的情绪模型。当使用情绪模型来提供车辆声音时，处理器130可以基于情绪模型提供三种类型的警告声音和虚拟声音。
48.图2是示出了根据本发明的实施例的情绪建模过程的概念图。
49.图1的处理器130可以使用ann来执行情绪建模。如图2中所示，ann可以由输入层210、隐藏层220和输出层230组成。
50.输入层210可以分析由传感器检测到的声音(例如，由用户发出的语音信号)，以推
导用户的情绪状态和具体属性(或情绪属性)。在这里，声音可以是基于驾驶员的语音交互的情绪形容词。情绪形容词可以包括能够推断情绪状态的情绪文本和您偏好的声音的具体属性。输入层210可以使用情绪分析算法来确定声音的情绪属性。输入层210可以使用会话记忆网络(cmn)来分析声音，并且可以输出情绪属性作为分析结果。输入层210可以通过基于声音的情绪分类器对声音中包含的用户情绪(或情绪状态)进行分类。输入层210可以将所分类的情绪转化为具体属性(或情绪属性)。具体属性可以包括与所分类的用户情绪匹配的相关关键字。例如，在车辆行驶时当驾驶员发出“哇，这太强大了。当加速时，声音就像是快速而真实的发动机声音。我希望像赛车游戏声音一样驾驶会很有趣。”，输入层210可以通过发出的语音数据中包含的情绪形容词(例如，强大、快速、赛车游戏声音或有趣)分析用户的情绪状态、性格、偏好声音等，以推导具体属性。输入层210可以输出与用户的情绪状态匹配的情绪建模的三个临时类别以及这三个临时类别中的每一个的具体属性。
51.隐藏层220可以接收从输入层210输出的具体属性作为输入数据。隐藏层220可以使用ann通过车辆环境开发需求的分类来反映未来汽车的社会心理后果，以通过车辆环境的功能预测创建声音概念的重要值(或工具值)。隐藏层220可以通过社会心理后果的分析推导声音概念的工具值。例如，当驾驶员的社会心理后果是“稳定、自然和安静”时，隐藏层220可以推导“舒适、安全和豪华”作为重要值。此时，隐藏层220可以使用分类技术算法，例如lr、svm、knn算法等来执行情绪建模。
52.隐藏层220可以基于推导出的重要值建立用于确定边界数据的标准，并且可以基于所建立的标准对三种驾驶员情绪进行建模。隐藏层220可以通过重要值接收保守、进步、稳定和有趣的个性化数据作为输入数据。隐藏层220可以通过在x轴上的保守和进步的位置计算以及在y轴上的稳定和有趣的位置计算来建立用于确定情绪建模的三种方法的标准。换言之，隐藏层220可以基于推导出的重要值(或推导出的工具值)生成三个情绪模型。
53.输出层230可以输出由隐藏层220生成的情绪模型。输出层230可以根据声音概念，如文雅的声音(或保守情绪)、娱乐的声音(或未来情绪)和可适应的声音(或个性化的情绪)输出情绪模型。
54.图3是示出了根据本发明的实施例的情绪建模建立的图。
55.参考图3，情绪建模可以由情绪分类逻辑310和模型生成逻辑320执行。
56.情绪分类逻辑310可以基于声音确定用户的声音情绪，并且可以输出用于确定的声音情绪的具体属性。
57.模型生成逻辑320可以接收从情绪分类逻辑310输出的具体属性。模型生成逻辑320可以基于具体属性分析社会心理后果。模型生成逻辑320可以使用分类技术中的至少一种，如lr、svm或knn算法来对车辆环境开发需求进行分类，并且可以反映所分类的车辆环境开发需求中的社会心理后果。
58.模型生成逻辑320可以通过分析社会心理后果来推导(或分配)声音概念的工具值。模型生成逻辑320可以使用预测技术中的至少一种，如多元线性回归(mlr)或支持向量回归(svr)来预测车辆环境功能，以推导声音概念的工具值。模型生成逻辑320可以对基于具体属性分类的社会心理后果进行分析，以推导工具值。
59.模型生成逻辑320可以根据推导出的工具值生成情绪模型。作为示例，当工具值是“舒适”、“安全”和“豪华”时，模型生成逻辑320可以使用文雅的声音的概念来生成情绪模
型。作为示例，当工具值是“有趣”、“新鲜”、“年轻”和“安全”时，模型生成逻辑320可以使用娱乐的声音的概念来生成情绪模型。作为示例，当工具值是“年轻”、“新鲜”、“豪华”、“舒适”和“有趣”时，模型生成逻辑320可以使用可适应的声音的概念来生成情绪模型。
60.图4是示出了根据本发明的实施例的使用情绪模型来生成车辆声音的过程的图。
61.声音生成装置400可以被装载到电动车辆，如纯电车辆(ev)、插电式混合动力电动车辆(phev)和/或混合动力电动车辆(hev)中。声音生成装置400可以使用由图1的情绪建模设备100生成的情绪模型来生成车辆声音，如虚拟声音(例如，驾驶声音、加速声音等)和警告声音。尽管图中未示出，但是声音生成装置400可以包括通信电路、存储器、至少一个处理器等。至少一个处理器可以控制声音生成装置400的整体操作。
62.在操作410中，声音生成装置400可以通过与车辆中的传感器和/或电子控制单元(ecu)的通信来获得驾驶信息。驾驶信息可以包括驾驶模式设置信息。驾驶模式可以分为经济模式、舒适模式、运动模式、智能模式。
63.在操作420中，声音生成装置400可以基于驾驶信息选择情绪模型。声音生成装置400可以基于驾驶模式设置确定情绪模型。
64.在操作430中，声音生成装置400可以使用选择的情绪模型来生成车辆声音。声音生成装置400可以生成与选择的情绪模型相关的车辆声音。例如，当驾驶模式被设置为经济模式时，声音生成装置400可以关闭车辆声音。当驾驶模式被设置为舒适模式时，声音生成装置400可以生成具有文雅的声音的概念的车辆声音(或情绪声音)。可替代地，当驾驶模式被设置为运动模式时，声音生成装置400可以根据与设定的运动模式相关联的娱乐的声音的概念生成车辆声音。当驾驶模式被设置为智能模式时，声音生成装置400可以根据与智能模式相关联的可适应的声音的概念生成车辆声音。
65.在操作440中，声音生成装置400可以播放和输出所生成的车辆声音。声音生成装置400可以通过扬声器输出播放的车辆声音。
66.根据本发明的示例性实施例，通过根据由驾驶员设置的驾驶模式应用不同的情绪模型，声音生成装置400可以基于情绪模型提供三种类型的车辆声音，即虚拟声音和警告声音。
67.图5是示出了根据本发明的实施例的用于执行情绪建模方法的计算系统的方框图。
68.参考图5，计算系统1000可以包括经由总线1200相互连接的至少一个处理器1100、存储器1300、用户界面输入装置1400、用户界面输出装置1500、存储设备1600和网络接口1700。
69.处理器1100可以是处理存储在存储器1300和/或存储设备1600中的指令的中央处理单元(cpu)或半导体装置。存储器1300和存储设备1600可以包括各种类型的易失性或非易失性存储介质。例如，存储器1300可以包括只读存储器(rom)1310和随机存取存储器(ram)1320。
70.因此，结合本文公开的实施例描述的方法或算法的操作可以直接地体现在硬件或由处理器1100执行的软件模块中，或者体现在它们的组合中。软件模块可以驻留在存储介质(即存储器1300和/或存储设备1600)上，如ram、闪存、rom、eprom、eeprom、寄存器、硬盘、可移动磁盘和cd-rom。示例性存储介质可以耦合到处理器1100。处理器1100可以从存储介
质中读出信息，并且可以在存储介质中写入信息。可替代地，存储介质可以与处理器1100集成。处理器1100和存储介质可以驻留在专用集成电路(asic)中。asic可以驻留在用户终端内。在另一种情况下，处理器1100和存储介质可以作为单独的组件驻留在用户终端中。
71.根据本发明的实施例，情绪建模设备可以针对车辆环境中的用户的情绪提供定制的车辆声音。
72.在上文中，尽管已经参考示例性实施例和附图描述了本发明，但是本发明不限于此，但是可以由本发明所属领域的技术人员进行各种修改和改变，而不背离所附权利要求中要求保护的本发明的精神和范围。因此，本发明的实施例不旨在限制本发明的技术精神，但仅用于说明的目的。本发明的范围应该以所附权利要求书为基础进行解释，并且在与权利要求书等同的范围内的所有技术思想应被包含在本发明的范围中。

技术特征：
1.一种情绪建模方法，包括：通过用户话语接收声音；使用情绪分析算法基于所述声音确定情绪属性；通过使用人工神经网络分析所述情绪属性的社会心理后果，推导声音概念的工具值；以及基于所述声音概念的工具值生成情绪模型。2.根据权利要求1所述的情绪建模方法，其中所述情绪属性的确定包括：使用情绪分类器对所述声音中包含的用户情绪进行分类；以及将所分类的用户情绪转化为具体属性。3.根据权利要求2所述的情绪建模方法，其中所述用户情绪的分类包括：使用会话记忆网络(cmn)对所述用户情绪进行分类。4.根据权利要求2所述的情绪建模方法，其中将所分类的用户情绪转化为具体属性包括：将相关关键字与所分类的用户情绪进行匹配。5.根据权利要求1所述的情绪建模方法，其中所述情绪模型的生成包括：通过以所述声音概念的工具值执行保守、进步、稳定、有趣的位置计算，建立确定边界数据的标准；以及基于所述标准确定情绪建模方法。6.根据权利要求1所述的情绪建模方法，其中所述声音概念的工具值的推导包括：使用逻辑回归(lr)、支持向量机(svm)和k-最近邻(knn)算法中的至少一种对车辆环境开发需求进行分类，以及反映所分类的车辆环境开发需求中的社会心理后果。7.根据权利要求1所述的情绪建模方法，其中所述声音概念的工具值的推导包括：使用多元线性回归(mlr)和支持向量回归(svr)中的至少一种来预测车辆环境功能，以推导所述声音概念的工具值。8.一种情绪建模设备，包括：检测器，所述检测器被配置为通过用户话语检测声音；以及处理器，所述处理器被配置为：使用情绪分析算法基于所述声音确定情绪属性，通过使用人工神经网络分析所述情绪属性的社会心理后果，推导声音概念的工具值，以及基于所述声音概念的工具值生成情绪模型。9.根据权利要求8所述的情绪建模设备，其中所述处理器还被配置为：使用情绪分析器对所述声音中包含的用户情绪进行分类，以及将所分类的用户情绪转化为具体属性。10.根据权利要求9所述的情绪建模设备，其中所述处理器还被配置为使用会话记忆网络(cmn)对所述用户情绪进行分类。11.根据权利要求9所述的情绪建模设备，其中所述处理器还被配置为将相关关键字与所分类的用户情绪进行匹配。
12.根据权利要求8所述的情绪建模设备，其中所述处理器还被配置为：通过以所述声音概念的工具值执行保守、进步、稳定、有趣的位置计算，建立确定边界数据的标准，以及基于所述标准确定情绪建模方法。13.根据权利要求8所述的情绪建模设备，其中所述处理器还被配置为：使用逻辑回归(lr)、支持向量机(svm)和k-最近邻(knn)算法中的至少一种对车辆环境开发需求进行分类，以及反映所分类的车辆环境开发需求中的社会心理后果。14.根据权利要求8所述的情绪建模设备，其中所述处理器还被配置为使用多元线性回归(mlr)和支持向量回归(svr)中的至少一种来预测车辆环境功能，以推导所述声音概念的工具值。

技术总结
提出了情绪建模方法及其设备。提供一种用于针对车辆声音中的用户的情绪提供车辆声音的情绪建模方法及其设备。该情绪建模设备通过用户话语接收声音，使用情绪分析算法基于声音确定情绪属性，通过使用人工神经网络分析情绪属性的社会心理后果推导声音概念的工具值，并且基于声音概念的工具值生成情绪模型。且基于声音概念的工具值生成情绪模型。且基于声音概念的工具值生成情绪模型。


技术研发人员：金璂畅 朴东喆 尹明焕 金星镐
受保护的技术使用者：起亚株式会社 首尔大学校产学协力团
技术研发日：2022.08.12
技术公布日：2023/7/21