一种视线社交交流行为分析系统的制作方法

1.本发明涉及医学诊断工程技术领域，尤其涉及一种视线社交交流行为分析系统。


背景技术：

2.自闭症谱系障碍是一种神经发育障碍，其特征是社交互动和沟通障碍，以及受限、重复的行为和兴趣模式。共同注意是儿童发展中至关重要的社交沟通能力，也是自闭症儿童可能表现出社交障碍的一种社交互动方式，例如缺乏视线互相注视或对社交定向刺激的视线注视反应。共同注意的概念可以描述为一种社会互动，其中两个人一起视线注视一个物体或事件，它可以有各种考虑反应、刺激等的实例。例如在亲子场景中，孩子的注意力可以通过看护者的定向语音、指向手势或视线转移来引导，然后孩子的目光转移到共享的聚焦玩具上，这可以使用嵌入机器的基于视觉的技术进行分析。最近，针对自闭症儿童的机器辅助分析在自闭症筛查或干预方面取得了进展。临床自闭症筛查，尤其是儿童筛查和干预是一项费力且需要技巧的工作。与专业临床医生进行的临床观察相比，机器辅助分析可重复提供客观的原始数据和评估结果，显着节省人工成本。因此，研究共同注意的机器辅助分析促进了自闭症儿童筛查和干预方面的研究，并有益于机器辅助分析自闭症患者相关研究。
3.目前对于基于视觉的自闭症视线交流行为分析系统只能在预先切割好的视线社交交流发生视频片段中分析自闭症的视线社交交流行为，参考文献zhang,w.,wang,z.,cai,h.,&liu,h.(2018,november).detection for joint attention based on a multi-sensor visual system.in 2018 25th international conference on mechatronics and machine vision in practice(m2vip)(pp.1-6).ieee.，参考文献zhang,w.,wang,z.,&liu,h.(2019,april).vision-based joint attention detection for autism spectrum disorders.in cognitive systems and signal processing:4th international conference,iccsip 2018,beijing,china,november 29-december 1,2018,revised selected papers,part i(pp.26-36).singapore:springer singapore。现有系统忽略了社交交流行为中其他的关键信息如发起行为、回应行为。然而，这些信息可以被用来自动化分割和分析视线交流行为。因此，这些信息对于提高基于视觉的自闭症视线交流行为分析系统的智能化水平至关重要。
4.因此，本领域的技术人员致力于开发一种视线社交交流行为分析系统，能够自动切割视线社交交流行为视频片段并分析自闭症视线交流行为。


技术实现要素：

5.有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何自动切割视线社交交流行为视频片段并分析自闭症视线交流行为
6.为实现上述目的，本发明提供了一种视线社交交流行为分析系统，包括范式模块、图像采集模块和分析模块，其中，所述范式模块包括测试者、受测试者、测试物体；所述图像
采集模块采集测试者、受测试者、测试物体的视频图像，并将视频图像传输到所述分析模块；所述分析模块自动切割和分析视频图像，获得视频图像中的人脸外接矩形框、测试物体外接矩形框、测试者的视点位置、受测试者的视点位置，判断测试者的发起行为的开始时间，判断受测试者是否有回应行为；所述分析模块包括人脸检测模块、人脸识别模块、视点估计模块、物体检测模块、发起行为检测模块、回应行为检测模块；所述发起行为检测模块包括：语音发起行为检测、视线发起行为检测；所述回应行为检测模块包括：语音发起行为的回应行为检测、视线发起行为的回应行为的检测。
7.进一步地，所述范式模块的交流行为包括以下步骤：
8.步骤1、受测试者坐在椅子上自己玩5到10秒钟，测试者不对受测试者进行交流；
9.步骤2、测试者通过语音指令吸引受测试者注意力，并观察受测试者5秒钟，判断受测试者是否视线注视测试者；
10.步骤3、测试者视线由受测试者转向注视测试物体，并观察测试物体5秒钟，判断受测试者是否同样注视测试物体。
11.进一步地，所述人脸检测模块用于获得视频图像中的人脸外接矩形框，并根据人脸外接矩形框裁剪图像得到裁剪人脸图像；所述人脸外接矩形框为：
12.b＝{b1,...,bi,...,bn}
13.式中，bi为人脸检测模块所检测出的第i个外接矩形框，且bi＝{x
min
,y
min
,x
max
,y
max
}，其中(x
min
,y
min
)为外接矩形框在图像中左上角点像素坐标，(x
max
,y
max
)为外接矩形框在图像中右下角点像素坐标。
14.进一步地，所述人脸识别模块对预处理后的裁剪人脸图像的进行预测，判断剪裁人脸图像为测试者、受测试者还是非人脸。
15.进一步地，所述视点估计模块的输入为预处理图像数据后的裁剪人脸图像、整个场景图像及人脸位置二值掩码图像，输出为图像坐标系下的视点坐标(x,y)。
16.进一步地，所述物体检测模块的输入为整个场景图像，输出为整个场景中的物体外接矩形框及种类。
17.进一步地，所述语音发起行为检测包括语音自动识别模型和匹配方法；语音自动识别模型输入为rgb相机内置语音传感器所捕获的语音信号，输出为文本；匹配方法输入为文本，输出为语音指令所在时间，为一次语音社交交流行为的开始时间。
18.进一步地，所述视线发起行为检测包括：当测试者的视点位置落入测试物体外接矩形框内并持续时间超过1s时，输出此刻的时间，为一次视线社交交流行为的开始时间。
19.进一步地，所述语音发起行为的回应行为检测包括：当受测试者的视点位置落入测试者的人脸外接矩形框内并持续超过1s时，输出此刻的时间，为一次语音社交交流行为的结束时间。
20.进一步地，所述视线发起行为的回应行为检测包括：当受测试者的视点位置落入测试物体外接矩形框内并持续超过1s时，输出此刻的时间，为一次视线社交交流行为的结束时间。
21.与现有技术相比，本发明至少具有如下有益技术效果：
22.本发明无需预先人工切割视频段，可以在包含多次共同注意社交行为的视频段中，自动分割出每次共同注意行为视频段。
23.以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
24.图1是本发明的一个较佳实施例的图像采集模块俯视示意图；
25.图2是本发明的一个较佳实施例的分析模块流程图。
具体实施方式
26.以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
27.在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
28.本实施例提供一种视线社交交流行为分析系统，包括三个模块，分别是视线社交交流行为范式模块、图像采集模块和视线社交交流行为分析模块。
29.一、视线社交交流行为范式模块
30.视线社交交流行为范式模块包括医生、自闭症患儿、小熊玩偶，三者位置关系如图1所示，该范式包括以下几个步骤：
31.1、自闭症患儿坐在凳子2上自己玩5到10秒钟，医生不对自闭症患儿进行交流；
32.2、医生通过语言呼唤“宝宝”吸引儿童注意力，并观察患儿5秒钟，判断自闭症患儿是否视线注视医生；
33.3、医生视线由注视自闭症患儿转向注视小熊玩偶，并观察患儿5秒钟，判断自闭症患儿是否同样注视小熊玩偶。
34.二、图像采集模块
35.图像采集模块包括图像采集平台，如图1所示。图像采集平台由教具和摄像头传感器4组成。教具包括一张桌子1、两个凳子2、一个小熊玩偶3；一个摄像头传感器4，摄像头传感器4为rgb相机且内置语音传感器。两个凳子2分别位于桌子1的两侧，小熊玩偶3位于桌子1上，摄像头5位于于桌子侧面布置，要求摄像头所采集到的图像包含医生头部图像、自闭症患儿头部图像、小熊玩偶。
36.图像采集模块旨在采集视线社交交流行为范式模块中医生与自闭症患儿视频数据v＝{i1,..,ii,...,in}，其中n为视频总帧数，i为帧序号。
37.三、视线社交交流行为分析模块
38.包括人脸检测模块、人脸识别模块、视点估计模块、物体检测模块、发起行为检测模块、回应行为检测模块。
39.1、人脸检测模块：输入为图像采集模块所采集视频图像ii，输出为该图像中所有人脸的外接矩形框b＝{b1,...,bi,...,bn}，其中bi为人脸检测方法所检测出的第i个外接矩形框，且bi＝{x
min
,y
min
,x
max
,y
max
}，其中(x
min
,y
min
)为矩形框在图像中左上角点像素坐标，(x
max
,y
max
)为矩形框在图像中右下角点像素坐标。人脸检测模块可由神经网络模型实现。
40.2、人脸识别模块：输入为根据人脸检测方法所检测外接矩形框所裁剪的图像，其输出为每个图像的预测结果，即医生、患儿或者非人脸。人脸识别模块可由神经网络模型实现。
41.3、视点估计模块：视点估计方法输入为预处理图像数据后的裁剪人脸图像、整个场景图像及人脸位置二值掩码图像，其输出为图像坐标系下的视点坐标(x,y)。场景图像为摄像头传感器所采集的rgb图像，人脸位置二值掩码图像为一幅黑白图像，其尺寸与场景图像一致，其中人脸外接矩形框区域内为白色，其余区域为黑色。视点估计模块可由神经网络模型实现。
42.4、物体检测模块：物体检测方法输入为整个场景图像，输出为整个场景中的物体的外接矩形框及其种类。物体检测方法可由神经网络模型模块。
43.5、发起行为检测模块包括语音发起行为检测、视线发起行为检测
44.5.1、语音发起行为检测：语音发起行为检测旨在检测医生的语音行为“宝宝”，以确定一次视线社交交流行为的开始时间。语音发起行为检测方法包括语音自动识别模型和匹配方法。语音自动识别模型输入为rgb相机内置语音传感器所捕获的语音信号，输出为文本。匹配方法输入为文本，输出为“宝宝”所在时间，即为一次视线社交交流行为的开始时间。语音自动识别模型可由神经网络模型实现。
45.5.2、视线发起行为检测：视线发起行为检测方法旨在检测医生的视线转移行为，以确定一次视线社交交流行为的开始时间。视线发起行为检测方法输入为医生的视点位置和小熊玩偶矩形框，当医生的视点位置落入小熊玩偶的外接矩形框内并持续时间超过1s时，输出此刻的时间，即为一次视线社交交流行为的开始时间。
46.6、回应行为检测模块包括语音发起行为的回应行为检测、视线发起行为的回应行为检测
47.6.1、语音发起行为的回应行为检测：该方法以自闭症患儿的视点位置和医生的人脸外接矩形框，当自闭症患儿的视点位置落入医生的人脸外接矩形框内并持续超过1s时，输出此刻的时间，即为一次语音社交交流行为的结束时间。
48.6.2、视线发起行为的回应行为的检测方法：该方法以自闭症患儿的视点位置和小熊玩偶的外接矩形框，当自闭症患儿的视点位置落入小熊玩偶的外接矩形框内并持续超过1s时，输出此刻的时间，即为一次视线社交交流行为的结束时间。
49.整体的分析流程如图2所示，包括以下步骤：
50.s01、检测医生和自闭症患儿的人脸外接矩形框，并进行裁剪；
51.s02、检测小熊玩偶外接矩形框；
52.s03、估计医生与患儿的视点位置；
53.s04、根据前3步的估计结果和发起行为检测模块检测发起行为；
54.s05、根据前3步的估计结果和回应行为检测模块检测回应行为。
55.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

技术特征：
1.一种视线社交交流行为分析系统，其特征在于，包括范式模块、图像采集模块和分析模块，其中，所述范式模块包括测试者、受测试者、测试物体；所述图像采集模块采集测试者、受测试者、测试物体的视频图像，并将视频图像传输到所述分析模块；所述分析模块自动切割和分析视频图像，获得视频图像中的人脸外接矩形框、测试物体外接矩形框、测试者的视点位置、受测试者的视点位置，判断测试者的发起行为的开始时间，判断受测试者是否有回应行为；所述分析模块包括人脸检测模块、人脸识别模块、视点估计模块、物体检测模块、发起行为检测模块、回应行为检测模块；所述发起行为检测模块包括：语音发起行为检测、视线发起行为检测；所述回应行为检测模块包括：语音发起行为的回应行为检测、视线发起行为的回应行为的检测。2.如权利要求1所述的视线社交交流行为分析系统，其特征在于，所述范式模块的交流行为包括以下步骤：步骤1、受测试者坐在椅子上自己玩5到10秒钟，测试者不对受测试者进行交流；步骤2、测试者通过语音指令吸引受测试者注意力，并观察受测试者5秒钟，判断受测试者是否视线注视测试者；步骤3、测试者视线由受测试者转向注视测试物体，并观察测试物体5秒钟，判断受测试者是否同样注视测试物体。3.如权利要求2所述的视线社交交流行为分析系统，其特征在于，所述人脸检测模块用于获得视频图像中的人脸外接矩形框，并根据人脸外接矩形框裁剪图像得到裁剪人脸图像；所述人脸外接矩形框为：b＝{b1,...,b
i
,...,b
n
}式中，b
i
为人脸检测模块所检测出的第i个外接矩形框，且b
i
＝{x
min
,y
min
,x
max
,y
max
}，其中(x
min
,y
min
)为外接矩形框在图像中左上角点像素坐标，(x
max
,y
max
)为外接矩形框在图像中右下角点像素坐标。4.如权利要求3所述的视线社交交流行为分析系统，其特征在于，所述人脸识别模块对预处理后的裁剪人脸图像的进行预测，判断剪裁人脸图像为测试者、受测试者还是非人脸。5.如权利要求4所述的视线社交交流行为分析系统，其特征在于，所述视点估计模块的输入为预处理图像数据后的裁剪人脸图像、整个场景图像及人脸位置二值掩码图像，输出为图像坐标系下的视点坐标(x,y)。6.如权利要求5所述的视线社交交流行为分析系统，其特征在于，所述物体检测模块的输入为整个场景图像，输出为整个场景中的物体外接矩形框及种类。7.如权利要求6所述的视线社交交流行为分析系统，其特征在于，所述语音发起行为检测包括语音自动识别模型和匹配方法；语音自动识别模型输入为rgb相机内置语音传感器所捕获的语音信号，输出为文本；匹配方法输入为文本，输出为语音指令所在时间，为一次语音社交交流行为的开始时间。8.如权利要求7所述的视线社交交流行为分析系统，其特征在于，所述视线发起行为检测包括：当测试者的视点位置落入测试物体外接矩形框内并持续时间超过1s时，输出此刻的时间，为一次视线社交交流行为的开始时间。9.如权利要求8所述的视线社交交流行为分析系统，其特征在于，所述语音发起行为的回应行为检测包括：当受测试者的视点位置落入测试者的人脸外接矩形框内并持续超过1s
时，输出此刻的时间，为一次语音社交交流行为的结束时间。10.如权利要求9所述的视线社交交流行为分析系统，其特征在于，所述视线发起行为的回应行为检测包括：当受测试者的视点位置落入测试物体外接矩形框内并持续超过1s时，输出此刻的时间，为一次视线社交交流行为的结束时间。

技术总结
本发明公开了一种视线社交交流行为分析系统，涉及医学诊断工程技术领域，包括范式模块、图像采集模块和分析模块，其中，范式模块包括测试者、受测试者、测试物体；图像采集模块采集测试者、受测试者、测试物体的视频图像；分析模块自动切割和分析视频图像，获得视频图像中的人脸外接矩形框、测试物体外接矩形框、测试者和受测试者的视点位置，判断测试者的发起行为的开始时间，判断受测试者是否有回应行为；分析模块包括人脸检测模块、人脸识别模块、视点估计模块、物体检测模块、发起行为检测模块、回应行为检测模块。本发明无需预先人工切割视频段，可以在包含多次共同注意社交行为的视频段中，自动分割出每次共同注意行为视频段。自动分割出每次共同注意行为视频段。自动分割出每次共同注意行为视频段。


技术研发人员：刘洪海 王新明 王志永 聂伟 卞家兴
受保护的技术使用者：世迈嘉医疗科技（丽水）有限公司
技术研发日：2023.05.29
技术公布日：2023/8/14