一种放疗室用患者安全监控系统及方法

1.本发明涉及医疗技术领域，具体涉及一种放疗室用患者安全监控系统及方法。


背景技术：

2.放射治疗是在治疗肿瘤疾病上相对保守和有效的方法，特别是有了计算机技术的辅助后，发展更是十分迅速，是肿瘤患者目前首选的治疗方式。在放射治疗中，除了给患者提供准确的摆位，保持放射线对肿瘤进行精准照射外，治疗室的安全问题也不容忽视，由于放射线对人体存在较大的危害，并且治疗过程中患者需要单独处于放疗室中，在没有陪护的情况下，更容易发生问题，因此放疗室中的安全问题是放疗进行的重中之重。
3.放疗室中的安全问题主要包括：患者对应，判断当前患者是否是治疗患者；金属探测，患者身上是否存在金属物质；放疗过程中患者突发意外，包括患者出现大幅度移动、突发呼吸困难等。目前对于放疗室的安全问题主要靠医护人员通过视频录像等方式进行观察，人工进行干预，如果在放疗过程中，医护人员没有及时发现放疗室中出现的问题，就会造成重大的医疗事故。
4.因此，结合现有技术中放疗室中存在的安全隐患，设计一款有效保证放疗室中的安全问题，降低医疗事故发生率的用于放疗室中的安全监控系统及方法。


技术实现要素：

5.针对现有技术中的缺陷，本发明提供一种放疗室用患者安全监控系统及方法。
6.一方面，一种放疗室用患者安全监控系统，包括：
7.获取模块，用于获取目标患者的手部视频数据；
8.处理模块，用于从所述手部视频数据中抽取连续的两帧第一目标手部图像，分别提取两帧第一目标手部图像对应的手部轮廓图像，根据所述手部轮廓图像计算两帧手部图像的相似度，根据所述相似度确定手势类型，所述手势类型包括静态手势和动态手势；
9.第一识别模块，用于在手势类型为静态手势时，根据任一组手部关键点提取静态手部特征，将所述静态手部特征输入静态手势识别模型，得到静态手势识别结果；
10.第二识别模块，用于在所述手势类型为动态手势时，从所述手部视频数据中抽取位于所述第一目标图像之后的若干帧连续的第二目标图像，从所述第二目标图像中提取出动态手势特征，将手势动态手势特征输入动态手势识别模型，得到动态手势识别结果；
11.报警模块，用于根据所述静态手势识别结果或者动态手势识别结果确定患者状态，根据所述患者状态进行报警。
12.优选地，所述处理模块包括：
13.预处理模块，用于对所述第一目标手部图像进行预处理，所述预处理包括降噪、滤波、膨胀腐蚀中的至少一种，对预处理后的图像进行二值化处理。
14.优选地，所述处理模块还包括：
15.搜索模块，用于采用领域搜索算法对所述第一目标手部图像进行搜索，在满足搜
索停止条件时停止搜索，得到手部轮廓图像，所述手部轮廓图像包括若干满足边界条件的目标像素点；
16.相似度计算模块，用于根据两帧第一目标手部图像所对应的目标像素点的坐标计算两帧手部图像的相似度；
17.类型确定模块，用于判断所述相似度是否小于预设相似度阈值时，若是，则确定手势类型为静态手势，若否，则确定手势类型为动态手势。
18.优选地，所述相似度计算模块具体用于：根据所述手部轮廓图像构建像素点坐标序列，采用余弦相似度算法计算两个像素点坐标序列的余弦相似度。
19.优选地，所述第一识别模块包括：
20.区域分离模块，用于根据所述手部轮廓图像从所述第一目标手部图像中分离出第一目标手部区域图像；
21.区域特征提取模块，用于将所述第一目标手部区域图像输入至手部关键点检测模型，获取所述第一目标手部区域图像中手部区域特征图；
22.关键点识别模块，用于将所述手部区域特征图与所述手部关键点检测模型中的掩膜图进行与运算，确定所述手部关键点。
23.优选地，所述第一识别模块还包括：
24.第一静态特征提取模块，用于获取手部关键点的关键点坐标，将所述关键点坐标作为第一静态手部特征；
25.第二静态特征提取模块，用于计算掌心关键点和手指指尖关键点的距离，将所述两个相邻手指对应的距离比作为第二静态手部特征；
26.静态手势识别模块，用于将所述第一静态手部特征和第二静态手部特征输入静态手势识别模型，得到静态手势识别结果。
27.优选地，所述第二识别模块包括：
28.第一动态特征提取模块，用于将所述第二目标手部图像输入第一识别模块，并获取第一识别模块返回的静态手部特征，将所述静态手部特征作为第一动态手势特征；
29.第二动态特征提取模块，用于采用连续自适应算法从所述第二目标手部图像中确定出第二目标手部区域，计算区域质心，根据所述区域质心获取手势轨迹特征，将所述手势轨迹特征作为第二动态手势特征。
30.优选地，所述第二识别模块还包括：
31.特征融合模块，用于将所述第一动态手势特征和所述第二动态手势特征进行特征融合，得到融合特征；
32.动态手势识别模块，用于将所述第一动态手势特征和第二动态手势特征输入动态手势识别模型，得到动态手势识别结果。
33.优选地，所述报警模块具体用于根据所述静态手势识别结果或者动态手势识别结果确定患者状态；根据所述患者状态确定报警等级；根据所述报警等级进行报警。
34.另一方面，一种放疗室用患者安全监控方法，包括：
35.步骤s100,获取目标患者的手部视频数据；
36.步骤s200,从所述手部视频数据中抽取连续的两帧第一目标手部图像，分别提取两帧第一目标手部图像对应的手部轮廓图像，根据所述手部轮廓图像计算两帧手部图像的
相似度，根据所述相似度确定手势类型，所述手势类型包括静态手势和动态手势；
37.步骤s300,在手势类型为静态手势时，根据任一组手部关键点提取静态手部特征，将所述静态手部特征输入静态手势识别模型，得到静态手势识别结果；
38.步骤s400,在所述手势类型为动态手势时，从所述手部视频数据中抽取位于所述第一目标图像之后的若干帧连续的第二目标图像，从所述第二目标图像中提取出动态手势特征，将手势动态手势特征输入动态手势识别模型，得到动态手势识别结果；
39.步骤s500,根据所述静态手势识别结果或者动态手势识别结果确定患者状态，根据所述患者状态进行报警。
40.本发明的有益效果体现在：本发明一种放疗室用患者安全监控系统，能够对放疗患者的手势进行识别，进而可精准掌握放疗患者的状态，并且可通过报警的方式有效的向医护人员提示患者目前的状态，避免在放疗过程中，医护人员无法及时发现放疗室中出现的问题，造成重大的医疗事故。
附图说明
41.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
42.图1为本发明实施例提供的一种放疗室用患者安全监控系统的结构示意图；
43.图2为本发明实施例提供的一种放疗室用患者安全监控方法的流程图。
具体实施方式
44.下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
45.需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
46.请参考图1，本发明实施例提供的一种放疗室用患者安全监控系统，包括：
47.获取模块，用于获取目标患者的手部视频数据。
48.在本实施例中，使用摄像头采集目标患者的手部视频数据，手势识别周期为5～10s,采集频率为每秒25～30帧图片，摄像头可以是可见光rgb摄像头、红外ir摄像头或rgbd深度相机(结构光深度相机、tof深度相机)，输出的视频流可以是rgb视频流、ir视频流、rgb-depth视频流或ir-depth视频流，摄像头安装在机械臂上，通过机械臂调整摄像头的角度，可设置参考点进行位置调整，所述参考点可以是放疗设备的位置、患者病灶位置、床位等，以保证摄像头能够采集到目标患者的手部视频数据。
49.处理模块，用于从所述手部视频数据中抽取连续的两帧第一目标手部图像，分别提取两帧第一目标手部图像对应的手部轮廓图像，根据所述手部轮廓图像计算两帧手部图像的相似度，根据所述相似度确定手势类型，所述手势类型包括静态手势和动态手势。
50.为了区分手势为静态手势还是动态手势，在进行手势识别之前还需要计算前几帧图像的相似度。
51.在本实施例中，所述处理模块包括：预处理模块，用于对所述第一目标手部图像进行预处理，所述预处理包括降噪、滤波、膨胀腐蚀中的至少一种，对预处理后的图像进行二值化处理。其中，通过降噪、滤波可以去除环境干扰，提供图像质量，在本实施例中，采用中值滤波器进行滤波，二值化阈值设置为1。
52.在本实施例中，所述处理模块还包括：搜索模块，用于采用领域搜索算法对所述第一目标手部图像进行搜索，在满足搜索停止条件时停止搜索，得到手部轮廓图像，所述手部轮廓图像包括若干满足边界条件的目标像素点；相似度计算模块，用于根据两帧第一目标手部图像所对应的目标像素点的坐标计算两帧手部图像的相似度；类型确定模块，用于判断所述相似度是否小于预设相似度阈值时，若是，则确定手势类型为静态手势，若否，则确定手势类型为动态手势。
53.具体的，图像边缘轮廓的提取方法有多，如canny算子、prewitt算子等，考虑到有些算子得出的图像边界点不完全连续，无法提取到精准的手部轮廓图，因此，本发明实施例采用域搜索算法用于实现手部轮廓边界点的提取。具体的，八邻域搜索算子，采用该算法的本质思想是：当检测到图像边缘的某像素起点时，在该像素点周围相邻的八个区域内，一定存在下一个边界点信息，记录该点信息，依次检测，直到起点终点重合。对图像边缘的所有的八邻域坐标进行提取，即可得到轮廓边缘信息。
54.具体的，从第一手部目标图像的左顶点对全图进行扫描，按照从左到右，从上到下的顺序，当首次扫描到像素值为1的点时，将该点作为手部轮廓图像起始的边界点，对该点进行领域搜索以获取下一边界点，当搜索到的下一边界点与起始的边界点重合时，停止搜索，以获取完整的手部轮廓图像。
55.具体的，根据两帧图像的手部轮廓图像进行相似度计算时，可采用余弦相似度算法、欧氏相似度算法，在本实施例中，采用余弦相似值，若相似度值超过设定的相似度阈值，则认为手势变化大，认为当前帧手势图像序列中包含的手势动作属于动态手势，需进行动态手势识别，否则，则需要进行静态手势识别，以提高手势识别效率。
56.第一识别模块，用于在手势类型为静态手势时，根据任一组手部关键点提取静态手部特征，将所述静态手部特征输入静态手势识别模型，得到静态手势识别结果。
57.在本实施例中，所述第一识别模块包括：区域分离模块，用于根据所述手部轮廓图像从所述第一目标手部图像中分离出第一目标手部区域图像；区域特征提取模块，用于将所述第一目标手部区域图像输入至手部关键点检测模型，获取所述第一目标手部区域图像中手部区域特征图；关键点识别模块，用于将所述手部区域特征图与所述手部关键点检测模型中的掩膜图进行与运算，确定所述手部关键点。
58.通过区域分离模块可将第一目标手部区域图像从第一目标手部图像中分离出来，减少了静态手势识别的工作量，提供了识别效率，进而能够得到更加精准的手部关键点，其中，所述手部关键点包括21个关键点，所述21个关键点分别包括1个掌心关键点，4个大拇指关键点，4个食指关键点，4个中指关键点，4个无名指关键点，4个小指关键点。
59.在本实施例中，所述第一识别模块还包括：第一静态特征提取模块，用于获取手部关键点的关键点坐标，将所述关键点坐标作为第一静态手部特征；第二静态特征提取模块，用于计算掌心关键点和手指指尖关键点的距离，将所述两个相邻手指对应的距离比作为第二静态手部特征；静态手势识别模块，用于将所述第一静态手部特征和第二静态手部特征
输入静态手势识别模型，得到静态手势识别结果。
60.静态手势特征提取是静态手势识别的重要环节，是动态手势识别的基础，在本实施例主要对手势结构特征进行提取，包括关键点之间的位置关系以及掌心关键点和手指指尖关键点的距离。
61.第二识别模块，用于在所述手势类型为动态手势时，从所述手部视频数据中抽取位于所述第一目标图像之后的若干帧连续的第二目标图像，从所述第二目标图像中提取出动态手势特征，将手势动态手势特征输入动态手势识别模型，得到动态手势识别结果。
62.在本发明实施例中，所述第二识别模块包括：第一动态特征提取模块，用于将所述第二目标手部图像输入第一识别模块，并获取第一识别模块返回的静态手部特征，将所述静态手部特征作为第一动态手势特征；第二动态特征提取模块，用于采用连续自适应算法从所述第二目标手部图像中确定出第二目标手部区域，计算区域质心，根据所述区域质心获取手势轨迹特征，将所述手势轨迹特征作为第二动态手势特征。
63.动态手势轨迹特征主要包括位置信息、速度以及方向角等，考虑到即便相同个体对于同一手势动作，每次在不同时间段内做出的手势运动对应的方向角也不会完全相同，在本发明实施例中采用角度量化方法，将手势角度分为6个类别，但凡落在同一区域的方向角皆可认为它们所代表的运动轨迹方向角度信息一致，即具有相同的运动趋势。
64.在本发明实施例中，所述第二识别模块还包括：特征融合模块，用于将所述第一动态手势特征和所述第二动态手势特征进行特征融合，得到融合特征；动态手势识别模块，用于将所述第一动态手势特征和第二动态手势特征输入动态手势识别模型，得到动态手势识别结果。
65.为了保证动态手势识别的精度，不仅需要动态手势轨迹特征作为全局特征，还需要静态手势特征作为局部特征，将全局特征和局部调整进行融合，可提供动态手势的识别精度。
66.报警模块，用于根据所述静态手势识别结果或者动态手势识别结果确定患者状态，根据所述患者状态进行报警。
67.在本实施例中，所述报警模块具体用于根据所述静态手势识别结果或者动态手势识别结果确定患者状态；根据所述患者状态确定报警等级；根据所述报警等级进行报警。
68.具体的，所述静态手势识别结果仅可识别静态手势，可根据识别静态手势与患者状态的映射关系确定患者状态，根据患者状态与报警等级的映射关系确定报警等级，并进行报警，以提醒医护人员。具体的，所述动态手势识别结果包括可识别动态手势，在识别结果为可识别动态手势时，可自动根据可识别动态手势与患者状态之间的映射关系确定状态，根据患者状态与报警等级的映射关系确定报警等级，并进行报警，以提醒医护人员。具体的，可通过语音播报、蜂鸣器等方式进行报警。
69.综上，本发明实施例提供了一种放疗室用患者安全监控系统，能够对放疗患者的手势进行识别，进而可精准掌握放疗患者的状态，并且可通过报警的方式有效的向医护人员提示患者目前的状态，避免在放疗过程中，医护人员无法及时发现放疗室中出现的问题，造成重大的医疗事故。
70.请参考图2，在上述实施例的基础上，本发明实施例还提供了一种放疗室用患者安全监控方法，包括：步骤s100,获取目标患者的手部视频数据；步骤s200,从所述手部视频数
据中抽取连续的两帧第一目标手部图像，分别提取两帧第一目标手部图像对应的手部轮廓图像，根据所述手部轮廓图像计算两帧手部图像的相似度，根据所述相似度确定手势类型，所述手势类型包括静态手势和动态手势；步骤s300,在手势类型为静态手势时，根据任一组手部关键点提取静态手部特征，将所述静态手部特征输入静态手势识别模型，得到静态手势识别结果；步骤s400,在所述手势类型为动态手势时，从所述手部视频数据中抽取位于所述第一目标图像之后的若干帧连续的第二目标图像，从所述第二目标图像中提取出动态手势特征，将手势动态手势特征输入动态手势识别模型，得到动态手势识别结果；步骤s500,根据所述静态手势识别结果或者动态手势识别结果确定患者状态，根据所述患者状态进行报警。
71.应当理解地，本发明实施例提供的一种放疗室用患者安全监控方法与上述实施例提供一种放疗室用患者安全监控采用出于相同的发明构思，关于本发明实施例更加具体的工作原理可参考上述实施例，在本发明实施例中，不做赘述。
72.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

技术特征：
1.一种放疗室用患者安全监控系统，其特征在于，包括：获取模块，用于获取目标患者的手部视频数据；处理模块，用于从所述手部视频数据中抽取连续的两帧第一目标手部图像，分别提取两帧第一目标手部图像对应的手部轮廓图像，根据所述手部轮廓图像计算两帧手部图像的相似度，根据所述相似度确定手势类型，所述手势类型包括静态手势和动态手势；第一识别模块，用于在手势类型为静态手势时，根据任一组手部关键点提取静态手部特征，将所述静态手部特征输入静态手势识别模型，得到静态手势识别结果；第二识别模块，用于在所述手势类型为动态手势时，从所述手部视频数据中抽取位于所述第一目标图像之后的若干帧连续的第二目标图像，从所述第二目标图像中提取出动态手势特征，将手势动态手势特征输入动态手势识别模型，得到动态手势识别结果；报警模块，用于根据所述静态手势识别结果或者动态手势识别结果确定患者状态，根据所述患者状态进行报警。2.根据权利要求1所述的一种放疗室用患者安全监控系统，其特征在于，所述处理模块包括：预处理模块，用于对所述第一目标手部图像进行预处理，所述预处理包括降噪、滤波、膨胀腐蚀中的至少一种，对预处理后的图像进行二值化处理。3.根据权利要求2所述的一种放疗室用患者安全监控系统，其特征在于，所述处理模块还包括：搜索模块，用于采用领域搜索算法对所述第一目标手部图像进行搜索，在满足搜索停止条件时停止搜索，得到手部轮廓图像，所述手部轮廓图像包括若干满足边界条件的目标像素点；相似度计算模块，用于根据两帧第一目标手部图像所对应的目标像素点的坐标计算两帧手部图像的相似度；类型确定模块，用于判断所述相似度是否小于预设相似度阈值时，若是，则确定手势类型为静态手势，若否，则确定手势类型为动态手势。4.根据权利要求3所述的一种放疗室用患者安全监控系统，其特征在于，所述相似度计算模块具体用于：根据所述手部轮廓图像构建像素点坐标序列，采用余弦相似度算法计算两个像素点坐标序列的余弦相似度。5.根据权利要求3所述的一种放疗室用患者安全监控系统，其特征在于，所述第一识别模块包括：区域分离模块，用于根据所述手部轮廓图像从所述第一目标手部图像中分离出第一目标手部区域图像；区域特征提取模块，用于将所述第一目标手部区域图像输入至手部关键点检测模型，获取所述第一目标手部区域图像中手部区域特征图；关键点识别模块，用于将所述手部区域特征图与所述手部关键点检测模型中的掩膜图进行与运算，确定所述手部关键点。6.根据权利要求5所述的一种放疗室用患者安全监控系统，其特征在于，所述第一识别模块还包括：第一静态特征提取模块，用于获取手部关键点的关键点坐标，将所述关键点坐标作为
第一静态手部特征；第二静态特征提取模块，用于计算掌心关键点和手指指尖关键点的距离，将所述两个相邻手指对应的距离比作为第二静态手部特征；静态手势识别模块，用于将所述第一静态手部特征和第二静态手部特征输入静态手势识别模型，得到静态手势识别结果。7.根据权利要求3所述的一种放疗室用患者安全监控系统，其特征在于，所述第二识别模块包括：第一动态特征提取模块，用于将所述第二目标手部图像输入第一识别模块，并获取第一识别模块返回的静态手部特征，将所述静态手部特征作为第一动态手势特征；第二动态特征提取模块，用于采用连续自适应算法从所述第二目标手部图像中确定出第二目标手部区域，计算区域质心，根据所述区域质心获取手势轨迹特征，将所述手势轨迹特征作为第二动态手势特征。8.根据权利要求5所述的一种放疗室用患者安全监控系统，其特征在于，所述第二识别模块还包括：特征融合模块，用于将所述第一动态手势特征和所述第二动态手势特征进行特征融合，得到融合特征；动态手势识别模块，用于将所述第一动态手势特征和第二动态手势特征输入动态手势识别模型，得到动态手势识别结果。9.根据权利要求5所述的一种放疗室用患者安全监控系统，其特征在于，所述报警模块具体用于根据所述静态手势识别结果或者动态手势识别结果确定患者状态；根据所述患者状态确定报警等级；根据所述报警等级进行报警。10.一种放疗室用患者安全监控方法，其特征在于，包括：步骤s100,获取目标患者的手部视频数据；步骤s200,从所述手部视频数据中抽取连续的两帧第一目标手部图像，分别提取两帧第一目标手部图像对应的手部轮廓图像，根据所述手部轮廓图像计算两帧手部图像的相似度，根据所述相似度确定手势类型，所述手势类型包括静态手势和动态手势；步骤s300,在手势类型为静态手势时，根据任一组手部关键点提取静态手部特征，将所述静态手部特征输入静态手势识别模型，得到静态手势识别结果；步骤s400,在所述手势类型为动态手势时，从所述手部视频数据中抽取位于所述第一目标图像之后的若干帧连续的第二目标图像，从所述第二目标图像中提取出动态手势特征，将手势动态手势特征输入动态手势识别模型，得到动态手势识别结果；步骤s500,根据所述静态手势识别结果或者动态手势识别结果确定患者状态，根据所述患者状态进行报警。

技术总结
本发明公开了一种放疗室用患者安全监控系统及方法，涉及医疗技术领域，所述系统包括获取模块、处理模块、第一识别模块、第二识别模块和报警模块。本发明能够对放疗患者的手势进行识别，进而可精准掌握放疗患者的状态，并且可通过报警的方式有效的向医护人员提示患者目前的状态，避免在放疗过程中，医护人员无法及时发现放疗室中出现的问题，造成重大的医疗事故。事故。事故。


技术研发人员：刘慧 何汇朗
受保护的技术使用者：中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所）
技术研发日：2023.06.02
技术公布日：2023/10/15