一种基于IOT定位与穿戴装置的行为识别系统的制作方法

一种基于iot定位与穿戴装置的行为识别系统
技术领域
1.本发明涉及人类行为智能辨识技术领域，特别涉及一种基于iot定位与穿戴装置的行为识别系统。


背景技术：

2.目前已知对于居家人员的日常生活的动作，通常需要使用摄影机或是使用微波或是额外的力感测坐垫与力感测踏垫，磁簧开关，或其他接近式传感器，以侦测使用者与环境中各种设施的互动。然则，这需要安装许多传感器，增加维护上的困难，也增加了许多成本。使用摄影机，则可能侵犯隐私权，常不能为人所接受，而且也常有死角无法拍摄到，影像的处理所需时间与资源都偏高；使用微波虽不会侵犯隐私，然则仍有死角，并且若多于一人或是有其他宠物，常无法判断使用者是谁。
3.另外，一直以来，穿戴装置中的手环手表广泛受到使用，然则多半只能侦测生理信号与活动量，或最多是能简单辨识人类活动，例如站，坐，躺，走路，漫游，跌倒等，但常有误判，更无法判断行为，例如用餐、喝水、刷牙、上厕所、洗澡、看电视、化妆等，此外行为判断需要客制化或个人化，要根据所在地点，来进行判断。再者，从事不同行为，若其对应的生理生化信号可能不同，例如坐着不动时心跳若超过90，可能代表非常紧张，或是睡眠时，心跳过高，可能代表睡眠质量不佳，或是有心血管疾病。
4.tw i671740(公开202001892)基于地磁信号结合计算机视觉的室内定位系统及方法。透过惯性测量单元侦测目前位置以及行走轨迹以结合该计算机视觉坐标及该地磁信号坐标成为计算机视觉地图及地磁数据地图。其缺点就是需要使用者配戴摄影机，并且需要上传云端进行大量运算。
5.目前已知的室内定位方法，虽然能够对室内的使用者做粗略的定位，然则该室内的位置，例如浴厕内的马桶与洗脸盆的距离可能不到一公尺，要详细分辨并不容易，可能要使用uwb来做三点定位，这就会增加许多的安装费用，同时即使是已经定位于马桶，也无法得知使用者的面向，也就是面对马桶还是背对马桶，是站立、还是坐下，其行为是不一样的。
6.因此需要一种新的发明直接让使用者的穿戴装置，可以判断其行为，如同使用摄影机拍摄动作影像，并使用ai来辨识其行为，本发明透过事先的生活空间校正设定，包含生活空间的每个区域内每个家具的使用方式，例如面向、使用时的动作或身体姿态、结合空间中的家具功能，当确认使用者使用特定家具的动作，即可直接获得行为定位，而非目前已知技术需要先空间定位，之后配合动作侦测，再经云端转换，以及经过复杂的ai学习，才能知道其粗略的行为。
7.综上所述，可以得知目前并无目前已知技术可以在兼顾隐私权下，有效直接侦测人类的行为，也因此无法有效得知人们的每日的生活作息，以及在进行这些生活作息时，同步产生的生理及生化信号大小与其变化情形。


技术实现要素：

8.本发明的目的是提供一种基于iot定位与穿戴装置的行为识别系统。
9.根据本发明的一个方面，提供了一种基于iot定位与穿戴装置的行为识别系统，包括胸前穿戴装置及与胸前穿戴装置无线连接的iot系统，胸前穿戴装置内部构建有一个微处理器以及与微处理器相连接的九轴惯性运动传感器、高度计以及无线通讯模块，使用者将胸前穿戴装置固定附着于胸前，以判断使用者的动作，iot系统的节点或标签安装于生活空间的各区域，其广播给胸前穿戴装置的封包信息包含：节点或标签安装时预设安装处的经纬高度、安装处所在的区域名，以及预设所在区域内每个重点家具的名称、对应的地磁指纹与接收信号强度、对应的经纬度和使用者使用重点家具时的方位；由此胸前穿戴装置可以将使用者的动作融合广播封包的信息，经由微处理器，直接在胸前穿戴装置内运算，得到使用者精准的行为辨识，之后胸前穿戴装置将取得的相关信息对外广播。
10.进一步地，胸前穿戴装置通过检测各种跌倒的方向与跌倒的冲击力，或者通过检测站立不稳或移动不稳来预防跌倒。
11.进一步地，还包括一个智能手环，智能手环佩戴于使用者的惯用手的手腕处，同步检测行为发生其间的生理信号与生化信号，并将生理信号与生化信号对外广播，生理信号选自心跳、心电图、体表阻抗、体温、血氧或血压其中至少一种，生化信号选自血糖浓度、乳酸浓度、酒精浓度、皮质素浓度或药物浓度其中至少一种。
12.在一些实施方式中，胸前穿戴装置还包括摄影机或者录音装置其中至少一个，摄影机或者录音装置可以受到穿戴装置的动作判断或位置判断来触发拍照或录音，或是由使用者于胸前穿戴装置的按钮触发拍照或录音，或是由外界通过蓝牙触发拍照或录音，摄影机或者录音装置安装在胸前穿戴装置内部，或者另外设置无线摄影机或者无线录音装置佩戴在使用者身上。
13.具体地，胸前穿戴装置还包括摄影机或者录音装置其中至少一个，摄影机或者录音装置由智能手环触发启动，佩戴智能手环的惯用手因为拿物品靠近嘴巴，智能手环与胸前穿戴装置距离因此靠近，其间的接收信号强度相对增强，由次触发拍照或录音。
14.进一步地，iot系统还包括路由器和服务器，路由器接收胸前穿戴装置与智能手环的广播信息封包，并上传至服务器，服务器可得知使用者相关行为发生的位置与时段以及使用者的习惯，服务器分析与纪录相关行为，进而分析相关行为发生期间的生理信号与生化信号变化的相关性，或分析使用者生活作息的稳定性与变异性，或分析相关行为的变异性，或分析具体活动的变异性。
15.具体地，广播给胸前穿戴装置的封包信息预设的过程如下：
16.s1、利用一个app协助使用者建立生活空间的室内平面建模图，平面建模图包括每个区域内各个家具的位置，以及一个欲安装节点的插座位置或是一个欲贴附由电池供电的标签的墙壁的位置；
17.s2、根据室内平面建模图，将节点安装至每个区域的插座位置；或是将标签贴附于每个区域的室内墙壁上；
18.s3、使用者配戴胸前穿戴装置，到每个区域的各个家具设定各个家具的地磁指纹、接收信号强度和经纬度，并设定使用者使用相应的家具时的方位。
19.进一步地，胸前穿戴装置内部还设有一个计步器，九轴惯性运动传感器和高度计
通过家具使用航位推算并给出一个可靠的位置，当使用者离开位置时这个位置就是起始点，再利用计步器以及微处理器判断使用者的面向，将这些读取到的值放入位推算里进行下一个位置的推算，同时结合该位置地磁指纹与接收信号强度、经纬度和使用者的方位，如此胸前穿戴装置通过融合计算，得到使用者最靠近的下一个家具，并由使用该家具的动作，求出使用者精准的行为辨识特数据。
20.进一步地，预设广播给胸前穿戴装置的封包信息的详细步骤如下：
21.s1、使用者穿戴好胸前穿戴装置，并携带安装有相应app的手持移动装置，前往某一房间；
22.s2、站立于某一家具前或使用该家具，停留不动，在手持移动装置的app界面中按下设定开始，app通知胸前穿戴装置，胸前穿戴装置执行设定模式的广播给app，胸前穿戴装置广播的内容包括当时节点或标签发出的定位广播封包的接收信号强度、胸前穿戴装置的方位以及胸前穿戴装置所在处的地磁强度，app收到胸前穿戴装置的广播内容后，累积至少20笔，进行接收信号强度、方位和地磁强度的平均，再加入该家具位置的经纬度，并设为此房间该家具位置的指纹信息；
23.s3、5秒后，app告知使用者完成校正，使用者前往下一个家具；
24.s4、重覆步骤s2与步骤s3，直到所有家具都经过校正，取得指纹信息；
25.s5、app与节点或标签连线，写入步骤s4的指纹；
26.s6、前往另一房间，重覆步骤s2至s5，直到所有的房间都完成。
27.具体地，摄像机为餐桌摄影机，架设于餐桌上方80-150cm范围内，餐桌摄像机为3d摄影机，且其拍摄范围仅为餐桌区，只要使用者在餐桌附近停留，不论站坐，胸前穿戴装置传送餐桌定位信息至云端，云端推播要求餐桌摄影机进行拍摄一张照片，上传云端，在餐厅的行为搭配照片的内容用于判断使用者的活动种类及其饮食内容。
28.在一些实施方式中，胸前穿戴装置与智能手环可以分别穿戴，其中胸前穿戴装置以平安符的形式固定佩戴于在胸前，再附加项链，一般可以长时间佩挂，容易养成习惯，不易随意放置，不会忘记佩挂，容易被接受，特别这若是可以保平安侦测跌倒，预防跌倒，并有紧急求救钮可以进行求救。因此，每天的生活作息与身体姿态都能透过这个固定于胸前的穿戴装置来侦测。智能手环则采用蓝牙广播，平安符具备蓝牙5.0以上的传输能力，可以使用coded phy来传送长封包，平安符可接收智能手环的广播封包，然后将平安符取得的身体姿态动作与定位指纹整合成一场封包，一并上传至路由器或闸道器，再上传至服务器或云端。
29.进一步地，平安符还可以侦测身体的姿态，同时也可用来与智能手环互动来侦测惯用手抽烟者是否有在抽烟。这个方法就是穿戴于惯用手的智能手环，固定一段时间例如1-2秒会广播生理信号给平安符，若不抽烟时，智能手环与平安符距离远，其间的蓝牙通讯接收信号强度强度稍弱；然而抽烟时，智能手环与平安符距离近，其间的蓝牙通讯接收信号强度强度相对增强。通过平安符收到智能手环的广播封包忽强忽弱的周期接近抽烟靠近嘴又离开嘴的周期，即可判断使用者正在抽烟。每天纪录抽烟的行为，发生的时间与次数，可知使用者烟瘾，并且于抽烟前与抽烟中，抽烟后，同步比对其生理数据，或可找到其抽烟的原因，并提供戒烟的策略。
30.进一步地，摄影机可以受到平安符的动作判断或位置判断来触发拍照，或是由使
用者于该穿戴装置按钮触发拍照，或是由外界透过蓝牙触发拍照，或是由戴智能手环的惯用手因为拿物品靠近嘴巴，智能手环与平安符距离近，其间的蓝牙通讯接收信号强度强度相对增强，而触发摄影机拍照。其中一个重要的应用，就是对于进食、吃药、喝水、喝饮料、抽菸等的纪录，因为饮食的行为与内容对于健康至关重要，对于饮食较为随兴，随时随地发生的使用者，一个配挂于胸前的摄影机，可以有效纪录每一次的饮食行为以及其饮食内容。
31.进一步地，穿戴装置除了挂于胸前的平安符外，进一步可以增添蓝牙小型摄影机、录音装置至少其中之一，可以是录像笔或录音笔，或是内建于眼镜上，该蓝牙摄影机可以受到平安符的动作判断或位置判断来触发拍照，或是由使用者于该平安符按钮触发拍照，或是由戴智能手环的惯用手因为拿物品靠近嘴巴，智能手环与平安符距离近，其间的蓝牙通讯接收信号强度强度相对增强，而由平安符的蓝牙触发摄影机拍照。或是于穿戴装置内加装一接近传感器例如红外线测距，惯用手因为拿物品靠近嘴巴，因此也靠近胸前的穿戴装置，接近传感器触发摄影机拍照。
32.从过去的文献，可知穿戴装置要能够精准判断使用者的动作例如站，坐，躺，走路，漫游，跌倒、跑步等，最佳的穿戴位置非胸前莫属，并且需要固定于胸前不能走位或随意摇晃。然则习知的技术，常使用胸部束带来固定，但是此方法很难24小时穿戴，究竞若要随时能完整侦测与监控使用者的行为，特别是预防与侦测跌倒，必须没有空窗期。也有习知的技术使用项鍊式垂挂穿戴装置，此方法也有缺点，因为垂挂的穿戴装置就会有走位，以及其姿态无法与使用者的上半部躯干姿态同步，无法具体反映身体的动作与姿态，例如站与坐可能无法有效区别，或是上半身向前弯腰，垂挂的穿戴装置其三轴的角度与不弯腰并无不同，因此不易辨认是否弯腰。跑步时，可能项鍊式垂挂穿戴装置会随意摇晃，无法精准判识跑步的步数等。
33.平安符穿戴于使用者身上的要求，就是要固定于躯干，优先以胸前为主，为确保夏天，气温高，衣着少，以及洗澡时，未着衣物，或仅穿着泳裤时，也可24小时穿戴，因此本发明提出一能有效固定于穿者胸前皮肤的方法，如下列步骤：
34.步骤一、使用仿生无胶自黏的结构，例如壁虎足、章鱼吸盘等结构作为平安符的背面胶膜，可以有效抓住使用者的胸前皮肤，但保留足够的透气性，容易取下，并且不会造成皮肤的伤害，而且可以随时取下再度黏回去胸前皮肤。此仿生无胶自黏的结构至少维持黏度三到七天，即使是洗澡也可持续配戴，如此可保护使用者，在容易跌倒的浴室，可以受到无空窗期的跌倒侦测，甚至站立不稳的侦测。
35.步骤二、进一步，使用颈挂线与平安符联结，让平安符取下时，或更换时，可以采自然垂挂，而有一致性固定于胸前的位置，也可避免只靠步骤一的仿生无胶自黏的结构，因外力撞击脱离皮肤而掉落。若衣服穿较多时，挂在脖子上，比较不会滑动，平安符可使用魔鬼毡与衣服固定。
36.利用本发明固定平安符的方法，可带来许多好处，如：
37.1、各种动作的判断基准值不变，因为平安符固定附着于使用者的胸前，不会单纯垂挂的穿戴装置走位与随意摇晃问题，平安符上的imu与高度计的量测值所得出的姿态完全与使用者的上半部躯干姿态同步，可具体反映身体的动作与姿态，例如站与坐可有效区别，或是辨认躺在床上与躺在地面，可由加上高度计来辨认。跑步时，穿戴装置不会随意摇晃，可精准判识跑步的步数与姿态等
38.2、可以得知使用者站立时是否不稳，或是坐立不安，走路时是否身躯左右摇晃，是否有跌倒的风险，因为平安符上的微处理器与高度计的量测值所得出的姿态完全与使用者的上半部躯干姿态同步，可以与各种动作的基准值比对，若其偏差值过大，超过门槛值，即可发出警告。
39.在一些实施方式中，平安符也可兼容智能手环的功能，一体成型，并且可以贴附于胸前的皮肤，可以同时完成人类活动辨识、睡眠深度辨识、.心跳或心电图、呼吸、皮肤阻抗以及体温。进一步，可以评价睡眠的质量和推测情绪。
40.平安符及智能手环取得量测值，例如呼吸，血氧或心电图等可以用推估睡眠质量与睡眠呼吸中止症。
41.平安符及智能手环整合的基本功能让使用者包含1.安全：预防与侦测跌倒；2.身体健康：作息正常，睡眠充足，服药正常，聪明运动，喝水，饮食均衡，上厕所，排便，生理信号正常，洗澡；3.心理健康：情绪良好，从事各种行为，特别是吃三餐，心跳，血压，体表阻抗正常。
42.平安符的功能，可以每隔一固定周期(例如30秒)送出包含位置、动作，以及身体姿态(稳定或摇晃)和体温(选择性提供)的广播封包。
43.iot系统包含标签(beacon)、路由器、闸道器(gateway)、服务器；beacon是由一个蓝牙5.0的模块所构成，居家的每个房间至少需要安装一个，beacon使用电池供电，随贴卽用，可于每一个房间的天花板或墙壁贴上；基本上beacon广播的封包如表1所示；平安符与智能手环都采用蓝牙5.0，直接上传具有蓝牙5.0模块的路由器/闸道器(router/gateway)即可，如此系统就简化了，成本也降低了，例如10个房间或区域，需要10beacon，其价格约台币2000元，一个路由器/闸道器(router/gateway)，台币2000元；beacon使用容量较大的电池，广播每一秒，一次0.1秒，如此可以半年更换一次，甚至一年更换一次，没电时会通知路由器/闸道器，再通知服务器转告使用者更换电池。平安符使用多角色(multi-role)的蓝牙功能，可以收beacon的广播封包，同时由imu的量测结果进行行为辨识。在某些示例，每个房间或区域可以贴三个以上的beacon，提供三点定位。在某些示例，也可以只有平安符使用蓝牙5.0以上的版本，而智能手环采用蓝牙4.0的版本，智能手环广播给平安符，平安符再将智能手环的量测值与平安符自身量测到的动作与行为信息一起转成蓝牙5.0的长封包，最常可达245bytes，直接传送给路由器/闸道器，上云端服务器。
44.餐桌摄影机采用3d摄影机，例如intel realsense-d430，有目的拍摄餐桌上的活动，也就是根据每日作息表，google行事历发动，但对于随机的饮食活动，则无法追踪。随机饮食，透过定位触动，只要使用者于餐桌区停留，不论站坐，平安符传送餐桌定位讯息至云端，云端推播要求摄影机进行拍摄一张照片，上传云端，由于拍摄范围仅为餐桌区，不干涉隐私，因此并无大碍。在餐厅的行为可能也需要餐桌摄影机才能判断其种类，例如吃饭，服药，喝水，吃点心等。
45.在另外的一些实施例中，可进一步包括智能音箱，主卧室一台与客/餐厅一台，主动提醒使用者，或被动回答使用者的询问。
46.智能音箱可以是移动式智能音箱，例如华硕的zenbo，temi，amazon astro，机器狗等移动机器人，这些移动机器人除了具有音箱外，还包含摄影机，可以辨识环境与使用者，可以跟随使用者，或是使用者生理或生化信号异常时，可以接收云端服务器的指挥，前往使
用者所在位置，就近监看与主动提醒使用者，或被动回答使用者的询问，但是需要注意摄影机可能产生的隐私权议题。其中值得特别注意的是机器狗甚至可以爬楼梯，可以跟这主人到户外，因此使用者的平安符与智能手环所量得的信号可以直接传送给机器狗，来进行转传至云端，或是直接于机器狗上的处理器进行运算，如此一来，本发明的使用情境也可扩展至户外的活动。
47.服务器或云端的第一功能是可以判断行为；必须由云端将同一地点的动作，甚至需要生理信号，经过一段时间(通常是使用者离开该位置，结束该行为)收集来自平安符(或及智能手环)的资料，才能正确判断，例如上厕所，可能是大号或是小号，大号上太久，可能是便秘，大号上多次，可能拉肚子。小号通常时间持续不超过3分钟。上完厕所，应该会转身去洗手台洗手。
48.服务器或云端的第二功能是可以判断行为与生理信号的关联性；参考「客制化生理信号监测与警示」。
49.服务器或云端的第三功能是根据每日预设的规律活动作息，通过音箱或app进行提醒作业，并由平安符的反馈，确认该预设的活动是否有完成，若未完成，则持续提醒，直到完成，并更新真实的作息表。例如服药的活动，必须完成，乃属必须完成的活动。
50.服务器或云端的第四功能是每天提供一个预设的活动作息表，每天凌晨完成当天真实的活动作息表，并且加注从事该作息表内的活动或行为时的生理数据与动作姿态，也就是对应行为的质量因素。
附图说明
51.图1为本发明一种实施方式的基于iot定位与穿戴装置的行为识别系统的流程图。
52.图2为图1所示的基于iot定位与穿戴装置的行为识别系统的app设定场域的示意图。
53.图3为图2中app设定室内房间个重要定位点的定位指纹的示意图。
54.图4为图2中app设定室内房间个重要家具的使用指纹与行为关系之示意图；
55.图5为图1所示的基于iot定位与穿戴装置的行为识别系统的穿戴装置的电路结构示意图。
56.图6为图1所示的基于iot定位与穿戴装置的行为识别系统的状态机示意图。
57.图7为图1所示的基于iot定位与穿戴装置的行为识别系统的部分行为动作辨识流程图。
58.图8为图1所示的基于iot定位与穿戴装置的行为识别系统的站立时往后跌倒的侦测结果示意图。
59.图9为图1所示的基于iot定位与穿戴装置的行为识别系统的站立时往左跌倒侦测的侦测结果示意图。
60.图10为受试者当日某个时间点一小时内的生理数据变化示意图。
61.图11为受试者当日某个时间点一小时内的姿态分布示意图。
62.图12为年轻人与老年人进行相同条件的tug实验的实验结果比较图。
63.图13为设定8个日常居家环境行为事件并测量rssi信号强度的示意图。
64.图14为设定的8个日常居家环境行为事件的行为轨迹图。
65.图中，附图标号：
66.16电池17紧急按钮
67.18电路板
68.181九轴惯性传感器182气压高度传感器
69.183天线184体温传感器
70.21节点(node)23蓝牙转换wifi的路由器
71.61马桶63使用者
72.67洗手台
具体实施方式
73.下面结合附图对本发明作进一步详细的说明。下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
74.图1至图7示意性地显示了本发明的根据一种实施方式的一种基于iot定位与穿戴装置的行为识别系统。
75.如图所示，该系统包括胸前穿戴装置及与胸前穿戴装置无线连接的iot系统。
76.使用者63将胸前穿戴装置固定附着于胸前，以判断使用者63的动作iot系统的节点21或标签安装于生活空间的各区域，其广播给胸前穿戴装置的封包信息包含：节点21或标签安装时预设安装处的经纬高度、安装处所在的区域名，以及预设所在区域内每个重点家具的名称、对应的地磁指纹与接收信号强度、对应的经纬度和使用者使用重点家具时的方位；由此胸前穿戴装置可以将使用者63的动作融合广播封包的信息，经由微处理器，直接在胸前穿戴装置内运算，得到使用者63精准的行为辨识，之后胸前穿戴装置将取得的相关信息对外广播。
77.胸前穿戴装置通过检测各种跌倒的方向与跌倒的冲击力，或者通过检测站立不稳或移动不稳来预防跌倒。
78.本实施例中，胸前穿戴装置为平安符。
79.在本实施例，该系统还包括一个智能手环，智能手环佩戴于使用者63的惯用手的手腕处，同步检测行为发生其间的生理信号与生化信号，并将生理信号与生化信号对外广播，生理信号选自心跳、心电图、体表阻抗、体温、血氧或血压其中至少一种，生化信号选自血糖浓度、乳酸浓度、皮质素浓度或药物浓度其中至少一种。
80.在其他的实施例中，胸前穿戴装置还包括摄影机或者录音装置其中至少一个，摄影机或者录音装置可以受到穿戴装置的动作判断或位置判断来触发拍照或录音，或是由使用者63于胸前穿戴装置的紧急按钮触发拍照或录音，或是由外界通过蓝牙触发拍照或录音，摄影机或者录音装置安装在胸前穿戴装置内部，或者另外设置无线摄影机或者无线录音装置佩戴在使用者63身上。
81.摄影机或者录音装置还可以由智能手环触发启动，佩戴智能手环的惯用手因为拿物品靠近嘴巴，智能手环与胸前穿戴装置距离因此靠近，其间的接收信号强度相对增强，由次触发拍照或录音。
82.进一步地，iot系统还包括路由器和服务器，路由器接收胸前穿戴装置与智能手环的广播信息封包，并上传至服务器，服务器可得知使用者63相关行为发生的位置与时段以及使用者的习惯，服务器分析与纪录相关行为，进而分析相关行为发生期间的生理信号与生化信号变化的相关性，或分析使用者生活作息的稳定性与变异性，或分析相关行为的变异性，或分析具体活动的变异性。
83.具体地，广播给平安符的封包信息预设的过程如下：
84.s1、利用一个app协助使用者建立生活空间的室内平面建模图，平面建模图包括每个区域内各个家具的位置，以及一个欲安装节点21的插座位置或是一个欲贴附由电池供电的标签的墙壁的位置；
85.s2、根据室内平面建模图，将节点21安装至每个区域的插座位置；或是将标签贴附于每个区域的室内墙壁上；
86.s3、使用者63配戴平安符，到每个区域的各个家具设定各个家具的地磁指纹、接收信号强度和经纬度，并设定使用者使用相应的家具时的方位。
87.进一步地，平安符内部还设有一个计步器，九轴惯性运动传感器181和气压高度传感器182通过家具使用航位推算并给出一个可靠的位置，当使用者63离开位置时这个位置就是起始点，再利用计步器以及微处理器判断使用者43的面部朝向，将这些读取到的值放入位推算里进行下一个位置的推算，同时结合该位置地磁指纹与接收信号强度、经纬度和使用者的方位，如此平安符通过融合计算，得到使用者63最靠近的下一个家具，并由使用该家具的动作，求出使用者63精准的行为辨识特数据。
88.具体地，摄像机可以为餐桌摄影机，架设于餐桌上方80-150cm范围内。餐桌摄像机为3d摄影机，且其拍摄范围仅为餐桌区，只要使用者63在餐桌附近停留，不论站坐，平安符传送餐桌定位信息至云端，云端推播要求餐桌摄影机进行拍摄一张照片，上传云端，在餐厅的行为搭配照片的内容用于判断使用者63的活动种类。
89.本发明的运作顺序，参见图2所示，步骤一新场域的安装设定；步骤二、使用者穿戴平安符与智能手环，于每日活动中收集资料；步骤三、服务器或云端针对平安符与智能手环，甚至环境传感器收集的资料，进行分析与运算，精准辨识各种行为，并由历史纪录对行为分类好习惯与坏习惯；步骤四、选择性实施行为改变的介入，并重覆步骤二与步骤三，确认行为的改善与否。
90.以下对上述三个步骤分别作详细说明。
91.步骤一、新场域的安装设定：
92.参考图2，较佳的方式可以使用[安装设定app]，该app提供如下功能：
[0093]
协助使用者63建立好室内场域的室内平面建模图，包含每个房间各家具的位置，以及插座位置。插座位置可用来安装蓝牙通讯节点(node)21。若使用电池供电的蓝牙标签(beacon)，可以贴附于室内的墙壁上。
[0094]
有了室内平面建模图，场域使用者将节点(node)21安装至每个房间的插座位置。或是将标签(beacon)贴附于每个房间的室内墙壁上。并且将蓝牙转换wifi的路由器/闸道器(bwrouter/gateway)23安装于有市电供应的插座等，一个较佳的安装位置实施例是居家场域的中心位置，或是餐桌上方，以便同时安装餐桌上方的摄影机。蓝牙转换wifi的路由器/闸道器可以由蓝牙5.0以上的模块搭配树莓派模块(例如raspberry pi 4)来建立。
[0095]
使用者63配戴平安符，到每个房间的各个家具进行其地磁指纹、接收信号强度、经纬度、使用者方位的设定，完成表1的内容。
[0096]
表1居家节点封包信息表
[0097][0098]
广播给平安符的封包信息的详细步骤如下：
[0099]
s1、使用者63穿戴好作为平安符，并携带安装有相应app的手持移动装置，前往某一房间；
[0100]
s2、站立于某一家具前或使用该家具，停留不动，在手持移动装置的app界面中按下设定开始，app通知平安符，平安符执行设定模式的广播给app，平安符广播的内容包括当时节点21或标签发出的定位广播封包的接收信号强度、平安符的方位以及平安符所在处的地磁强度，app收到平安符的广播内容后，累积至少20笔，进行接收信号强度、方位和地磁强度的平均，再加入该家具位置的经纬度，并设为此房间该家具位置的指纹信息；
[0101]
s3、5秒后，app告知使用者完成校正，使用者63前往下一个家具；
[0102]
s4、重覆步骤s2与步骤s3，直到所有家具都经过校正，取得指纹信息；
[0103]
s5、app与节点或标签连线，写入步骤s4的指纹；
[0104]
s6、前往另一房间，重覆步骤s2至s5，直到所有的房间都完成。
[0105]
场域校正需要使用人员直接穿戴平安符直接进行地磁的数值侦测，并且最好姿态能符合使用该些家具的习惯姿态，例如马桶61的使用，应该是面对马桶61站立，或是背对马桶61坐下。例如洗手台67的使用，应该是面对洗手台67站立，然后进行刷牙，洗脸，洗手，刷胡子等。例如浴盆的使用，淋浴水龙头的使用，则面向不拘，可以多方向。
[0106]
步骤二13、使用者穿戴平安符与智能手环，于每日活动中收集资料：
[0107]
使用者穿戴平安符进入某一房间，会收到表1的居家节点信息广播封包，然后由所在位置取得地磁信息，经由与表1的指纹比对，得出表3的房间名称与家具名称，完成表4与表3后，送出表2的广播封包直接至路由器23(bwrouter)，上传至云端；或是于较大面积的场域，则先经由节点21或者标签，再经过蓝牙道闸抵达路由器，上传至云端。该智能手环可进一步增加量测生化信号，可参考发明人的专利，台湾发明专利i730503“生理与生化监控装置”，因此可以产生如表5的生理资料与生化资料实施例，其中生理资料可以1-5秒产生一笔讯息，而生化信号一般为1-10分钟，较佳为每5分钟产生一笔。在某些实施例中，该生理信号选自心跳、心电图、hrv、体表阻抗、体温、血氧、血压，该生化信号选自血糖浓度、乳酸浓度、皮质素浓度、药物浓度。在某些实施例，生化信号也可使用微小型光谱仪来量测，并与生理信号传感器一并整合至手环内，用以实时连续监控生理与生化信号。
[0108]
表2主体为人的平安符广播封包
[0109][0110]
表3平安符的物与事与位置相关的行为判识
[0111][0112]
[0113][0114]
表4平安符的感测信息解读
[0115][0116]
[0117]
表5生理资料与生化资料实施例
[0118][0119]
由于利用表1的指纹资料来判定某房间的某位置，在某些状况下，仍无法有高分辨率的位置分辨率，例如至少一米。为此，可以使用平安符本身的定位功能，也就是利用状态机，先由很明确的a位置的行为，例如在厕所，有坐下的行为，可以推测a位置就是马桶的位置，然后站起来，转身跨步，走向b位置，虽然b位置的地磁指纹、接收信号强度、方位，与a位置相似，然则由于状态机的判断，处理器会判定使用者目前处于b位置。也就是说，当在a房间有多个位置，可能某两个位置的指纹相似，如此一来，处理器可以通过前一个状态的确定位置(经纬度)，来推估下一个位置，其变换过程乃是由平安符的姿态变化来判断。也就是经由走路的轨迹来推算新的位置(经纬度)。如此一来，加上位置(经纬度)这个指纹，就可以精准作定位，特别是行为定位。
[0120]
进一步来说明，参考图3为本发明室内房间个重要定位点的定位指纹之示意图，本发明的穿戴装置(平安符)，因为可由加速度计、陀螺仪与罗盘来推算相对移动轨迹，所以只要有静态起始点做为基准，就可以由计步器加上加速度计、陀螺仪与罗盘就能推算轨迹，并且能以经纬度来表示该轨迹。
[0121]
换句话说，在这个架构当中因为使用到航位推算(pedestrian dead reckoning，pdr)这个算法的原理主要是在一个已知位置上，利用传感器计算步数和航位角来推算下一笔的位置，或是利用计步器并利用步伐来推算行走的距离，在本实施例当中利用了许多固定的家具，例如马桶、洗脸盆、浴盆、瓦斯炉、沙发椅..等等，这些家具在正常状况下是不会被移动的，所以这些家具可以给出一个可靠的位置，当使用者离开位置时这个位置就是起始点，再利用计步器以及处理模块判断面向，将这些读取到的值放入pdr里进行下一个位置的推算。
[0122]
参考图4为本发明室内房间个重要家具的使用指纹与行为关系之示意图。节点21主动广播资料封包给使用者的平安符。
[0123]
以使用马桶61为例，若使用者63为男性，面向马桶61停留，显示为上小号的行为。如果男性使用者63背向马桶61，并且有坐下的动作，且停留稍久，可能是上大号的行为。使用者63若是面对洗手台67，则其行为就是洗脸，洗手、或刷牙。
[0124]
本发明的平安符内建就轴imu以及高度计，可以从通讯节点21或标签取得ble接收信号强度以及地磁指纹，加上平安符本身的处理模块来计算pdr，因此可以达到足够的定位精准度，所需的通讯节点或标签密度可以说是实务上最精简的方案，只需要一个房间一个通讯节点或标签，毋须蓝牙提供三点定位的功能。
[0125]
本发明的实施例，可以采用信号纹比对法，于离线阶段会建立一个特征数据库，基
本上每个区域或房间会有n个参考点，较佳为4-5个参考点。一个参考点的特征资料包含position(位置经纬度)，x(x轴地磁分量)，y(y轴地磁分量)，z(z轴地磁分量)和f(综合地磁强度)，接收信号强度，方位，如同表1所示。当在线阶段收到当前的特征资料时，此资料会跟特征数据库的所有特征进行比对推估使用者当前位置，其步骤如下：
[0126]
第一个步骤，假设有n个参考点，其对应取样点特征资料包含地磁强度fi，蓝牙通讯强度接收信号强度i，方位i，经纬度(pxi，pyi)，i＝1，...，n。先算出各特征分量之平均强度，接着计算各特征分量之标准差。
[0127]
第二个步骤，对于能产生较大标准差者，表示其辨识能力较佳。故给予较大的权重，设权重w为各特征标准差总和，而将其各轴的权重定为与w的比值。
[0128]
第三个步骤，当接收到使用者当前位置各轴地磁分量时，与离线阶段的各轴特征资料进行比对。计算与特征资料的最小差值推估出与其对应的参考点位置p，预估出使用者当前的位置。
[0129]
第四个步骤，本发明的随身装置平安符传感器每秒可接收5至10个特征资料。因此由第三步骤的方法一秒可计算出5至10个位置结果，此位置结果在利用knn方法机算出最佳位置，并由该位置对应的家具，与使用者的动作推算出使用者的行为，如上表3与上表4所示。
[0130]
本发明的平安符内部具有一个内部构建搭载了九轴惯性传感器(bmx055)181、大气压力传感器(bmp280)182、体温传感器184等传感器以及处理模块和无线通讯模块的电路板18。
[0131]
电路板18由一个电池16供电，并具有一个天线183。
[0132]
胸前穿戴装置还设有一个告警的紧急按钮17。
[0133]
处理模块(cpu)包含蓝牙模块。
[0134]
九轴中包含了三轴加速度计、三轴陀螺仪和三轴磁力计，应用于姿态辨识与肢体旋转，可分别测量加速度、旋转时的角速度以及地磁方向，进而推算出装置的旋转角度以及移动距离，可由穿戴式装置自身得知目前的行为是坐、站还是走路等状态进行定位，可不必使用固定式tag，两者的差别在于能不能采集到人员的坐姿、站姿或喝水等生理信息。
[0135]
透过madgwick算法(梯度下降算法)将加速度计和磁力计经计算后所得到的姿态与由陀螺仪积分得到的姿态进行线性融合，最终得出最优的姿态，以此方式得到姿态精度较高的roll、pitch、yaw三轴旋转角，以三轴加速度平方何开根号计算其合力g值与pitch值判断坐下起立的行为，结合气压计侦测相对高度变化，辅助辨姿态与识行为动作。
[0136]
参考图6，使用有限状态机(finite-state machine，fsm)进行行为状态的切换，并且依照当前的行为状态执行相对应的事件。有限状态机又称有限状态自动机，表示有限个状态以及在这些状态之间转移和动作等行为的数学计算模型，在计算机领域有着广泛的应用。fsm是一种逻辑单元内部的高效编成方法，在服务器编成中，服务器可以根据不同状态或消息类型进行相对应的逻辑处理，使得程序逻辑清晰易懂。fsm分为moore状态机与mealy状态机，前者指输出只由当前的状态所确定的有限状态自动机，即可以把输出看成是当前状态的函式；后者是基于它的当前状态和输入生成输出的有限状态自动机，输出信号不仅与当前状态有关，而且还与所有的输入信号有关，即可以把输出看成是当前状态和所有输入信号的函式，由于人的行为变化多端，有些行为是无法预测的，如图6所示，首先分为站
立、坐下、走路和跌倒等状态，当前行为状态为站立时，下个行为预测可能是跌倒或坐下，以此类推，但是跌倒属于突发状况，任何的行为模式下一秒都可能会发生跌倒，或是一些突如其来的状况，所以在此平安符程序设计上是以mealy状态机为概念编写，进而判断如何切换行为模式。以输入状态与当前状态相互比对，只要符合行为状态的相互关系，就执行相对应的函式动作，并且跳转至下个状态。首先以穿戴装置在开机时不知道当前的状态是坐下、站立或走路时，设定为初始状态，以第一次执行的行为状态来决定当前状态。例如：人员站立时戴上穿戴装置，下个行为状态不是起立就是坐下，假如接下来的行为是起立，执行起立函式，并且将当前状态的起始状态跳转至起立状态；假如当前状态为起立时，输入状态为坐下，这时状态机比对不符逻辑，就不会执行相对应的坐下函式，也不会跳转至坐下状态，以此方式进行行为制约，减少误判的机率。
[0137]
在某些实施例中，可以在平安符的传感器中，除了九轴imu外，进一步加入气压式高度计。运用传感器融合的技术，进行各种行为的判断精准性。参考图7，根据本发明实施例的部分行为动作辨识流程图。
[0138]
跌倒侦测：
[0139]
1、高度计(平均气压值)改变：由120-150cm(站立)，变成15-25cm(跌倒)，变化至少超过80cm，需要根据穿戴者的身高来进行校正。进行imu的判断；
[0140]
2、picth角度由0度变成80-90度；
[0141]
3、ax由-1g单调变成0。
[0142]
跌倒预测与预防：
[0143]
1、pitch＞+-5degree/step在连续10步内出现70％；
[0144]
2、roll＞+-5degree/step在连续10步内出现70％。
[0145]
走路侦测：
[0146]
1、高度计大于120-150cm(根据穿戴者的身高来进行校正)；
[0147]
2、imu的az有周期性高低的变化。
[0148]
计步功能：
[0149]
1、高度计大于120-150cm(根据穿戴者的身高来进行校正)；
[0150]
2、imu的az有周期性高低的变化。每一周期就计步一次。
[0151]
站立侦测：
[0152]
1、高度计大于120-150cm(根据穿戴者的身高来进行校正)；
[0153]
2、侦测到由坐到站的imu信号or侦测到由走路到停止。
[0154]
坐下侦测：
[0155]
1、高度计80-90cm(根据穿戴者的身高来进行校正)；
[0156]
2、侦测到由站到坐的imu信号。
[0157]
起床侦测：
[0158]
1、高度计80-90cm(根据穿戴者的身高来进行校正)；
[0159]
2、侦测到由躺到坐的imu信号；
[0160]
3、ax由0单调变成-1g。
[0161]
卧床侦测：
[0162]
1、高度计40-50cm(根据穿戴者的身高来进行校正)；
[0163]
2、侦测到由坐到躺的imu信号；
[0164]
3、ax由-1g单调变成0。
[0165]
参考图8，根据本发明实施例的站立时往后跌倒侦测的实施例。可以看到图8(a)乃是三轴加速度(g_value)的总合变化，由1g可瞬间上升到6g，这个变化量的大小，可比例推论跌倒的力道或是严重性；同时由图8(b)可知上身躯干的前倾角(pitch)则由0度改变为负56度，这说明是往后倾倒，由图8(c)可知，平安符的高度(即气压高度pressure)，则由97280pa上升到97310pa，表示高度降低，因此图8(d)的状态机判断由站立(状态2)改变成跌倒(状态5)到躺下(状态3)。
[0166]
参考图9，根据本发明实施例的站立时往左跌倒侦测的实施例。可以看到图9(a)乃是三轴加速度(g_value)的总合变化，由1g可瞬间上升到3.5g，这个变化量的大小，可比例推论跌倒的力道或是严重性；同时由图9(b)可知上身躯干的摇摆角(roll)则由0度改变为负80度，这说明是往左倾倒，由图9(c)可知，平安符的高度(即气压高度pressure)，则由97215pa上升到97235pa，表示高度降低，因此图9(d)的状态机判断由站立(状态2)改变成跌倒(状态5)到左侧躺下(状态8)。
[0167]
由图8与图9的示例，以及本发明的相关跌倒实验(未完全显示所有实验值)，包含仰跌、俯跌、右侧跌、左侧跌，任何方向的跌倒，通过固定于胸前的平安符上九轴imu与高度计，加上有限状态机的算法，可以精准判断是由站或坐，或是走路或是跑步时，产生的跌倒，跌倒的方向，跌倒的力道，跌倒后维持何种姿态，或是跌倒后可以移动，甚至坐起来或站起来等，相较于习知技术仅能得知跌倒发生，且仍有误判的情况，本发明仅就跌倒侦测有显而易见的进步性。
[0168]
在某些实施例，平安符可以侦测睡眠的质量，主要可以侦测睡眠姿势改变的次数与频率，睡眠姿势仰睡、俯睡、右侧睡、左侧睡。睡眠过程中，呼吸的频率，以及呼吸是否中止现象；因为平安符固定于胸部，正好是胸腔呼吸起伏最大之处，加上高灵敏度与低噪声低飘移的imu，因此可以精准判断呼吸的状况。另外，睡眠中，起床，乃是由躺到坐，然后由坐到离床站立，因此很容易判断，若有前往厕所，也可容易判断，并且可知道是否移动快速，当然这也是容易跌倒的可能性。另外，睡眠中，若是心跳，血压，血氧异常，都可能显示睡眠质量不良，也可能代表有相关疾病。
[0169]
以下从一个居家照护系统来全面阐述本发明提供的基于iot定位与穿戴装置的行为识别系统的实际应用。
[0170]
这个完整的照护系统是透过轻量和低廉价格的设备构建而成。智能手环、智能平安符是唯一需要佩戴的设备，其余设备都是固定放置，解决佩戴传感器过多的问题，同时也保证数据的高准确。
[0171]
智能手环可侦测受试者心率、血压、体温、步数、里程、卡路里等日常生理数据；智能平安符则可采集受试者姿势、动作变化、室内定位等数据。由于目前市面上的智能手环发展已相当完善，量测的生理数据种类也相当全面，考量到未来实验过程的通用性，可以将智能平安符设计为可接收市售智能手环的广播封包的数据。同时因为智能手环功能发展完善，开发智能平安符时则选择不加入智能手环的功能。
[0172]
由智能平安符接收智能手环数据并合并传送至边缘装置，边缘装置则透过mqtt将数据传送至google cloud platfom(gcp)的云端数据库(firestore)储存并部属网页，同时
储存于本地端数据库(mongodb)。透过gcp提供的云功能对firestore储存的数据进行分类、组织和分析，将数据分析结果实时显示于网页，以便受试者查看当前生理数据；本地端数据库的资料则是做为日后训练机器学习分类器的资料集做使用，最大限度地发挥数据的价值。分析后的结果使用云平台的数据流整合功能透过智能音箱主动推送广播。
[0173]
为了实现扬声器主动推送消息的功能，本系统使用cloud functions和cloud pub/sub的触发功能来实现，数据变化时透过http触发cloud functions，cloud pub/sub将对象发送到对应的主题，树莓派中的程序会订阅同一个主题，透过google text to speechapi接收和处理对象中的文本内容，将文本内容转换为语音讯息，最后通过google speaker主动推送语音讯息。当智能平安符侦测受试者遇到紧急情况时，透过数据流的串接可以让音箱做出紧急广播。由于智能扬声器放置于受试者家中，考量受试者隐私疑虑，智能音箱只有听到唤醒词才会开启麦克风收音系统。在无提及唤醒词的情况下，保障受试者个人隐私。
[0174]
实验对象人数为10人，分别为5位70至80岁的老年人与5位24至26岁的年轻人，设置系统于5个家庭，年轻人均无任何疾病或慢性病，老年人身高体重与所患疾病如表6所示。表6所示身高数值为无驼背状态下所量测得。此实验加入青壮年受试者目的为搜集比较数据以利未来训练虚弱症分类器。所有数据皆会通过边缘设备传输到云端数据库和本地数据库。实验的相关内容皆有经过本人同意并接受此次实验的日常数据搜集。
[0175]
表6受试者(老年人)基本信息表
[0176][0177][0178]
实验期间皆会请受试者皆会配戴智能手环与智能平安符进行为期7天的实验。除了盥洗，其余的时间皆会配戴。智能手环配戴方式，智能平安符黏贴位置位于胸口，使用黏贴的目的为控制数据搜集正确性，确保护身符的动作与身体动作一致，不影响九轴传感器的数据判读。若使用吊挂的方式进行配戴会造成智能平安符晃动，进而产生噪声，影响传感器的判读。
[0179]
智能平安符内的九轴传感器包含三轴加速度计、三轴陀螺仪与三轴磁力计，可分别量测加速度、旋转角与地磁方向，同时计算出受试者姿态状态与移动距离。以x轴、y轴、z轴，三轴加速度平方和开根号可计算出g值(1)。可由g值的变化判断受试者是否在活动，若是受试者处于静止状态，g值则等于重力加速度值(约1g)。
[0180][0181]
透过madgwick提出的定向算法(梯度下降算法)，将加速度计数值与磁力计数值经计算后所得数值与陀螺仪积分后所得数值进行算法融合，可得出精度较高的三轴旋转角，分别为roll、yaw、pitch。
[0182]
进行timed up and go test(tug)虚弱症评估标准查看受试者运动变化，同时判断受试者有无虚弱症状。time up and go test使用标准的tug方案，并从脚的中心点开始往前计算3m，在三公尺处使用胶带黏贴十字标志，转身时绕着十字标志转身。tug实验过程皆使用无背部倚靠的椅子。
[0183]
实验过程受试者皆会配戴智能平安符与智能手环进行生理状态数据与实验姿态数据收集。最后，比较青壮年与老年人的测试结果和运动表现的数据，分析差异性，训练分类器模型。
[0184]
实验期间所搜集的资料均会透过边缘装置上传、储存至云端数据库，透过网页实时显示目前的姿态变化，供受试者实时查看。未来系统开发完善照护人员可透过网页端实时查看老年人的活动情况。针对患有虚弱症状的老年人，照护人员可实时查看是否有跌倒情况产生，若是不幸发生跌倒，智能平安符的跌倒姿态会传送至云平台触发音箱广播跌倒警示讯息，透过画面警示与广播警示来达到双重提醒避免疏忽所造成的遗憾。
[0185]
每日收集的生理数据与姿态变化皆会绘制图表进行分析。通过图表可清楚分析受试者当日某个时间点一小时内的生理数据变化与姿态分布情况，如图10、图11所示。
[0186]
由图10c一小时内的血压变化可看出前30分钟的血压变化有高血压前期的趋势出现，根据美国心脏协会所发布的高血压标准，舒张压介于120mmhg至129mmhg、收缩压低于80mmhg，即是高血压前期标准。但后30分钟，血压状态恢复正常，与图10a心率变化图做比较，前30分钟的心率较高，推测因为紧张情绪之因素导致生理数据呈现此变化。同时观察图11的姿态分布呈现长时间久坐的状态，与实验活动纪录做验证，受试者当时正在观看电影，推估为剧情紧张所导致。
[0187]
年轻人与老年人进行相同条件之tug实验，实验结果比较图如图12所示，三轴加速度与g-value为了便于观察及绘制于图表，数值皆放大512倍。
[0188]
由图12a与12c进行三轴加速度变化差异比较，可观察出年轻人的g-value的振幅较老年人大，透过比较振幅大小与观察实验过程推断出年轻人行走步伐较大、行走速度较快。另一方面比较z轴加速度的差异，于图12a与12c所示，z轴加速度的最大振幅达到-400，表示老年人起身动作较于年轻人前倾，透过观察实验过程可推断出老年人的腿部肌肉稍微无力，需要透过身体力量引导至站立，同时老年人的tug测试时间大于12秒，推测可能有跌倒的风险。
[0189]
透过生理数据与行为姿态的结合分析，照护系统可更有效的监控居家老年人生活状态。智能手环与智能平安符组合边缘装置形成物联网进行数据的收集与预处理，边缘装
置上传数据至云平台数据库与本地端数据库储存，云平台进一步分析数据并将结果透过智能音箱播报；本地端数据库则长期储存数据，日后作为分类器模型的训练资料集使用。该系统可有效的观测老年人的跌倒风险，透过firebase数据库串接网页，存入云端数据库的数据能在网页呈现实时变化，跌倒时也能透过智能音箱实时播报，避免遗憾发生。实验的结果证实了本实验设计的物联网结合云平台的系统是应用于老年人日常照护的有效工具。
[0190]
人们在家中的生活习惯与家具的摆放有着密切的关系。在居家环境中，大型家具的摆放位置是相对固定的，使用者在家中使用家具时的位置、姿势、方位都是固定的。因此，可以根据当前的姿势、位置和方向来推断佩戴者的行为事件。
[0191]
如图13所示，我们设置了8个日常居家环境行为事件，利用设备的九轴惯性传感器记录图13中每个点的三个轴的磁力，测量rssi信号强度，将可穿戴设备和beacon蓝牙模块放置在每个区域，并将测量结果存储在每个区域的beacon蓝牙模块中，作为行为事件的指纹。佩戴者在使用设备时，扫描距离最近的beacon蓝牙模块的指纹包，根据该区域的位置和方向，通过指纹与姿势的比对，定位该区域并获取行为事件。例如，坐在客厅的沙发上面对电视是在看电视，站在浴室里面对马桶是在尿尿，或者躺在床上面对天花板可以推断行为事件是睡觉。
[0192]
的确，单独使用磁力计检测同一方向的测试点之间的差异不足以判断，也不易区分用户所在的区域。所以需要扫描设备和beacon模块之间的rssi信号强度，信号最强的就是最近的区域，然后用磁力计来区分区域内的人脸，这是一个相对距离的附加参数，以便更好的区分同一方向的定位点，加上姿势来区分他们的行为事件。例如在沙发(测试点1)和电视机(测试点2)前都面向同一个方向，可以通过rssi信号强度来区分两个位置，然后通过坐着和站着来区分是否佩戴者正在看电视或锻炼。
[0193]
按照图13所示，在家设置过程后，指纹图谱如下表7所示。
[0194]
表78个日常居家环境行为事件的指纹图谱
[0195]
[0196][0197]
其中，合成磁场强度magtotal如公式(2)所示：
[0198][0199]
虽然磁力计不会受到电器磁场的干扰，但是地球的磁场会随着时间的推移发生变化，在不同的时间点在同一个位置会有差异。另外，由于每次测试者对定位点的身体朝向不同，可能存在差异。所以以后需要加入位移和运动角度信息来辅助判断，比如每个位置的姿态，从当前位置到下一个位置的旋转方向，需要移动的步数，移动的距离等。佩戴智能平安符的人在家中四处走动，其行为轨迹如图14所示。
[0200]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0201]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0202]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种基于iot定位与穿戴装置的行为识别系统，其特征在于，包括胸前穿戴装置及与所述胸前穿戴装置无线连接的iot系统，所述胸前穿戴装置内部构建有一个微处理器以及与所述微处理器相连接的九轴惯性运动传感器、高度计以及无线通讯模块，使用者将所述胸前穿戴装置固定附着于胸前，以判断使用者的动作，所述iot系统的节点或标签安装于生活空间的各区域，其广播给所述胸前穿戴装置的封包信息包含：所述节点或标签安装时预设安装处的经纬高度、安装处所在的区域名，以及预设所述所在区域内每个重点家具的名称、对应的地磁指纹与接收信号强度、对应的经纬度和使用者使用所述重点家具时的方位；由此所述胸前穿戴装置可以将使用者的动作融合所述广播封包的信息，经由所述微处理器，直接在所述胸前穿戴装置内运算，得到使用者精准的行为辨识，之后所述胸前穿戴装置将取得的相关信息对外广播。2.根据权利要求1所述的基于iot定位与穿戴装置的行为识别系统，其特征在于，所述胸前穿戴装置通过检测各种跌倒的方向与跌倒的冲击力，或者通过检测站立不稳或移动不稳，来预防跌倒。3.根据权利要求1所述的基于iot定位与穿戴装置的行为识别系统，其特征在于，还包括一个智能手环，所述智能手环佩戴于使用者的惯用手的手腕处，同步检测行为发生其间的生理信号与生化信号，并将所述生理信号与所述生化信号对外广播，所述生理信号选自心跳、心电图、体表阻抗、体温、血氧或血压其中至少一种，所述生化信号选自血糖浓度、乳酸浓度、酒精浓度、皮质素浓度或药物浓度其中至少一种。4.根据权利要求1或2或3所述的基于iot定位与穿戴装置的行为识别系统，其特征在于，所述胸前穿戴装置还包括摄影机或者录音装置其中至少一个，所述摄影机或者所述录音装置可以受到所述穿戴装置的动作判断或位置判断来触发拍照或录音，或是由使用者于所述胸前穿戴装置的按钮触发拍照或录音，或是由外界通过蓝牙触发拍照或录音，所述摄影机或者所述录音装置安装在所述胸前穿戴装置内部，或者另外设置无线摄影机或者无线录音装置佩戴在使用者身上。5.根据权利要求3所述的基于iot定位与穿戴装置的行为识别系统，其特征在于，所述胸前穿戴装置还包括摄影机或者录音装置其中至少一个，所述摄影机或者所述录音装置由所述智能手环触发启动，佩戴所述智能手环的惯用手因为拿物品靠近嘴巴，所述智能手环与所述胸前穿戴装置距离因此靠近，其间的接收信号强度相对增强，由此触发拍照或录音。6.根据权利要求3所述的基于iot定位与穿戴装置的行为识别系统，其特征在于，所述iot系统还包括路由器和服务器，所述路由器接收所述胸前穿戴装置与所述智能手环的广播信息封包，并上传至所述服务器，所述服务器可得知使用者相关行为发生的位置与时段以及使用者的习惯，所述服务器分析与纪录所述相关行为，进而分析所述相关行为发生期间的所述生理信号与所述生化信号变化的相关性，或分析使用者生活作息的稳定性与变异性，或分析相关行为的变异性，或分析具体活动的变异性。7.根据权利要求1所述的基于iot定位与穿戴装置的行为识别系统，其特征在于，广播给所述胸前穿戴装置的封包信息预设的过程如下：s1、利用一个app协助使用者建立生活空间的室内平面建模图，所述平面建模图包括每个区域内各个家具的位置，以及一个欲安装所述节点的插座位置或是一个欲贴附由电池供电的所述标签的墙壁的位置；
s2、根据室内平面建模图，将所述节点安装至每个区域的插座位置；或是将所述标签贴附于每个区域的室内墙壁上；s3、所述使用者配戴所述胸前穿戴装置，到每个区域的各个家具设定各个家具的地磁指纹、接收信号强度和经纬度，并设定使用者使用相应的家具时的方位。8.根据权利要求7所述的基于iot定位与穿戴装置的行为识别系统，其特征在于，所述胸前穿戴装置内部还设有一个计步器，所述九轴惯性运动传感器和所述高度计通过所述家具使用航位推算并给出一个可靠的位置，当所述使用者离开位置时这个位置就是起始点，再利用所述计步器以及微处理器判断所述使用者的面向，将这些读取到的值放入所述位推算里进行下一个位置的推算，同时结合该位置地磁指纹与接收信号强度、经纬度和所述使用者的方位，如此所述胸前穿戴装置通过融合计算，得到所述使用者最靠近的下一个所述家具，并由使用该家具的动作，求出所述使用者精准的行为辨识特数据。9.根据权利要求1或7所述的基于iot定位与穿戴装置的行为识别系统，其特征在于，预设广播给所述胸前穿戴装置的封包信息的详细步骤如下：s1、使用者穿戴好所述胸前穿戴装置，并携带安装有相应app的手持移动装置，前往某一房间；s2、站立于某一家具前或使用该家具，停留不动，在所述手持移动装置的所述app界面中按下设定开始，所述app通知所述胸前穿戴装置，所述胸前穿戴装置执行设定模式的广播给所述app，所述胸前穿戴装置广播的内容包括当时所述节点或标签发出的定位广播封包的接收信号强度、所述胸前穿戴装置的方位以及所述胸前穿戴装置所在处的地磁强度，所述app收到所述胸前穿戴装置的广播内容后，累积至少20笔，进行接收信号强度、方位和地磁强度的平均，再加入该家具位置的经纬度，并设为此房间该家具位置的指纹信息；s3、5秒后，所述app告知所述使用者完成校正，所述使用者前往下一个家具；s4、重覆步骤s2与步骤s3，直到所有家具都经过校正，取得指纹信息；s5、所述app与所述节点或所述标签连线，写入步骤s4的指纹；s6、前往另一房间，重覆步骤s2至s5，直到所有的房间都完成。10.根据权利要求4所述的基于iot定位与穿戴装置的行为识别系统，其特征在于，所述摄像机为餐桌摄影机，架设于餐桌上方80-150cm范围内，所述餐桌摄像机为3d摄影机，且其拍摄范围仅为餐桌区，只要所述使用者在餐桌附近停留，不论站坐，所述胸前穿戴装置传送所述餐桌定位信息至云端，云端推播要求所述餐桌摄影机进行拍摄一张照片，上传云端，在餐厅的行为搭配所述照片的内容用于判断所述使用者的活动种类与饮食内容。

技术总结
本发明公开了一种基于IOT定位与穿戴装置的行为识别系统，包含穿戴装置和IOT系统，该穿戴装置内建九轴惯性运动传感器与高度计、无线通讯模块与微处理器；使用者将该穿戴装置固定附着于胸前，以判断使用者的动作，IOT定位系统的节点或标签安装于生活空间的各区域，其广播给该穿戴装置的封包信息包含：该节点或标签安装时预设安装处的经纬高度等，如此穿戴装置可以将使用者的动作融合该广播封包的信息，在穿戴装置内运算，得到使用者精准的行为辨识，进一步加入生理与生化信号智能手环，同步检测行为发生其间的生理与生化信号，进一步经由IOT系统上传至服务器，通过这些行为、生理与生化信号发生的位置与时段，以及使用者的习惯，进行精准的行为分析。行精准的行为分析。行精准的行为分析。


技术研发人员：黄荣堂
受保护的技术使用者：奇异平台股份有限公司
技术研发日：2023.04.20
技术公布日：2023/9/7