脑卒中康复训练个性化虚拟场景实时生成方法及系统与流程

1.本发明属于图形处理、智能生成技术领域，具体涉及脑卒中康复训练个性化虚拟场景实时生成方法及系统。


背景技术：

2.脑卒中康复训练的必要性在于促进功能恢复、预防并减少并发症、提高生活质量和提供心理支持。通过系统性的训练和治疗方法，康复训练帮助患者重新学习和恢复受损的运动、言语、认知和日常生活技能。它还通过预防并减少并发症，提高患者的生活质量，并提供心理支持和情绪管理，帮助患者应对心理困扰，增强自信心和积极心态。早期、持续和个性化的康复训练对于脑卒中患者来说至关重要，可以最大程度地提高康复效果，增加独立性，改善生活质量。
3.其中脑卒中患者对于3d眩晕感比正常人更加强烈，在公开号为cn115346002b的一种虚拟场景构建方法及其康复训练应用中有对此问题进行针对性的解决，但是不同的人群或者不同的个体对脑卒中康复训练虚拟场景的接收能力和理解能力都不同，采用相同的素材构建出来的康复训练虚拟场景，对不同的人群或者群体都有不同的接受效果和适应效果，同时脑卒中康复训练虚拟场景往往需要个性化地设定与创建，否则无法使得脑卒中康复效果的水平达到均衡。因此，该方案在康复训练进行的过程仍然存在使用者在训练期间不定时地出现3d眩晕感，具体表现为随着vr设备的使用时间增长出现的注意力无法集中，以及眼睛视觉点或者视觉靶点的与操作指令错位等等。


技术实现要素：

4.本发明的目的在于提出脑卒中康复训练个性化虚拟场景实时生成方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
5.为了实现上述目的，根据本发明的一方面，提供脑卒中康复训练个性化虚拟场景实时生成方法，所述方法包括以下步骤：
6.s100，初始化虚拟场景；
7.s200，通过vr头显实时获取录像数据；
8.s300，在操作器实时获得定向指令；
9.s400，通过定向指令以及录像数据计算准焦系数；
10.s500，根据准焦系数获得视点状态；
11.s600，根据视点状态实时调整vr头显播放内容。
12.进一步地，在步骤s100中，初始化虚拟场景的方法是：虚拟场景的组成包括若干素材单元，所述素材单元为通过三维建模软件将实体物体在虚拟场景中重现的三维模型，或者，所述素材单元为对实体物体拍摄获得的二维图像，其中三维建模软件包括blender、maya或者3ds max。
13.其中，构建虚拟场景采用的素材单元根据脑卒中康复患者或者用户进行个性化选
择或者筛选。
14.进一步地，在步骤s200中，所述通过vr头显实时获取录像数据的方法是：通过vr头显实时地采集获得正在播放的图像作为视频帧，通过vr头显实时地采集用户在各个视频帧中对应的视线靶点，其中获取视线靶点的方法可以为基于红外设备或者图像采集设备的眼球追踪技术；视频帧以及其对应的视线靶点作为录像数据；其中采集视频帧获得时刻为截获时刻，采集获得视频帧的时间间隔为tg，tg∈[0.1,1]秒，通过图像语义分割技术将视频帧进行图像分割，并且从分割出的各个区域中识别出虚拟场景中的素材单元，将一个单元在视频帧中对应的区域作为该素材单元的素材域；
[0015]
如果一个截获时刻的视线靶点与任一素材域重合，则定义该截获时刻为素材定靶时刻，否则定义该截获时刻为素材空靶时刻；其中素材定靶时刻与视线靶点重合的素材域对应的素材单元作为素材定靶时刻的靶素材。
[0016]
进一步地，在步骤s300中，在操作器实时获得定向指令的方法是：vr控制器为vr手柄或手持控制器，用户通过vr控制器与虚拟场景进行互动，素材单元拥有若干素材属性，素材属性包括素材单元在三维空间中的位置，角度，形状，运动轨迹或者其他预设的状态；其中如果用户通过vr控制器对虚拟场景中的任一素材单元的素材属性发生改变，则该定向控制的过程中通过vr控制器发出的指令作为定向指令，否则作为场景一般指令，vr控制器发出的定向指令与素材单元有一一对应关系,将定向指令控制的素材单元作为定向指令的指向素材单元；定义一个截获时刻到其前tg时间段内获得的所有定向指令都属于该截获时刻的截获指令，一个截获时刻对应各个截获指令对应的指向素材单元的集合作为该截获时刻的指令对象集，当一个截获时刻到其前tg时间段内未获得任何定向指令则其指令对象集为空集。
[0017]
进一步地，在步骤s400中，通过定向指令以及录像数据计算准焦系数的方法是：以待计算准焦系数的素材单元作为准焦单元；如果截获时刻的指令对象集中拥有准焦单元，或者如果一个素材定靶时刻的靶素材为准焦单元，则将该时刻作为第一准焦时刻，否则为非第一准焦时刻；
[0018]
当一个非第一准焦时刻的指令对象集为空集并且该截获时刻的视频帧中包含准焦单元对应的素材域，则定义该非第一准焦时刻为第二准焦时刻，否则为非第二准焦时刻，将任意一个第一准焦时刻逆时间顺序遍历各个第二准焦时刻直到出现另一个第一准焦时刻，或者遍历各个第二准焦时刻直到出现非第二准焦时刻，将遍历的各个第二准焦时刻作为第三准焦时刻，将第一准焦时刻与与第三准焦时刻均记作准焦时刻；
[0019]
若连续若干个截获时刻均为准焦时刻，则定义该若干个时刻准焦单元发生一次准焦事件；将视频帧中的准焦单元对应的素材域的中心点与视线靶点的距离记作视偏距det，将视频帧的图像中心与视线靶点的距离记作靶偏距dem；获取准焦单元的各个准焦时刻的dem构成一个集合记作dem_z；计算准焦事件的准焦系数crtidx：
[0020][0021]
其中er()为方差函数，mean()为平均值函数，det_f_ls与det_uf_ls分别代表准焦事件中各个第一准焦时刻对应det的多重集与非第一准焦时刻对应det的多重集；j1为准焦事件中时刻的序号，以dem
j1
和det
j1
分别代表准焦事件中第j1个时刻的靶偏距和视偏距，
p(dem j1
|dem_z)代表dem j1在dem_z中的高斯分布的概率值。
[0022]
由于在上述的准焦系数的获取过程中存在偏离定位不足的现象，会导致出现准焦事件长度偏短的时候对准焦系数的精确度下降的问题，然而现有技术并无法解决这个精确度提取不足的问题，为了使更有效并解决该问题，消除精确度不足的现象所以本发明提出了一个更优选的方案如下：
[0023]
优选地，在步骤s400中，通过定向指令以及录像数据计算准焦系数的方法是：待计算准焦系数的素材单元作为准焦单元；如果截获时刻的指令对象集中拥有准焦单元，或者如果一个素材定靶时刻的靶素材为准焦单元，则将该时刻作为第一准焦时刻，否则为非第一准焦时刻；当一个非第一准焦时刻的指令对象集为空集并且该截获时刻的视频帧中包含准焦单元对应的素材域，则定义该非第一准焦时刻为第二准焦时刻，否则为非第二准焦时刻，将任意一个第一准焦时刻逆时间顺序遍历各个第二准焦时刻直到出现另一个第一准焦时刻，或者遍历各个第二准焦时刻直到出现非第二准焦时刻，将遍历的各个第二准焦时刻作为第三准焦时刻，将第一准焦时刻与与第三准焦时刻均记作准焦时刻；
[0024]
若连续若干个截获时刻均为准焦时刻，则定义该若干个时刻准焦单元发生一次准焦事件；将视频帧中的准焦单元对应的素材域的中心点与视线靶点的距离记作det，将视频帧的图像中心与视线靶点的距离记作dem；将一个截获时刻与其前一个时刻的det的差值记作靶向步差p_det；
[0025]
获取准焦单元的各个准焦时刻的dem构成一个集合记作dem_z；当一个时刻的p_det与dem均小于其前一个时刻的时候定义该时刻为第一锚点，再判断若一个第一锚点的下一个时刻不为第一锚点则定义该第一锚点作为第二锚点；如果一个准焦事件中未发现第二锚点则以首个出现的第一锚点作为第二锚点；如果一个准焦事件中未发现第一锚点则以首个出现dem数值较上一个时刻小的时刻作为第二锚点；
[0026]
以一个第二锚点到其上一个第二锚点之间的各个时刻作为该第二锚点的参照区间，当第二锚点不存在上一个第二锚点的时候则以准焦事件的第一个时刻到该第二锚点的各个时刻作为该第二锚点的参照区间；按时间顺序获得一个准焦事件内各个时刻的det并构成一个序列记作ls_det，计算准焦事件的准焦系数crtidx：
[0027][0028]
其中mean()为平均值函数，exp()为自然常数e为底数的指数函数，len_ls_det为ls_det中元素的数量，nrk为准焦事件内第一准焦时刻的数量，img_cdg为帧聚向度，其计算方法为：
[0029][0030]
其中i1为累加变量，nmt为准焦事件内出现第二锚点的数量，nog《i1》为第i1个第二锚点的参照区间内各个时刻的靶向步差的平均值与最小值的比值，将第i1个第二锚点的参照区间内各个时刻的dem的平均值记作edem
i1
，p(edem
i1
|dem_z)为edem
i1
在dem_z中的高斯分布的概率值。
[0031]
有益效果：由于准焦系数是根据视偏距与靶偏距计算得到，所以能够准确的标记出准焦事件内视线靶点与画面准心的点位坍缩关系，有效量化用户针对三维模型中不同的素材单元的专注规律，因此能够提高适应用户眼部视点游走的规则，对进一步判断用户的
虚拟空间适应性或者3d眩晕现象提供基础数据支撑。
[0032]
进一步地，在步骤s500中，根据准焦系数获得视点状态的方法是：
[0033]
设置一段时间长度作为状态跨度tz,tz∈[5，10]分钟；以当前时刻到前tz之间的时间段作为当前跨度，当前跨度中截获时刻的总量为当前截获量，定义一个准焦事件的事件锚点为在该准焦事件的首个截获时刻与最后一个截获时刻中间的时刻；如果一个准焦事件的事件锚点在当前跨度内，则定义准焦事件为近准焦事件；以近准焦事件对应的准焦单元作为近准焦单元；以j2作为近准焦单元的序号，则第j2个近准焦单元历史上各个准焦事件的准焦系数的平均值记作mci
j2
，若第j2个近准焦单元当前跨度内任意一个准焦事件的准焦系数比mci
j2
数值小，则将该准焦事件剔除，即不再作为准焦事件；如果一个截获时刻在当前跨度内，而且该截获时刻属于第j2个近准焦单元的近准焦事件中的截获时刻，则定义该截获时刻为第j2个近准焦单元的近准焦时刻；则第j2个近准焦单元的出现率prrt为：第j2个近准焦单元的近准焦时刻的总量与当前截获量的比值，筛选当前跨度内的各个近准焦事件后，计算视点状态istt，
[0034][0035]
其中ncu_t为各个近准焦事件对应的准焦单元的集合中元素的数量，ctd
j2
为第j2个近准焦单元新近发生的近准焦事件的事件锚点与当前时刻之间截获时刻的数量。
[0036]
在以上视点状态的计算过程采用粗数据进行信息提取，会导致出现无法具体地应用各个近准焦事件中的量化数据，会引起由于部分数据量较少或者时间占用较少的数据量被忽略的问题，然而现有技术并无法解决该问题，为了让视点状态能够相对完整地对近时间段所获各个近准焦事件的充分利用并解决该问题，消除视点状态精确度不足的现象，所以本发明提出了一个更优选的方案如下：
[0037]
优选地，在步骤s500中，根据准焦系数获得视点状态的方法是：
[0038]
设置一段时间长度作为状态跨度tz,tz∈[5，10]分钟；以当前时刻到前tz之间的时间段作为当前跨度，当前跨度中截获时刻的总量为当前截获量；定义一个准焦事件的事件锚点为在该准焦事件的首个截获时刻与最后一个截获时刻中间的时刻；如果一个准焦事件的事件锚点在当前跨度内，则定义准焦事件为近准焦事件；其中准焦事件最后一个截获时刻允许为当前时刻；各个近准焦事件对应的准焦单元作为近准焦单元，将所有近准焦单元构成的集合作为状态对象集；
[0039]
以i2作为近准焦单元的序号，将第i2个近准焦单元历史上获得的各个准焦系数中的最大值、最小值和平均值分别记作maxci
i2
、minci
i2
和eci
i2
的则有第i2个近准焦单元的状态分值sfcs(i2)：
[0040][0041]
其中i3为第i2个近准焦单元的近准焦事件的序号，crtidx
i2,i3
代表第i2个近准焦单元的第i3个近准焦事件的准焦系数，mean()为平均值函数，ln()为自然常数e为底数的对数函数，min{}与max{}分别为最小值函数和最大值函数；td
i3
为第i2个近准焦单元的第i3个近准焦事件的事件锚点与当前时刻之间的截获时刻的数量；
[0042]
以i4作为状态对象集中近准焦单元的序号，如果一个截获时刻在当前跨度内，而
且该截获时刻属于第i4个近准焦单元的近准焦事件中的截获时刻，则定义该截获时刻为第i4个近准焦单元的近准焦时刻；则第i4个近准焦单元的出现率prrt为：第i4个近准焦单元的近准焦时刻的总量与当前截获量的比值；根据各个近准焦单元的状态分值计算视点状态istt：
[0043][0044]
其中prrt
i4
为第i4个近准焦单元在当前跨度内的出现率，ncu为状态对象集中近准焦单元的数量。
[0045]
有益效果：视点状态是根据准焦系数计算得到，有效结合各个不同的素材单元在单位时间段内准焦系数的变化特性，并结合准焦事件中用户针对三维模型中不同的素材单元的专注规律，综合地提取用户眼部对画面的适应性和敏感性，从而为进一步识别用户的眩晕问题进行数质量化，为提前降低用户的眼部压力或者场景识别困难进行量化支持，从而提高vr头显控制的可行性与效率。
[0046]
进一步地，在步骤s600中，根据视点状态实时调整vr头显播放内容的方法是：在用户使用vr头显进行虚拟场景中的30分钟后，开始连续地获得各个截获时刻的视点状态，将当前跨度内各个截获时刻的视点状态的算数平均值记作cistt，计算一个时刻的溢出度为osr＝|istt－cistt|
÷
cistt；至少获得10分钟内的osr之后，将10-30分钟内获得的各个时刻的溢出度构建箱型图，并通过箱型图判断当前时刻的溢出度是否为异常值，如果当前时刻的溢出度是异常值，则进行vr头显播放内容调整，否则不进行vr头显播放内容调整；其中头显播放内容调整的方法是：实时获取最接近当前时刻的素材定靶时刻的靶素材并记作当前素材，获取将要投放到vr头显的画面作为预备图像，将预备图像中当前素材对应的素材域以外的图像区域作为调整域，对调整域进行模糊处理，所述模糊处理的方法可以为高斯模糊算法或者运动模糊算法优选地，其中，本发明中所有未定义的变量，若未有明确定义，均可为人工设置的阈值。
[0047]
本发明还提供了脑卒中康复训练个性化虚拟场景实时生成系统，所述脑卒中康复训练个性化虚拟场景实时生成系统包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述脑卒中康复训练个性化虚拟场景实时生成方法中的步骤，所述脑卒中康复训练个性化虚拟场景实时生成系统可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中，可运行的系统可包括，但不仅限于，处理器、存储器、服务器集群，所述处理器执行所述计算机程序运行在以下系统的单元中：
[0048]
虚拟场景初始化单元，用于初始化虚拟场景；
[0049]
数据截取单元，用于通过vr头显实时获取录像数据；
[0050]
指令截取单元，用于在操作器实时获得定向指令；
[0051]
准焦系数计算单元，用于通过定向指令以及录像数据计算准焦系数；
[0052]
视态计算单元，用于根据准焦系数获得视点状态；
[0053]
投放控制单元，用于根据视点状态实时调整vr头显播放内容。
[0054]
本发明的有益效果为：本发明提供脑卒中康复训练个性化虚拟场景实时生成方法及系统，有效量化用户针对三维模型中不同的素材单元的专注规律，因此能够提高适应用
户眼部视点游走的规则，有效结合各个不同的素材单元在单位时间段内准焦系数的变化特性，并结合准焦事件中用户针对三维模型中不同的素材单元的专注规律，综合地提取脑卒中患者或者用户的眼部对画面的适应性和敏感性，从而为进一步识别脑卒中患者或者用户在个性化的虚拟场景中发生的眩晕问题，以对场景识别困难进行预测以及判断，提前释放或者降低用户的眼部或者大脑活动的压力，降低康复训练的个性化虚拟场中发生3d眩晕风险，从而提高脑卒中患者或者用户对vr头显实时生成的投放内容的接受能力和适应能力。
附图说明
[0055]
通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
[0056]
图1所示为脑卒中康复训练个性化虚拟场景实时生成方法的流程图；
[0057]
图2所示为脑卒中康复训练个性化虚拟场景实时生成系统结构图。
具体实施方式
[0058]
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0059]
如图1所示为脑卒中康复训练个性化虚拟场景实时生成方法的流程图，下面结合图1来阐述根据本发明的实施方式的脑卒中康复训练个性化虚拟场景实时生成方法，所述方法包括以下步骤：
[0060]
s100，初始化虚拟场景；
[0061]
s200，通过vr头显实时获取录像数据；
[0062]
s300，在操作器实时获得定向指令；
[0063]
s400，通过定向指令以及录像数据计算准焦系数；
[0064]
s500，根据准焦系数获得视点状态；
[0065]
s600，根据视点状态实时调整vr头显播放内容。
[0066]
进一步地，在步骤s100中，初始化虚拟场景的方法是：虚拟场景的组成包括若干素材单元，所述素材单元为通过三维建模软件将实体物体在虚拟场景中重现的三维模型，或者，所述素材单元为对实体物体拍摄获得的二维图像，其中三维建模软件包括blender、maya或者3ds max。
[0067]
进一步地，在步骤s200中，所述通过vr头显实时获取录像数据的方法是：通过vr头显实时地采集获得正在播放的图像作为视频帧，通过vr头显实时地采集用户在各个视频帧中对应的视线靶点，其中获取视线靶点的方法可以为基于红外设备或者图像采集设备的眼球追踪技术；视频帧以及其对应的视线靶点作为录像数据；其中采集视频帧获得时刻为截获时刻，采集获得视频帧的时间间隔为tg，tg∈[0.1,1]秒，通过图像语义分割技术将视频帧进行图像分割，并且从分割出的各个区域中识别出虚拟场景中的素材单元，将一个单元在视频帧中对应的区域作为该素材单元的素材域；如果一个截获时刻的视线靶点与任一素
材域重合，则定义该截获时刻为素材定靶时刻，否则定义该截获时刻为素材空靶时刻；其中素材定靶时刻与视线靶点重合的素材域对应的素材单元作为素材定靶时刻的靶素材。
[0068]
进一步地，在步骤s300中，在操作器实时获得定向指令的方法是：vr控制器为vr手柄或手持控制器，用户通过vr控制器与虚拟场景进行互动，素材单元拥有若干素材属性，素材属性包括素材单元在三维空间中的位置，角度，形状，运动轨迹或者其他预设的状态；其中如果用户通过vr控制器对虚拟场景中的任一素材单元的素材属性发生改变，则该定向控制的过程中通过vr控制器发出的指令作为定向指令，否则作为场景一般指令，vr控制器发出的定向指令与素材单元有一一对应关系,将定向指令控制的素材单元作为定向指令的指向素材单元；定义一个截获时刻到其前tg时间段内获得的所有定向指令都属于该截获时刻的截获指令，一个截获时刻对应各个截获指令对应的指向素材单元的集合作为该截获时刻的指令对象集，当一个截获时刻到其前tg时间段内未获得任何定向指令则其指令对象集为空集。
[0069]
进一步地，在步骤s400中，通过定向指令以及录像数据计算准焦系数的方法是：
[0070]
以待计算准焦系数的素材单元作为准焦单元；如果截获时刻的指令对象集中拥有准焦单元，或者如果一个素材定靶时刻的靶素材为准焦单元，则将该时刻作为第一准焦时刻，否则为非第一准焦时刻；当一个非第一准焦时刻的指令对象集为空集并且该截获时刻的视频帧中包含准焦单元对应的素材域，则定义该非第一准焦时刻为第二准焦时刻，否则为非第二准焦时刻，将任意一个第一准焦时刻逆时间顺序遍历各个第二准焦时刻直到出现另一个第一准焦时刻，或者遍历各个第二准焦时刻直到出现非第二准焦时刻，将遍历的各个第二准焦时刻作为第三准焦时刻，将第一准焦时刻与与第三准焦时刻均记作准焦时刻；
[0071]
若连续若干个截获时刻均为准焦时刻，则定义该若干个时刻准焦单元发生一次准焦事件；将视频帧中的准焦单元对应的素材域的中心点与视线靶点的距离记作视偏距det，将视频帧的图像中心与视线靶点的距离记作靶偏距dem；获取准焦单元的各个准焦时刻的dem构成一个集合记作dem_z；计算准焦事件的准焦系数crtidx：
[0072][0073]
其中er()为方差函数，mean()为平均值函数，det_f_ls与det_uf_ls分别代表准焦事件中各个第一准焦时刻对应det的多重集与非第一准焦时刻对应det的多重集；j1为准焦事件中时刻的序号，以dem
j1
和det
j1
分别代表准焦事件中第j1个时刻的靶偏距和视偏距，p(dem j1
|dem_z)代表dem j1
在dem_z中的高斯分布的概率值。
[0074]
优选地，在步骤s400中，通过定向指令以及录像数据计算准焦系数的方法是：待计算准焦系数的素材单元作为准焦单元；如果截获时刻的指令对象集中拥有准焦单元，或者如果一个素材定靶时刻的靶素材为准焦单元，则将该时刻作为第一准焦时刻，否则为非第一准焦时刻；当一个非第一准焦时刻的指令对象集为空集并且该截获时刻的视频帧中包含准焦单元对应的素材域，则定义该非第一准焦时刻为第二准焦时刻，否则为非第二准焦时刻，将任意一个第一准焦时刻逆时间顺序遍历各个第二准焦时刻直到出现另一个第一准焦时刻，或者遍历各个第二准焦时刻直到出现非第二准焦时刻，将遍历的各个第二准焦时刻作为第三准焦时刻，将第一准焦时刻与与第三准焦时刻均记作准焦时刻；
[0075]
若连续若干个截获时刻均为准焦时刻，则定义该若干个时刻准焦单元发生一次准
焦事件；将视频帧中的准焦单元对应的素材域的中心点与视线靶点的距离记作det，将视频帧的图像中心与视线靶点的距离记作dem；将一个截获时刻与其前一个时刻的det的差值记作靶向步差p_det；
[0076]
获取准焦单元的各个准焦时刻的dem构成一个集合记作dem_z；当一个时刻的p_det与dem均小于其前一个时刻的时候定义该时刻为第一锚点，再判断若一个第一锚点的下一个时刻不为第一锚点则定义该第一锚点作为第二锚点；如果一个准焦事件中未发现第二锚点则以首个出现的第一锚点作为第二锚点；如果一个准焦事件中未发现第一锚点则以首个出现dem数值较上一个时刻小的时刻作为第二锚点；
[0077]
以一个第二锚点到其上一个第二锚点之间的各个时刻作为该第二锚点的参照区间，当第二锚点不存在上一个第二锚点的时候则以准焦事件的第一个时刻到该第二锚点的各个时刻作为该第二锚点的参照区间；按时间顺序获得一个准焦事件内各个时刻的det并构成一个序列记作ls_det，计算准焦事件的准焦系数crtidx：
[0078][0079]
其中mean()为平均值函数，exp()为自然常数e为底数的指数函数，len_ls_det为ls_det中元素的数量，nrk为准焦事件内第一准焦时刻的数量，img_cdg为帧聚向度，其计算方法为：
[0080][0081]
其中i1为累加变量，nmt为准焦事件内出现第二锚点的数量，nog《i1》为第i1个第二锚点的参照区间内各个时刻的靶向步差的平均值与最小值的比值，将第i1个第二锚点的参照区间内各个时刻的dem的平均值记作edem
i1
，p(edem
i1
|dem_z)为edem
i1
在dem_z中的高斯分布的概率值。
[0082]
进一步地，在步骤s500中，根据准焦系数获得视点状态的方法是：
[0083]
设置一段时间长度作为状态跨度tz,tz∈[5，10]分钟；以当前时刻到前tz之间的时间段作为当前跨度，当前跨度中截获时刻的总量为当前截获量，定义一个准焦事件的事件锚点为在该准焦事件的首个截获时刻与最后一个截获时刻中间的时刻；如果一个准焦事件的事件锚点在当前跨度内，则定义准焦事件为近准焦事件；以近准焦事件对应的准焦单元作为近准焦单元；以j2作为近准焦单元的序号，则第j2个近准焦单元历史上各个准焦事件的准焦系数的平均值记作mci
j2
，若第j2个近准焦单元当前跨度内任意一个准焦事件的准焦系数比mci
j2
数值小，则将该准焦事件剔除，即不再作为准焦事件；如果一个截获时刻在当前跨度内，而且该截获时刻属于第j2个近准焦单元的近准焦事件中的截获时刻，则定义该截获时刻为第j2个近准焦单元的近准焦时刻；则第j2个近准焦单元的出现率prrt为：第j2个近准焦单元的近准焦时刻的总量与当前截获量的比值，筛选当前跨度内的各个近准焦事件后，计算视点状态istt，
[0084][0085]
其中ncu_t为各个近准焦事件对应的准焦单元的集合中元素的数量，ctd
j2
为第j2个近准焦单元新近发生的近准焦事件的事件锚点与当前时刻之间截获时刻的数量。
[0086]
优选地，在步骤s500中，根据准焦系数获得视点状态的方法是：设置一段时间长度
作为状态跨度tz,tz∈[5，10]分钟；以当前时刻到前tz之间的时间段作为当前跨度，当前跨度中截获时刻的总量为当前截获量；定义一个准焦事件的事件锚点为在该准焦事件的首个截获时刻与最后一个截获时刻中间的时刻；如果一个准焦事件的事件锚点在当前跨度内，则定义准焦事件为近准焦事件；其中准焦事件最后一个截获时刻允许为当前时刻；各个近准焦事件对应的准焦单元作为近准焦单元，将所有近准焦单元构成的集合作为状态对象集；
[0087]
以i2作为近准焦单元的序号，将第i2个近准焦单元历史上获得的各个准焦系数中的最大值、最小值和平均值分别记作maxci
i2
、minci
i2
和eci
i2
的则有第i2个近准焦单元的状态分值sfcs(i2)：
[0088][0089]
其中i3为第i2个近准焦单元的近准焦事件的序号，crtidx
i2,i3
代表第i2个近准焦单元的第i3个近准焦事件的准焦系数，mean()为平均值函数，ln()为自然常数e为底数的对数函数，min{}与max{}分别为最小值函数和最大值函数；td
i3
为第i2个近准焦单元的第i3个近准焦事件的事件锚点与当前时刻之间的截获时刻的数量；
[0090]
以i4作为状态对象集中近准焦单元的序号，如果一个截获时刻在当前跨度内，而且该截获时刻属于第i4个近准焦单元的近准焦事件中的截获时刻，则定义该截获时刻为第i4个近准焦单元的近准焦时刻；则第i4个近准焦单元的出现率prrt为：第i4个近准焦单元的近准焦时刻的总量与当前截获量的比值；根据各个近准焦单元的状态分值计算视点状态istt：
[0091][0092]
其中prrt
i4
为第i4个近准焦单元在当前跨度内的出现率，ncu为状态对象集中近准焦单元的数量。
[0093]
进一步地，在步骤s600中，根据视点状态实时调整vr头显播放内容的方法是：在用户使用vr头显进行虚拟场景中的30分钟后，开始连续地获得各个截获时刻的视点状态，将当前跨度内各个截获时刻的视点状态的算数平均值记作cistt，计算一个时刻的溢出度为osr＝|istt－cistt|
÷
cistt；至少获得10分钟内的osr之后，将10-30分钟内获得的各个时刻的溢出度构建箱型图，并通过箱型图判断当前时刻的溢出度是否为异常值，如果当前时刻的溢出度是异常值，则进行vr头显播放内容调整，否则不进行vr头显播放内容调整；其中头显播放内容调整的方法是：实时获取最接近当前时刻的素材定靶时刻的靶素材并记作当前素材，获取将要投放到vr头显的画面作为预备图像，将预备图像中当前素材对应的素材域以外的图像区域作为调整域，对调整域进行模糊处理，所述模糊处理的方法可以为高斯模糊算法或者运动模糊算法。
[0094]
本发明的实施例提供的脑卒中康复训练个性化虚拟场景实时生成系统，如图2所示为本发明的脑卒中康复训练个性化虚拟场景实时生成系统结构图，该实施例的脑卒中康复训练个性化虚拟场景实时生成系统包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述脑卒中康复训练个性化虚拟场景实时生成系统实施例中的步骤。
[0095]
所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
[0096]
虚拟场景初始化单元，用于初始化虚拟场景；
[0097]
数据截取单元，用于通过vr头显实时获取录像数据；
[0098]
指令截取单元，用于在操作器实时获得定向指令；
[0099]
准焦系数计算单元，用于通过定向指令以及录像数据计算准焦系数；
[0100]
视态计算单元，用于根据准焦系数获得视点状态；
[0101]
投放控制单元，用于根据视点状态实时调整vr头显播放内容。
[0102]
所述脑卒中康复训练个性化虚拟场景实时生成系统可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端服务器等计算设备中。所述脑卒中康复训练个性化虚拟场景实时生成系统，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是脑卒中康复训练个性化虚拟场景实时生成系统的示例，并不构成对脑卒中康复训练个性化虚拟场景实时生成系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述脑卒中康复训练个性化虚拟场景实时生成系统还可以包括输入输出设备、网络接入设备、总线等。
[0103]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述脑卒中康复训练个性化虚拟场景实时生成系统运行系统的控制中心，利用各种接口和线路连接整个脑卒中康复训练个性化虚拟场景实时生成系统可运行系统的各个部分。
[0104]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述脑卒中康复训练个性化虚拟场景实时生成系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0105]
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

技术特征：
1.脑卒中康复训练个性化虚拟场景实时生成方法，其特征在于，所述方法包括以下步骤：s100，初始化虚拟场景；s200，通过vr头显实时获取录像数据；s300，在操作器实时获得定向指令；s400，通过定向指令以及录像数据计算准焦系数；s500，根据准焦系数获得视点状态；s600，根据视点状态实时调整vr头显播放内容。2.根据权利要求1所述的脑卒中康复训练个性化虚拟场景实时生成方法，其特征在于，在步骤s100中，初始化虚拟场景的方法是：虚拟场景的组成包括若干素材单元，所述素材单元为通过三维建模软件将实体物体在虚拟场景中重现的三维模型，或者，所述素材单元为对实体物体拍摄获得的二维图像，其中三维建模软件包括blender、maya或者3ds max。3.根据权利要求1所述的脑卒中康复训练个性化虚拟场景实时生成方法，其特征在于，在步骤s200中，所述通过vr头显实时获取录像数据的方法是：通过vr头显实时地采集获得正在播放的图像作为视频帧，通过vr头显实时地采集用户在各个视频帧中对应的视线靶点，其中获取视线靶点的方法可以为基于红外设备或者图像采集设备的眼球追踪技术；视频帧以及其对应的视线靶点作为录像数据；其中采集视频帧获得时刻为截获时刻，采集获得视频帧的时间间隔为tg，tg∈[0.1,1]秒，通过图像语义分割技术将视频帧进行区域分割，并且从分割出的各个区域中识别出虚拟场景中的各个素材单元，将一个素材单元在视频帧中对应的区域作为该素材单元的素材域；如果一个截获时刻的视线靶点与任一素材域重合，则定义该截获时刻为素材定靶时刻，否则定义该截获时刻为素材空靶时刻；其中在素材定靶时刻中与视线靶点重合的素材域对应的素材单元作为素材定靶时刻的靶素材。4.根据权利要求1所述的脑卒中康复训练个性化虚拟场景实时生成方法，其特征在于，在步骤s300中，在操作器实时获得定向指令的方法是：vr控制器为vr手柄或手持控制器，用户通过vr控制器与虚拟场景进行互动，素材单元拥有若干素材属性，素材属性包括素材单元在三维空间中的位置，角度，形状，运动轨迹或者其他预设的状态；其中如果用户通过vr控制器对虚拟场景中的任一素材单元的素材属性发生改变，则该定向控制的过程中通过vr控制器发出的指令作为定向指令，否则作为场景一般指令，vr控制器发出的定向指令与素材单元有一一对应关系,将定向指令控制的素材单元作为定向指令的指向素材单元；定义一个截获时刻到其前tg时间段内获得的所有定向指令都属于该截获时刻的截获指令，一个截获时刻对应各个截获指令对应的指向素材单元的集合作为该截获时刻的指令对象集，当一个截获时刻到其前tg时间段内未获得任何定向指令时其指令对象集为空集。5.根据权利要求1所述的脑卒中康复训练个性化虚拟场景实时生成方法，其特征在于，在步骤s400中，通过定向指令以及录像数据计算准焦系数的方法是：以待计算准焦系数的素材单元作为准焦单元；如果截获时刻的指令对象集中拥有准焦单元，或者如果一个素材定靶时刻的靶素材为准焦单元，则将这样的时刻作为第一准焦时刻，否则为非第一准焦时刻；当一个非第一准焦时刻的指令对象集为空集并且该截获时刻的视频帧中包含准焦单元对应的素材域，则定义该非第一准焦时刻为第二准焦时刻，否则为非第二准焦时刻，将任意一个第一准焦时刻逆时间顺序遍历各个第二准焦时刻直到出现
另一个第一准焦时刻，或者遍历各个第二准焦时刻直到出现非第二准焦时刻，将遍历的各个第二准焦时刻作为第三准焦时刻，将第一准焦时刻与与第三准焦时刻均记作准焦时刻；若连续若干个截获时刻均为准焦时刻，则定义该若干个时刻准焦单元发生一次准焦事件；将视频帧中的准焦单元对应的素材域的中心点与视线靶点的距离记作视偏距det，将视频帧的图像中心与视线靶点的距离记作靶偏距dem；获取准焦单元的各个准焦时刻的dem构成一个集合记作dem_z；计算准焦事件的准焦系数crtidx：其中er()为方差函数，mean()为平均值函数，det_f_ls与det_uf_ls分别代表准焦事件中各个第一准焦时刻对应det的多重集与非第一准焦时刻对应det的多重集；j1为准焦事件中时刻的序号，以dem
j1
和det
j1
分别代表准焦事件中第j1个时刻的靶偏距和视偏距，p(dem j1
|dem_z)代表dem j1
在dem_z中的高斯分布的概率值。6.根据权利要求1所述的脑卒中康复训练个性化虚拟场景实时生成方法，其特征在于，在步骤s500中，根据准焦系数获得视点状态的方法是：设置一段时间长度作为状态跨度tz,tz∈[5，10]分钟；以当前时刻到前tz之间的时间段作为当前跨度，当前跨度中截获时刻的总量为当前截获量，定义一个准焦事件的事件锚点为在该准焦事件的首个截获时刻与最后一个截获时刻中间的时刻；如果一个准焦事件的事件锚点在当前跨度内，则定义准焦事件为近准焦事件；以近准焦事件对应的准焦单元作为近准焦单元；以j2作为近准焦单元的序号，则第j2个近准焦单元历史上各个准焦事件的准焦系数的平均值记作mci
j2
，若第j2个近准焦单元当前跨度内任意一个准焦事件的准焦系数比mci
j2
数值小，则将该准焦事件剔除，即不再作为准焦事件；如果一个截获时刻在当前跨度内，而且该截获时刻属于第j2个近准焦单元的近准焦事件中的截获时刻，则定义该截获时刻为第j2个近准焦单元的近准焦时刻；筛选当前跨度内的各个近准焦事件后，计算视点状态istt，其中ncu_t为各个近准焦事件对应的近准焦单元的集合中元素的数量，ctd
j2
为第j2个近准焦单元新近发生的近准焦事件的事件锚点与当前时刻之间截获时刻的数量，第j2个近准焦单元的出现率prrt
j2
为：第j2个近准焦单元的近准焦时刻的总量与当前截获量的比值，。7.根据权利要求1所述的脑卒中康复训练个性化虚拟场景实时生成方法，其特征在于，在步骤s600中，根据视点状态实时调整vr头显播放内容的方法是：在用户使用vr头显进行虚拟场景中的30分钟后，开始连续地获得各个截获时刻的视点状态，将当前跨度内各个截获时刻的视点状态的算数平均值记作cistt，计算一个时刻的溢出度为osr＝|istt－cistt|
÷
cistt；至少获得10分钟内的osr之后，将10-30分钟内获得的各个时刻的溢出度构建箱型图，并通过箱型图判断当前时刻的溢出度是否为异常值，如果当前时刻的溢出度是异常值，则进行vr头显播放内容调整，否则不进行vr头显播放内容调整；其中头显播放内容调整的方法是：实时获取最接近当前时刻的素材定靶时刻的靶素材并记作当前素材，获取将要投放到vr头显的画面作为预备图像，将预备图像中当前素材对应的素材域以外的图像区域作为调整域，对调整域进行模糊处理，所述模糊处理的方法可以为高斯模糊算法或者运动
模糊算法。8.脑卒中康复训练个性化虚拟场景实时生成系统，其特征在于，所述脑卒中康复训练个性化虚拟场景实时生成系统包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的脑卒中康复训练个性化虚拟场景实时生成方法中的步骤，所述脑卒中康复训练个性化虚拟场景实时生成系统运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心的计算设备中。

技术总结
本发明属于图形处理、智能生成技术领域，提出了脑卒中康复训练个性化虚拟场景实时生成方法及系统，具体为：初始化虚拟场景后，通过VR头显实时获取录像数据，再在操作器实时获得定向指令，并通过定向指令以及录像数据计算准焦系数，再根据准焦系数获得视点状态，最后根据视点状态实时调整VR头显播放内容。综合地提取脑卒中患者或者用户的眼部对画面的适应性和敏感性，从而为进一步识别脑卒中患者或者用户在个性化的虚拟场景中发生的眩晕问题，以对场景识别困难进行预测以及判断，提前降低用户的眼部或者大脑活动的压力，降低康复训练的个性化虚拟场中发生3D眩晕风险，从而提高脑卒中患者或者用户对VR头显实时生成的投放内容的接受能力和适应能力。接受能力和适应能力。接受能力和适应能力。


技术研发人员：罗子芮 王志军 黄文柱 严文 骆志强 黄峰
受保护的技术使用者：佛山市第五人民医院（佛山市工伤康复中心）
技术研发日：2023.07.11
技术公布日：2023/10/11