用于多模态感测的光学软皮肤系统

1.本发明总体上涉及一种用于开发能够进行多模态感测的人造柔性软皮肤的设计框架，更具体地，涉及一种能够实时重建形态变化、伸长和局部压力的软皮肤传感器。


背景技术：

2.皮肤作为生物体的外部环境与其内部组分之间的屏障，在生物系统中起着至关重要的作用。软体机器人领域研究使用柔性和柔顺材料作为构建机器人的组件，代替传统的刚性组件，例如金属。
3.由于软皮肤可变形的性质，近年来为软体机器人提供本体感受一直是一个具有挑战性的课题。外力作用下在形状、位置和状态变化方面的非线性和复杂的行为不容易预测，更不用说提供闭环控制和进一步的行动规划。[1]嵌入式皮肤和机器学习的新兴融合对于自主和智能软体机器人至关重要[2]。
[0004]
为了增强软体机器人的感知，设计了许多触觉传感器来主动捕获外部物体的状态变化[3,4]或被动接收外力[5-10]。触觉传感器的灵敏度或分辨率通常受到感测元件分布的限制。由于嵌入和电连接大量感测元件变得越来越具有挑战性，因此感测性能通常由传感器分布的密度决定。可以通过回归方法或具有大量数据的机器学习算法来减轻两个相邻感测元件之间间隙处局部应变的预测或插值误差[11-14]。除了感测局部应变之外，另一种类型的感知涉及捕获全局形态变化。柔性皮肤的变形形状可能需要几乎无限的自由度(dof)，这使建模和感测方案变得复杂。
[0005]
与触觉感测类似，近期的形状感测方法利用诸如机器学习的数据驱动方法来对感测元件捕获的动态行为和非线性进行编码。例如，包括光纤布拉格光栅(fbg)[15、16]的光纤可以在神经网络的帮助下将光信号(波长偏移、强度)映射到全局形态信息中。对于一些应用或机器人系统，例如mri引导手术或水下探索，基于光学的机制可能优于其基于电学的机制。该技术具有许多优点[17]，包括优异的电磁[18]和抗腐蚀能力[19]，以及长期稳定性[20]。单根光纤可以承载高密度的感测元件，其可以降低布线的复杂性[21]。然而，感测元件的位置设计等同于所述有限传感器的分布。因此，感测元件的放置位置仍然对捕获的全局应变有很大影响，并将局部应变测量限制在靠近每个感测元件的位置。[22]中对此进行了说明，其中设计了一种可穿戴感测手套，其中单根fbg光纤以曲线布局横跨手掌。手套能够监测手势和姿势，然而fbg放置的准确性和与手指关节的对齐会极大地影响重建的手部运动。mable等人在他们的3d形状传感器中实现了双层fbg网格。它还需要fbg分配的精确的固定装置，其中两个光纤层必须对齐，使得每个fbg以90
°
准确地彼此重叠[23、24]。这种设计依赖于两个光纤层的精确正交对齐来感测和传达凸形状和凹形状。除了上述基于fbg的感测的局限性之外，由于需要连接到光纤的单独且昂贵的询问系统来执行感测，因此它不具有成本效益并且难以用作独立的便携式传感器。
[0006]
最新技术提供了有关如何开发能够实现多模态感测的稳健且可部署的软皮肤的知识。从设计的角度来看，物理感测元件的数量应保持在最低限度，以免限制传感器基板的
in electrical impedance tomography-based real-time soft tactile sensor,"in 2019 ieee/rsj international conference on intelligent robots and systems(iros),2019:ieee,pp.7447-7452.
[0022]
[15]t.l.t.lun,k.wang,j.d.ho,k.-h.lee,k.y.sze,and k.-w.kwok,"real-time surface shape sensing for soft and flexible structures using fiber bragg gratings,"ieee robotics and automation letters,vol.4,no.2,pp.1454-1461,2019.
[0023]
[16]i.van meerbeek,c.de sa,and r.shepherd,"soft optoelectronic sensory foams with proprioception,"science robotics,vol.3,no.24,2018.
[0024]
[17]m.kreuzer,"strain measurement with fiber bragg grating sensors,"hbm,darmstadt,s2338-1.0e,p.12,2006.
[0025]
[18]k.o.hill and g.meltz,"fiber bragg grating technology fundamentals and overview,"journal of lightwave technology,vol.15,no.8,pp.1263-1276,1997.
[0026]
[19]r.kashyap,fiber bragg gratings.academic press,2009.
[0027]
[20]m.amanzadeh,s.m.aminossadati,m.s.kizil,and a.d."recent developments in fibre optic shape sensing,"measurement,vol.128,pp.119-137,2018.
[0028]
[21]b.a.childers et al.,"use of 3000bragg grating strain sensors distributed on four 8-m optical fibers during static load tests of a composite structure,"in smart structures and materials 2001:industrial and commercial applications of smart structures technologies,2001,vol.4332:international society for optics and photonics,pp.133-142.
[0029]
[22]a.f.da silva,a.f.p.m.mendes,and j.h.correia,"fbg sensing glove for monitoring hand posture,"ieee sensors journal,vol.11,no.10,pp.2442-2448,2011.
[0030]
[23]l.xu,j.ge,j.h.patel,and m.p.fok,"dual-layer orthogonal fiber bragg grating mesh based soft sensor for 3-dimensional shape sensing,"optics express,vol.25,no.20,pp.24727-24734,2017.
[0031]
[24]s.rapp,l.-h.kang,u.c.mueller,j.-h.han,and h.baier,"dynamic shape estimation by modal approach using fiber bragg grating strain sensors,"in sensors and smart structures technologies for civil,mechanical,and aerospace systems 2007,2007,vol.6529:international society for optics and photonics,p.65293e.
[0032]
最近对人造皮肤的研究主要集中在使单个传感器装置在许多使用周期内具有更好的性能，例如灵敏度、可拉伸性和可靠性。然而，仿生人造皮肤应该包含固有的可拉伸传感器阵列，可扩展到大区域，具有高空间分辨率，实时检测变化，可用作独立传感器，并具有模仿人类皮肤的不同受体的多个感测模态。
[0033]
一般来说，人造皮肤要扩展到更大的尺寸，核心感测元件的数量也必须增加，否则尺寸的增加将以感测密度为代价。然而，更多数量的感测元件导致更高的成本以及连接和数据访问线的指数增长。此外，将感测元件直接放置在皮肤中会对其机械属性(例如柔性和
拉伸性)产生负面影响。
[0034]
本发明的一个目的是在不损害任何感测能力的情况下减少刚性、不可拉伸的部件在有效感测表面上的分布的影响。
[0035]
这些专利和文献通过引用整体并入本文。


技术实现要素：

[0036]
本发明是一种用于开发能够进行多模态感测的柔性软皮肤的设计框架，即实时重建形态变化、伸长和局部压力。传感器本身包括耦合在柔性波导基板的一个或多个端部处的一个或多个光源和光接收器。柔性软皮肤的开发和设计以有限元分析(fea)为指导，并结合机器学习方法来提高校准和感测性能。
[0037]
光源和光接收器的示例分别是发光二极管(led)和光电二极管(pd)。通过使用具有高折射率的弹性体介质(例如聚二甲基硅氧烷，pdms)作为波导基板，由于全内反射(tir)原理，发射光大部分被捕获在介质中。实际上，波导基板用作光波导。光源将一定范围的光(可见或不可见)投射到波导基板中，随后在穿过波导基板之后部分或全部被光接收器检测到。波导基板的变形将影响光源和光接收器之间的光传输。由波导基板的机械变形引起的光变化(例如强度、波长偏移、相位)可以通过分析或机器学习方法解码为应变/位移，从而重建相应的变形。传感器的设计参数可针对每种应用进行高度定制，包括尺寸(感测区域)、未变形的传感器形状、波导基板材料(不限于pdms)、光学元件(可以基于光纤)、光源和光接收器的光学特性、或光源和光接收器的分布/位置。引入计算有限元(fe)分析来验证和优化每个定制的设计配置，并可用于在制造前预测传感器变形对光信号的影响。它进一步加速了基于模型的学习和重建的准确性。
[0038]
本发明提供了一种用于多模态感测的光学软皮肤系统，包括：
[0039]
柔性波导基板，能够在遇到不同的变形模式时改变其光波传播；
[0040]
位于波导基板内的至少一个光源，被布置成将光传输到波导基板中；
[0041]
位于波导基板内的至少一个光接收器，以接收穿过波导基板的光并提供接收到的光的属性的数据集；以及
[0042]
处理器，用于通过计算模型将数据集解码为应变和位移中的至少一个，以确定波导基板的感测模态。
[0043]
在一个实施例中，波导基板由与光学软皮肤系统所使用的环境相比折射率更高的材料制成，使得其中的光根据全内反射原理被捕获在波导基板内。
[0044]
在一个实施例中，该材料是聚二甲基硅氧烷或水凝胶。
[0045]
在一个实施例中，所述计算模型是通过训练在不同感测模态下获取的多个数据集而获得的。
[0046]
在一个实施例中，波导基板具有交织结构。
[0047]
在一个实施例中，波导基板被涂布有外层以减少外部光对波导基板的影响。
[0048]
在一个实施例中，处理器采用机器学习方法来解码不同的感测模态。
[0049]
在一个实施例中，处理器采用基于有限元(fe)的数据丰富方法来扩大用于模型训练的数据集。
[0050]
在一个实施例中，波导基板具有非均匀成分。
[0051]
在一个实施例中，波导基板由多个材料层组成以影响波传播。
[0052]
在一个实施例中，非均匀成分是材料属性的周期性变化，以增强对不同感测模态的灵敏度。
[0053]
在一个实施例中，波导基板的自然的、未变形的形状是平坦的矩形棱柱。
[0054]
在一个实施例中，波导基板具有变化的厚度。
[0055]
在一个实施例中，波导基板中的波传播受到由波导基板变形引起的折射、反射、衍射、偏振变化的影响。
[0056]
在一个实施例中，所述至少一个光源发射不同光谱的光，包括不可见光和可见光中的至少一个。
[0057]
在一个实施例中，所述至少一个光接收器检测光强度、波长、相位或其组合。
[0058]
在一个实施例中，每个光接收器对由至少一个光源发射的光的整个光谱敏感。
[0059]
在一个实施例中，每个光接收器对由至少一个光源发射的光的不同光谱敏感。
[0060]
在一个实施例中，所述至少一个光接收器对透射光的整个光谱敏感，或者所述至少一个光接收器对透射光的特定范围敏感。
[0061]
在一个实施例中，所述至少一个光源为发光二极管，以及所述至少一个光接收器为光电二极管。
[0062]
在一个实施例中，具有至少三个光源，所述至少三个光源是分别提供红色、绿色和蓝色光输出的发光二极管。
[0063]
在一个实施例中，波导基板嵌入有粒子，当透射光与粒子相互作用时，这些粒子使得透射光被反射、折射、散射、吸收或偏振。
[0064]
在一个实施例中，波导基板被制造成具有图案化的通道或槽以增强变形对透射光以及波导基板的机械变化和光学变化之间的映射中的关联幅度的影响。
[0065]
在一个实施例中，在三个自由度上实时地视觉重建和呈现所检测到的由弯曲、按压、拉伸、扭曲引起的应变和位移中的至少一个。
[0066]
在一个实施例中，能够在制造之前通过数值分析，即有限元(fe)分析，为每个表面定制设计参数，包括波导基板厚度、光源和光接收器的位置和数量、检测和透射光的类型以及波导基板形状。
[0067]
在一个实施例中，模拟环境通过基于有限元(fe)的数据丰富提高了用于模型训练的数据的数量和质量。
[0068]
在一个实施例中，波导基板是便携式的并且利用无线通信来传输传感器数据。
[0069]
在一个实施例中，波导基板被设计成由用户佩戴，例如作为其手上的手套，作为可穿戴的衣服装置。
[0070]
在一个实施例中，光学软皮肤系统被集成到机器人系统中，用于本体感受。
[0071]
在一个实施例中，软皮肤系统还包括用于电连接的固体线或液体线。
[0072]
在一个实施例中，不同的感测模态包括波导基板的拉伸、弯曲、按压和整体三维表面形态。
附图说明
[0073]
该专利或申请文件包含至少一个彩色附图。带有彩色附图的本专利或专利申请公
开的副本将在请求和支付必要费用后由官方提供。
[0074]
当结合以下详细描述和附图考虑时，本发明的上述以及其他目的和优点将变得更加明显，在附图中，不同视图中相同的标号表示相同的元件，并且其中：
[0075]
图1是本发明的一个实施例的设计概图；
[0076]
图2a描绘了当传感器附接到人体时模拟光信号如何变化；
[0077]
图2b描绘了当传感器附接到人体时模拟光信号如何根据连续的人体运动在时域中变化；
[0078]
图3a示出了光源和光接收器在上背部可穿戴原型上的分布；
[0079]
图3b示出了光源和光接收器在鱼形原型上的分布；
[0080]
图4示出了无线传输光信号的定制pcb的顶视图和底视图。
具体实施方式
[0081]
本发明提供了一种能够进行多模态感测的柔性软皮肤，即实时重建形态变化(弯曲)、伸长(拉伸)和局部压力(按压)。该软皮肤利用放置在传感器基板内的基于光学的传感器，以最大限度地减少对皮肤自然弯曲和拉伸的影响。该软皮肤也只需要有限的线来收集数据。人工智能(ai)与有限元分析(fea)的融合，使得区分不同感测模式成为可能，具有多种感测功能。
[0082]
图1示出了光学软皮肤系统的一个说明性实施例，包括：
[0083]
·
柔性基材/波导基板10，其在遇到不同的变形模式(例如弯曲、拉伸、按压)时改变其光波传播，并且波导基板10用作波导；
[0084]
·
位于波导基板10内的多个光源12，被布置为向波导基板10提供在一定光谱范围内的光；
[0085]
·
放置在波导基板10内的光源12附近的多个光接收器14，其能够检测在与光源12相同的光谱范围内的光以及其属性(例如强度、波长)；光接收器14被配置为接收通过波导基板10的光，并提供接收到的光的属性的数据集；软皮肤传感器/传感器由波导基板10、光源12和光接收器14组成；
[0086]
·
处理器20，用于执行基于有限元(fe)的数据丰富方法，其能够扩大用于模型训练的数据集；
[0087]
·
在处理器20中执行的基于机器学习的模型或ai 30，其能够区分不同的感测模态以提供多模态感测输出40。
[0088]
波导基板10可以由范围广泛的材料制成，这些材料通常具有比使用软皮肤传感器的环境(例如环境空气)更高的折射率。波导基板10应该是柔性的并且可拉伸以在遇到内力或外力时变形。为了使波导基板10具有感测能力，材料的透光率也应该足够高，使得根据全内反射(tir)原理，发射光大部分被捕获在波导基板10内。波导基板10的结构可以是均匀的，例如沿其长度具有恒定密度和横截面的均匀成分(例如矩形棱柱形状的pdms板)，或者可以是具有变化或重复图案的不均匀结构(例如交织结构)。这种不均匀结构可以构造成使得传感器对特定变形的灵敏度增加。例如，具有弯曲/之字形布局的波导基板10，其中在未变形时光传播受到限制，但当传感器经历伸长变形时，弯曲/之字形结构被拉直以允许改善通过波导基板的光传播，从而提高传感器对伸长的灵敏度。除pdms之外的替代物，包括水凝
胶，其可用于形成波导基板10。
[0089]
此外，波导基板10可具有非均匀成分以影响通过传感器的波传播并改变传感器的感测特性，例如对不同变形的灵敏度。示例包括包含多个材料层的波导基板，这些材料层改善基板内的光传播，即维持tir。另一个示例是波导基板包含在一些波导特性上的周期性变化，例如由具有不同光学属性(例如折射率)的多层交替材料引起的变化，或者由变化的结构特性(例如材料高度)引起的变化。结果将提高传感器对特定类型变形(例如弯曲、拉伸、局部压力)的灵敏度。
[0090]
作为示例，软皮肤传感器可以包括5层不同厚度和透光率的pdms。透明的pdms层首先夹在两个白色染色的pdms层之间，然后是黑色染色的pdms包裹层。黑色层旨在完全消除外部光的影响，而白色层则增强内部光传输。所有光源和光接收器(例如rgb led和pd)都嵌入在发生全内反射的核心透明层中，如较早的公开形式中所建议的。
[0091]
软皮肤系统包括耦合在波导基板10的两个或更多个端部的多个光源12和光接收器14。多个光源12和光接收器14可以嵌入在波导基板中。在一个示例中，光源是led，光接收器是光电二极管(pd)。然而，光源12和光接收器14不限于可见光谱并且例如led-pd对的使用可以用光纤代替。
[0092]
为了确保传感器的机械变化和光学变化之间的稳定映射，包括额外的制造步骤以：i)减少外部光学影响，例如，通过在波导材料上涂布反射层，以及ii)扩大或改变内部光学损耗，例如，通过将光反应性粒子集成到波导基板中。特别地，当与粒子相互作用时，粒子可以使得透射光被反射、折射、散射、吸收或偏振。此外，波导基板可以被制造成具有跨材料层的一个或多个图案化的通道或槽。例如，空腔可由第一层中的弯曲空心通道、分别在第二层和第三层中的平行波通道和方波通道组成。这些都有助于增强变形对透射光的影响，并增加光接收器检测到的信号的唯一性。
[0093]
在制造之前，预有限元分析用于根据基于应用的设计优化整体设计参数。设计参数包括光源和光接收器的数量和分布、波导基板的尺寸、以及例如刚度和透光率等材料属性。在comsol multiphysics中模拟所有可能模态的变形和应变，其中首先确定几何形状。波导基板被建模为超弹性材料，并在c3d8rh线性实体单元(linear brick element)中进行网格划分。利用适当的力学方程和材料属性，包括弹性模量、泊松比和mooney-rivlin超弹性模型的参数，建立虚拟环境。它能够实现具有成本效益的设计修改以及科学合理的性能增强。例如，led-pd对将最佳放置在没有高应变但位移相对较大的区域。在一个实施例中，还测试了每对led-pd的有效距离以覆盖局部变形区域(直径≈5cm)。参考有效感测距离和面积，基于总面积确定led-pd对的数量。
[0094]
在模型训练阶段30，任何能够获取传感器的3d表面形状信息的技术都适用于获取地面真值(ground truth)。示例包括运动跟踪系统、基于电磁的跟踪系统、单/立体相机系统和激光扫描系统。这些技术提供了许多具有3d空间坐标的节点，但是，对于模型训练阶段30可能还不够。为了丰富地面真值的数量，可以将波导基板放置在具有已知尺寸的3d打印固定装置上。可替代地，可以通过有限元分析获得节点位移的动态运动，其中迭代计算能够生成大量无噪声、空间连续的训练输入。它利用有限的地面真值来密集无限的信息，使得响应于光强度的变化而模拟空间连续的波导基板。总而言之，皮肤设计优化和用于模型训练的数据丰富都是使用完善建立的虚拟环境分别执行的。
[0095]
多任务学习(mtl)是模型训练阶段30中使用的机器学习算法的一个示例。mtl依赖于数据驱动的分类器和回归器网络来区分任务特定模型。它解码输入感测数据与不同模态的预测的变形模式之间的关系。每种模态的特征将被任务特定层利用并用于分类。例如，就应变和光信号而言，通过按压和弯曲施加的压力梯度本质上是不同的。在mtl中学习差异，然后可以区分模态。作为另一个任务的噪声的不相关特征也被移除，以进行更准确的分类。
[0096]
在形状感测的情况下，光信号和形态变化的数据集在有限时间间隔内同步捕获。随后是基于有限元的数据丰富，将数据集归一化并以7:3的比例分成训练集和测试集。三种深度神经网络(dnn)模型在数据上表现良好。第一个尝试是多层感知机(mlp)，其由4个隐藏层组成，具有256/512/512/512个神经元。第二个是timelenet(参见le guennec,arthur,simon malinowski,and romain tavenard."data augmentation for time series classification using convolutional neural networks."ecml/pkdd workshop on advanced analytics and learning on temporal data.2016),由2个卷积层和2个全连接层组成。还采用了具有2个长短期记忆(lstm)层和4个全连接层的递归神经网络(rnn)。表1列出了模型的性能，包括测试均方误差(mse)和测试时间(一批数据的时间成本)。初步结果显示，光信号与形态变化处于唯一的端到端映射，使得它可以被dnn很好地估计。
[0097]
表1(深度)神经网络模型的性能
[0098][0099]
此外，原始架构表明，可以通过操纵神经元数量、网络层数和时间窗口大小来学习光信号与位移之间的时间关系；同时可以通过使用卷积神经网络来学习空间节点关系。它极大地促进了基于其应用的前期系统设计。
[0100]
利用本发明实现了实时重建和表征。通过诸如大的弯曲、伸长和手指引起的局部压力的不同的变形模式来验证感测性能。测试响应的稳定性、可重复性和滞后性。
[0101]
如上所述，由于易于制造和市场可获得，选择发光二极管(led)和光电二极管(pd)作为示例性嵌入式感测元件。这些基本光学部件的现有技术足够成熟，以提供稳健、可重复的反馈。如图1所示，选择三种不同波长(可见光的颜色-红色、绿色和蓝色)的led并嵌入在波导基板10的端部处，波导基板10由折射率为1.4的硅树脂弹性体pdms制成。由于tir，发射光线大部分被捕获在pdms波导内。剩余的透射光由三个光电二极管阵列14捕获，这三个光电二极管阵列可以检测红光、绿光和蓝光(rgb)。换句话说，从人造皮肤获得的原始传感器数据在每次迭代中是3x3强度矩阵，并作为训练输入数据前馈。
[0102]
使用神经网络20和基于机器学习的模型30，将外部机械刺激下的强度变化映射到应变和位移。然后输出数据在视觉上重建并实时呈现为形状重建和力感测。检测到的由弯曲、按压、拉伸、扭曲引起的应变/位移在三个自由度上重建。
[0103]
通过将单色led放置在不同位置，不同波长的光线混合在一起，结果是环境空气和pdms之间的tir导致的rgb强度分析分布。参见图2a。实际强度由光电二极管阵列(或cmos相机)捕获。光电二极管仅捕获小区域的发射光；但是，这对于训练模型来说是足够的。在机械变形下，一些发射光线不再在边界上被内反射，并且它们的轨迹可能发生变化。换句话说，变形引起光轨迹的变化和折射损耗，使得嵌入式光电二极管捕获的强度发生变化，如图2a所示，然后可以对其进行分析和处理以进行多模态感测。如图2a所示，当附着在人体上时，图2b中的各种手臂姿势可以通过使用rnn用时变光信号解码。尽管光强度变化，但光的波长保持不变。
[0104]
测试两个几何不同的原型以验证所提出的软皮肤系统(参见图3a和图3b)。图3a示出了光源和光接收器在上背部可穿戴原型上的分布，图3b示出了光源和光接收器在鱼形原型上的分布。如图3a和图3b所示，较小的圆圈表示光源12，例如led，较大的圆圈表示光接收器14，例如光电二极管。先前准确的离线重建已经表明，当设计参数变化时(例如，led-光电二极管对的数量及其分布)，仍然可以基于形态变化与光信号的唯一映射来预测形态变化。
[0105]
作为示例，三个单色0805led(红色、绿色、蓝色)和九个3
×
4光电二极管阵列(tcs34725fn)可以嵌入到pdms(sylgard 184)基板中(参见图3a和图3b)。硅树脂弹性体在45℃下成型6小时，混合比例为10:1，以增强柔性。使用更大的混合比和更高的固化温度可以使其变得更硬。每个光电二极管阵列都可以连接到现成的专用转接板，以将放大的光电二极管电流转换为16位数字值。这些信号也可以使用图4中的定制印刷电路板(pcb板)16经由无线通信来传输，印刷电路板可以包括可充电电池22、蓝牙模块24、充电适配器26和用于整个嵌入式电路的微控制器单元28。
[0106]
在一个示例中，设计了基于现场可编程门阵列(fpga)的印刷电路板(pcb)。光信号经由蓝牙以30hz的频率传输和复用，我们相信这为未来商业化的感测系统提供了坚实的基础。
[0107]
在一个实施例中，波导基板中的所有光机械部件都通过刚性铜线连接，并且布线被有意设计成波浪形以增加整体机械柔顺性。在另一个实施例中，软皮肤系统中的所有布线都可以用微流体和生化装置领域中常用的液体导电油墨(例如共晶镓-铟)代替。液体线具有有助于实现柔性结构的优点。
[0108]
本发明的软皮肤可用于移动机器人。在这种情况下，当传感器是便携式的，其信号可以通过无线通信，例如wi-fi或蓝牙，传输到远程控制单元。对于现有的需要智能感测反馈的先进机器人系统，本发明也可以外部安装。例如，工业级协作机器人需要稳健且高至亚毫米级的感测精度。此外，软皮肤基板可以作为可穿戴传感器附接，其可用作虚拟现实游戏的控制器/运动输入(例如手套式控制器)，用于检测或监测在康复/物理治疗中的患者行为和姿势，如图2a和图3a所示。
[0109]
虽然本发明已经参考其优选实施例进行了具体显示和描述；本领域技术人员应当理解，在不脱离本发明的精神和范围的情况下，可以对其中的形式和细节进行各种改变，并且这些实施例仅是对本发明的说明，其仅受所附权利要求的限制。特别地，前面的详细描述通过示例而非限制的方式示出了本发明。该描述使本领域技术人员能够制造和使用本发明，并且描述了本发明的几个实施例、改编、变体和使用方法。

技术特征：
1.一种用于多模态感测的光学软皮肤系统，包括：柔性波导基板，能够在遇到不同的变形模式时改变其光波传播；位于所述波导基板内的至少一个光源，被布置成将光传输到所述波导基板中；位于所述波导基板内的至少一个光接收器，以接收穿过所述波导基板的光并提供接收到的光的属性的数据集；以及处理器，用于通过计算模型将所述数据集解码为应变和位移中的至少一个，以确定所述波导基板的感测模态。2.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述波导基板由与所述光学软皮肤系统所使用的环境相比折射率更高的材料制成，使得其中的光根据全内反射原理被捕获在所述波导基板内。3.如权利要求2所述的用于多模态感测的光学软皮肤系统，其中所述材料是聚二甲基硅氧烷或水凝胶。4.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述计算模型是通过训练在不同感测模态下获取的多个数据集而获得的。5.如权利要求2所述的用于多模态感测的光学软皮肤系统，其中所述波导基板具有交织结构。6.如权利要求2所述的用于多模态感测的光学软皮肤系统，其中所述波导基板被涂布有外层以减少外部光对所述波导基板的影响。7.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述处理器采用机器学习方法来解码不同的感测模态。8.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述处理器采用基于有限元(fe)的数据丰富方法来扩大用于模型训练的数据集。9.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述波导基板具有非均匀成分。10.如权利要求9所述的用于多模态感测的光学软皮肤系统，其中所述波导基板由多个材料层组成以影响波传播。11.如权利要求9所述的用于多模态感测的光学软皮肤系统，其中所述非均匀成分是材料属性的周期性变化，以增强对不同感测模态的灵敏度。12.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述波导基板的自然的、未变形的形状是平坦的矩形棱柱。13.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述波导基板具有变化的厚度。14.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述波导基板中的波传播受到由波导基板变形引起的折射、反射、衍射、偏振变化的影响。15.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述至少一个光源发射不同光谱的光，包括不可见光和可见光中的至少一个。16.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述至少一个光接收器检测光强度、波长、相位或其组合。17.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中每个光接收器对由所
述至少一个光源发射的光的整个光谱敏感。18.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中每个光接收器对由至少一个光源发射的光的不同光谱敏感。19.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述至少一个光接收器对透射光的整个光谱敏感，或者所述至少一个光接收器对透射光的特定范围敏感。20.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述至少一个光源为发光二极管，以及所述至少一个光接收器为光电二极管。21.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中具有至少三个光源，所述至少三个光源是分别提供红色、绿色和蓝色光输出的发光二极管。22.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述波导基板嵌入有粒子，当透射光与所述粒子相互作用时，这些粒子使得所述透射光被反射、折射、散射、吸收或偏振。23.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述波导基板被制造成具有图案化的通道或槽以增强变形对所述透射光以及所述波导基板的机械变化和光学变化之间的映射中的关联幅度的影响。24.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中在三个自由度上实时地视觉重建和呈现所检测到的由弯曲、按压、拉伸、扭曲引起的应变和位移中的至少一个。25.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中能够在制造之前通过数值分析，即有限元(fe)分析，为每个表面定制设计参数，包括波导基板厚度、光源和光接收器的位置和数量、检测和透射光的类型以及波导基板形状。26.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中模拟环境通过基于有限元(fe)的数据丰富提高了用于模型训练的数据的数量和质量。27.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述软皮肤是便携式的并且利用无线数据传输。28.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述软皮肤被设计为由用户佩戴，例如作为其手上的手套，作为可穿戴的衣服装置。29.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述光学软皮肤系统被集成到机器人系统中，用于本体感受。30.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中所述软皮肤系统还包括用于电连接的固体线或液体线。31.如权利要求1所述的用于多模态感测的光学软皮肤系统，其中不同的感测模态包括所述波导基板的拉伸、弯曲、按压和整体三维表面形态。

技术总结
一种用于多模态感测的光学软皮肤系统，包括：柔性波导基板(10)，能够在遇到不同的变形模式时改变其光波传播；位于波导基板(10)内的至少一个光源(12)，被布置成将光传输到波导基板(10)中；位于波导基板(10)内的至少一个光接收器(14)，以接收穿过波导基板(10)的光并提供接收到的光的属性的数据集；以及处理器(20)，用于通过计算模型将数据集解码为应变和位移中的至少一个，以确定波导基板(10)的感测模态。态。态。


技术研发人员：郭嘉威 王奎 麦志轩 刘志宇 何迪朗
受保护的技术使用者：香港大学
技术研发日：2021.11.03
技术公布日：2023/7/25