基于紫外线的纺织物关键点高精度检测方法及应用

1.本发明属于关键点检测领域，特别是涉及一种基于紫外线的纺织物关键点高精度检测方法及其应用。


背景技术：

2.纺织物在我们生活中随处可见，日常任务包括纺织物关键点识别并作业，科研方面包括纺织物关键点数据集的获取等等。常用的关键点获取方法为拍摄物体的图像，拍摄后人工进行关键区域的绘制标注。但是因为纺织物的高度形变、容易遮挡等性质，导致纺织物的关键点形变、关键点被遮挡，使得人工标注工作量巨大，且标注的精准度极差，不能准确描绘关键点的形状和位置信息。


技术实现要素：

3.本发明针上述问题，提供一种基于紫外线的纺织物关键点高精度检测方法，实现对高形变的纺织物进行快速、方便、高精度的关键点检测并标注，可用于深度学习的纺织物数据集的获取、关键点的识别显示。
4.本发明的目的是通过以下技术方案来实现的：基于紫外线的纺织物关键点高精度检测方法，包括如下步骤：
5.步骤s1，准备目标纺织物；
6.步骤s2，确认纺织物的关键点位置和区域，以及关键点的种类，并对不同种类的关键点区域和关键点位置涂抹上不同种类的无色荧光剂，不同种类的无色荧光剂在紫外线灯光下发出不同颜色的光线，涂抹后等待荧光剂干燥，干燥后可见光下关键点无任何可见标识；
7.步骤s3，在纺织物的上方准备紫外线灯和相机；
8.步骤s4，对纺织物进行操作，将纺织物放置成任意的形状；
9.步骤s5，打开紫外线灯，纺织物涂抹荧光剂的区域根据涂抹的荧光剂种类发出不同颜色的光，且纺织物的其他区域在紫外线下不可见，利用相机记录该状态下的rgb信息image
uv
；
10.步骤s6，根据以上得到的紫外线光下的图像信息image
uv
，利用颜色提取方法提取出关键点标签，通过该标签获得关键点的位置和形状。
11.进一步的，利用颜色提取方法提取出关键点的形状和位置的具体实现方式如下；
12.将紫外线光下的图像信息image
uv
从rgb格式转化为hsv格式image
uv-hsv
，尺寸为256*256*3；
13.迭代对image
uv-hsv
的256*256的每个像素点进行遍历，设置a
hsv-lower
为颜色下限，a
hsv-upper
为颜色上限，在颜色下限和上限范围内的每个像素点的值均设为[1,0,0]，不在范围内的每个像素点的值均设为[0,0,0]，遍历完成后取每个像素点的第一个维度得到256*256*1的图像矩阵，并命名为lable代表纺织物的关键点标签，矩阵中1值即表示该像素点是
纺织物的关键点，0值表示该像素点非纺织物的关键点。
[0014]
进一步的，随机测量image
uv
上若干个在紫外线下显色的像素点的平均值记为a＝[xr,yr,zr]，将a转化至hsv空间下的值a
hsv
，设定颜色下限a
hsv-lower
＝[a
hsv
[0]-15,100,100]，颜色上限a
hsv-upper
＝[a
hsv
[0]+15,255,255]。
[0015]
进一步的，还包括在可见光源下，利用相机拍摄当前纺织物的状态，记录下rgbd图像信息image
sun
，图像尺寸为256*256*4，图像中每个像素点表示当前图像的rgbd的值，将关键点标签和image
sun
组成纺织物数据，作为深度学习的训练数据。
[0016]
进一步的，步骤s2中定义两类关键点，包括纺织物的一侧边缘和纺织物的两个角落，纺织物的一侧边缘为长方形区域，纺织物的两个角落为两个小正方形区域。
[0017]
进一步的，随机测量image
uv
上至少10个在紫外线下显色的像素点的平均值。
[0018]
本发明还提供上述基于紫外线的纺织物关键点高精度检测方法在纺织物操控的应用，包括计算矩阵中值为1的像素位置的中点，并将该中点在图像中的坐标记为p
camera
，将p
camera
乘以相机坐标系至机器人坐标系的转换矩阵得到机器人坐标系下的作业点机器人根据接收的坐标位置p
robot
对纺织物进行操控作业。
[0019]
与现有技术相比，本发明的有益效果是：
[0020]
1.可以方便、快速地获得高形变的纺织物的关键点位置和形状，极大减少人工作业量和耗费时间；
[0021]
2.可以高精度的对任意形状的关键点位置进行记录，同时纺织物变形后也不影响关键点位置和形状的准确获取；
[0022]
3.可以识别纺织物多种不同的关键点，纺织物变形后也不影响多种关键点的获取；
[0023]
4.可以用于生成深度学习之类模型所需要的数据集，生成的数据集中包括可见光下的物体图像rgb和rgbd信息，以及利用紫外线生成的关键点的位置和形状标签，可以投入到深度学习的训练中。
附图说明
[0024]
图1为本发明中纺织物数据集获取的流程示意图：
[0025]
图2为本发明实施例颜色提取标签生成的示意图。
具体实施方式
[0026]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
[0027]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0028]
本发明的描述中，术语“关键点”可以代表一个点也可以代表任意形状的区域。
[0029]
本发明的描述中，术语“高精度”表示可以对纺织物的关键点识别达到相机的像素级精度。
[0030]
实施例1
[0031]
如附图1体现了基于紫外线的纺织物关键点高精度检测方法在深度学习中纺织物数据集获取的应用，包含以下步骤：
[0032]
步骤s1：准备需要收集数据集的目标纺织物，可以是任意的纺织柔性物体；
[0033]
步骤s2：自定义纺织物的关键点种类、位置及对应区域，如图2所示定义了两类关键点，包括一侧纺织物边缘、两个纺织物角落，一侧纺织物边缘为长方形区域，两个纺织物角落为两个小正方形区域。并对这两类不同种类的关键点区域涂抹上不同种类的无色荧光剂，不同种类的无色荧光剂在紫外线灯光下可以发出不同颜色的光线，纺织物角落涂抹红色荧光剂，纺织物的一侧边缘涂抹蓝色荧光剂。涂抹后等待荧光剂干燥，干燥后可见光下关键点无任何可见标识；
[0034]
步骤s3：在纺织物的上方准备紫外线灯和可见光源，放置相机以便记录图像信息；
[0035]
步骤s4：对桌面的纺织物进行操作，放置成任意自己需要的形状，纺织物可以任意形变；
[0036]
步骤s5：在可见光源下，用相机拍摄当前纺织物的状态，记录下rgbd图像信息image
sun
，图像尺寸为256*256*4，图像中每个像素点表示当前图像的rgbd的值，且图像中无任何关键点的标识；
[0037]
步骤s6：关闭所有可见光源，同时打开紫外线灯。纺织物涂抹荧光剂的区域根据涂抹的荧光剂种类发出不同颜色的光芒，两个角落发出红光，一侧边缘发出蓝光，且纺织物的其他区域在紫外线下不可见。记录该状态下的rgb信息image
uv
，图像尺寸为256*256*3。而后关闭紫外线灯，打开可见光源；
[0038]
步骤s7：随机测量image
uv
上10个红色像素点的平均值记为a＝[xr,yr,zr],10个蓝色像素点的平均值记为b＝[xb,yb,zb]，将a和b分别转化至hsv空间下的值a
hsv
、b
hsv
。设定hsv空间的红色和蓝色的上下限，分别为红色下限a
hsv-lower
＝[a
hsv
[0]-15,100,100]，红色上限a
hsv-upper
＝[a
hsv
[0]+15,255,255]，蓝色下限b
hsv-lower
＝[b
hsv
[0]-15,100,100]，蓝色上限b
hsv-upper
＝[b
hsv
[0]+15,255,255]，以上值取得后，后续不进行更新；
[0039]
步骤s8，根据以上得到的紫外线光下的图像信息image
uv
和颜色上下限，提取出关键点的形状和位置；
[0040]
步骤s8.1：将紫外线光下的图像信息image
uv
从rgb格式转化为hsv格式image
uv-hsv
，尺寸为256*256*3；
[0041]
步骤s8.2：迭代对image
uv-hsv
的256*256的每个像素点进行遍历，以a
hsv-lower
为颜色下限，a
hsv-upper
为上限。在范围的每个像素点的值均设为[1,0,0]，不在范围的每个像素点的值均设为[0,0,0]。遍历完成后取每个像素点的第一个维度得到256*256*1的图像矩阵，并命名为lable1代表纺织物的两个角落，矩阵lable1中1值即表示该点是纺织物的两个边角，0值表示非纺织物两个边角；
[0042]
步骤s8.3：迭代对image
uv-hsv
的256*256的每个像素点进行遍历，以b
hsv-lower
为颜色下限，b
hsv-upper
为上限。在范围的每个像素点的值均设为[1,0,0]，不在范围的每个像素点的值均设为[0,0,0]。遍历完成后取每个像素点的第一个维度得到256*256*1的图像矩阵，并命名为lable2代表纺织物的一侧边缘，矩阵lable2中1值即表示该点是纺织物的一侧边缘，0值表示非纺织物一侧边缘；
[0043]
步骤s8.4：将lable1、lable2和可见光源下的纺织物信息image
sun
，组成一组纺织物数据；
[0044]
步骤s9：重复以上s4-s8的步骤直到生成足够的数据集。
[0045]
步骤s10：该数据集可用于训练深度学习模型，对任意形状的纺织物进行关键点识别。训练过程中该数据集可实现对模型使用rgb或者rgbd或者depth图像进行训练，数据集中标签即为每个图像的lable1、lable2。
[0046]
实施例2
[0047]
该实施案例体现了基于紫外线的纺织物关键点高精度检测方法在纺织物识别操控的应用，包含以下步骤：
[0048]
步骤s1：准备需要操控的目标纺织物，可以是任意的纺织柔性物体；
[0049]
步骤s2：确认纺织物的关键点种类，和对应的位置和区域。并对不同种类的关键点区域涂抹上不同种类的无色荧光剂，不同种类的无色荧光剂在紫外线灯光下可以发出不同颜色的光线。涂抹后等待荧光剂干燥，干燥后可见光下关键点无任何标识；
[0050]
步骤s3：在纺织物的周围准备可见光源、紫外线灯、相机，同时准备操控纺织物的设备，设备可以是机器人；
[0051]
步骤s4：测量各不同荧光剂在紫外线下颜色的平均hsv值a
hsv
、b
hsv
、c
hsv
，并人工设定上下限a
hsv-upper
、a
hsv-lower
、b
hsv-upper
、b
hsv-lower
、c
hsv-upper
、c
hsv-lower
；
[0052]
步骤s5：当需要对纺织物进行作业时，打开紫外线灯，关闭可见光源，纺织物各关键点发出不同颜色的荧光，相机记录当前画面image
uv
，尺寸为256*256*3；
[0053]
步骤s6：对当前记录的紫外线光源下的画面进行图像处理从rgb转化为hsv image
uv-hsv
；
[0054]
步骤s7：迭代对image
uv-hsv
的256*256的每个像素点进行遍历，以a
hsv-lower
为颜色下限，a
hsv-upper
为上限，在范围的每个像素点的值均设为[1,0,0]，不在范围的每个像素点的值均设为[0,0,0]，遍历完成后取每个像素点的第一个维度得到256*256*1的图像矩阵，计算矩阵中值为1的像素位置的中点，并将该中点在图像中的坐标记为p
camera
。
[0055]
步骤s8：将p
camera
乘以相机坐标系至机器人坐标系的转换矩阵得到机器人坐标系下的作业点
[0056]
步骤s9：机器人根据接收的坐标位置p
robot
，进行作业；
[0057]
步骤s10：按照需要对其他关键点执行s5-s9的步骤。
[0058]
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

技术特征：
1.基于紫外线的纺织物关键点高精度检测方法，其特征在于，包括如下步骤：步骤s1，准备目标纺织物；步骤s2，确认纺织物的关键点位置和区域，以及关键点的种类，并对不同种类的关键点区域和关键点位置涂抹上不同种类的无色荧光剂，不同种类的无色荧光剂在紫外线灯光下发出不同颜色的光线，涂抹后等待荧光剂干燥，干燥后可见光下关键点无任何可见标识；步骤s3，在纺织物的上方准备紫外线灯和相机；步骤s4，对纺织物进行操作，将纺织物放置成任意的形状；步骤s5，打开紫外线灯，纺织物涂抹荧光剂的区域根据涂抹的荧光剂种类发出不同颜色的光，且纺织物的其他区域在紫外线下不可见，利用相机记录该状态下的rgb信息image
uv
；步骤s6，根据以上得到的紫外线光下的图像信息image
uv
，利用颜色提取方法提取出关键点标签，通过该标签获得关键点的位置和形状。2.如权利要求1所述的基于紫外线的纺织物关键点高精度检测方法，其特征在于：利用颜色提取方法提取出关键点的形状和位置的具体实现方式如下；将紫外线光下的图像信息image
uv
从rgb格式转化为hsv格式image
uv-hsv
，尺寸为256*256*3；迭代对image
uv-hsv
的256*256的每个像素点进行遍历，设置a
hsv-lower
为颜色下限，a
hsv-upper
为颜色上限，在颜色下限和上限范围内的每个像素点的值均设为[1,0,0]，不在范围内的每个像素点的值均设为[0,0,0]，遍历完成后取每个像素点的第一个维度得到256*256*1的图像矩阵，并命名为lable代表纺织物的关键点标签，矩阵中1值即表示该像素点是纺织物的关键点，0值表示该像素点非纺织物的关键点。3.如权利要求2所述的基于紫外线的纺织物关键点高精度检测方法，其特征在于：随机测量image
uv
上若干个在紫外线下显色的像素点的平均值记为a＝[x
r
,y
r
,z
r
]，将a转化至hsv空间下的值a
hsv
，设定颜色下限a
hsv-lower
＝[a
hsv
[0]-15,100,100]，颜色上限a
hsv-upper
＝[a
hsv
[0]+15,255,255]。4.如权利要求2所述的基于紫外线的纺织物关键点高精度检测方法，其特征在于：还包括在可见光源下，利用相机拍摄当前纺织物的状态，记录下rgbd图像信息image
sun
，图像尺寸为256*256*4，图像中每个像素点表示当前图像的rgbd的值，将关键点标签和image
sun
组成纺织物数据，作为深度学习的训练数据。5.如权利要求1所述的基于紫外线的纺织物关键点高精度检测方法，其特征在于：步骤s2中定义两类关键点，包括纺织物的一侧边缘和纺织物的两个角落，纺织物的一侧边缘为长方形区域，纺织物的两个角落为两个小正方形区域。6.如权利要求3所述的基于紫外线的纺织物关键点高精度检测方法，其特征在于：随机测量image
uv
上至少10个在紫外线下显色的像素点的平均值。7.如权利要求2所述的基于紫外线的纺织物关键点高精度检测方法在纺织物操控的应用，其特征在于：还包括计算矩阵中值为1的像素位置的中点，并将该中点在图像中的坐标记为p
camera
，将p
camera
乘以相机坐标系至机器人坐标系的转换矩阵得到机器人坐标系下的作业点机器人根据接收的坐标位置p
robot
对纺织物进行
操控作业。

技术总结
本发明提供基于紫外线的纺织物关键点高精度检测方法及应用，通过对不同种类的关键点区域和关键点位置涂抹上不同种类的无色荧光剂，不同种类的无色荧光剂在紫外线灯光下发出不同颜色的光线，涂抹后等待荧光剂干燥，干燥后可见光下关键点无任何可见标识，从而实现对高形变的纺织物进行快速、方便、高精度的关键点检测并标注，可用于深度学习的纺织物数据集的获取、关键点的识别显示。关键点的识别显示。关键点的识别显示。


技术研发人员：何儒汉 顾宁权
受保护的技术使用者：武汉纺织大学
技术研发日：2023.05.29
技术公布日：2023/10/11