利用双通道红外云图的双层印刷电路板元件识别方法与流程

1.本发明涉及印刷电路板测试技术领域，具体的说是利用双通道红外云图的双层印刷电路板元件识别方法。


背景技术：

2.印刷电路板是电子产品的实现其功能的关键部件。在电子产品使用过程中，印刷电路板会出现功能故障，原因主要为元件的制造缺陷和老化。传统的介入式检测方法中，负责维护的技术人员通过测量电路中关键位置的电压、电流等电气参数，结合电路原理，依靠经验判断印刷电路板的故障位置和类型。测试过程是在充分掌握印刷电路板原理图和设计图的基础上进行的，所需要的先验知识很多且需要耗费大量的时间和人力。随着电路集成度的提高，元件的尺寸越来越小，布局越来越密，层数也不断增加。迫切需要一种非侵入式的、更加准确和快速的多层印刷电路板故障检测方法。


技术实现要素：

3.现为了解决上述技术问题，本发明提出了利用双通道红外云图的双层印刷电路板元件识别方法。本发明所要解决的技术问题采用以下技术方案来实现：
4.利用双通道红外云图的双层印刷电路板元件识别方法，该方法包括以下步骤：
5.第一步：在印刷电路板工作状态不变的情况下，分别采集印刷电路板正反两面的空间坐标角度任意的红外云图；
6.第二步：对各层红外云图进行校正，使用投影变换将同一印刷电路板采集到的形状、方位和大小不同的两层红外云图调整至具有相同的形状、方位和大小；
7.第三步：将校正后的正反两面红外云图合成为一张双通道红外云图，并对双通道红外云图进行等分辨率栅格插值重构，得到的红外云图作为后续特征提取网络的样本；
8.第四步：将重构后的红外云图输入双通道多尺度特征金字塔模块中以获得建议框并将建议框映射到红外特征图上，通过预类别预测和预测框回归从而得到元件类型和位置信息；
9.第五步：利用元件的类型和位置信息，并结合元件的热特征，进而判断元件的状态，对被检测双层印刷电路板进行故障诊断。
10.第二步中投影变换包括以下步骤：
11.第一步：设(u,v)为红外热像仪的成像坐标，(x',y')为中心投影变换后的坐标，校正后红外云图大小为h
×
w，满足以下映射关系：
[0012][0013]
第二步：通过以下公式计算坐标的投影变换：
[0014][0015][0016]
其中，(x,y,z)为变换后的三维坐标，为仿射变换参数，(a
31a32
)为投影变换参数，(a
13 a
23
)
t
为平移变换参数，a
33
为缩放因子，在归一化条件下，取a
33
＝1。
[0017]
第三步中双通道红外云图进行等分辨率栅格插值重构包括以下步骤：
[0018]
第一步：计算目标图片与原始图片之间的缩放因子包括宽度、高度和方向；
[0019]
第二步：利用缩放因子，由目标图片像素位置反推回原始图片中的虚拟像素位置；
[0020]
第三步：由虚拟像素位置找到宽度和高度方向相邻的四个像素点；
[0021]
第四步：由四个像素点进行双线性插值计算，得出目标图像中的像素值。
[0022]
第四步中元件类型和位置信息通过以下步骤获得：
[0023]
第一步：利用基于fast rcnn网络的特征金字塔从预处理后的红外云图中，提取多尺度红外特征图；
[0024]
第二步：利用区域建议网络获取建议框；
[0025]
第三步：利用感兴趣特征匹配将建议框映射到红外特征图上，得到局部公用特征层；
[0026]
第四步：利用局部公用特征层进行类别预测和预测框回归，得到元件类型和位置信息。
[0027]
本发明的有益效果是：本发明提升利用红外云图的双层印刷电路板元件识别能力；可以解决印刷电路板上元件相互遮挡，几何尺寸较小等缺陷导致无法检测的问题；拓展了印刷电路板的范围和可检测故障的类型，提高了印刷电路板的检测水平。
附图说明
[0028]
下面结合附图和实施例对本发明进一步说明。
[0029]
图1为本发明的实施步骤示意图。
具体实施方式
[0030]
为了使本领域的技术人员更好的理解本发明的技术方案，下面将结合实施例中的附图，对本发明进行更清楚、更完整的阐述，当然所描述的实施例只是本发明的一部分而非全部，基于本实施例，本领域技术人员在不付出创造性劳动性的前提下所获得的其他的实施例，均在本发明的保护范围内。
[0031]
如图1所示，利用双通道红外云图的双层印刷电路板元件识别方法，该方法包括以下步骤：
[0032]
第一步：在印刷电路板工作状态不变的情况下，分别采集印刷电路板正反两面的空间坐标角度任意的红外云图；
[0033]
将印刷电路板稳定放置在水平面上，让其通电工作一段时间，此时，印刷电路板上
各处温度达到稳态，利用红外热成像设备采集印刷电路板的温度分布，得到正面原始红外云图；
[0034]
将印刷电路板倒置，利用红外热成像设备采集印刷电路板的温度分布，得到背面原始红外云图；
[0035]
第二步：对各层红外云图进行校正，使用投影变换将同一印刷电路板采集到的形状、方位和大小不同的两层红外云图调整至具有相同的形状、方位和大小；红外热成像设备的成像范围不仅覆盖了印刷电路板区域，也覆盖了部分印刷电路板以外区域，在对各层红外云图进行校正前，需要去除这些区域，只保留印刷电路板区域；
[0036]
印刷电路板周围环境的余温为零，而由于元件发热，印刷电路板各处均存在温升，余温不为零，因此，去除红外图像中余温为零的区域，保留下来的即为印刷电路板区域；
[0037]
将同一印刷电路板采集到的形状、方位和大小不同的两层红外云图调整至具有相同的形状、方位和大小，确保后续可以将两层红外云图正确对齐并融合分析，同时校正需要用到投影变换，但不必要进行仿射变换，校正后的结果不一定是矩形；
[0038]
第三步：将校正后的正反两面红外云图合成为一张双通道红外云图，并对双通道红外云图进行等分辨率栅格插值重构，得到的红外云图作为后续特征提取网络的样本；
[0039]
第四步：将重构后的红外云图输入双通道多尺度特征金字塔模块中以获得建议框并将建议框映射到红外特征图上，通过预类别预测和预测框回归从而得到元件类型和位置信息；
[0040]
第五步：利用元件的类型和位置信息，并结合元件的热特征，进而判断元件的状态，对被检测双层印刷电路板进行故障诊断。
[0041]
第二步中投影变换包括以下步骤：
[0042]
第一步：设(u,v)为红外热像仪的成像坐标，(x',y')为中心投影变换后的坐标，校正后红外云图大小为h
×
w，满足以下映射关系：
[0043][0044]
第二步：通过以下公式计算坐标的投影变换：
[0045][0046][0047]
其中，(x,y,z)为变换后的三维坐标，为仿射变换参数，(a
31a32
)为投影变换参数，(a
13 a
23
)
t
为平移变换参数，a
33
为缩放因子，在归一化条件下，取a
33
＝1。
[0048]
第三步中双通道红外云图进行等分辨率栅格插值重构包括以下步骤：
[0049]
第一步：计算目标图片与原始图片之间的缩放因子包括宽度、高度和方向；
[0050]
第二步：利用缩放因子，由目标图片像素位置反推回原始图片中的虚拟像素位置；
[0051]
第三步：由虚拟像素位置找到宽度和高度方向相邻的四个像素点；
[0052]
第四步：由四个像素点进行双线性插值计算，得出目标图像中的像素值。
[0053]
第四步中元件类型和位置信息通过以下步骤获得：
[0054]
第一步：利用基于fast rcnn网络的特征金字塔从预处理后的红外云图中，提取多尺度红外特征图，在实际应用中共提取三个尺度的特征图；
[0055]
第二步：利用区域建议网络获取建议框，由于多尺度特征金字塔实现了不同尺度分开识别，区域建议网络中每个特征层网格点的先验框有9个减小为3个，仅保留中等大小的3个先验框，降低网络复杂度；
[0056]
第三步：利用感兴趣特征匹配将建议框映射到红外特征图上，得到局部公用特征层；使用roialign代替roi池化，提高特征图映射到红外云图上的位置精度。roialign取消量化操作，使用双线性内插的方法获得坐标为浮点数的像素点数值，消除了候选框边界量化和量化后区域平均分割两次操作累积的位置量化误差；
[0057]
第四步：利用局部公用特征层进行类别预测和预测框回归，得到元件类型和位置信息。
[0058]
本发明方案提供的印刷电路板检测方法，依靠红外云图作为单一的信息源，可以自动从双层印刷电路板红外云图中准确、快速获取所有元件的类型和位置信息，为后续实现图像分割、特征提取和故障诊断提供充足、可靠的依据。相比于现有的自动光学检测方法，无需采集光学图像，克服了光学图像成像质量依赖成像条件的弊端，同时实现了光学不可见缺陷的检测，拓展了检测对象的范围和可检测故障的类型，提高了印刷电路板的检测水平。
[0059]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.利用双通道红外云图的双层印刷电路板元件识别方法，其特征在于：该方法包括以下步骤：第一步：在印刷电路板工作状态不变的情况下，分别采集印刷电路板正反两面的空间坐标角度任意的红外云图；第二步：对各层红外云图进行校正，使用投影变换将同一印刷电路板采集到的形状、方位和大小不同的两层红外云图调整至具有相同的形状、方位和大小；第三步：将校正后的正反两面红外云图合成为一张双通道红外云图，并对双通道红外云图进行等分辨率栅格插值重构，得到的红外云图作为后续特征提取网络的样本；第四步：将重构后的红外云图输入双通道多尺度特征金字塔模块中以获得建议框并将建议框映射到红外特征图上，通过预类别预测和预测框回归从而得到元件类型和位置信息；第五步：利用元件的类型和位置信息，并结合元件的热特征，进而判断元件的状态，对被检测双层印刷电路板进行故障诊断。2.根据权利要求1所述的利用双通道红外云图的双层印刷电路板元件识别方法，其特征在于：第二步中投影变换包括以下步骤：第一步：设(u,v)为红外热像仪的成像坐标，(x',y')为中心投影变换后的坐标，校正后红外云图大小为h
×
w，满足以下映射关系：第二步：通过以下公式计算坐标的投影变换：第二步：通过以下公式计算坐标的投影变换：其中，(x,y,z)为变换后的三维坐标，为仿射变换参数，(a
31
a
32
)为投影变换参数，(a
13 a
23
)
t
为平移变换参数，a
33
为缩放因子，在归一化条件下，取a
33
＝1。3.根据权利要求1所述的利用双通道红外云图的双层印刷电路板元件识别方法，其特征在于：第三步中双通道红外云图进行等分辨率栅格插值重构包括以下步骤：第一步：计算目标图片与原始图片之间的缩放因子包括宽度、高度和方向；第二步：利用缩放因子，由目标图片像素位置反推回原始图片中的虚拟像素位置；第三步：由虚拟像素位置找到宽度和高度方向相邻的四个像素点；第四步：由四个像素点进行双线性插值计算，得出目标图像中的像素值。4.根据权利要求1所述的利用双通道红外云图的双层印刷电路板元件识别方法，其特征在于：第四步中元件类型和位置信息通过以下步骤获得：第一步：利用基于fast rcnn网络的特征金字塔从预处理后的红外云图中，提取多尺度
红外特征图；第二步：利用区域建议网络获取建议框；第三步：利用感兴趣特征匹配将建议框映射到红外特征图上，得到局部公用特征层；第四步：利用局部公用特征层进行类别预测和预测框回归，得到元件类型和位置信息。

技术总结
本发明涉及利用双通道红外云图的双层印刷电路板元件识别方法，包括以下步骤：分别采集印刷电路板正反两面的红外云图；对各层红外云图进行校正；将校正后的正反两面红外云图合成为一张双通道红外云图；将重构后的红外云图输入双通道多尺度特征金字塔模块中从而得到元件类型和位置信息；利用元件的类型和位置信息，并结合元件的热特征，进而判断元件的状态，对被检测双层印刷电路板进行故障诊断。本发明提升利用红外云图的双层印刷电路板元件识别能力；可以解决印刷电路板上元件相互遮挡，几何尺寸较小等缺陷导致无法检测的问题；拓展了印刷电路板的范围和可检测故障的类型，提高了印刷电路板的检测水平。印刷电路板的检测水平。印刷电路板的检测水平。


技术研发人员：臧宏 许海 王章玮 刘承鑫 袁海文
受保护的技术使用者：国营芜湖机械厂
技术研发日：2023.05.30
技术公布日：2023/10/15