基于计算机视觉的快递条码图像智能增强方法及系统与流程

1.本发明涉及图像数据处理技术领域，具体涉及基于计算机视觉的快递条码图像智能增强方法及系统。


背景技术：

2.在快递行业中，快递条码相对于一个快递的身份证，通过扫描每个快递上的条码能够实现对快递的追踪，所以通常每个快递上的快递单都存在用于检测快递的快递条码。快递单通常贴在快递表面，在快递运输过程中可能由于运输环境等外界因素的影响导致快递条码出现脏污破损，影响对快递条码信息的检测。所以在快递条码上存在脏污或局部破损时，通常需要对快递条码图像进行图像增强，实现对快递条码信息的复原。
3.现有技术针对快递条码区域的图像数据特征，通常通过形态学处理中的开运算实现对快递条码图像增强，进一步实现对快递条码信息的复原。但是形态学处理中的开运算仅在快递条码表面缺陷较小时图像增强效果好，在快递条码表面出现面积较大的脏污或破损时，仅采用开运算对快递条码图像进行处理对快递条码信息的复原效果较差。即在快递条码表面出现区域较大的脏污或破损时，现有技术对快递条码图像的图像增强效果较差，影响对快递条码信息的检测。


技术实现要素：

4.为了解决在快递条码表面出现区域较大的脏污或破损时，对快递条码图像的图像增强效果较差的技术问题，本发明的目的在于提供一种基于计算机视觉的快递条码图像智能增强方法及系统，所采用的技术方案具体如下：本发明提出了一种基于计算机视觉的快递条码图像智能增强方法，所述方法包括：获取快递条码图像，对所述快递条码图像通过图像分割得到快递条码区域；根据所述快递条码区域中像素点的灰度变化特征和位置分布特征得到每个条码对应的直线段和整体条码方向；根据所述直线段得到包含所有条码对应的直线段的外接条码区域图像；在所述外接条码区域图像中通过与所述整体条码方向垂直的直线遍历外接条码区域图像，得到至少两条遍历直线；根据每条遍历直线上像素点的灰度值变化特征，得到每个条码在每条遍历直线中的匹配条码宽度；根据每个条码在每条遍历直线上像素点的灰度值分布特征和所述匹配条码宽度的数值分布特征，得到每个条码对应的每个匹配条码宽度的宽度可信度；计算每个条码对应每个匹配条码宽度与所有标准条码宽度之间的最小宽度差异，根据所述最小宽度差异和所述宽度可信度，得到每个条码对应每个匹配条码宽度的真实宽度可能性，所述最小宽度差异与所述真实宽度可能性呈负相关，所述宽度可信度与所述真实宽度可能性呈正相关；根据所述真实宽度可能性得到快递条码增强结果，根据快递条码增强结果实现对快递条码图像智能增强。
5.进一步地，所述根据所述快递条码区域中像素点的灰度变化特征和位置分布特征得到每个条码对应的直线段和整体条码方向包括：获取快递条码区域灰度化后的快递条码区域灰度图像，对所述快递条码区域灰度图像进行边缘检测，得到快递条码边缘图像；通过霍夫直线检测算法将所述快递条码边缘图像映射到极坐标对应的霍夫空间中，得到每个霍夫坐标对应的投票值；计算每个角度值下所有霍夫坐标的投票值累加和，以所述角度值作为自变量，以投票值累加和作为因变量，构建投票值累加曲线；对所述投票值累加曲线采用峰值点检测算法，得到所述投票值累加曲线的峰值点，在所述投票值累加曲线的峰值点中，将最大峰值点的角度值对应的方向作为整体条码方向；以霍夫空间对应极坐标距离从小到大为顺序，对整体条码方向对应角度值的所有投票值进行曲线拟合得到投票值变化曲线，对所述投票值变化曲线采用峰值点检测算法，得到至少两个投票值峰值点；对所述投票值峰值点通过霍夫空间函数得到至少两条直线段。
6.进一步地，所述匹配条码宽度的获取方法包括：沿着每条遍历直线的延伸方向，根据每条遍历直线上像素点的灰度值进行曲线拟合，得到每条遍历直线对应的灰度值变化曲线；对所述灰度值变化曲线通过峰值点检测算法，得到每条灰度值变化曲线对应的波谷点，获取每个条码对应的直线段在所述灰度值变化曲线中的位置，将每个条码对应直线段两侧波谷点对应的像素点，作为每个条码对应的匹配像素点，将每个条码对应匹配像素点之间的距离，作为每个条码在每条遍历直线中的匹配条码宽度。
7.进一步地，所述宽度可信度的获取方法包括：任选一个条码作为目标条码，任选一条遍历直线作为目标遍历直线，将目标条码在目标遍历直线中的匹配条码宽度作为目标匹配条码宽度，在目标条码对应的所有匹配条码宽度中，将目标匹配条码宽度的数值的出现次数与遍历直线数量的比值，作为目标匹配条码宽度的数值分布特征值；将每个条码在每条遍历直线中匹配条码宽度上对应的像素点，作为每个条码在每条遍历直线中的宽度像素点，将目标遍历直线中所有宽度像素点的灰度值均值，作为目标整体灰度特征值，将目标条码在目标遍历直线中对应的所有宽度像素点的灰度值均值，作为目标条码灰度特征值；将所述目标条码灰度特征值与所述整体灰度特征值之间的差异，作为目标匹配条码宽度的灰度值分布特征值；根据所述数值分布特征值和所述灰度值分布特征值，得到目标匹配条码宽度的宽度可信度；所述宽度可信度与所述数值分布特征值呈正相关，所述宽度可信度与所述灰度值分布特征值呈负相关。
8.进一步地，所述最小宽度差异的获取方法包括：获取与所述快递条码图像维度相同情况下的所有标准条码，计算每种标准条码与每个条码对应每个匹配条码宽度之间的宽度差异，将每个条码对应的宽度差异最小值，作为每个条码对应的最小宽度差异。
9.进一步地，所述根据所述真实宽度可能性得到快递条码增强结果包括：将每个条码对应最高的真实宽度可能性的匹配条码宽度，作为每个条码的第一条
码宽度；在所有第一条码宽度中，将对应真实宽度可能性最小的条码作为待变换条码；将根据每个条码的第一条码宽度得到的整体条码，作为第一整体条码；将第一整体条码的编码信息解码后的快递信息，作为第一快递信息；将所述第一快递信息与快递条码图像中的文字信息进行字符匹配得到的匹配度作为第一匹配度，当所述第一匹配度大于或等于预设匹配阈值时，将所述第一整体条码作为快递条码增强结果；当所述第一匹配度小于预设匹配阈值时，将所述待变换条码对应第二高的真实宽度可能性的匹配条码宽度，作为待变换条码的第二条码宽度；将根据待变换条码的第二条码宽度和其余每个条码的第一条码宽度得到的整体条码，作为第二整体条码；将第二整体条码的编码信息解码后的快递信息，作为第二快递信息；将所述第二快递信息与快递条码图像中的文字信息进行字符匹配得到对应的匹配度作为第二匹配度，当所述第二匹配度大于或等于预设匹配阈值时，将所述第二整体条码作为快递条码增强结果；当所述第二匹配度小于预设匹配阈值时，将所述待变换条码对应第三高的真实宽度可能性的匹配条码宽度，作为待变换条码的第三条码宽度继续进行迭代，直至对应的匹配度大于预设匹配阈值或达到预设迭代次数时迭代停止，将迭代停止时对应的整体条码作为最终整体条码，将最终整体条码对应的匹配度作为最终匹配度；当所述最终匹配度小于预设匹配阈值时，认为快递条码图像无法增强，将对应的第一整体条码作为快递条码增强结果，并发出警告；当所述最终匹配度大于或等于预设匹配阈值时，将所述最终整体条码作为快递条码增强结果。
10.进一步地，所述快递条码区域的获取方法包括：将快递条码图像输入到训练好的语义分割网络中，输出对应的快递条码区域。
11.进一步地，所述外接条码区域图像的获取方法包括：通过外接矩算法获取所有直线段对应区域的外接矩包围框，将所述外接矩包围框对应的区域作为外接条码区域图像，所述外接矩包围框中包含所有的直线段。
12.本发明还提出了一种基于计算机视觉的快递条码图像智能增强系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现任意一项一种基于计算机视觉的快递条码图像智能增强方法的步骤。
13.本发明具有如下有益效果：现有技术对快递条码的检测主要依据是条码宽度，即条形码中单个条码的粗细，在条码区域出现脏污或局部破损时，条码的宽度信息被破坏，从而影响条码信息。所以对快递条码图像增强的目的是复原被破坏条码的宽度信息。考虑到条码区域出现脏污或局部破损时，单个条码被破坏的宽度信息通常是一小部分，所以本发明实施例在获取整体条码方向的基础上，获取表征条码宽度信息的匹配条码宽度，对每个匹配条码宽度进行可信度计算，得到每个条码最可信的宽度值，使得快递条码信息更加准确。进一步结合每个匹配条码宽度与标准条码宽度之间的差异，得到每个匹配条码宽度的真实宽度可能性，通过真实宽度可能性使得快递条码增强结果中的宽度信息更加准确，进一步提高了对快递条码图像的图像增强效果，使得对快递条码信息的检测准确度更高。综上所述，本发明根据真实宽度可能性得到的快递条码增强结果，对快递条码图像的图像增强效果更好。
v3神经网络。由具有相关经验人员对快递条码图像进行采集和标注，将快递条码图像中属于条码区域的像素点标记为1，其他区域像素点标记为0，进一步通过独热编码对所有标记进行编码，得到用于神经网络训练的训练集。进一步将快递条码图像输入到通过训练集训练完成的yolo神经网络，输入快递条码区域。需要说明的是，实施者可根据具体实施环境选用yolo神经网络外的其他语义分割网络，也可根据具体实施环境通过其他方法获取用于神经网络训练的训练集；且第三代yolo神经网络以及独热编码为本领域技术人员所熟知的现有技术，在此不做进一步限定和赘述。
24.步骤s2：根据快递条码区域中像素点的灰度变化特征和位置分布特征得到每个条码对应的直线段和整体条码方向；根据直线段得到包含所有条码对应的直线段的外接条码区域图像；在外接条码区域图像中通过与整体条码方向垂直的直线遍历外接条码区域图像，得到至少两条遍历直线；根据每条遍历直线上像素点的灰度值变化特征，得到每个条码在每条遍历直线中的匹配条码宽度。
25.由于快递条码检测的主要依据是条码宽度，即条形码中单个条码的粗细，在条码区域出现脏污或局部破损时，条码的宽度信息被破坏，所以为了提高对快递条码检测的准确性，需要将每个条码的宽度信息恢复到被破坏前，或者接近被破坏前。考虑到本发明实施例是基于计算机视觉实现对快递条码图像的智能增强，即需要从计算机或机器的角度出发对快递条码图像进行分析，计算机或机器无法通俗的理解快递条码宽度信息的定义，因此需要对快递条码区域进行进一步处理，获得计算机或机器能够理解的快递条码宽度信息。
26.对计算机或机器而言，快递条码区域仅为一个具有灰度值特征的图像，而每个条码的宽度信息可以理解为在与整体条码方向垂直的直线上，灰度值变化较小的像素点数量，而且为了能够使得像素点数量与每个条码进行对应，需要获取每个条码的位置。所以本发明实施例根据快递条码区域中像素点的灰度变化特征和位置分布特征得到每个条码对应的直线段和整体条码方向。通过直线段确定每个条码对应的位置，通过获取整体条码方向以方便后续获取每个条码的宽度信息。
27.优选地，根据快递条码区域中像素点的灰度变化特征和位置分布特征得到每个条码对应的直线段和整体条码方向包括：获取快递条码区域灰度化后的快递条码区域灰度图像，对快递条码区域灰度图像进行边缘检测，得到快递条码边缘图像。正常的快递条码区域通常只存在黑色和白色两种颜色，因此快递条码区域对应的灰度图像中，每个条码对应的区域和非条码区域之间的灰度值差异极大，并且通常快递条码图出现的脏污或者破损时，对应的灰度信息同样会发生变化，因此可根据快递条码区域的灰度变化特征进行边缘检测，得到快递条码边缘图像，进一步根据快递条码边缘图像进行分析。在本发明实施例中，边缘检测算法采用canny边缘检测算法，需要说明的是，实施者可根据具体实施环境采用canny边缘算法以外的其他边缘检测算法，且canny边缘检测算法为本领域技术人员所熟知的现有技术，在此不做进一步限定和赘述。
28.通过霍夫直线检测算法将快递条码边缘图像映射到极坐标对应的霍夫空间中，得到每个霍夫坐标对应的投票值。考虑到本发明实施例是在每个条码信息的基础上对条码宽度信息进行复原，因此当某个条码的宽度特征被完全覆盖或大部分均被覆盖时，无法实现对条码宽度信息的复原，即本发明实施例无法检测每个条码宽度信息被严重破坏的区域。
所以本发明实施例所能够处理的条码区域，并不是所有的宽度信息均被破坏；结合正常条码区域的特征，即每个条码对应一个黑色的矩形连通域，因此可在边缘图像的基础上根据矩形的边缘呈直线的特征，通过霍夫直线检测对快递条边缘图像进行处理。需要说明的是，霍夫空间、投票值均为霍夫直线检测中的技术名词，且霍夫直线检测为本领域技术人员所熟知的现有技术，在此不做进一步限定和赘述。
29.计算每个角度值下所有霍夫坐标的投票值累加和，以角度值作为自变量，以投票值累加和作为因变量，构建投票值累加曲线；对投票值累加曲线采用峰值点检测算法，得到投票值累加曲线的峰值点，在投票值累加曲线的峰值点中，将最大峰值点的角度值对应的方向作为整体条码方向。考虑到条形码的形态特征，即快递条码区域中各个条码对应的长度边长之间平行，且可检测的快递条码区域中各个条码的长度边长大部分都没有被破坏，因此对应的霍夫空间中，各个条码对应长度边长方向的角度值对应的投票值累加和，通常最大，即投票值累加曲线中最大峰值点对应的方向为各个条码对应长度边长方向，即整体条码方向。需要说明的是，峰值点检测算法为本领域技术人员所熟知的现有技术，在此以及后续分析中不做进一步赘述。
30.以霍夫空间对应极坐标距离从小到大为顺序，对整体条码方向对应角度值的所有投票值进行曲线拟合得到投票值变化曲线，对投票值变化曲线采用峰值点检测算法，得到至少两个投票值峰值点；对投票值峰值点通过霍夫空间函数得到至少两条直线段。由于表征快递信息的快递条码区域通常存在多个条码，且条码区域与背景区域之间存在较大的灰度差异，以及遍历直线穿过每个条码，所以对投票值变化曲线通过峰值点检测算法，能够得到至少两个投票值峰值点，且通常情况下每个条码对应两个投票值峰值点。需要说明的是，实施者在以霍夫空间对应极坐标距离从小到大为顺序外，还可以根据具体实施环境以霍夫空间对应极坐标距离从大到小为顺序，在此不做进一步赘述。
31.霍夫空间对应极坐标距离即快递条码区域对应的直角空间中原点到每条线段的距离，而角度值能够确定每条线段对应直线的斜率，因此可通过投票值变化曲线确定每条直线的位置，又考虑到快递条码图出现的脏污或者破损时可能会产生整体条码方向对应角度值的直线段，导致对每个条码直线段的获取产生影响，所以本发明实施例根据每个条码对应直线段较长的特征，通过获取投票值变化曲线中的峰值点，进一步将该峰值点通过霍夫空间函数得到每个条码对应的直线段。由于每个正常条码对应的区域为矩形区域，所以本发明实施例中每个条码对应两条检测出的直线段。在本发明实施例中，通过matlab中的霍夫空间函数获取每个峰值点在快递条码边缘图像中的直线段，将快递条码边缘图像中的直线段映射到快递条码区域中即可得到本发明实施例所需要的直线段。需要说明的是，matlab中的霍夫空间函数为本领域技术人员所熟知的现有技术，在此不做进一步限定和赘述。
32.至此，得到每个条码对应的直线段和整体条码方向，对于正常的快递条码而言，其中每个条码对应的都是标准矩形区域，在不同长度位置对应的宽度处处相等，即宽度分布非常均匀，所以能够通过一条与整体条码方向垂直的直线穿过所有条码，并且在该直线上与每个条码重合的长度即为每个条码的条码宽度。而本发明实施例中快递条码区域由于可能受到脏污或破损，导致每个条码在对应连通域中不同长度位置对应的宽度不同，因此仅通过一条与整体条码方向垂直的直线，对应的重合长度不能表征每个条码的条码宽度，所
以需要对每个条码的所有重合长度进行分析，将每个长度位置对应的与整体条码方向垂直的直线穿过所有条码，并对每个重合长度进行分析。为了使得每个条码所得到的条码宽度信息更加准确，需要保证每条与整体条码方向垂直的直线都能穿过所有条码，所以本发明实施例根据直线段得到包含所有条码对应的直线段的外接条码区域图像。
33.优选地，外接条码区域图像的获取方法包括：通过外接矩算法获取所有直线段对应区域的外接矩包围框，将外接矩包围框对应的区域作为外接条码区域图像，外接矩包围框中包含所有的直线段。在本发明实施例中，外接矩算法采用点集最小外接矩算法。由于直线段能够表征每个条码的位置，且正常情况下所有条码组成的区域为矩形区域，所以通过点集最小外接矩算法所获取的外接条码区域图像的边界与整体条码的边界重合，方便后续根据遍历直线分析每个条码的宽度特征，且避免了条码区域外其他区域的干扰。需要说明的是，实施者可根据具体实施环境采用点集最小外接矩算法外的其他外接矩算法获取外接条码区域图像，且点集最小外接矩算法为本领域技术人员所熟知的现有技术，在此不做进一步限定和赘述。
34.考虑当条码区域存在脏污或破损时，对应的条码宽度不尽相同，所以为了获取准确的条码宽度信息，需要对每个条码的所有条码宽度进行对比分析，因此首先需要获取每个条码对应的所有宽度信息。由于正常情况下每个条码对应矩形区域的较长边长互相平行，且整体条码对应的区域为矩形区域，所以本发明实施例在获取外接条码区域图像的基础上，在外接条码区域图像中通过与整体条码方向垂直的直线遍历外接条码区域图像，得到至少两条遍历直线。通过遍历直线穿过每个条码，使得遍历直线与每个条码重合的线段长度能够对每个条码的宽度进行表征。
35.在获取遍历直线后，可通过遍历直线与每个条码重合的线段长度表征宽度，考虑到每个条码对应的区域通常为黑色区域，而相邻条码之间对应的背景区域通常为白色，因此在每个条码对应的区域边缘，灰度值变化较大，且每个条码对应的区域内，无明显的灰度值变化，因此可对遍历直线上像素点的灰度值变化进行分析，获取每个条码对应的条码宽度。本发明实施例根据每条遍历直线上像素点的灰度值变化特征，得到每个条码在每条遍历直线中的匹配条码宽度。匹配条码宽度即通过每条遍历直线在每个条码中的宽度信息。
36.优选地，匹配条码宽度的获取方法包括：沿着每条遍历直线的延伸方向，根据每条遍历直线上像素点的灰度值进行曲线拟合，得到每条遍历直线对应的灰度值变化曲线。由于每个条码对应的区域边缘上灰度值变化较大，而对应的区域内部灰度值基本不发生变化，所以通过灰度值变化区域的波峰波谷分布情况，能够明显的观测到每个条码的位置。
37.对灰度值变化曲线通过峰值点检测算法，得到每条灰度值变化曲线对应的波谷点，获取每个条码对应的直线段在灰度值变化曲线中的位置，将每个条码对应直线段两侧波谷点对应的像素点，作为每个条码对应的匹配像素点，将每个条码对应匹配像素点之间的距离，作为每个条码在每条遍历直线中的匹配条码宽度。由于每个条码对应的区域呈黑色，而背景区域呈白色，所以在每条遍历直线上，对应条码区域的灰度值较小，对应背景区域的灰度值较大，又因为发生较大灰度值变化的区域通常在每个条码区域的两侧，所以可进一步结合直线段的位置，根据波谷点即匹配像素点之间的距离表征对应的每个条码在每条遍历直线上对应的宽度信息。
38.步骤s3：根据每个条码在每条遍历直线上像素点的灰度值分布特征和匹配条码宽度的数值分布特征，得到每个条码对应的每个匹配条码宽度的宽度可信度；计算每个条码对应每个匹配条码宽度与所有标准条码宽度之间的最小宽度差异，根据最小宽度差异和宽度可信度，得到每个条码对应每个匹配条码宽度的真实宽度可能性，最小宽度差异与真实宽度可能性呈负相关，宽度可信度与真实宽度可能性呈正相关。
39.至此，得到每个条码在每条遍历直线上对应的匹配条码宽度，由于脏污或破损等外界因素影响，每个条码在不同遍历直线上对应的匹配条码宽度可能不尽相同，因此需要对每个条码对应的所有匹配条码宽度进行分析，选取可信度最高的匹配条码宽度作为每个条码对应的宽度信息。考虑到每个条码在受到脏污或破损影响时，对应的脏污区域或破损区域并不规则，使得与原条码宽度存在出入的匹配条码宽度较为随机，而没有受到脏污或破损影响的匹配条码宽度均相同，所以可对每个匹配条码宽度的数值进行分析表征对应的可信度。
40.又考虑到对于图像增强后的能够检测到信息的快递条码而言，其对应的脏污或破损对应的区域相对于外接条码区域图像而言通常较小，所以在同一条遍历直线上，对应被脏污或破损影响的条码占少数，对应的受到脏污或破损影响的条码在同一条遍历直线上像素点的灰度值与整体灰度值存在明显差异，因此可对每条遍历直线上像素点的灰度值分布特征进行分析，表征每个匹配条码宽度的可信度。所以本发明实施例根据每个条码在每条遍历直线上像素点的灰度值分布特征和匹配条码宽度的数值分布特征，得到每个条码对应的每个匹配条码宽度的宽度可信度。
41.优选地，宽度可信度的获取方法包括：任选一个条码作为目标条码，任选一条遍历直线作为目标遍历直线，将目标条码在目标遍历直线中的匹配条码宽度作为目标匹配条码宽度，在目标条码对应的所有匹配条码宽度中，将目标匹配条码宽度的数值的出现次数与遍历直线数量的比值，作为目标匹配条码宽度的数值分布特征值。由于受到脏污或破损影响的区域对应的匹配条码宽度的数值通常是随机的，而没有受到影响的匹配条码宽度对应的数值一致，因此对于任意一个条码而言，其对应匹配条码宽度的数值占比越大，对应的可信度越大，即数值分布特征值越大。
42.将每个条码在每条遍历直线中匹配条码宽度上对应的像素点，作为每个条码在每条遍历直线中的宽度像素点，将目标遍历直线中所有宽度像素点的灰度值均值，作为目标整体灰度特征值，将目标条码在目标遍历直线中对应的所有宽度像素点的灰度值均值，作为目标条码灰度特征值；将目标条码灰度特征值与整体灰度特征值之间的差异，作为目标匹配条码宽度的灰度值分布特征值。
43.当条码区域受到脏污或破损影响时，对应条码中受到脏污或破损影响区域中像素点的灰度值通常会发生变化，并且在外接条码区域图像中受到脏污或破损影响区域通常较小，且随机分布，因此在每条遍历直线上，其对应的整体像素点的灰度值相对于正常情况下变化不大，所以本发明实施例通过计算所有宽度像素点灰度值均值的方式计算目标整体灰度值特征值，通过目标整体灰度值特征值表征对应遍历直线上的整体像素点灰度特征。而同一条遍历直线上受到影响的条码对应的局部像素点的灰度值与整体像素点的灰度值存在明显的差异，所以通过每个条码在目标遍历直线中宽度像素点的灰度值均值即条码灰度特征值与整体灰度值特征值进行对比，根据每个条码灰度特征值与整体灰度值特征值之间
的差异，表征每个条码在灰度分布上的可信度，即灰度分布特征值。对应的目标条码灰度特征值与整体灰度值特征值之间的差异越大，说明目标条码在目标遍历直线中对应的区域受到脏污或破损的影响越大，对应的目标匹配条码宽度的可信度越低，对应的目标匹配条码宽度的可信度越低。
44.根据数值分布特征值和灰度值分布特征值，得到目标匹配条码宽度的宽度可信度；宽度可信度与数值分布特征值呈正相关，宽度可信度与灰度值分布特征值呈负相关。由于目标匹配条码宽度的数值分布特征值越大，灰度值分布特征值越小时，对应的宽度可信度越大，因此宽度可信度与数值分布特征值呈正相关，宽度可信度与灰度值分布特征值呈负相关。在本发明实施例中，将目标匹配条码宽度对应灰度值分布特征值的负相关映射值与对应的数值分布特征值的乘积，作为目标匹配条码宽度的宽度可信度。需要说明的是，实施者可根据具体实施环境通过其他方法根据灰度值分布特征值和数值分布特征值得到宽度可信度，但是需要保证宽度可信度与数值分布特征值呈正相关，宽度可信度与灰度值分布特征值呈负相关，在此不做进一步赘述。
45.在本发明实施例中，将第l个条码在第m条遍历直线上的匹配条码宽度作为目标匹配条码宽度，目标匹配条码宽度的宽度可信度的获取方法在公式上表现为：其中，为第l个条码在第m条遍历直线上的匹配条码宽度对应的宽度可信度，为第l个条码在第m条遍历直线上的匹配条码宽度对应的数值分布特征值，为第l个条码在第m条遍历直线上的匹配条码宽度对应的灰度值分布特征值，exp( )为以自然常数e为底的指数函数。进一步根据目标匹配条码宽度的宽度可信度的获取方法，得到其余所有匹配条码宽度的宽度可信度。
46.此外，实施者可通过其他形式的公式获取目标匹配条码宽度的宽度可信度，例如：其中，a为预设第一调节参数，用于防止分母为0，在本发明实施例中，预设第一调节参数设置为0.01；其余参数含义与本发明实施例中目标匹配条码宽度的宽度可信度的获取方法对应公式中参数的含义相同，在此不做进一步赘述。
47.至此，得到每个条码对应的宽度可信度，但是快递条码区域中的脏污或破损是随机出现的，且可能出现其他的干扰信息，导致每个条码对应可信度最高的匹配条码宽度的宽度信息仍是不准确的，所以需要在宽度可信度的基础上进行进一步分析。考虑到在正常的条码中，只有特定的宽度才能表征条码的编码信息，当最高宽度可信度对应的宽度与能够表征条码编码信息的宽度差异越大，说明对应的宽度信息越不可信，因此本发明实施例计算每个条码对应每个匹配条码宽度与所有标准条码宽度之间的最小宽度差异。标准条码宽度即能够表征条码的编码信息的宽度。
48.但是当标准条码宽度与本发明实施例中的匹配条码宽度所处整体条码的维度不同时，即对应的快递条码区域图像大小不同时，无法通过匹配条码宽度与标准条码宽度进行对比。所以为了使得标准条码宽度的维度与本发明实施例中的维度相同，本发明实施例对标准条码宽度对应的标准条码进行拉伸。由于同一维度下条码的长度均相同，所以对所有标准条码的长度进行调整，使得与本发明实施例中每个条码的长度即外接条码区域图像的宽度保持一致，将所有标准条码的宽度按对应长度拉伸的比例对应调整，得到能够与匹
配条码宽度进行对比分析的标准条码宽度。此外实施者也可采用其他方法获取标准条码宽度，例如：考虑到快递单为矩形，可通过获取本发明实施例对应的快递条码图像的快递单对应矩形四个角点对应的坐标信息，通过透视变换矩阵计算方法，计算本发明实施例对应的快递条码图像的快递单与存在标准条码的标准快递单之间的透视变换矩阵，将透视变换矩阵与标准快递但进行矩阵运算，使得标准快递单与本发明实施例对应的快递条码图像的快递单处于同一坐标系下即同一维度下，进一步得到标准快递单中标准条码信息，并且为了使得后续计算更加准确，通常需要对多张标准快递单进行变换，使得所获得的标准条码中包含所有的标准条码信息。需要说明的是，透视变换矩阵计算方法为本领域技术人员所熟知的现有技术，其目的在于将标准条码和本发明实施例中的条码调整至同一维度，在此不做进一步限定和赘述。
49.进一步获取每个匹配条码宽度与所有标准条码宽度之间的最小宽度差异，即对每个匹配条码宽度而言，计算其与所有标准条码之间的宽度差异，取宽度差异的最小值作为每个匹配条码宽度的最小宽度差异。基于模板匹配的思想通过最小宽度差异减少仅根据宽度可信度确定条码宽度信息的误差，且最小宽度差异越大时，说明对应的匹配条码宽度与标准条码宽度差异越大，对应的宽度信息越不可信。
50.至此，得到每个匹配条码宽度的最小宽度差异和宽度可信度，为了获取每个条码准确的宽度信息。本发明实施例进一步根据最小宽度差异和宽度可信度，得到每个条码对应每个匹配条码宽度的真实宽度可能性，通过真实宽度可能性表征每个匹配条码宽度属于对应条码真实宽度信息的可能性。由于对应的匹配条码宽度的最小宽度差异越小，宽度可信度越大时，对应的宽度信息越不可信，即对应的真实宽度可能性越小。所以最小宽度差异与真实宽度可能性呈负相关，宽度可信度与真实宽度可能性呈正相关。在本发明实施例中，将每个匹配条码宽度的最小宽度差异进行负相关映射后与宽度可信度的乘积，作为每个匹配条码宽度的真实宽度可能性。需要说明的是，实施者可根据具体实施环境通过其他方法根据最小宽度差异和宽度可信度得到真实宽度可能性，但是需要保证最小宽度差异与真实宽度可能性呈负相关，宽度可信度与真实宽度可能性呈正相关，在此不做进一步赘述。
51.在本发明实施例中，第l个条码在第m条遍历直线上的匹配条码宽度的真实宽度可能性的获取方法在公式上表现为：其中,为第l个条码在第m条遍历直线上的匹配条码宽度的真实宽度可能性，为第l个条码在第m条遍历直线上的匹配条码宽度对应的宽度可信度，为第l个条码在第m条遍历直线上的匹配条码宽度对应的最小宽度差异，exp（）为以自然常数e为低的指数函数。进一步根据第l个条码在第m条遍历直线上的匹配条码宽度的真实宽度可能性的获取方法，得到所有匹配条码宽度的真实宽度可能性。
52.此外，实施者可通过其他形式的公式获取对应的真实宽度可能性，例如：其中，为预设第二调节参数，用于防止分母为0，在本发明实施例中，预设第一调节参数设置为0.01；其余参数含义与本发明实施例中第l个条码在第m条遍历直线上的匹配条码宽度的真实宽度可能性的获取方法对应的公式相同，在此不做进一步赘述。
53.步骤s4：根据真实宽度可能性得到快递条码增强结果，根据快递条码增强结果实现对快递条码图像智能增强。
54.至此，得到每个条码对应所有匹配条码宽度的真实宽度可能性，进一步可根据真实宽度可能性获取每个条码的宽度信息，通过获取的宽度信息完成对快递条码的图像增强，本发明实施例根据真实宽度可能性得到快递条码增强结果。
55.优选地，根据真实宽度可能性得到快递条码增强结果包括：根据真实宽度可能性的获取过程可知，在每个条码对应的所有匹配条码宽度的真实宽度可能性中，对应的真实宽度可能性越高，对应的匹配条码宽度越符合真实条码宽度信息，而每个条码只能对应一个宽度信息，所以首先选择真实可能性最高的匹配条码宽度作为对应条码的宽度信息。
56.所以本发明实施例将每个条码对应最高的真实宽度可能性的匹配条码宽度，作为每个条码的第一条码宽度；在所有第一条码宽度中，将对应真实宽度可能性最小的条码作为待变换条码；将根据每个条码的第一条码宽度得到的整体条码，作为第一整体条码；将第一整体条码的编码信息解码后的快递信息，作为第一快递信息；将第一快递信息与快递条码图像中的文字信息进行字符匹配得到的匹配度作为第一匹配度，当第一匹配度大于或等于预设匹配阈值时，将第一整体条码作为快递条码增强结果。在本发明实施例中，预设匹配阈值设置为0.9，实施者可根据具体实施环境自行选择预设匹配阈值的大小，在此不做进一步限定和赘述。
57.字符匹配的过程具体为通过神经网络从快递单区域即快递条码图像提取到的文字信息，将文字信息与编码信息解码后的快递信息进行是否存在判断，即将编码信息解码后的快递信息中的文字信息在快递单区域提取到的文字信息相同的数量，与编码信息解码后的快递信息中的文字信息总数的比值作为对应的匹配度。所以需要对整体条码进行匹配度判断，当匹配度较低时，说明对应的条码无法表征准确的快递信息，快递条码受到脏污或破损的影响较大，需要继续对整体条码进行更新以获取准确的快递条码增强结果。在本发明实施例中，神经网络采用lenet神经网络，需要说明的是，lenet神经网络为本领域技术人员所熟知的现有技术，且并非本发明实施例的重点研究内容，在此不对其训练过程和使用方法作进一步限定和赘述。
58.当第一匹配度大于或等于预设匹配阈值时，说明条码图像受到脏污或破损的影响较小，对应的第一整体条码对应的图像增强效果较好，得到的快递条码增强结果较为准确。
59.考虑到当部分条码缺失严重或受到脏污影响严重时，真实宽度可能性最高的匹配条码宽度对应的编码信息，仍可能存在误差，即对应的第一匹配度小于预设匹配阈值的情况，所以需要进一步对快递条码进行处理。需要说明的是，通常情况下条码区域存在缺失或脏污时，对应的区域通常是较小且不规则的，所以对应的第一匹配度通常均是大于或等于预设匹配阈值的，所以第一匹配度小于预设匹配阈值的情况及其少见，所以缺失严重或受到脏污影响严重的区域通常更少，因此本发明实施例对真实宽度可能性最小的待变换条码进行调整。
60.在本发明实施例中，当第一匹配度小于预设匹配阈值时，将待变换条码对应第二高的真实宽度可能性的匹配条码宽度，作为待变换条码的第二条码宽度；将根据待变换条码的第二条码宽度和其余每个条码的第一条码宽度得到的整体条码，作为第二整体条码；
将第二整体条码的编码信息解码后的快递信息，作为第二快递信息；将第二快递信息与快递条码图像中的文字信息进行字符匹配得到对应的匹配度作为第二匹配度，当第二匹配度大于或等于预设匹配阈值时，将第二整体条码作为快递条码增强结果。需要说明的是，与第一整体条码的匹配度处理方法类似，第二整体条码的处理方法相当于一个迭代过程，在此不对第二整体条码的处理方法的过程对应的意义作进一步赘述。
61.当第二匹配度小于预设匹配阈值时，将待变换条码对应第三高的真实宽度可能性的匹配条码宽度，作为待变换条码的第三条码宽度继续进行迭代，即根据待变换条码的第三条码宽度和其余每个条码的第一条码宽度得到的整体条码，作为第三整体条码；将第三整体条码的编码信息解码后的快递信息，作为第三快递信息；将第三快递信息与快递条码图像中的文字信息进行字符匹配得到对应的匹配度作为第三匹配度，当第三匹配度大于或等于预设匹配阈值时，将第三整体条码作为快递条码增强结果。当第三匹配度小于预设匹配阈值时，将待变换条码对应第四高的真实宽度可能性的匹配条码宽度，作为待变换条码的第四条码宽度继续进行迭代。
62.直至对应的匹配度大于预设匹配阈值或达到预设迭代次数时迭代停止，将迭代停止时对应的整体条码作为最终整体条码，将最终整体条码对应的匹配度作为最终匹配度；当最终匹配度小于预设匹配阈值时，认为快递条码图像无法增强，将对应的第一整体条码作为快递条码增强结果；当最终匹配度大于或等于预设匹配阈值时，将最终整体条码作为快递条码增强结果。当最终匹配度仍然小于预设匹配阈值时，说明对应的快递单对应的文本信息原本就与快递条码图像不匹配，或者说明快递单存在较为严重的脏污或破损缺陷，所以对其进行警告，使得实施者具体对快递单图像进行确认。在本发明实施例中，预设迭代次数设置为3。需要说明的是，实施者可根据具体实施环境自行设定预设迭代次数，且通常情况下预设迭代次数通常较小，在此不做进一步赘述。
63.例如，若快递条码区域中存在a、b、c三个条码，每个条码对应五个匹配条码宽度，其中条码a对应的真实宽度可能性最小；则对应的条码a即为待变换条码，首先在a、b、c三个条码中，将每个条码对应最高的真实宽度可能性的匹配条码宽度，作为每个条码的第一条码宽度，并根据a、b、c三个条码对应的第一条码宽度得到对应的第一整体条码a'b'c'，将第一整体条码的编码信息解码后的快递信息进行字符匹配，得到第一整体条码的第一匹配度，当第一匹配度大于或等于预设匹配阈值时，第一整体条码a'b'c'即快递条码增强结果，此时迭代次数为1。
64.当第一匹配度小于预设匹配阈值时，将待变换条码a的第二高的真实宽度可能性，作为对应的第二条码宽度，进一步根据条码a的第二条码宽度和条码b、c的第一条码宽度得到对应的第二整体条码a''b'c'进一步计算第二整体条码a''b'c'的匹配度即第二匹配度，若第二匹配度大于或等于预设匹配阈值时，第二整体条码a''b'c'即快递条码增强结果，此时迭代次数为2。
65.当第二匹配度小于预设匹配阈值时，将待变换条码a的第三高的真实宽度可能性，作为对应的第三条码宽度，进一步根据条码a的第三条码宽度和条码b、c的第一条码宽度得到对应的第三整体条码a'''b'c'进一步计算第三整体条码a'''b'c'的匹配度即第三匹配度，若第三匹配度大于或等于预设匹配阈值时，第三整体条码a'''b'c'即快递条码增强结果，此时迭代次数为3。
66.当第三匹配度小于预设匹配阈值时，将待变换条码a的第四高的真实宽度可能性，作为对应的第四条码宽度，进一步根据条码a的第四条码宽度和条码b、c的第一条码宽度得到对应的第四整体条码a''''b'c'进一步计算第四整体条码a''''b'c'的匹配度即第四匹配度，此时迭代次数为4，大于预设迭代次数，即第四整体条码a''''b'c'为最终整体条码，第四匹配度为最终匹配度；若第四匹配度大于或等于预设匹配阈值时，第四整体条码a''''b'c'即快递条码增强结果；若最终匹配度即第四匹配度仍小于预设匹配阈值时，说明条码a、b、c所在的快递条码区域对应的快递条码图像无法增强，将对应的第一整体条码作为快递条码增强结果，进一步发出警告证明该快递条码图像无法增强。
67.至此，得到快递条码区域的快递条码增强结果，进一步根据快递条码增强结果实现对快递条码图像智能增强。在本发明实施例中，将快递条码增强结果对应的整体条码对快递条码区域中的条码进行替换，完成对快递条码图像的智能增强。
68.综上所述，本发明根据快递条码图像对应快递条码区域中像素点的灰度值变化和位置得确定每个条码对应的位置和整体方向，基于位置和整体方向根据遍历直线上像素点的灰度值变化进行分析得到匹配条码宽度，根据匹配条码宽度的数值分布特征和对应像素点的灰度值分布特征得到宽度可信度，计算每个匹配条码宽度与标准条码宽度之间的最小宽度差异并结合宽度可信度得到真实宽度可能性，根据真实宽度可能性得到快递条码增强结果并实现对快递条码图像的智能增强。本发明根据真实宽度可能性对快递条码图像的图像增强效果更好。
69.本发明还提出了一种基于计算机视觉的快递条码图像智能增强系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现任意一项一种基于计算机视觉的快递条码图像智能增强方法的步骤。
70.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
71.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

技术特征：
1.基于计算机视觉的快递条码图像智能增强方法，其特征在于，所述方法包括：获取快递条码图像，对所述快递条码图像通过图像分割得到快递条码区域；根据所述快递条码区域中像素点的灰度变化特征和位置分布特征得到每个条码对应的直线段和整体条码方向；根据所述直线段得到包含所有条码对应的直线段的外接条码区域图像；在所述外接条码区域图像中通过与所述整体条码方向垂直的直线遍历外接条码区域图像，得到至少两条遍历直线；根据每条遍历直线上像素点的灰度值变化特征，得到每个条码在每条遍历直线中的匹配条码宽度；根据每个条码在每条遍历直线上像素点的灰度值分布特征和所述匹配条码宽度的数值分布特征，得到每个条码对应的每个匹配条码宽度的宽度可信度；计算每个条码对应每个匹配条码宽度与所有标准条码宽度之间的最小宽度差异，根据所述最小宽度差异和所述宽度可信度，得到每个条码对应每个匹配条码宽度的真实宽度可能性，所述最小宽度差异与所述真实宽度可能性呈负相关，所述宽度可信度与所述真实宽度可能性呈正相关；根据所述真实宽度可能性得到快递条码增强结果，根据快递条码增强结果实现对快递条码图像智能增强。2.根据权利要求1所述的基于计算机视觉的快递条码图像智能增强方法，其特征在于，所述根据所述快递条码区域中像素点的灰度变化特征和位置分布特征得到每个条码对应的直线段和整体条码方向包括：获取快递条码区域灰度化后的快递条码区域灰度图像，对所述快递条码区域灰度图像进行边缘检测，得到快递条码边缘图像；通过霍夫直线检测算法将所述快递条码边缘图像映射到极坐标对应的霍夫空间中，得到每个霍夫坐标对应的投票值；计算每个角度值下所有霍夫坐标的投票值累加和，以所述角度值作为自变量，以投票值累加和作为因变量，构建投票值累加曲线；对所述投票值累加曲线采用峰值点检测算法，得到所述投票值累加曲线的峰值点，在所述投票值累加曲线的峰值点中，将最大峰值点的角度值对应的方向作为整体条码方向；以霍夫空间对应极坐标距离从小到大为顺序，对整体条码方向对应角度值的所有投票值进行曲线拟合得到投票值变化曲线，对所述投票值变化曲线采用峰值点检测算法，得到至少两个投票值峰值点；对所述投票值峰值点通过霍夫空间函数得到至少两条直线段。3.根据权利要求1所述的基于计算机视觉的快递条码图像智能增强方法，其特征在于，所述匹配条码宽度的获取方法包括：沿着每条遍历直线的延伸方向，根据每条遍历直线上像素点的灰度值进行曲线拟合，得到每条遍历直线对应的灰度值变化曲线；对所述灰度值变化曲线通过峰值点检测算法，得到每条灰度值变化曲线对应的波谷点，获取每个条码对应的直线段在所述灰度值变化曲线中的位置，将每个条码对应直线段两侧波谷点对应的像素点，作为每个条码对应的匹配像素点，将每个条码对应匹配像素点之间的距离，作为每个条码在每条遍历直线中的匹配条码宽度。4.根据权利要求1所述的基于计算机视觉的快递条码图像智能增强方法，其特征在于，所述宽度可信度的获取方法包括：任选一个条码作为目标条码，任选一条遍历直线作为目标遍历直线，将目标条码在目标遍历直线中的匹配条码宽度作为目标匹配条码宽度，在目标条码对应的所有匹配条码宽
度中，将目标匹配条码宽度的数值的出现次数与遍历直线数量的比值，作为目标匹配条码宽度的数值分布特征值；将每个条码在每条遍历直线中匹配条码宽度上对应的像素点，作为每个条码在每条遍历直线中的宽度像素点，将目标遍历直线中所有宽度像素点的灰度值均值，作为目标整体灰度特征值，将目标条码在目标遍历直线中对应的所有宽度像素点的灰度值均值，作为目标条码灰度特征值；将所述目标条码灰度特征值与所述整体灰度特征值之间的差异，作为目标匹配条码宽度的灰度值分布特征值；根据所述数值分布特征值和所述灰度值分布特征值，得到目标匹配条码宽度的宽度可信度；所述宽度可信度与所述数值分布特征值呈正相关，所述宽度可信度与所述灰度值分布特征值呈负相关。5.根据权利要求1所述的基于计算机视觉的快递条码图像智能增强方法，其特征在于，所述最小宽度差异的获取方法包括：获取与所述快递条码图像维度相同情况下的所有标准条码，计算每种标准条码与每个条码对应每个匹配条码宽度之间的宽度差异，将每个条码对应的宽度差异最小值，作为每个条码对应的最小宽度差异。6.根据权利要求1所述的基于计算机视觉的快递条码图像智能增强方法，其特征在于，所述根据所述真实宽度可能性得到快递条码增强结果包括：将每个条码对应最高的真实宽度可能性的匹配条码宽度，作为每个条码的第一条码宽度；在所有第一条码宽度中，将对应真实宽度可能性最小的条码作为待变换条码；将根据每个条码的第一条码宽度得到的整体条码，作为第一整体条码；将第一整体条码的编码信息解码后的快递信息，作为第一快递信息；将所述第一快递信息与快递条码图像中的文字信息进行字符匹配得到的匹配度作为第一匹配度，当所述第一匹配度大于或等于预设匹配阈值时，将所述第一整体条码作为快递条码增强结果；当所述第一匹配度小于预设匹配阈值时，将所述待变换条码对应第二高的真实宽度可能性的匹配条码宽度，作为待变换条码的第二条码宽度；将根据待变换条码的第二条码宽度和其余每个条码的第一条码宽度得到的整体条码，作为第二整体条码；将第二整体条码的编码信息解码后的快递信息，作为第二快递信息；将所述第二快递信息与快递条码图像中的文字信息进行字符匹配得到对应的匹配度作为第二匹配度，当所述第二匹配度大于或等于预设匹配阈值时，将所述第二整体条码作为快递条码增强结果；当所述第二匹配度小于预设匹配阈值时，将所述待变换条码对应第三高的真实宽度可能性的匹配条码宽度，作为待变换条码的第三条码宽度继续进行迭代，直至对应的匹配度大于预设匹配阈值或达到预设迭代次数时迭代停止，将迭代停止时对应的整体条码作为最终整体条码，将最终整体条码对应的匹配度作为最终匹配度；当所述最终匹配度小于预设匹配阈值时，认为快递条码图像无法增强，将对应的第一整体条码作为快递条码增强结果，并发出警告；当所述最终匹配度大于或等于预设匹配阈值时，将所述最终整体条码作为快递条码增强结果。7.根据权利要求1所述的基于计算机视觉的快递条码图像智能增强方法，其特征在于，所述快递条码区域的获取方法包括：将快递条码图像输入到训练好的语义分割网络中，输出对应的快递条码区域。
8.根据权利要求1所述的基于计算机视觉的快递条码图像智能增强方法，其特征在于，所述外接条码区域图像的获取方法包括：通过外接矩算法获取所有直线段对应区域的外接矩包围框，将所述外接矩包围框对应的区域作为外接条码区域图像，所述外接矩包围框中包含所有的直线段。9.一种基于计算机视觉的快递条码图像智能增强系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~8任意一项所述方法的步骤。

技术总结
本发明涉及图像数据处理技术领域，具体涉及一种基于计算机视觉的快递条码图像智能增强方法及系统，该方法根据快递条码图像对应快递条码区域中像素点的灰度值变化和位置得确定每个条码对应的位置和整体方向，基于位置和整体方向根据遍历直线上像素点的灰度值变化进行分析得到匹配条码宽度，根据匹配条码宽度的数值分布特征和对应像素点的灰度值分布特征得到宽度可信度，计算每个匹配条码宽度与标准条码宽度之间的最小宽度差异并结合宽度可信度得到真实宽度可能性，根据真实宽度可能性得到快递条码增强结果并实现对快递条码图像的智能增强。本发明根据真实宽度可能性对快递条码图像的图像增强效果更好。条码图像的图像增强效果更好。条码图像的图像增强效果更好。


技术研发人员：余为波 刘艳华 刘景德 王永胜
受保护的技术使用者：深圳市驿格科技有限公司
技术研发日：2023.07.24
技术公布日：2023/8/24