物品的检测方法、装置和自动化设备与流程

1.本公开涉及自动化技术领域，特别涉及一种物品的检测方法、物品的检测装置、自动化设备和非易失性计算机可读存储介质。


背景技术：

2.随着电商、网购、物流行业的快速发展，在仓储、搬运、拆码垛、分拣这些物流的基础部分，自动化设备的应用越来越多。通过机械臂代替人工对货物(如工业零件、商品、箱体等)进行操作(如抓取、移动、放置等)的情况越来越普及。
3.然而，在机械臂抓取货物移动的过程中，经常会由于抓取点选择不当、拣选货物震荡、拣选货物难抓取等原因而出现抓取不稳、货物掉落的问题。因此，为了监控机械臂抓取货物过程的掉落问题，亟需货物掉落检测技术，对掉落事件以及掉落轨迹和掉落点进行识别分析。
4.在相关技术中，针对工业生产场景，采用标准模板图像和待检测图像的差分，来计算是否有掉落物料；针对智能零售终端机场景，依靠压力传感器和振动传感器，来检测是否有掉落货物。


技术实现要素：

5.本公开的发明人发现上述相关技术中存在如下问题：过分依赖标准模板图像，导致检测准确性差；需要部署压力传感器和振动传感器，导致成本高。
6.鉴于此，本公开提出了一种物品的检测技术方案，能够提高检测准确性，降低成本。
7.根据本公开的一些实施例，提供了一种物品的检测方法，包括：利用机器学习模型，分别对多帧图像中的待检测物品进行分类，以确定各帧图像中待检测物品的状态信息，状态信息包括已脱离物品拾取装置或者未脱离物品拾取装置；根据是否存在状态信息为已脱离物品拾取装置的多帧时间连续的图像，判断待检测物品是否从物品拾取装置上掉落。
8.在一些实施例中，判断待检测物品是否从物品拾取装置上掉落包括：在多帧时间连续的图像的数量大于数量阈值的情况下，确定待检测物品从物品拾取装置上掉落。
9.在一些实施例中，检测方法还包括：按照各帧图像的时间顺序，根据各帧图像对应的状态信息，生成待检测物品的状态轨迹；确定待检测物品从物品拾取装置上掉落包括：在状态轨迹上存在多个连续轨迹点对应的状态信息为已脱离物品拾取装置的情况下，判断多个连续轨迹点的数量是否大于数量阈值；在多个连续轨迹点的数量大于数量阈值的情况下，确定待检测物品从物品拾取装置上掉落。
10.在一些实施例中，判断多个连续轨迹点的数量是否大于数量阈值包括：在状态轨迹上确定状态变化轨迹点，状态变化轨迹点对应的状态信息为已脱离物品拾取装置，状态变化轨迹点的前一个轨迹点对应的状态信息为未脱离物品拾取装置；以状态变化轨迹点为起点，统计对应的状态信息为已脱离物品拾取装置的多个连续轨迹点的数量；判断多个连
续轨迹点的数量是否大于数量阈值。
11.在一些实施例中，生成待检测物品的状态轨迹包括：在轨迹点对应的图像中待检测物品已脱离物品拾取装置的情况下，将轨迹点对应的状态信息确定为第一取值；在轨迹点对应的图像中待检测物品未脱离物品拾取装置的情况下，将轨迹点对应的状态信息确定为第二取值；判断多个连续轨迹点的数量是否大于数量阈值包括：对状态轨迹中各轨迹点的状态信息进行中值滤波处理；判断中值滤波处理后的状态轨迹中，是否存在多个连续轨迹点对应的状态信息为已脱离物品拾取装置。
12.在一些实施例中，生成待检测物品的状态轨迹包括：对多帧图像中的待检测物品进行目标跟踪，以确定各帧图像中待检测物品的运动信息；根据运动信息，生成状态轨迹；检测方法还包括：在确定待检测物品从物品拾取装置上掉落的情况下，根据运动信息确定待检测物品的掉落轨迹、开始掉落的位置或最后掉落位置中的至少一个。
13.在一些实施例中，对多帧图像中的待检测物品进行目标跟踪包括：d-iou(distance-intersection over union，距离交并比)方法和sort(simple online and realtime tracking，简单在线和实时跟踪)方法，对多帧图像中的待检测物品进行目标跟踪。
14.在一些实施例中，利用机器学习模型，分别对多帧图像中的待检测物品进行分类包括：确定当前帧图像中存在移动物体的多个候选区域；利用机器学习模型，对多个候选区域中的移动物体进行分类，以确定各候选区域是否包含待检测物品；在当前帧图像存在多个包含待检测物品的候选区域的情况下，将多个包含待检测物品的候选区域合并为待检测物品所在的目标区域；利用机器学习模型，对目标区域中的待检测物品进行分类，以确定待检测物品的状态信息。
15.在一些实施例中，将多个包含待检测物品的候选区域合并为待检测物品所在的目标区域包括：计算各包含待检测物品的候选区域之间的距离；对距离小于距离阈值的候选区域进行合并，以确定目标区域。
16.在一些实施例中，确定图像中存在移动物体的多个候选区域包括：根据当前帧图像与上一帧图像之间的差异，确定当前帧图像中的运动前景区域，运动前景区域中存在多个移动物体；在运动前景区域中，确定多个候选区域。
17.在一些实施例中，在运动前景区域中，确定多个候选区域包括：对运动前景区域进行连通区域计算，以确定图像中的多个连通区域；根据多个连通区域，确定多个候选区域。
18.在一些实施例中，在运动前景区域中，确定多个候选区域包括：对运动前景区域进行形态学处理，形态学处理包括基于十字型结构元的形态学开运算、基于矩形形态元的形态学闭运算或者基于十字型结构元的形态学开运算中的至少一种；在形态学处理后的运动前景区域中，确定多个候选区域。
19.在一些实施例中，利用机器学习模型，分别对多帧图像中的待检测物品进行分类包括：将各帧图像中的移动物体分类为已脱离物品拾取装置的物品、未脱离物品拾取装置的物品或者非待检测物品，非待检测物品包括物品拾取装置。
20.根据本公开的另一些实施例，提供一种物品的检测装置，包括：分类单元，用于利用机器学习模型，分别对多帧图像中的待检测物品进行分类，以确定各帧图像中待检测物品的状态信息，状态信息包括已脱离物品拾取装置和未脱离物品拾取装置；判断单元，用于
根据是否存在多帧时间连续的图像对应的状态信息为已脱离物品拾取装置，判断待检测物品是否从物品拾取装置上掉落。
21.在一些实施例中，判断单元在多帧时间连续的图像的数量大于数量阈值的情况下，确定待检测物品从物品拾取装置上掉落。
22.在一些实施例中，检测装置还包括：生成单元，用于按照各帧图像的时间顺序，根据各帧图像对应的状态信息，生成待检测物品的状态轨迹；判断单元在状态轨迹上存在多个连续轨迹点对应的状态信息为已脱离物品拾取装置的情况下，判断多个连续轨迹点的数量是否大于数量阈值，在多个连续轨迹点的数量大于数量阈值的情况下，确定待检测物品从物品拾取装置上掉落。
23.在一些实施例中，判断单元在状态轨迹上确定状态变化轨迹点，状态变化轨迹点对应的状态信息为已脱离物品拾取装置，状态变化轨迹点的前一个轨迹点对应的状态信息为未脱离物品拾取装置，以状态变化轨迹点为起点，统计对应的状态信息为已脱离物品拾取装置的多个连续轨迹点的数量，判断多个连续轨迹点的数量是否大于数量阈值。
24.在一些实施例中，生成单元在轨迹点对应的图像中待检测物品已脱离物品拾取装置的情况下，将轨迹点对应的状态信息确定为第一取值，在轨迹点对应的图像中待检测物品未脱离物品拾取装置的情况下，将轨迹点对应的状态信息确定为第二取值，对状态轨迹中各轨迹点的状态信息进行中值滤波处理；判断单元判断中值滤波处理后的状态轨迹中，是否存在多个连续轨迹点对应的状态信息为已脱离物品拾取装置。
25.在一些实施例中，生成单元对多帧图像中的待检测物品进行目标跟踪，以确定各帧图像中待检测物品的运动信息，根据运动信息，生成状态轨迹；判断单元在确定待检测物品从物品拾取装置上掉落的情况下，根据运动信息确定待检测物品的掉落轨迹、开始掉落的位置或最后掉落位置中的至少一个。
26.在一些实施例中，判断单元根据d-iou方法和sort方法，对多帧图像中的待检测物品进行目标跟踪。
27.在一些实施例中，分类单元确定当前帧图像中存在移动物体的多个候选区域，利用机器学习模型，对多个候选区域中的移动物体进行分类，以确定各候选区域是否包含待检测物品，在当前帧图像存在多个包含待检测物品的候选区域的情况下，将多个包含待检测物品的候选区域合并为待检测物品所在的目标区域，利用机器学习模型，对目标区域中的待检测物品进行分类，以确定待检测物品的状态信息。
28.在一些实施例中，分类单元计算各包含待检测物品的候选区域之间的距离，对距离小于距离阈值的候选区域进行合并，以确定目标区域。
29.在一些实施例中，分类单元根据当前帧图像与上一帧图像之间的差异，确定当前帧图像中的运动前景区域，运动前景区域中存在多个移动物体，在运动前景区域中，确定多个候选区域。
30.在一些实施例中，分类单元对运动前景区域进行连通区域计算，以确定图像中的多个连通区域，根据多个连通区域，确定多个候选区域。
31.在一些实施例中，分类单元对运动前景区域进行形态学处理，形态学处理包括基于十字型结构元的形态学开运算、基于矩形形态元的形态学闭运算或者基于十字型结构元的形态学开运算中的至少一种，在形态学处理后的运动前景区域中，确定多个候选区域。
32.在一些实施例中，分类单元将各帧图像中的移动物体分类为已脱离物品拾取装置的物品、未脱离物品拾取装置的物品或者非待检测物品，非待检测物品包括物品拾取装置。
33.根据本公开的又一些实施例，提供一种物品的检测装置，包括：存储器；和耦接至存储器的处理器，处理器被配置为基于存储在存储器装置中的指令，执行上述任一个实施例中的物品的检测方法。
34.根据本公开的再一些实施例，提供一种自动化设备，包括：上述任一个实施例中的物品的检测装置；物品拾取装置，用于拾取物品；图像获取装置，用于获取多帧包括物品拾取装置或物品中的至少一个的图像。
35.根据本公开的再一些实施例，提供一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的物品的检测方法。
36.在上述实施例中，基于待检测物品的分类结果，确定待检测物品的状态信息的变化，进而检测是否发生物品掉落事件。这样，综合考虑了机械臂抓取的场景中抓取货物和货物掉落运动这两个重要因素，且无需依赖标准模板图像，也无需部署压力传感器和振动传感器，从而提高了检测准确性，降低了成本。
附图说明
37.构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
38.参照附图，根据下面的详细描述，可以更加清楚地理解本公开：
39.图1示出本公开的物品的检测方法的一些实施例的流程图；
40.图2a～2d示出本公开的物品的检测方法的一些实施例的示意图；
41.图3示出本公开的物品的检测方法的另一些实施例的示意图；
42.图4示出本公开的物品的检测方法的另一些实施例的流程图；
43.图5示出本公开的物品的检测装置的一些实施例的框图；
44.图6示出本公开的物品的检测装置的另一些实施例的框图；
45.图7示出本公开的物品的检测装置的又一些实施例的框图；
46.图8示出本公开的自动化设备的一些实施例的框图。
具体实施方式
47.现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
48.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
49.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
50.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
51.在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不
是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
52.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
53.如前所述，在工业生产场景，采用roi(region of interest，感兴趣区域)内标准模板图像和待检测图像的差分，来计算是否有掉落物料的方法，过度依赖标准模板，不适用变化性高的场景，灵活性差。并且，这种方法受roi划分限制，不能有效证明是掉落事件引起的变化。
54.另外，在智能零售终端机场景，依靠压力传感器和振动传感器的方法，需要将传感器安装部署在待检测的区域或者货物上，成本较高，操作繁琐，改造难度大。
55.也就是说，还没有成熟的针对机械臂等物品拾取装置抓取货物场景的掉落检测方法。
56.货物掉落属于一种动态事件，可以基于计算机视觉来解决此类问题。即采用端到端模型方案，将视频作为视频理解模型的输入，直接输出标签。这种方法对数据依赖很大，很难输出精确的掉落轨迹和掉落点位置，且过程缺乏可解释性。
57.另外，可以采用目标检测，对掉落货物目标直接进行检测。但是，在背景存在很多货物的情况下，很难将掉落的货物和其它货物区别开。并且，这种方法依赖大量标注数据，泛化性差，不能保证掉落事件的因果约束关系，即货物掉落事件是由机械臂抓取后货物脱落的动态过程。
58.因此，本公开针对工业、物流智能化领域中，机械臂抓取货物过程中货物掉落检测的技术问题，提出了技术方案。
59.针对上述技术问题，本公开发现货物掉落是一种动态事件，此事件有两个重要因素：机械臂抓取货物和货物脱落抓取器后的运动。二者缺一不可，应该综合考虑。
60.另外，本公开利用运动目标检测，将掉落的货物检测问题退化(或简化)为分类问题，利用运动目标检测提供目标位置信息，利用深度学习分类模型提供高层语义的目标类别信息；然后，利用目标跟踪，确定目标货物的完整运动轨迹，并记录每帧的状态信息；最后，根据轨迹序列中每帧的状态信息，判断当前事件是否属于货物掉落事件以及掉落轨迹和掉落点位置。
61.例如，可以通过下面的实施例实现本公开的技术方案。
62.图1示出本公开的物品的检测方法的一些实施例的流程图。
63.如图1所示，在步骤110中，利用机器学习模型，分别对多帧图像中的待检测物品进行分类，以确定各帧图像中待检测物品的状态信息。状态信息包括已脱离物品拾取装置或者未脱离物品拾取装置。
64.在一些实施例中，获取视频中的图像序列，图像序列包括多帧图像。例如，将本地视频文件或者输入的视频流，进行视频解码抽帧处理，以提取图像序列，作为后续处理的输入。
65.在一些实施例中，根据当前帧图像与上一帧图像之间的差异，确定当前帧图像中的运动前景区域，运动前景区域中存在多个移动物体；在运动前景区域中，确定多个候选区域。
66.例如，可以采用帧差法、背景建模法、光流法等算法，计算当前帧图像与上一帧图
像之间的差异。帧差法、光流法是以当前帧图片与上一帧图片作为输入，计算两帧图像之间的变化信息；然后根据经验阈值，对帧差法或光流法或gmm(gaussian mixture model，高斯混合模型)背景建模法的处理结果进行图像二值分割，便可得到初步的运动前景区域。
67.例如，可以通过图2a～2b中的实施例，确定多个候选区域。
68.图2a～2b示出本公开的物品的检测方法的一些实施例的示意图。
69.如图2a所示，为机械臂抓取小型盒子类的货物时，在某时刻的运动前景图，即非白色区域为计算得到的运动前景区域。
70.在一些实施例中，对运动前景区域进行形态学处理，形态学处理包括基于十字型结构元的形态学开运算、基于矩形形态元的形态学闭运算或者基于十字型结构元的形态学开运算中的至少一种；在形态学处理后的运动前景区域中，确定多个候选区域。
71.例如，图像的形态学处理包括膨胀、腐蚀、闭运算、开运算等。形态学的闭运算可以用来弥合较窄的间断和细长的沟壑、消除物体间小的孔洞、填补轮廓线中的断裂；形态学的开运算通常可以用来断开物体间较窄的连接、消除物体边沿尖锐的突出部分、平滑轮廓。
72.例如，针对不同的应用场景，可以采用不同的形态学操作，以及不同尺寸、不同种类的形态学结构元来进行组合。
73.例如，首先采取基于十字型结构元的形态学的开运算，来去除噪声；然后，采用基于矩形结构元的形态学的闭运算，来填充空洞、填补断裂的轮廓线；接着，采用基于矩形结构元的形态学的开运算，来断开物体间较窄的连接，即利用机械臂抓取器和被抓取货物之间较窄的连接处，来将被抓取的货物和相同运动的机械臂分离开；最后，利用基于十字型的形态学的开运算，来修剪消除结果毛刺。
74.如图2b所示，为形态学处理之后的运动前景区域。
75.在一些实施例中，对运动前景区域进行连通区域计算，以确定图像中的多个连通区域；根据多个连通区域，确定多个候选区域。
76.例如，对图2b中形态学处理后的运动前景区域进行连通区域计算，并对每个连通区域的最外侧边缘求取最大外接矩形框，作为候选的运动目标框。还可以过滤掉连通区域面积s
roi
小于面积阈值的运动目标框以滤除噪点，从而得到图2b中的6个运动目标框，作为候选区域。
77.在一些实施例中，对图2b中的6个候选区域中的运动目标进行分类。例如，将各帧图像中的移动物体分类为已脱离物品拾取装置的物品、未脱离物品拾取装置的物品或者非待检测物品，非待检测物品包括物品拾取装置。
78.例如，首先，利用图2b中的运动目标框，在原始的图像中裁剪出局部的多个待分类图像；然后，利用机器学习模型(如深度学习模型)对待分类图像进行识别分类。例如，采用深度学习分类模型对待分类图像进行分类。
79.例如，由于机械臂抓取货物时，机械臂和货物均发生运动，因此图2b中的运动目标框中，可能包含被抓取货物之外的运动目标。并且，货物掉落是一种动态事件，其包含两个要素(即机械臂抓取货物过程和货物脱落抓取器后的运动过程)缺一不可。因此，分类模型的类别标签可以设置为：第一取值1，表示未脱离物品拾取装置的物品；第二取值2，表示已脱离物品拾取装置的物品；第三取值3，其它运动物体和干扰(如机械臂、噪声等)。
80.例如，也可根据实际场景，对其它运动物体和干扰这一类别进行进一步细分。
81.如图2b所示，根据分类结果来筛选感兴趣的运动目标，只保留未脱离物品拾取装置的物品和已脱离物品拾取装置的物品这两种标签，其它则滤除掉。
82.例如，虚线矩形框的运动目标为机械臂运动区域和其它运动干扰噪声；实线矩形框则为保留下来的未脱离物品拾取装置的物品。还可以保留识别出的其它运动的货物(如包括已脱离物品拾取装置的物品)。
83.在一些实施例中，确定当前帧图像中存在移动物体的多个候选区域；利用机器学习模型，对多个候选区域中的移动物体进行分类，以确定各候选区域是否包含待检测物品；在当前帧图像存在多个包含待检测物品的候选区域的情况下，将多个包含待检测物品的候选区域合并为待检测物品所在的目标区域；利用机器学习模型，对目标区域中的待检测物品进行分类，以确定待检测物品的状态信息。
84.例如，可以通过图2a～2b中的实施例确定待检测物品的状态信息。
85.图2c～2d示出本公开的物品的检测方法的一些实施例的示意图。
86.如图2c所示，由于某些情况下的货物运动特性，导致运动前景计算结果往往只能分割出货物的局部。例如，货物从虚线状态运动至实线状态时，靠近货物中心的区域的运动幅度较小，导致运动前景区域计算时容易遗漏靠近货物中心的区域。
87.如图2d所示，掩膜区域1和掩膜区域2为得到的运动前景区域。由于上面的形态学处理，在某些情况下可能将属于同一货物的掩膜区域分离开。
88.在一些实施例中，针对上面的情况，计算各包含待检测物品的候选区域之间的距离；对距离小于距离阈值的候选区域进行合并，以确定目标区域。
89.这样，采用运动目标合并策略，将分离开的货物目标合并，以保证得到完整的目标框位置信息。
90.例如，首先，两两计算货物(运动目标框)之前的距离(如d-iou等)，对于距离小于距离阈值的货物进行两两合并；然后，更新合并后的运动目标框的位置信息和类别信息。
91.如图2d所示，掩膜区域1的运动目标框为box b，掩膜区域2的运动目标框为box a，合并后的运动目标框为box c。
92.在一些实施例中，可以根据能够覆盖多个待合并的候选区域的最小区域，确定合并后的目标区域。
93.例如，以图像的左上角为原点，boxa的4个顶点中最小坐标为(a
xmin
，a
ymin
)，最大坐标为(a
xmax
，a
ymax
)；box b的4个顶点中最小坐标为(b
xmin
，b
ymin
)，最大坐标为(b
xmax
，b
ymmax
)，则box c左上角的坐标(c
xmin
，c
ymin
)为：
94.c
xmin
＝min(a
xmin
，b
xmin
)；
95.c
ymin
＝min(a
ymin
，b
ymin
)
96.box c右下角的坐标为：
97.c
xmax
＝max(a
xmax
，b
xmax
)；
98.c
ymax
＝min(a
ymax
，b
ymmax
)
99.在一些实施例中，由于，合并之前的运动目标的分类结果为货物的局部分类结果，因此，合并之后需要再进行一次分类处理；将再次分类的结果，更新至合并后的货物的状态信息。
100.上述实施例中，基于组合的形态学处理策略和先分离后合并的思想，消除了原始
运动前景分割结果的噪声，使得被抓取货物目标能够有效和其它干扰运动区域(比如机械臂本身运动)分离开；然后，再将筛选后保留的感兴趣运动货物目标合并，得到完整的运动货物目标框。
101.在确定了目标区域后，可以通过图1中的其余步骤，确定算法发生掉落事件。
102.在步骤120中，根据是否存在状态信息为已脱离物品拾取装置的多帧时间连续的图像，判断待检测物品是否从物品拾取装置上掉落。
103.在一些实施例中，在状态信息为未脱离物品拾取装置的多帧时间连续的图像的数量大于第一阈值，且状态信息为已脱离物品拾取装置的多帧时间连续的图像的数量大于第二阈值的情况下，确定待检测物品从物品拾取装置上掉落。
104.例如，状态信息为未脱离物品拾取装置的多帧时间连续的图像对应的时间，早于状态信息为已脱离物品拾取装置的多帧时间连续的图像对应的时间。
105.在一些实施例中，按照各帧图像的时间顺序，根据各帧图像对应的状态信息，生成待检测物品的状态轨迹。
106.例如，可以采用最近邻匹配、sort、deep-sort等目标跟踪方法，对货物进行轨迹跟踪。
107.sort跟踪方法首先对检测框进行距离度量计算，然后进行匈牙利匹配，即sort方法的距离度量是计算框与框之间的iou，而掉落的货物往往运动速度很快，有可能出现上一时刻和下一时刻的位置不相交。此时iou等于0，便无法衡量目标框之间的匹配程度。
108.例如，可以采用基于d-iou匹配的sort跟踪方法。即利用d-iou计算候选区域对应的运动目标框之间的匹配程度(即距离)；然后，根据该匹配程度，利用sort跟踪方法，进行轨迹跟踪，生成状态轨迹。
109.因此，针对上述技术问题，上述实施例采用d-iou匹配度量方式来替代iou，在框与框之间不相交时，仍然考虑了距离度量，仍可以衡量目标框之间的匹配程度。
110.在一些实施例中，将得到的跟踪结果记录下来，如track(i,t)。i表示跟踪的目标标识(id)，t表示第t帧时最新的跟踪状态(包括最新位移、累计路程、最大速度、平均速度、加速度、丢失帧数、轨迹目标长度等信息)。每一次匹配到新目标，都将其记录至相对应id的轨迹目标列表(如状态轨迹)里。
111.在一些实施例中，对得到的状态轨迹来一一计算，判断状态轨迹是否为机械臂抓取后的货物掉落轨迹以及掉落点位置。例如，在多帧时间连续的图像的数量大于数量阈值的情况下，确定待检测物品从物品拾取装置上掉落。
112.上述实施例中，基于运动目标检测，将待分析货物的目标检测问题退化(或简化)为分类问题，运动目标检测提供目标位置信息，分类模型提供目标类别信息。相比于需要同时标注目标框位置和类别标签的目标检测方法，克服了目标框标注难度大、成本高，且易受背景干扰，需要依赖大量标注数据的技术问题。
113.而且，将目标检测问题退化(或简化)为分类问题后，将分析识别聚焦在感兴趣的运动区域，降低了模型的学习难度和标注难度。由于分类问题只需要区分感兴趣的运动目标和其它运动目标，使得对数据标注量的依赖也大大降低，泛化性能较好。
114.在一些实施例中，在轨迹点对应的图像中待检测物品已脱离物品拾取装置的情况下，将轨迹点对应的状态信息确定为第一取值(如1)；在轨迹点对应的图像中待检测物品未
脱离物品拾取装置的情况下，将轨迹点对应的状态信息确定为第二取值(如0)。可以通过图4中的实施例，确定物品掉落的信息。
115.图3示出本公开的物品的检测方法的另一些实施例的示意图。
116.如图3所示，第一行是原始的状态轨迹，第二行是中值滤波处理后的状态轨迹。状态轨迹中的0表示机械臂抓取货物状态(即未脱离物品拾取装置)，1表示普通运动货物状态(即已脱离物品拾取装置)。
117.在一些实施例中，对状态轨迹中各轨迹点的状态信息进行中值滤波处理；判断中值滤波处理后的状态轨迹中，是否存在多个连续轨迹点对应的状态信息为已脱离物品拾取装置。
118.例如，利用中值滤波，对轨迹中每一帧识别的分类状态结果进行处理。基于前后相邻帧图像的状态信息，来修正当前帧图像的状态信，从而缓解由分类模型本身预测精度有限导致的状态噪声。
119.上述实施例中，利用中值滤波，对视频图像序列的分类模型预测结果序列(状态轨迹)进行处理。利用前后邻帧的预测结果可以修正、缓解由分类模型本身预测精度有限导致的结果噪声，缓解对深度模型的依赖。并且在某帧漏检时，也可以利用前后邻帧的结果来重建出该帧的状态。
120.在一些实施例中，在状态轨迹上存在多个连续轨迹点对应的状态信息为已脱离物品拾取装置的情况下，判断多个连续轨迹点的数量是否大于数量阈值。在多个连续轨迹点的数量大于数量阈值的情况下，确定待检测物品从物品拾取装置上掉落。
121.例如，计算状态信息为已脱离物品拾取装置的个数、开始掉落的时刻、掉落后的状态信息为已脱离物品拾取装置的个数(即掉落后运动时长)。当机械臂抓取货物状态个数大于数量阈值，并且掉落后的状态信息为已脱离物品拾取装置的个数大于数量阈值时，判断此状态轨迹为机械臂抓取货物时的货物掉落轨迹，此动态过程即机械臂抓取货物时的货物掉落事件。
122.上述实施例中，利用运动目标检测和跟踪得到感兴趣的货物运动轨迹；基于轨迹中的完整目标状态信息变化，来确定是否为机械臂抓取货物过程中的货物掉落事件。综合考虑了此事件中的两个不可或缺的重要因素：机械臂抓取货物和货物掉落运动。最终可以输出完整掉落轨迹和掉落点位置，可解释性强，灵活性强，可以根据此结果灵活配置后续的掉落事件处理机制。
123.在一些实施例中，在状态轨迹上确定状态变化轨迹点(即图中开始掉落箭头处)，状态变化轨迹点对应的状态信息为已脱离物品拾取装置，状态变化轨迹点的前一个轨迹点对应的状态信息为未脱离物品拾取装置；以状态变化轨迹点为起点，统计对应的状态信息为已脱离物品拾取装置的多个连续轨迹点的数量；判断多个连续轨迹点的数量是否大于数量阈值。
124.在一些实施例中，对多帧图像中的待检测物品进行目标跟踪，以确定各帧图像中待检测物品的运动信息；根据运动信息，生成状态轨迹；在确定待检测物品从物品拾取装置上掉落的情况下，根据运动信息确定待检测物品的掉落轨迹、开始掉落的位置或最后掉落位置中的至少一个。
125.例如，对多帧图像中的待检测物品进行目标跟踪包括：d-iou方法和sort方法，对
多帧图像中的待检测物品进行目标跟踪。
126.例如，将状态轨迹的最后时刻的货物所在位置，确定为货物掉落最终的掉落点位置。
127.图4示出本公开的物品的检测方法的另一些实施例的流程图。
128.如图4所示，在步骤410中，获取视频中的图像序列，图像序列包括多帧图像。例如，将本地视频文件或者输入的视频流，进行视频解码抽帧处理，以提取图像序列，作为后续处理的输入。
129.在步骤420中，可以采用帧差法、背景建模法、光流法等算法，计算当前帧图像与上一帧图像之间的差异。帧差法、光流法是以当前帧图片与上一帧图片作为输入，计算两帧图像之间的变化信息；然后根据经验阈值，对帧差法或光流法或gmm背景建模法的处理结果进行图像二值分割，便可得到初步的运动前景区域。
130.如图2a所示，为机械臂抓取小型盒子类的货物时，在某时刻的运动前景图，即非白色区域为计算得到的运动前景区域。
131.在步骤430中，图像的形态学处理包括膨胀、腐蚀、闭运算、开运算等。形态学的闭运算可以用来弥合较窄的间断和细长的沟壑、消除物体间小的孔洞、填补轮廓线中的断裂；形态学的开运算通常可以用来断开物体间较窄的连接、消除物体边沿尖锐的突出部分、平滑轮廓。
132.例如，针对不同的应用场景，可以采用不同的形态学操作，以及不同尺寸、不同种类的形态学结构元来进行组合。
133.例如，首先采取基于十字型结构元的形态学的开运算，来去除噪声；然后，采用基于矩形结构元的形态学的闭运算，来填充空洞、填补断裂的轮廓线；接着，采用基于矩形结构元的形态学的开运算，来断开物体间较窄的连接，即利用机械臂抓取器和被抓取货物之间较窄的连接处，来将被抓取的货物和相同运动的机械臂分离开；最后，利用基于十字型的形态学的开运算，来修剪消除结果毛刺。
134.如图2b所示，为形态学处理之后的运动前景区域。
135.在步骤440中，对步骤430中形态学处理后的运动前景区域进行连通区域计算，并对每个连通区域的最外侧边缘求取最大外接矩形框，作为候选的运动目标框。还可以过滤掉连通区域面积s
roi
小于面积阈值的运动目标框以滤除噪点，从而得到图2b中的6个运动目标框，作为候选区域。
136.在步骤450中，对步骤440得到的候选区域中的运动目标进行分类。首先，利用步骤440得到的运动目标框，在原始的图像中裁剪出局部的多个待分类图像；然后，利用机器学习模型(如深度学习模型)对待分类图像进行识别分类。例如，采用深度学习分类模型对待分类图像进行分类。
137.例如，由于机械臂抓取货物时，机械臂和货物均发生运动，因此图2b中的运动目标框中，可能包含被抓取货物之外的运动目标。并且，货物掉落是一种动态事件，其包含两个要素(即机械臂抓取货物过程和货物脱落抓取器后的运动过程)缺一不可。因此，分类模型的类别标签可以设置为：第一取值1，表示未脱离物品拾取装置的物品；第二取值2，表示已脱离物品拾取装置的物品；第三取值3，其它运动物体和干扰(如机械臂、噪声等)。
138.例如，也可根据实际场景，对其它运动物体和干扰这一类别进行进一步细分。
139.如图2b所示，根据分类结果来筛选感兴趣的运动目标，只保留未脱离物品拾取装置的物品和已脱离物品拾取装置的物品这两种标签，其它则滤除掉。
140.例如，虚线矩形框的运动目标为机械臂运动区域和其它运动干扰噪声；实线矩形框则为保留下来的未脱离物品拾取装置的物品。还可以保留识别出的其它运动的货物(如包括已脱离物品拾取装置的物品)。
141.在步骤460中，由于某些情况下的货物运动特性，导致运动前景计算结果往往只能分割出货物的局部。如图2c所示，货物从虚线状态运动至实线状态时，靠近货物中心的区域的运动幅度较小，导致运动前景区域计算时容易遗漏靠近货物中心的区域。如图2d所示，掩膜区域1和掩膜区域2为得到的运动前景区域。
142.另外，由于步骤430中的形态学处理，在某些情况下可能将属于同一货物的掩膜区域分离开。
143.因此，采用运动目标合并策略，将分离开的货物目标合并，以保证得到完整的目标框位置信息。
144.首先，两两计算货物(运动目标框)之前的距离(如d-iou等)，对于距离小于距离阈值的货物进行两两合并；然后，更新合并后的运动目标框的位置信息和类别信息。
145.如图2d所示，掩膜区域1的运动目标框为box b，掩膜区域2的运动目标框为box a,合并后的运动目标框为box c。
146.例如，以图像的左上角为原点，box a的4个顶点中最小坐标为(a
xmin
，a
ymin
)，最大坐标为(a
xmax
，a
ymax
)；box b的4个顶点中最小坐标为(b
xmin
，b
ymin
)，最大坐标为(b
xmax
，b
ymax
)，则box c左上角的坐标(c
xmin
，c
ymin
)为：
147.c
xmin
＝min(a
xmin
，b
xmin
)；
148.c
ymin
＝min(a
ymin
，b
ymin
)
149.boxc右下角的坐标为：
150.c
xmax
＝max(a
xmax
，b
xmax
)；
151.c
ymax
＝min(a
ymax
，b
ymax
)
152.由于，合并之前的运动目标的分类结果为货物的局部分类结果，因此，合并之后需要再进行一次分类处理；将再次分类的结果，更新至合并后的货物的状态信息。
153.在步骤470中，可以采用最近邻匹配、sort、deep-sort等目标跟踪方法，对步骤460中得到的货物进行轨迹跟踪。将得到的跟踪结果记录下来，如track(i，t)。i表示跟踪的目标标识(id)，t表示第t帧时最新的跟踪状态(包括最新位移、累计路程、最大速度、平均速度、加速度、丢失帧数、轨迹目标长度等信息)。每一次匹配到新目标，都将其记录至相对应id的轨迹目标列表里。
154.在步骤480中，对步骤470得到的状态轨迹来一一计算，判断状态轨迹是否为机械臂抓取后的货物掉落轨迹以及掉落点位置。
155.针对任一个待处理的状态轨迹，首先利用中值滤波，对轨迹中每一帧识别的分类状态结果进行处理。基于前后相邻帧图像的状态信息，来修正当前帧图像的状态信，从而缓解由分类模型本身预测精度有限导致的状态噪声。
156.如图3所示，第一行是原始的状态轨迹，第二行是中值滤波处理后的状态轨迹。状态轨迹中的0表示机械臂抓取货物状态(即未脱离物品拾取装置)，1表示普通运动货物状态
(即已脱离物品拾取装置)。
157.然后，计算状态信息为已脱离物品拾取装置的个数、开始掉落的时刻、掉落后的状态信息为已脱离物品拾取装置的个数(即掉落后运动时长)。当机械臂抓取货物状态个数大于数量阈值，并且掉落后的状态信息为已脱离物品拾取装置的个数大于数量阈值时，判断此状态轨迹为机械臂抓取货物时的货物掉落轨迹，此动态过程即机械臂抓取货物时的货物掉落事件。
158.另外，可以将状态轨迹的最后时刻的货物所在位置，确定为货物掉落最终的掉落点位置。
159.图5示出本公开的物品的检测装置的一些实施例的框图。
160.如图5所示，该实施例的物品的检测装置5包括：存储器51以及耦接至该存储器51的处理器52，处理器52被配置为基于存储在存储器51中的指令，执行本公开中任意一个实施例中的物品的检测方法。
161.其中，存储器51例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序boot loader、数据库以及其他程序等。
162.图6示出本公开的物品的检测装置的另一些实施例的框图。
163.如图6所示，该实施例的物品的检测装置6包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中的物品的检测方法。
164.存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序boot loader以及其他程序等。
165.物品的检测装置6还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏、麦克、音箱等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为sd卡、u盘等外置存储设备提供连接接口。
166.图7示出本公开的物品的检测装置的又一些实施例的框图。
167.如图7所示，物品的检测装置7包括：分类单元71，用于利用机器学习模型，分别对多帧图像中的待检测物品进行分类，以确定各帧图像中待检测物品的状态信息，状态信息包括已脱离物品拾取装置和未脱离物品拾取装置；判断单元72，用于根据是否存在多帧时间连续的图像对应的状态信息为已脱离物品拾取装置，判断待检测物品是否从物品拾取装置上掉落。
168.在一些实施例中，判断单元72在多帧时间连续的图像的数量大于数量阈值的情况下，确定待检测物品从物品拾取装置上掉落。
169.在一些实施例中，检测装置7还包括：生成单元73，用于按照各帧图像的时间顺序，根据各帧图像对应的状态信息，生成待检测物品的状态轨迹；判断单元72在状态轨迹上存在多个连续轨迹点对应的状态信息为已脱离物品拾取装置的情况下，判断多个连续轨迹点的数量是否大于数量阈值，在多个连续轨迹点的数量大于数量阈值的情况下，确定待检测物品从物品拾取装置上掉落。
170.在一些实施例中，判断单元72在状态轨迹上确定状态变化轨迹点，状态变化轨迹
点对应的状态信息为已脱离物品拾取装置，状态变化轨迹点的前一个轨迹点对应的状态信息为未脱离物品拾取装置，以状态变化轨迹点为起点，统计对应的状态信息为已脱离物品拾取装置的多个连续轨迹点的数量，判断多个连续轨迹点的数量是否大于数量阈值。
171.在一些实施例中，生成单元73在轨迹点对应的图像中待检测物品已脱离物品拾取装置的情况下，将轨迹点对应的状态信息确定为第一取值，在轨迹点对应的图像中待检测物品未脱离物品拾取装置的情况下，将轨迹点对应的状态信息确定为第二取值，对状态轨迹中各轨迹点的状态信息进行中值滤波处理；判断单元72判断中值滤波处理后的状态轨迹中，是否存在多个连续轨迹点对应的状态信息为已脱离物品拾取装置。
172.在一些实施例中，生成单元73对多帧图像中的待检测物品进行目标跟踪，以确定各帧图像中待检测物品的运动信息，根据运动信息，生成状态轨迹；判断单元72在确定待检测物品从物品拾取装置上掉落的情况下，根据运动信息确定待检测物品的掉落轨迹、开始掉落的位置或最后掉落位置中的至少一个。
173.在一些实施例中，判断单元72根据d-iou方法和sort方法，对多帧图像中的待检测物品进行目标跟踪。
174.在一些实施例中，分类单元71确定当前帧图像中存在移动物体的多个候选区域，利用机器学习模型，对多个候选区域中的移动物体进行分类，以确定各候选区域是否包含待检测物品，在当前帧图像存在多个包含待检测物品的候选区域的情况下，将多个包含待检测物品的候选区域合并为待检测物品所在的目标区域，利用机器学习模型，对目标区域中的待检测物品进行分类，以确定待检测物品的状态信息。
175.在一些实施例中，分类单元71计算各包含待检测物品的候选区域之间的距离，对距离小于距离阈值的候选区域进行合并，以确定目标区域。
176.在一些实施例中，分类单元71根据当前帧图像与上一帧图像之间的差异，确定当前帧图像中的运动前景区域，运动前景区域中存在多个移动物体，在运动前景区域中，确定多个候选区域。
177.在一些实施例中，分类单元71对运动前景区域进行连通区域计算，以确定图像中的多个连通区域，根据多个连通区域，确定多个候选区域。
178.在一些实施例中，分类单元71对运动前景区域进行形态学处理，形态学处理包括基于十字型结构元的形态学开运算、基于矩形形态元的形态学闭运算或者基于十字型结构元的形态学开运算中的至少一种，在形态学处理后的运动前景区域中，确定多个候选区域。
179.在一些实施例中，分类单元71将各帧图像中的移动物体分类为已脱离物品拾取装置的物品、未脱离物品拾取装置的物品或者非待检测物品，非待检测物品包括物品拾取装置。
180.图8示出本公开的自动化设备的一些实施例的框图。
181.如图8所示，自动化设备8包括：上述任一个实施例中的物品的检测装置81；物品拾取装置82，用于拾取物品；图像获取装置83，用于获取多帧包括物品拾取装置或物品中的至少一个的图像。
182.本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算
机可用非瞬时性存储介质包括但不限于磁盘存储器、cd-rom、光学存储器等上实施的计算机程序产品的形式。
183.至此，已经详细描述了根据本公开的物品的检测方法、物品的检测装置、自动化设备和非易失性计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
184.可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
185.虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

技术特征：
1.一种物品的检测方法，包括：利用机器学习模型，分别对多帧图像中的待检测物品进行分类，以确定各帧图像中所述待检测物品的状态信息，所述状态信息包括已脱离物品拾取装置或者未脱离物品拾取装置；根据是否存在状态信息为已脱离物品拾取装置的多帧时间连续的图像，判断所述待检测物品是否从所述物品拾取装置上掉落。2.根据权利要求1所述的检测方法，其中，所述判断所述待检测物品是否从所述物品拾取装置上掉落包括：在所述多帧时间连续的图像的数量大于数量阈值的情况下，确定所述待检测物品从所述物品拾取装置上掉落。3.根据权利要求2所述的检测方法，还包括：按照所述各帧图像的时间顺序，根据所述各帧图像对应的状态信息，生成所述待检测物品的状态轨迹；所述确定所述待检测物品从所述物品拾取装置上掉落包括：在所述状态轨迹上存在多个连续轨迹点对应的状态信息为已脱离物品拾取装置的情况下，判断所述多个连续轨迹点的数量是否大于所述数量阈值；在所述多个连续轨迹点的数量大于所述数量阈值的情况下，确定所述待检测物品从所述物品拾取装置上掉落。4.根据权利要求3所述的检测方法，其中，所述判断所述多个连续轨迹点的数量是否大于所述数量阈值包括：在所述状态轨迹上确定状态变化轨迹点，所述状态变化轨迹点对应的状态信息为已脱离物品拾取装置，所述状态变化轨迹点的前一个轨迹点对应的状态信息为未脱离物品拾取装置；以所述状态变化轨迹点为起点，统计对应的状态信息为已脱离物品拾取装置的多个连续轨迹点的数量；判断所述多个连续轨迹点的数量是否大于所述数量阈值。5.根据权利要求3所述的检测方法，其中，所述生成所述待检测物品的状态轨迹包括：在轨迹点对应的图像中所述待检测物品已脱离物品拾取装置的情况下，将所述轨迹点对应的状态信息确定为第一取值；在轨迹点对应的图像中所述待检测物品未脱离物品拾取装置的情况下，将所述轨迹点对应的状态信息确定为第二取值；所述判断所述多个连续轨迹点的数量是否大于所述数量阈值包括：对所述状态轨迹中各轨迹点的状态信息进行中值滤波处理；判断中值滤波处理后的状态轨迹中，是否存在多个连续轨迹点对应的状态信息为已脱离物品拾取装置。6.根据权利要求3所述的检测方法，其中，所述生成所述待检测物品的状态轨迹包括：对所述多帧图像中的待检测物品进行目标跟踪，以确定所述各帧图像中所述待检测物品的运动信息；根据所述运动信息，生成所述状态轨迹；
还包括：在确定所述待检测物品从所述物品拾取装置上掉落的情况下，根据所述运动信息确定所述待检测物品的掉落轨迹、开始掉落的位置或最后掉落位置中的至少一个。7.根据权利要求6所述的检测方法，其中，所述对所述多帧图像中的待检测物品进行目标跟踪包括：根据距离交并比d-iou方法和简单在线和实时跟踪sort方法，对所述多帧图像中的待检测物品进行目标跟踪。8.根据权利要求1所述的检测方法，其中，所述利用机器学习模型，分别对多帧图像中的待检测物品进行分类包括：确定当前帧图像中存在移动物体的多个候选区域；利用所述机器学习模型，对所述多个候选区域中的移动物体进行分类，以确定各候选区域是否包含所述待检测物品；在所述当前帧图像存在多个包含所述待检测物品的候选区域的情况下，将多个包含所述待检测物品的候选区域合并为所述待检测物品所在的目标区域；利用所述机器学习模型，对所述目标区域中的所述待检测物品进行分类，以确定所述待检测物品的状态信息。9.根据权利要求8所述的检测方法，其中，所述将多个包含所述待检测物品的候选区域合并为所述待检测物品所在的目标区域包括：计算各包含所述待检测物品的候选区域之间的距离；对距离小于距离阈值的候选区域进行合并，以确定所述目标区域。10.根据权利要求8所述的检测方法，其中，所述确定图像中存在移动物体的多个候选区域包括：根据所述当前帧图像与上一帧图像之间的差异，确定所述当前帧图像中的运动前景区域，所述运动前景区域中存在多个移动物体；在所述运动前景区域中，确定所述多个候选区域。11.根据权利要求10所述的检测方法，其中，所述在所述运动前景区域中，确定所述多个候选区域包括：对所述运动前景区域进行连通区域计算，以确定所述图像中的多个连通区域；根据所述多个连通区域，确定所述多个候选区域。12.根据权利要求10所述的检测方法，其中，所述在所述运动前景区域中，确定所述多个候选区域包括：对所述运动前景区域进行形态学处理，所述形态学处理包括基于十字型结构元的形态学开运算、基于矩形形态元的形态学闭运算或者基于十字型结构元的形态学开运算中的至少一种；在形态学处理后的运动前景区域中，确定所述多个候选区域。13.根据权利要求1-12任一项所述的检测方法，其中，所述利用机器学习模型，分别对多帧图像中的待检测物品进行分类包括：将所述各帧图像中的移动物体分类为已脱离物品拾取装置的物品、未脱离物品拾取装置的物品或者非待检测物品，所述非待检测物品包括所述物品拾取装置。
14.一种物品的检测装置，包括：分类单元，用于利用机器学习模型，分别对多帧图像中的待检测物品进行分类，以确定各帧图像中所述待检测物品的状态信息，所述状态信息包括已脱离物品拾取装置和未脱离物品拾取装置；判断单元，用于根据是否存在多帧时间连续的图像对应的状态信息为已脱离物品拾取装置，判断所述待检测物品是否从所述物品拾取装置上掉落。15.一种物品的检测装置，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-13任一项所述的物品的检测方法。16.一种自动化设备，包括：权利要求14或15所述的物品的检测装置；物品拾取装置，用于拾取所述物品；图像获取装置，用于获取多帧包括所述物品拾取装置或所述物品中的至少一个的图像。17.一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-13任一项所述的物品的检测方法。

技术总结
本公开涉及一种物品的检测方法、装置和自动化设备，涉及自动化技术领域。该检测方法，包括：利用机器学习模型，分别对多帧图像中的待检测物品进行分类，以确定各帧图像中待检测物品的状态信息，状态信息包括已脱离物品拾取装置或者未脱离物品拾取装置；根据是否存在状态信息为已脱离物品拾取装置的多帧时间连续的图像，判断待检测物品是否从物品拾取装置上掉落。本公开的技术方案能够提高检测准确性，降低成本。低成本。低成本。


技术研发人员：郑少杰 于伟 梅涛
受保护的技术使用者：京东科技控股股份有限公司
技术研发日：2023.03.20
技术公布日：2023/7/12