一种基于图像处理的抓取控制方法及装置与流程

1.本技术涉及智能机器人领域，特别涉及一种基于图像处理的抓取控制方法及装置。


背景技术：

2.娃娃机等选物贩卖机，原理是将商品陈列在一个透明的箱内，其上有一个可控制抓取物品的机器手臂，使用者要凭自己的技术操控手臂，以取得自己想要的物品。大多放置毛绒玩具之类的布偶填充玩具，因而受儿童及青少年欢迎。
3.发明人研究发现，玩家在进行娃娃机游戏时追求的只是抓取目标娃娃的精准性，玩法单一，控制过程较为简单，缺少能够启发用户的想象力的其他玩法。


技术实现要素：

4.本技术的目的在于提供一种基于图像处理的抓取控制方法及装置，其能够改善上述问题。
5.本技术的实施例是这样实现的：第一方面，本技术提供一种基于图像处理的抓取控制方法，应用于礼品抓取机，所述礼品抓取机包括礼品箱体、机械抓手、平面驱动组件和伸长驱动组件，所述机械抓手通过所述伸长驱动组件与所述平面驱动组件连接，所述机械抓手在所述平面驱动组件和/或所述伸长驱动组件的驱动下在所述礼品箱体内运动，以抓取所述礼品箱体内的礼品，所述抓取控制方法包括：s1、获取第一待处理图像；s2、控制平面驱动组件驱动机械抓手移动至礼品箱体顶部的中心位置后，获取设置于所述机械抓手中央位置的中央摄像头所拍摄到的第二待处理图像；s3、分析出所述第一待处理图像和所述第二待处理图像中的每个元素的近似类别结果；s4、将所述第一待处理图像中面积占比最大的元素的近似类别结果作为第一近似结果，将所述第二待处理图像中每个元素的近似类别结果作为第二近似结果；s5、在所述第二近似结果与所述第一近似结果匹配的情况下，将所述第二近似结果对应的元素确认为备选元素；s6、控制所述机械抓手抓取所述备选元素对应的礼品放置于礼品出口处。
6.其中：s1、s2等仅为步骤标识，方法的执行顺序并不一定按照数字由小到大的顺序进行，比如可以是先执行步骤s2再执行步骤s1，本技术不做限制。
7.可以理解，本技术公开了一种基于图像处理的抓取控制方法，应用于礼品抓取机，首先获取包含玩家人像的第一待处理图像和包含礼品箱内所有礼品的第二待处理图像，分析得到玩家人像元素和第二待处理图像的每个元素的近似类别结果，在第二待处理图像中挑选出与玩家人像元素的近似类别结果匹配的备选元素，最后控制机械抓手抓取备选元素
对应的礼品。本方法包含了礼品抓取机的一种新玩法，不再单纯追求抓取目标娃娃的精准性，而是在礼品箱中抓取与玩家形象抽象近似的礼品反馈给玩家，可以很好地启发玩家的想象力，丰富礼品抓取机的娱乐方式。
8.在本技术可选的实施例中，步骤s3包括：s31、通过图像元素识别模型对所述第一待处理图像和所述第二待处理图像中的每个元素进行识别，得到每个元素的类别概率表，所述类别概率表包括元素属于各个备选类别的概率；s32、在所述类别概率表中去除目标备选类别后，选取所述类别概率表中概率最大的所述备选类别作为对应元素的近似类别结果。
9.在本技术可选的实施例中，所述目标备选类别包括以下至少一项：所述目标备选类别为所述类别概率表中当前概率最大的备选类别；所述第一待处理图像对应的所述目标备选类别为人物类别；所述第二待处理图像对应的所述目标备选类别为玩偶类别。
10.可以理解，图像元素识别模型为人工神经网络模型，包括输入层、复合隐藏层、预测层和输出层，用于输出预测框可信度得分大于预设得分值的预测框所对应的类别概率表。类别概率表中，概率最大的备选类别即为图像元素识别模型的识别结果。但是本方法放弃当前概率最大的目标备选类别，而是选择概率次大的备选类别作为输出结果，即为元素的近似类别结果，能够起到很好地抽象近似效果。
11.在本技术可选的实施例中，步骤s31之前还包括：通过目标图像集对所述图像元素识别模型进行训练，所述目标图像集包括经过至少两级分类的样本图像。在此情况下，所述类别概率表中的所述备选类别为所述至少两级分类的末级分类类别。
12.可以理解，类似目标检测数据集pascal voc的目标图像集，将各种图像元素进行多级分类，比如：一级分类包括动物、家具、交通工具等，动物的二级分类又包括猫、狗、老鼠等。
13.在本技术可选的实施例中，步骤s5包括以下至少一项：在所述第二近似结果与所述第一近似结果相同的情况下，将所述第二近似结果对应的元素确认为备选元素；在所述第二近似结果与所述第一近似结果的上一级类别相同的情况下，将所述第二近似结果对应的元素确认为备选元素。
14.可以理解，判断第二近似结果与第一近似结果匹配分为两种情况，其一，第二近似结果与第一近似结果完全一致；其二，第二近似结果和第一近似结果所属大类一致。
15.在本技术可选的实施例中，所述通过目标图像集对所述图像元素识别模型进行训练，包括：根据以下损失函数，通过目标图像集对所述图像元素识别模型进行训练：;其中：
其中：和为对应损失因素所对应的权值，一般为预设常数；表示若图像元素识别模型的输入图片第个网格对应的第个预测框负责预测图像元素则赋值为1，否则赋值为0；代表输入图片的网格总数，表示每个网格对应的预测框总数；表示第个网格对应的图像元素的真实框坐标，表示第个网格对应的预测框坐标，表示第个网格对应的图像元素的真实框的宽度和高度，表示第个网格对应的预测框的宽度和高度；表示第个网格对应的真实框的可信度得分，表示第个网格对应的预测框的可信度得分；表示若图像元素识别模型的输入图片第个网格对应的第个预测框不负责预测图像元素则赋值为1，否则赋值为0；表示若图像元素识别模型的输入图片第个网格对应的预测框包含图像元素则赋值为1，否则赋值为0；表示将输入图片第个网格对应的真实框元素预测为类别的概率，表示将输入图片第个网格对应的预测框元素预测为类别的概率，代表类别的总集。
16.在本技术可选的实施例中，所述基于图像处理的抓取控制方法还包括：s7、在所述备选元素的数量大于1的情况下，选择所述第二待处理图像中距离所述第二待处理图像中心点最近的所述备选元素作为目标元素；s8、所述控制机械抓手抓取所述备选元素对应的礼品放置于礼品出口处，包括：控制机械抓手抓取所述目标元素对应的礼品放置于礼品出口处。
17.可以理解，本方法可以通过图像处理的方式在礼品箱中确认与玩家形象抽象近似的礼品，但是中央摄像头所拍摄到的当前礼品箱中与玩家形象抽象近似的礼品可能不止一个，那么此时可以将与第二待处理图像中心点最近的礼品确认为目标礼品，将其抓取并放置于礼品出口处。由于拍摄第二待处理图像时，机械抓手位于礼品箱体顶部的中心位置，因
此与第二待处理图像中心点最近的礼品，也就是与机械抓手最近的礼品，以便于机械抓手完成抓取操作。
18.在本技术可选的实施例中，所述基于图像处理的抓取控制方法还包括：s9、在所有所述第二近似结果都不与所述第一近似结果匹配的情况下，控制所述机械抓手在所述礼品箱体内进行搅动。
19.可以理解，第二待处理图像是通过处于礼品箱体顶部的中心位置的中央摄像头获取的俯视图，由于礼品箱内各种玩偶礼品可能相互遮挡，导致一些玩偶被埋藏于其他玩偶下方，无法被中央摄像头拍摄到，因此，可以通过机械抓手在礼品箱体内进行搅动，从而将位于礼品箱底部的玩偶暴露出来，以便被中央摄像头拍到。机械抓手在所述礼品箱体内完成搅动操作后，可以重复步骤s1至s6以重新获取与玩家形象抽象近似的礼品反馈给玩家。
20.第二方面，本技术提供一种基于图像处理的抓取控制装置，应用于礼品抓取机，其包括：相互连接的中央摄像头、交互摄像头、处理器、输入设备、输出设备和存储器；所述中央摄像头设置于所述机械抓手朝向所述礼品箱体底部的一侧的中央位置；所述交互摄像头设置于所述礼品箱体朝向用户的侧面上；所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面任一项所述的方法。
21.在本技术可选的实施例中，所述基于图像处理的抓取控制装置用于获取所述第一待处理图像的通信模组，所述通信模组与所述处理器电连接。
22.第三方面，本发明供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现第一方面任一方法的步骤。
23.有益效果：本技术公开了一种基于图像处理的抓取控制方法，应用于礼品抓取机，首先获取包含玩家人像的第一待处理图像和包含礼品箱内所有礼品的第二待处理图像，分析得到玩家人像元素和第二待处理图像的每个元素的近似类别结果，在第二待处理图像中挑选出与玩家人像元素的近似类别结果匹配的备选元素，最后控制机械抓手抓取备选元素对应的礼品。本方法包含了礼品抓取机的一种新玩法，不再单纯追求抓取目标娃娃的精准性，而是在礼品箱中抓取与玩家形象抽象近似的礼品反馈给玩家，可以很好地启发玩家的想象力，丰富礼品抓取机的娱乐方式。
24.本方法可以通过图像处理的方式在礼品箱中确认与玩家形象抽象近似的礼品，但是中央摄像头所拍摄到的当前礼品箱中与玩家形象抽象近似的礼品可能不止一个，那么此时可以将与第二待处理图像中心点最近的礼品确认为目标礼品，将其抓取并放置于礼品出口处。由于拍摄第二待处理图像时，机械抓手位于礼品箱体顶部的中心位置，因此与第二待处理图像中心点最近的礼品，也就是与机械抓手最近的礼品，以便于机械抓手完成抓取操作。
25.第二待处理图像是通过处于礼品箱体顶部的中心位置的中央摄像头获取的俯视图，由于礼品箱内各种玩偶礼品可能相互遮挡，导致一些玩偶被埋藏于其他玩偶下方，无法被中央摄像头拍摄到，因此，可以通过机械抓手在礼品箱体内进行搅动，从而将位于礼品箱底部的玩偶暴露出来，以便被中央摄像头拍到。机械抓手在所述礼品箱体内完成搅动操作后，可以重复步骤s1至s6以重新获取与玩家形象抽象近似的礼品反馈给玩家。
26.为使本技术的上述目的、特征和优点能更明显易懂，下文特举可选实施例，并配合所附附图，作详细说明如下。
附图说明
27.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
28.图1是本技术提供的一种礼品抓取机的结构示意图；图2是本技术提供的一种基于图像处理的抓取控制方法的流程示意图；图3是本技术提供的近似类别结果的分析流程图；图4是本技术提供的一种基于图像处理的抓取控制装置的结构示意图。
具体实施方式
29.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
30.第一方面，本技术提供一种基于图像处理的抓取控制方法，应用于礼品抓取机。如图1所示，礼品抓取机包括礼品箱体1、机械抓手2、平面驱动组件（图中未示出）和伸长驱动组件（图中未示出），机械抓手通过伸长驱动组件与平面驱动组件连接，机械抓手在平面驱动组件和/或伸长驱动组件的驱动下在礼品箱体内运动，以抓取礼品箱体内的礼品放置于礼品出口3处。其中：平面驱动组件可以驱动机械抓手2在平行于礼品箱体1顶面的平面上运动，伸长驱动组件可以驱动机械抓手2在垂直于礼品箱体1顶面的方向上做伸缩运动。
31.如图2所示，本技术提供的基于图像处理的抓取控制方法包括：s1、获取第一待处理图像。
32.在本技术实施例中，如图1所示，礼品抓取机朝向玩家的一面设置有交互触控屏4和交互摄像头5，第一待处理图像可以由交互摄像头拍摄玩家形象获得，此外，第一待处理图像还可以由玩家通过个人终端设备发送获得。无论哪一种获取方式，第一待处理图像中都至少包含了玩家形象。
33.s2、控制平面驱动组件驱动机械抓手移动至礼品箱体顶部的中心位置后，获取设置于机械抓手中央位置的中央摄像头所拍摄到的第二待处理图像。
34.在本技术提供的方案中，机械抓手2朝向礼品箱体1底部的中心位置设置有中央摄像头（图中未示出），当机械抓手移动至礼品箱体顶部的中心位置时，中央摄像头也位于礼品箱体顶部的中心位置，能够从俯视的角度拍摄到礼品箱内的礼品。步骤s2之前，还可以调节中央摄像头的焦距和/或拍摄视角，使得中央摄像头能够拍摄到放置于礼品箱体内的所有礼品。
35.s3、分析出第一待处理图像和第二待处理图像中的每个元素的近似类别结果。
36.s4、将第一待处理图像中面积占比最大的元素的近似类别结果作为第一近似结
果，将第二待处理图像中每个元素的近似类别结果作为第二近似结果。
37.第一待处理图像虽然包含了玩家形象，但也可能包含其他人物形象，因此可以通过面积占比筛选出第一待处理图像中最大的元素作为玩家形象元素，玩家形象元素的近似类别结果作为第一近似结果。
38.第二待处理图像中包含了礼品箱内多个礼品元素，因此需要对每个礼品元素分析出近似类别结果，这些礼品元素的近似类别结果都作为第二近似结果。
39.s5、在第二近似结果与第一近似结果匹配的情况下，将第二近似结果对应的元素确认为备选元素。
40.s6、控制机械抓手抓取备选元素对应的礼品放置于礼品出口处。
41.其中：s1、s2等仅为步骤标识，方法的执行顺序并不一定按照数字由小到大的顺序进行，比如可以是先执行步骤s2再执行步骤s1，本技术不做限制。
42.可以理解，本技术公开了一种基于图像处理的抓取控制方法，应用于礼品抓取机，首先获取包含玩家人像的第一待处理图像和包含礼品箱内所有礼品的第二待处理图像，分析得到玩家人像元素和第二待处理图像的每个元素的近似类别结果，在第二待处理图像中挑选出与玩家人像元素的近似类别结果匹配的备选元素，最后控制机械抓手抓取备选元素对应的礼品。本方法包含了礼品抓取机的一种新玩法，不再单纯追求抓取目标娃娃的精准性，而是在礼品箱中抓取与玩家形象抽象近似的礼品反馈给玩家，可以很好地启发玩家的想象力，丰富礼品抓取机的娱乐方式。
43.在本技术可选的实施例中，步骤s3包括：s31、通过图像元素识别模型对第一待处理图像和第二待处理图像中的每个元素进行识别，得到每个元素的类别概率表，类别概率表包括元素属于各个备选类别的概率。
44.s32、在类别概率表中去除目标备选类别后，选取类别概率表中概率最大的备选类别作为对应元素的近似类别结果。
45.如图3所示为近似类别结果的分析流程图，图像元素识别模型包括输入层101、复合隐藏层102、预测层103和输出层104。输入层101获取输入图片10后，复合隐藏层102的m个卷积-池化模块反复对输入图片10进行卷积和池化操作，以提取输入图片10的特征图像100；预测层103中的两个全连接层根据特征图像100预测输入图片10中各个元素的预测框位置信息、预测框可信度得分和类别概率表；经输出层104将预测框可信度得分大于预设得分的预测框确定目标预测框，输出目标预测框的预测框位置信息以及对应元素的类别概率表。图3中可以看出，输入图片10中的目标元素20对应的的类别概率表，p(c1)表示预测框内的元素属于类别c1的预测概率，p(c2)表示预测框内的元素属于类别c2的预测概率，以此类推，一共预测了m个备选类别的概率。图像元素识别模型输出目标元素对应的的类别概率表后，筛选模块105用于在去除类别概率表中的目标备选类别，再选取类别概率表中概率最大的备选类别作为对应元素的近似类别结果。
46.举例说明，以第一待处理图像为例，第一待处理图像中的玩家形象元素玩家形象为类似兔子长相的人物，其类别概率表中原本概率最大的备选类别为人物，概率次大的备选类别为兔子，经过图3的分析后，第一待处理图像中的玩家形象元素的近似类别结果为兔子。
47.其中：预测层的工作原理为：将特征图像分割为s
×
s个网格，每个网格对应有b个
预测框；将预测框可信度得分高于阈值的预测框作为目标预测框，默认目标预测框中包含有待识别的图像元素物体；对该目标预测框中的图像元素进行各个备选类别的概率预测，分别得到图像元素属于各个备选类别的概率。其中：预测框可信度得分用于表征预测框内存在待识别物体的概率，预测框可信度得分越高说明该预测框内存在待识别物体的概率越大，即该预测框被存在物体，预测框可信度得分越低说明该预测框内存在待识别物体的概率越低，即该预测框被不存在物体。
48.在本技术可选的实施例中，通过目标图像集对图像元素识别模型进行训练，包括：根据以下损失函数，通过目标图像集对图像元素识别模型进行训练：;其中：其中：和为对应损失因素所对应的权值，一般为预设常数；表示若图像元素识别模型的输入图片第个网格对应的第个预测框负责预测图像元素则赋值为1，否则赋值为0；代表输入图片的网格总数，表示每个网格对应的预测框总数；表示第个网格对应的图像元素的真实框坐标，表示第个网格对应的预测框坐标，表示第个网格对应的图像元素的真实框的宽度和高度，表示第个网格对应的预测框的宽度和高度；表示第个网格对应的真实框的可信度得分，表示第个网格对应的预测框的可信度得分；表示若图像元素识别模型的输入图片第个网格对应的第个预测框不负责预测图像元素则赋值为1，否则赋值为0；表示若图像元素识别模型的输入图片第个网格对应的预测框包含图像元素则赋值为1，否则赋值为0；表示将输入图片第个网格对应的真实框元素预测为类别的概率，表示将输入
图片第个网格对应的预测框元素预测为类别的概率，代表类别的总集。
49.在本技术可选的实施例中，目标备选类别包括以下至少一项：目标备选类别为类别概率表中当前概率最大的备选类别；第一待处理图像对应的目标备选类别为人物类别；第二待处理图像对应的目标备选类别为玩偶类别。
50.可以理解，图像元素识别模型为人工神经网络模型，包括输入层、复合隐藏层、预测层和输出层，用于输出预测框可信度得分大于预设得分值的预测框所对应的类别概率表。类别概率表中，概率最大的备选类别即为图像元素识别模型的识别结果。但是本方法放弃当前概率最大的目标备选类别，而是选择概率次大的备选类别作为输出结果，即为元素的近似类别结果，能够起到很好地抽象近似效果。
51.在本技术可选的实施例中，步骤s31之前还包括：通过目标图像集对图像元素识别模型进行训练，目标图像集包括经过至少两级分类的样本图像。在此情况下，类别概率表中的备选类别为至少两级分类的末级分类类别。
52.可以理解，类似目标检测数据集pascal voc的目标图像集，将各种图像元素进行多级分类，比如：一级分类包括动物、家具、交通工具等，动物的二级分类又包括猫、狗、老鼠等。
53.在本技术可选的实施例中，步骤s5包括以下至少一项：在第二近似结果与第一近似结果相同的情况下，将第二近似结果对应的元素确认为备选元素；在第二近似结果与第一近似结果的上一级类别相同的情况下，将第二近似结果对应的元素确认为备选元素。
54.可以理解，判断第二近似结果与第一近似结果匹配分为两种情况，其一，第二近似结果与第一近似结果完全一致；其二，第二近似结果和第一近似结果所属大类一致。
55.举例说明，玩偶形象一般根据其他形象演变而来，比如动物、食物、家具用品等。第二待处理图像中包含了多个玩偶元素，每个玩偶元素类别概率表中原本概率最大的备选类别为玩偶，概率次大的备选类别为兔子、猫、熊等其他类别。在第一待处理图像中的玩家形象元素的近似类别结果为兔子的情况下，需要在第二待处理图像中找到近似类别结果同样为兔子的玩偶元素作为备选元素。
56.在本技术可选的实施例中，基于图像处理的抓取控制方法还包括：s7、在备选元素的数量大于1的情况下，选择第二待处理图像中距离第二待处理图像中心点最近的备选元素作为目标元素。
57.s8、控制机械抓手抓取备选元素对应的礼品放置于礼品出口处，包括：控制机械抓手抓取目标元素对应的礼品放置于礼品出口处。
58.可以理解，本方法可以通过图像处理的方式在礼品箱中确认与玩家形象抽象近似的礼品，但是中央摄像头所拍摄到的当前礼品箱中与玩家形象抽象近似的礼品可能不止一个，那么此时可以将与第二待处理图像中心点最近的礼品确认为目标礼品，将其抓取并放置于礼品出口处。由于拍摄第二待处理图像时，机械抓手位于礼品箱体顶部的中心位置，因此与第二待处理图像中心点最近的礼品，也就是与机械抓手最近的礼品，以便于机械抓手完成抓取操作。
59.在本技术可选的实施例中，基于图像处理的抓取控制方法还包括：
s9、在所有第二近似结果都不与第一近似结果匹配的情况下，控制机械抓手在礼品箱体内进行搅动。
60.可以理解，第二待处理图像是通过处于礼品箱体顶部的中心位置的中央摄像头获取的俯视图，由于礼品箱内各种玩偶礼品可能相互遮挡，导致一些玩偶被埋藏于其他玩偶下方，无法被中央摄像头拍摄到，因此，可以通过机械抓手在礼品箱体内进行搅动，从而将位于礼品箱底部的玩偶暴露出来，以便被中央摄像头拍到。机械抓手在礼品箱体内完成搅动操作后，可以重复步骤s1至s6以重新获取与玩家形象抽象近似的礼品反馈给玩家。
61.其中控制机械抓手在礼品箱体内进行搅动，具体包括：固定机械抓手的当前姿态；控制伸长驱动组件驱动机械抓手伸长至礼品箱体底部；控制平面驱动组件驱动机械抓手在礼品箱体底部的平面上进行随机移动。
62.第二方面，如图4所示，本技术提供一种基于图像处理的抓取控制装置，应用于礼品抓取机30，其包括：通过总线连接的中央摄像头6、交互摄像头5、处理器201、输入设备202、输出设备203和存储器204；中央摄像头6设置于所述机械抓手朝向所述礼品箱体底部的一侧的中央位置；交互摄像头5设置于所述礼品箱体朝向用户的侧面上；存储器用于存储计算机程序，该计算机程序包括程序指令，处理器201用于执行存储器204存储的程序指令。其中：处理器被配置用于调用该程序指令执行第一方面任一方法的操作。
63.应当理解，在本发明实施例中，所称处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
64.输入设备203可以包括触控板、触控显示器、麦克风等，输出设备203可以包括触控显示器、扬声器等。
65.该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
66.在本技术可选的实施例中，所述基于图像处理的抓取控制装置用于获取所述第一待处理图像的通信模组，所述通信模组与所述处理器电连接。
67.第三方面，本发明供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现第一方面任一方法的步骤。
68.上述计算机可读存储介质可以是前述任一实施例的终端设备的内部存储单元，例如终端设备的硬盘或内存。上述计算机可读存储介质也可以是上述终端设备的外部存储设备，例如上述终端设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，上述计算机可读存储介质还可以既包括上述终端设备的内部存储单元也包括外部存储设备。上述计算机可读存储介
质用于存储上述计算机程序以及上述终端设备所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
69.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
70.在本技术所提供的几个实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
71.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
72.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
73.上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例中方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
74.在本公开的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关，但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如，第一用户设备和第二用户设备表示不同的用户设备，虽然两者均是用户设备。例如，在不背离本公开的范围的前提下，第一元件可称作第二元件，类似地，第二元件可称作第一元件。
75.当一个元件(例如，第一元件)称为与另一元件(例如，第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如，第二元件)或“连接至”另一元件(例如，第二元件)时，应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如，第三元件)间接连接至该另一个元件。相反，可理解，当元件(例如，第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时，则没有元件(例如，第
三元件)插入在这两者之间。
76.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本技术不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
77.以上描述仅为本技术的可选实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
78.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
79.以上描述仅为本技术的可选实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
80.以上所述仅为本技术的可选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于图像处理的抓取控制方法，其特征在于，包括：获取第一待处理图像；控制平面驱动组件驱动机械抓手移动至礼品箱体顶部的中心位置后，获取设置于所述机械抓手中央位置的中央摄像头所拍摄到的第二待处理图像；分析出所述第一待处理图像和所述第二待处理图像中的每个元素的近似类别结果；将所述第一待处理图像中面积占比最大的元素的近似类别结果作为第一近似结果，将所述第二待处理图像中每个元素的近似类别结果作为第二近似结果；在所述第二近似结果与所述第一近似结果匹配的情况下，将所述第二近似结果对应的元素确认为备选元素；控制所述机械抓手抓取所述备选元素对应的礼品放置于礼品出口处。2.根据权利要求1所述的基于图像处理的抓取控制方法，其特征在于，所述分析出所述第一待处理图像和所述第二待处理图像中的每个元素的近似类别结果，包括：通过图像元素识别模型对所述第一待处理图像和所述第二待处理图像中的每个元素进行识别，得到每个元素的类别概率表，所述类别概率表包括元素属于各个备选类别的概率；在所述类别概率表中去除目标备选类别后，选取所述类别概率表中概率最大的所述备选类别作为对应元素的近似类别结果。3.根据权利要求2所述的基于图像处理的抓取控制方法，其特征在于，所述目标备选类别包括以下至少一项：所述目标备选类别为所述类别概率表中当前概率最大的备选类别；所述第一待处理图像对应的所述目标备选类别为人物类别；所述第二待处理图像对应的所述目标备选类别为玩偶类别。4.根据权利要求2所述的基于图像处理的抓取控制方法，其特征在于，在所述通过图像元素识别模型对所述第一待处理图像和所述第二待处理图像中的每个元素进行近似识别之前，所述方法还包括：通过目标图像集对所述图像元素识别模型进行训练，所述目标图像集包括经过至少两级分类的样本图像；所述类别概率表中的所述备选类别为所述至少两级分类的末级分类类别。5.根据权利要求4所述的基于图像处理的抓取控制方法，其特征在于，所述在所述第二近似结果与所述第一近似结果匹配的情况下，将所述第二近似结果对应的元素确认为备选元素，包括以下至少一项：在所述第二近似结果与所述第一近似结果相同的情况下，将所述第二近似结果对应的元素确认为备选元素；在所述第二近似结果与所述第一近似结果的上一级类别相同的情况下，将所述第二近似结果对应的元素确认为备选元素。6.根据权利要求4所述的基于图像处理的抓取控制方法，其特征在于，所述通过目标图像集对所述图像元素识别模型进行训练，包括：根据以下损失函数，通过目标图像集对所述图像元素识别模型进行训练：
;其中：其中：和为对应损失因素所对应的权值，一般为预设常数；表示若图像元素识别模型的输入图片第个网格对应的第个预测框负责预测图像元素则赋值为1，否则赋值为0；代表输入图片的网格总数，表示每个网格对应的预测框总数；表示第个网格对应的图像元素的真实框坐标，表示第个网格对应的预测框坐标，表示第个网格对应的图像元素的真实框的宽度和高度，表示第个网格对应的预测框的宽度和高度；表示第个网格对应的真实框的可信度得分，表示第个网格对应的预测框的可信度得分；表示若图像元素识别模型的输入图片第个网格对应的第个预测框不负责预测图像元素则赋值为1，否则赋值为0；表示若图像元素识别模型的输入图片第个网格对应的预测框包含图像元素则赋值为1，否则赋值为0；表示将输入图片第个网格对应的真实框元素预测为类别的概率，表示将输入图片第个网格对应的预测框元素预测为类别的概率，代表类别的总集。7.根据权利要求1所述的基于图像处理的抓取控制方法，其特征在于，还包括：在所述备选元素的数量大于1的情况下，选择所述第二待处理图像中距离所述第二待处理图像中心点最近的所述备选元素作为目标元素；控制机械抓手抓取所述备选元素对应的礼品放置于礼品出口处，包括：控制机械抓手抓取所述目标元素对应的礼品放置于礼品出口处。8.根据权利要求1所述的基于图像处理的抓取控制方法，其特征在于，还包括：在所有所述第二近似结果都不与所述第一近似结果匹配的情况下，控制所述机械抓手
在所述礼品箱体内进行搅动。9.一种基于图像处理的抓取控制装置，应用于礼品抓取机，所述礼品抓取机包括礼品箱体、机械抓手、平面驱动组件和伸长驱动组件，所述机械抓手通过所述伸长驱动组件与所述平面驱动组件连接，所述机械抓手在所述平面驱动组件和/或所述伸长驱动组件的驱动下在所述礼品箱体内运动，以抓取所述礼品箱体内的礼品，其特征在于，所述抓取控制装置包括：相互连接的中央摄像头、交互摄像头、处理器、输入设备、输出设备和存储器；所述中央摄像头设置于所述机械抓手朝向所述礼品箱体底部的一侧的中央位置；所述交互摄像头设置于所述礼品箱体朝向用户的侧面上；所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1至8任一项所述的方法。10.根据权利要求9所述的基于图像处理的抓取控制装置，其特征在于，还包括：用于获取所述第一待处理图像的通信模组，所述通信模组与所述处理器电连接。

技术总结
本申请公开了一种基于图像处理的抓取控制方法及装置，涉及智能机器人领域，应用于礼品抓取机，首先获取包含玩家人像的第一待处理图像和包含礼品箱内所有礼品的第二待处理图像，分析得到玩家人像元素和第二待处理图像的每个元素的近似类别结果，在第二待处理图像中挑选出与玩家人像元素的近似类别结果匹配的备选元素，最后控制机械抓手抓取备选元素对应的礼品反馈给玩家。本方法包含了礼品抓取机的一种新玩法，不再单纯追求抓取目标娃娃的精准性，而是在礼品箱中抓取与玩家形象抽象近似的礼品反馈给玩家，可以很好地启发玩家的想象力，丰富礼品抓取机的娱乐方式。丰富礼品抓取机的娱乐方式。丰富礼品抓取机的娱乐方式。


技术研发人员：陈国栋 姚军亭 贾风光 李志锋 丁斌 古缘
受保护的技术使用者：山东中清智能科技股份有限公司
技术研发日：2023.06.12
技术公布日：2023/7/17