一种基于混合传感器的智能货柜系统及其商品识别方法与流程

1.本发明涉及一种基于混合传感器的智能货柜系统及其商品识别方法。


背景技术：

2.智能货柜的场景为一种无人售卖的场景，消费用户通过授权打开柜门，取走商品后关上柜门，对其取走的商品进行识别并完成扣费。
3.现有的技术方案会在一个智能货柜中，在商品取出时会使用单一传感器如重力传感器或者柜内摄像头来对商品进行识别，最多也是同时采用重力传感器以及柜内摄像头组合来对商品进行识别。
4.现有技术中有通过重力传感器获取分析了开门前后的重力变化来判断商品的取出放入，但在实际场景中，如有消费者有其他商品替换掉智能货柜中的商品时，会出现误判结果，且运用时局限性较大，仅可支持一层货架中放入一种商品。而重力传感器在使用一段时间后，会由于所处的温度环境及其他结构因素导致需要进行校准操作，以便让重力传感器回传的重量数据更准确，但校准的操作需要清空货架上的商品，很不方便。
5.另外现有技术中，在智能货柜的一层货架中也会同时使用一个柜内摄像头拍摄图片资源，根据图片中的商品特征图进行比对得到商品识别的结果，缺点是在同时拿出数量较多的商品时，识别的准确度较低。


技术实现要素：

6.本发明所要解决的技术问题是克服现有技术的不足，提供了一种同时采用了柜内重力传感器、柜内视觉传感器以及柜外视觉传感器来收集重量变化数据、货架层取货前后图像数据以及取货的柜外轨迹视频数据并分别进行分析计算得出各自商品命中结果及置信度后再综合各商品命中结果及置信度最终分析计算得出最终商品结果的智能货柜系统及其商品识别方法。
7.本发明所采用的技术方案是：本发明中的智能货柜系统包括带有柜门的柜体，所述柜体内适配设置有若干层储物层，每层所述储物层上适配设置有置物货架，所述智能货柜系统还包括重力传感器、柜内视觉传感器、柜外视觉传感器、控制终端、数据传输组件以及数据分析判定端，所述重力传感器适配设置在每个所述置物货架上，所述柜内视觉传感器适配设置在每层所述储物层内，所述柜外视觉传感器适配设置在所述柜体上，所述控制终端分别与所述数据传输组件、所述重力传感器、所述柜内视觉传感器以及所述柜外视觉传感器相连接，所述数据传输组件与所述数据分析判定端连接。
8.所述柜内视觉传感器置于所述储物层内部的上部并适配置于所述置物货架的上方，所述柜内视觉传感器的取像端对准所述置物货架。
9.所述柜外视觉传感器置于所述柜体外部，所述柜外视觉传感器的取像端对准所述柜体的取货口。
10.所述数据分析判定端为云端分析处理服务器。
11.本发明中应用于上述智能货柜系统的商品识别方法，包括以下步骤：
12.a.将商品从所述置物货架上取出至所述柜体外，所述重力传感器收集获取所述置物货架上的商品重量变化数据，所述柜内视觉传感器收集获取被取商品的置物货架在柜门开启及关闭时的图像数据，所述柜外视觉传感器收集获取被取商品的离柜轨迹影像数据；
13.b.所述商品重量变化数据、所述被取商品的置物货架在柜门开启及关闭时的图像数据以及所述被取商品的离柜轨迹影像数据经所述数据传输组件传送至所述数据分析判定端；
14.c.所述数据分析判定端分别对所述商品重量变化数据、所述被取商品的置物货架在柜门开启及关闭时的图像数据以及所述被取商品的离柜轨迹影像数据进行算法计算分析，并分别得出各自的商品命中结果及置信度；
15.d.结合步骤c中的各数据分析得出的商品命中结果及置信度进行算法分析，得出被取商品的分类的最终识别结果。
16.在步骤c中，采用智能重力计算方法对所述商品重量变化数据进行计算分析，得出重力变化命中的商品结果及重力置信度。
17.在步骤c中，采用图像特征算法对所述被取商品的置物货架在柜门开启及关闭时的图像数据进行计算分析，得出图像特征命中的商品结果及特征置信度。
18.在步骤c中，采用运动轨迹算法所述被取商品的离柜轨迹影像数据进行计算分析，得出轨迹命中的商品结果及运动轨迹置信度。
19.有益效果：在本发明中，本发明结合三种传感器，并将各传感器的结果应用结合使用得到最优解；本发明支持放入多种商品进行精准识别；本发明在处理传感器数据时，算法中有采用抛掉脏数据的识别，因此不需要多次对传感器进行校准操作亦可得到准确的数据，以减少操作时间来提高效率，同时提高单次所取数量较多的商品时的准确度；本发明在对视频资源的处理上，采用了运动轨迹算法，可以免于人工介入，因人工的介入有周期性及时效性，本发明可以降低由于人工带来的成本及提高识别效率。
附图说明
20.图1是本发明的智能货柜系统的连接结构示意图；
21.图2是本发明的应用场景流程示意图；
22.图3是本发明中各传感器的数据获取及解析示意流程图；
23.图4是本发明中智能重力算法的逻辑示意图；
24.图5是本发明中特征算法的逻辑示意图；
25.图6是本发明中运动轨迹算法的逻辑示意图。
具体实施方式
26.如图1、图2、图3、图4、图5、图6所示，本发明中的基于混合传感器的智能货柜系统，包括带有柜门的柜体，柜体内适配设置有若干层储物层，每层储物层上适配设置有置物货架，智能货柜系统还包括重力传感器1、柜内视觉传感器2、柜外视觉传感器3、控制终端4、数据传输组件5以及数据分析判定端6，重力传感器1适配设置在每个置物货架上，柜内视觉传感器2适配设置在每层储物层内，柜外视觉传感器3适配设置在柜体上，控制终端4分别与数
据传输组件5、重力传感器1、柜内视觉传感器2以及柜外视觉传感器3相连接，数据传输组件5与数据分析判定端6连接。
27.柜内视觉传感器2置于储物层内部的上部并适配置于置物货架的上方，柜内视觉传感器2的取像端对准置物货架。
28.柜外视觉传感器3置于柜体外部，柜外视觉传感器3的取像端对准柜体的取货口。
29.所述数据分析判定端6为云端分析处理服务器。
30.本发明中应用于上述智能货柜系统的商品识别方法，包括以下步骤：
31.a.将商品从置物货架上取出至柜体外，重力传感器1收集获取置物货架上的商品重量变化数据，柜内视觉传感器2收集获取被取商品的置物货架在柜门开启及关闭时的图像数据，柜外视觉传感器3收集获取被取商品的离柜轨迹影像数据；
32.b.商品重量变化数据、被取商品的置物货架在柜门开启及关闭时的图像数据以及被取商品的离柜轨迹影像数据经数据传输组件5传送至数据分析判定端6；
33.c.数据分析判定端6分别对商品重量变化数据、被取商品的置物货架在柜门开启及关闭时的图像数据以及被取商品的离柜轨迹影像数据进行算法计算分析，并分别得出各自的商品命中结果及置信度；
34.d.结合步骤c中的各数据分析得出的商品命中结果及置信度进行算法分析，得出被取商品的分类的最终识别结果。
35.在步骤c中，采用智能重力计算方法对商品重量变化数据进行计算分析，得出重力变化命中的商品结果及重力置信度。
36.在步骤c中，采用图像特征算法对被取商品的置物货架在柜门开启及关闭时的图像数据进行计算分析，得出图像特征命中的商品结果及特征置信度。
37.在步骤c中，采用运动轨迹算法被取商品的离柜轨迹影像数据进行计算分析，得出轨迹命中的商品结果及运动轨迹置信度。
38.在本具体实施例中，各传感器的资源建立、数据获取方式、对应算法及算法应用如下：
39.关于重力传感器1，包括重力资源建立：对需要使用的商品，通过多次获取重力信息的方式对商品进行大量的样本学习，建立该样本的重力模型并最终形成商品的重力资源库，作为算法中心的可应用资源；
40.重力数据获取方式：使用时，商品从货架上被取出/放入，通过重力传感器可获得重力变化的数据，上传至云端自建的算法中心即云端分析处理服务器自建的算法中心进行数据分析。
41.智能重力算法：已知货架放置的商品信息，获得的以上所有数据通过算法中心的计算过滤抛弃掉不可用的数据，如重力变化异常数据，包含但不仅限于按压、商品倾倒、多瓶同时取出的短暂停留、误触等，最终得到可供分析应用的数据。对数据进行分析，是否命中货架商品或商品的组合，输出命中的结果及重力置信度，重力置信度为与该商品样本的重合及偏差分析，若偏差值过大，则重力置信度为零。
42.智能重力算法的应用：输出的命中结果及重力置信度，传至算法决策中心，与其他类型的传感器算法结果进行最终的决策输出。
43.关于柜内视觉传感器2，包括图像资源建立：对需要使用的商品，进行多角度的商
品图片样张进行大量的样本学习，建立该样本的图像模型及多个特征点标记，并最终形成商品的图像资源库，作为算法中心的可应用资源。
44.图像数据的获取方式：使用时，商品从货架上被取出/放入，柜内视觉传感器2可获得货架变化的图像资源，上传至云端自建的算法中心即云端分析处理服务器自建的算法中心进行数据分析。
45.特征算法：已知货架放置的商品信息，获得的以上数据通过算法中心的图像商品提取，及商品特征点比对，即比对资源库中的多个商品特征点。特征点在命中过程中，会存在一个特征点命中多个商品，在多次特征点比对命中商品后，则输出命中的结果及特征置信度。
46.特征算法的应用：输出的命中结果及特征置信度，传至算法决策中心，与其他类型的传感器算法结果进行最终的决策输出。
47.关于柜外视觉传感器3，包括资源建立：对需要使用的商品，进行多角度的商品图片样张进行大量的样本学习，建立该样本的图像模型及多个特征点标记，并最终形成商品的图像资源库，作为算法中心的可应用资源。
48.视频数据的获取：使用时，通过视觉传感器录制货柜开门至关门的视频，上传至云端自建的算法中心即云端分析处理服务器自建的算法中心进行数据分析。
49.运动轨迹算法：已知货架放置的商品信息，获取以上视频资源，对其进行逐帧拆解，使用特征算法识别出商品，通过多帧可跟踪描绘商品取出/放入的运动轨迹，从而识别出商品，输出命中的结果及运动轨迹置信度。
50.运动轨迹算法的应用：输出的命中结果及运动轨迹置信度，传至算法决策中心，与其他类型的传感器算法结果进行最终的决策输出。
51.结合所安装的传重力传感器1、柜内视觉传感器2以及柜外视觉传感器3采集的数据得到不同的置信度，云端分析处理服务器的综合算法决策中心ai通过组合最优解的算法分析得出商品辨识的最终结果。
52.组合最优解的算法为在得到不同算法给出的置信度后，对所有数据进行分析处理，得到组合中最优解。
53.本发明适用于自动贩卖柜商品自动识别领域。

技术特征：
1.一种基于混合传感器的智能货柜系统，包括带有柜门的柜体，所述柜体内适配设置有若干层储物层，每层所述储物层上适配设置有置物货架，其特征在于：所述智能货柜系统还包括重力传感器(1)、柜内视觉传感器(2)、柜外视觉传感器(3)、控制终端(4)、数据传输组件(5)以及数据分析判定端(6)，所述重力传感器(1)适配设置在每个所述置物货架上，所述柜内视觉传感器(2)适配设置在每层所述储物层内，所述柜外视觉传感器(3)适配设置在所述柜体上，所述控制终端(4)分别与所述数据传输组件(5)、所述重力传感器(1)、所述柜内视觉传感器(2)以及所述柜外视觉传感器(3)相连接，所述数据传输组件(5)与所述数据分析判定端(6)连接。2.根据权利要求1所述的一种基于混合传感器的智能货柜系统，其特征在于：所述柜内视觉传感器(2)置于所述储物层内部的上部并适配置于所述置物货架的上方，所述柜内视觉传感器(2)的取像端对准所述置物货架。3.根据权利要求1所述的一种基于混合传感器的智能货柜系统，其特征在于：所述柜外视觉传感器(3)置于所述柜体外部，所述柜外视觉传感器(3)的取像端对准所述柜体的取货口。4.根据权利要求1所述的一种基于混合传感器的智能货柜系统，其特征在于：所述数据分析判定端(6)为云端分析处理服务器。5.一种应用于权利要求1所述的智能货柜系统的商品识别方法，其特征在于所述商品识别方法包括以下步骤：a.将商品从所述置物货架上取出至所述柜体外，所述重力传感器(1)收集获取所述置物货架上的商品重量变化数据，所述柜内视觉传感器(2)收集获取被取商品的置物货架在柜门开启及关闭时的图像数据，所述柜外视觉传感器(3)收集获取被取商品的离柜轨迹影像数据；b.所述商品重量变化数据、所述被取商品的置物货架在柜门开启及关闭时的图像数据以及所述被取商品的离柜轨迹影像数据经所述数据传输组件(5)传送至所述数据分析判定端(6)；c.所述数据分析判定端(6)分别对所述商品重量变化数据、所述被取商品的置物货架在柜门开启及关闭时的图像数据以及所述被取商品的离柜轨迹影像数据进行算法计算分析，并分别得出各自的商品命中结果及置信度；d.结合步骤c中的各数据分析得出的商品命中结果及置信度进行算法分析，得出被取商品的分类的最终识别结果。6.根据权利要求5所述的一种基于混合传感器的智能货柜系统，其特征在于：在步骤c中，采用智能重力计算方法对所述商品重量变化数据进行计算分析，得出重力变化命中的商品结果及重力置信度。7.根据权利要求5所述的一种基于混合传感器的智能货柜系统，其特征在于：在步骤c中，采用图像特征算法对所述被取商品的置物货架在柜门开启及关闭时的图像数据进行计算分析，得出图像特征命中的商品结果及特征置信度。8.根据权利要求5所述的一种基于混合传感器的智能货柜系统，其特征在于：在步骤c中，采用运动轨迹算法所述被取商品的离柜轨迹影像数据进行计算分析，得出轨迹命中的商品结果及运动轨迹置信度。

技术总结
本发明旨在提供一种同时采用了柜内重力传感器、柜内视觉传感器以及柜外视觉传感器来收集重量变化数据、货架层取货前后图像数据以及取货的柜外轨迹视频数据并分别进行分析计算得出各自商品命中结果及置信度后再综合各商品命中结果及置信度最终分析计算得出最终商品结果的智能货柜系统及其商品识别方法。本发明中的智能货柜系统包括带有柜门的柜体，所述智能货柜系统还包括重力传感器、柜内视觉传感器、柜外视觉传感器、控制终端、数据传输组件以及数据分析判定端，所述控制终端分别与所述数据传输组件、所述重力传感器、所述柜内视觉传感器以及所述柜外视觉传感器相连接，所述数据传输组件与所述数据分析判定端连接。自动贩卖柜商品自动识别领域。卖柜商品自动识别领域。卖柜商品自动识别领域。


技术研发人员：符浩 罗迎春 潘岳明 钟铭堃 谢健东 何建新 冯雪杨
受保护的技术使用者：鲸山云科技（珠海）有限公司
技术研发日：2023.03.08
技术公布日：2023/7/22