用于修补食物包装系统中的填充阀和压力扰动的方法和系统与流程

1.本发明涉及食物包装系统，并且更具体地涉及修补可能发生在食物包装系统中的填充阀和压力扰动。


背景技术：

2.当今，自动化控制系统广泛用于制造和加工环境中，并且其复杂性不断增加。管理这种复杂性的常用方法是将系统划分为子系统，并为每个子系统开发合适的控制机制。然而，这种方法并不总能为整个系统带来最佳解决方案。
3.随着系统变得越来越复杂并且影响因素的数量不断增加，从不同来源捕获影响因素变得越来越困难。当影响因素、控制变量和系统本身之间的关系是非线性的和/或难以建模时，这种复杂性会进一步增加。
4.关于工业控制中的抽象层次，可以分为两个主要观点：分别是低级控制和高级控制。低级控制意味着对单个自动化部件(例如执行器、伺服电机、加热器和许多其他设备)的管理。高级控制可以从子系统级别抽象到系统级别，进一步抽象到具有需要协同运行的多个系统和子系统的整个工厂的编排。
5.例如，食品加工和包装设备通常包括几个子系统，例如填充系统、灭菌系统、包装折叠系统等。每个子系统包含许多不同的元件(例如，气动执行器、伺服电机、直流电机、交流电机、传感器、其他执行器等)。这些单独的元件通常由低级本地控制系统控制，该系统利用传统控制技术(例如比例积分微分(pid)控制器)来控制目标变量。反馈回路用于保持控制器相对于元件、系统或子系统的目标工作点的误差较低。
6.然而，pid控制器需要针对其特定应用进行调整，并且通常针对特定工作范围和工作动态进行优化。他们也不太适合适应常规工作区之外的不可预见的情况或工作条件。当这些条件发生变化时(例如，不同的工作环境、自动化元件的变化、制造过程的变化等)，pid控制器的参数通常需要调整和重新校准。这可能是一个耗时且复杂的过程，需要有经验的人员进行大量手动输入，尤其是当涉及大量元件和/或子系统时，例如通常是食品加工和包装设备中的情况。
7.填充机是将例如果汁、uht(超高温处理的)牛奶、葡萄酒、番茄酱等液体、半液体或可倾倒食品包装成用于分销和销售的由多层复合包装材料制成的复合包装的复杂系统的一个示例。一个典型的示例是被称为tetra brik aseptic
tm
的可倾倒食品的平行六面体形包装，它是通过密封和折叠层压条形包装材料制成的。包装材料具有多层结构，包括纸板和/或纸基层，两侧覆盖有热封塑料材料(例如聚乙烯)层。在用于长期储存产品的无菌包装的情况下，包装材料还包括氧气阻隔材料层，例如铝箔，其叠加在热封塑料材料层上，并且进而被另一热封塑料材料层覆盖，该另一热封塑料材料层形成包装的最终与食品接触的内表面。
8.填充机从多层复合包装材料卷材(从卷轴上缠绕)开始。通过填充机供给卷材，其中通过产生纵向密封由卷材形成管。通过管道将指定量的食品送入管中；然后将管的下端
送入折叠设备，在折叠设备中产生横向密封，管根据折叠线(也称为弱化线)折叠，然后切断，使得填充液体食品的复合包装形成。
9.输送到随后被切割成单个包装的管中的食品的量由填充阀调节。当使用传统控制技术(例如pid控制器)控制填充阀时，填充阀可能容易受到事件和工作条件变化的影响。此外，通向填充阀的线路中食品的压力(本文也称为“产品压力”)是无法测量的噪声因素，其会对填充阀的控制性能产生负面影响。用于填充阀的pid控制器可能对压力变化反应缓慢，因此可能会出现填充问题(例如过度填充)。此外，pid增益通常需要由技术人员针对预期包装的每个体积和要填充到包装中的每种食品进行手动调整。
10.因此，需要用于控制填充阀和修补压力扰动的改进技术，这也考虑了发生在包装机中或有时甚至发生在包装机本身之外的一系列事件。


技术实现要素：

11.本发明的一个目的是至少部分地克服现有技术的一个或多个限制。具体而言，一个目的是提供方法和系统，使得可以通过不仅考虑本地填充阀子系统的测量参数值，而且考虑食物包装机内甚至食物包装机外部的其他远程子系统的测量参数值，来改善对食物包装机的填充阀的控制，以应对填充机内部或外部发生的各种事件。因此，可以完成正确的包装填充(即，恰到好处的数量，没有填充过多，也没有填充不足)，这使得首次安装食物包装机时的设置过程更快，并且更好地处理意外事件，最终导致需要丢弃的包裹更少。
12.在本发明的一个方面，这是通过一种用于在食物包装机中用食品填充包装的方法来实现的，其中所述食物包装机包括多个子系统，该方法包括：
13.·
接收一个或多个本地变量值，其表示所述食物包装机的本地填充子系统的一个或多个物理参数的测量值；
14.·
接收一个或多个远程变量值，其表示所述食物包装机(100)的一个或远程子系统的一个或多个物理参数的测量值；
15.·
通过使用强化学习模型和本地控制模型处理所述远程变量值和所述本地变量值来确定用于所述食物包装机的所述本地填充子系统的一个或多个控制参数值；
16.·
根据所确定的所述控制参数值调整所述本地填充子系统的一个或多个控制参数；以及
17.·
根据调整后的所述一个或多个控制参数，控制所述食物包装机(100)向包装中填充食品。
18.利用本地变量和来自远程子系统的输入将导致在包含要填充到包装中的食品的线路中发生意外压力变化时更精确地控制填充阀，并实现更灵活的操作。这导致更少的包装(和食品)浪费，从而使食物包装机的操作更加高效和环保。鉴于能够更好地控制包装形成过程，新产品和/或配置的上市时间也可能由于需要更少的手动测试而缩短。这进一步增强了控制策略可以在模拟环境中学习，使得食物包装机就不需要“从头开始”手动配置。
19.在一个实施方案中，强化学习模型是包括神经网络的深度强化学习模型。深度强化学习在为必须考虑大量变量(这些变量的内部关系和对子系统的影响可能未知)的子系统制定控制策略时特别有用，并且提供了一种比使用没有神经网络的传统强化学习可能提供的方法更复杂的方法来确定食物包装机的本地填充子系统的一个或多个控制参数值。
20.在一个实施方案中，该方法包括接收一个或多个远程变量值，该远程变量值表示包装机外部的一个或多个系统的一个或多个物理参数的测量值。这使得包装机能够在确定和调整控制参数以填充包装时考虑到在没有包装机本身的情况下可能发生的事件。
21.在一个实施方案中，本地填充子系统通过线路连接到包含食品的中央储存库并且被配置为将特定量的食品分配到每个包装中，并且远程变量值表示线路中的食品的压力。这使得多台包装机能连接到装有食品的同一个中央储存库，并使得每台机器的填充子系统能响应于由于发生在其他包装机中或与之相关的事件而在其自己的线路中可能发生的压力变化。
22.在一实施方案中，调整填充子系统的一个或多个控制参数包括调整以下一项或多项：打开填充阀的时间，食品在添加到包装时通过该填充阀；以及在将食品分配到包装中时该填充阀打开的程度。也就是说，根据从各种子系统和外部系统接收到的信息，通过更精确地控制填充阀打开多长时间和打开的程度，可以控制每个包装中填充的食品量。
23.在一实施方案中，神经网络是卷积神经网络、递归神经网络、长短期记忆神经网络或全连接神经网络。这些都是本领域普通技术人员所公知的不同类别的网络，因此更容易并入现有的食物包装机设置中。
24.在一个实施方案中，所述一个或多个本地变量值包括：反映所述填充阀打开和关闭时的瞬变的填充阀动力学，以及反映所述填充阀打开的程度的填充阀控制信号；以及所述一个或多个远程变量包括：产品类型、连接到中央产品储存库的线路的数量、连接到所述中央产品储存库的所述线路的工作状态、以及在所述填充子系统的所述输入端的所述食品的压力变化。这些都是在大多数传统包装和生产系统中测量的常见参数。使用这些参数来更好地控制本地填充子系统(如通过本文所述的各种实施方案的数据驱动方法所实现的)，显著增强了填充子系统的操作，并因此增强了包装机的整体操作。
25.本发明的其他方面包括用于在食物包装机中用食品填充包装的系统和计算机程序。本发明这些方面的特征和优点与上面针对所述方法所讨论的特征和优点基本上相同。
26.本发明还有的其他目的、特征、方面和优点将根据以下详细描述以及附图中而变得明显。
附图说明
27.现在将参考所附示意图以示例的方式描述本发明的实施方案。
28.图1是根据一个实施方案的食物包装机的一部分的示意图。
29.图2是根据一个实施方案的食物包装机中的控制器的示意图。
30.图3示出了根据本发明的一个实施方案的填充子系统的示意图。
具体实施方式
31.如上所述，本发明的各种实施方案的目标是为与食品加工和包装相关(特别是关于用食品填充包装)的设备和系统提供改进的控制技术。不仅从“客户需求”的角度来看，而且从功能的角度来看，用正确数量的食品填充包装都很重要，因为包装填充过多或填充不足可能会导致在纠正包装机问题时包装机停机时间很长，以及导致浪费的包装，这从食物浪费和环境的角度来看，是不希望有的。通过应用强化学习和/或深度强化学习技术的一般
构思来控制食物包装机的填充系统，与现有系统和食品填充相比，可以考虑更大范围的因素可以非常精确地调整产品，从而避免填充过多或填充不足，并且可以更有效地使用食物包装机，更少丢弃食物包装。
32.强化学习和深度强化学习都是机器学习技术的示例。一般来说，强化学习(rl)可以被表征为通过使用正面或负面奖励来进行动态学习。系统性能是根据所需目标进行评估的。如果达到目标或没有，则给予正奖励，如果未达到目标，则给予负奖励。随着正负奖励随着时间的推移不断累积，rl模型为系统演化出控制策略，目标是使结果最大化。深度强化学习(drl)可以被表征为rl的增强，其中rl在演化系统的控制策略时与神经网络一起使用。
33.在食物加工和包装的背景下，rl(即代理-环境交互)可用于为食物加工和/或包装机制定控制策略。在为子系统(例如填充子系统)制定控制策略时，使用drl(即rl和神经网络)特别有用，这些子系统必须考虑大量变量，这些变量的内部关系和对子系统的影响系统可能是未知的。此外，应该注意的是，rl和drl技术也可用于改进现有的本地控制技术，本质上是通过使用这种数据驱动的方法“填补”传统控制技术的空白。因此，drl算法然后可以直接(或间接通过其他控制层，例如，通过调整传统pid控制器的增益以允许pid控制器与传统控制技术相比更有效地操作)控制执行器(例如，伺服电机、气动执行器或其他执行器)，从而修补食物包装系统中可能出现的填充阀和压力扰动。
34.为了进一步说明这些原理，现在将通过控制食物包装机中的填充子系统的示例并参考附图更全面地描述本发明的各种实施方案，在附图中显示了本发明的一些但不是全部实施方案。本发明可以以许多不同的形式来体现，并且不应被解释为限于在此阐述的实施方案。例如，虽然本发明的各种实施方案将参照卷筒式纸盒包装机进行描述，但本发明的其他实施方案可以应用于其中离散包装已经形成并且可以具有任何形状或形式或由任何材料制成(仅举几个示例，例如pet瓶、玻璃瓶或由金属制成的罐)的情况。虽然此类容器可能是使用不同于下文所述的其他工艺或通过其他机器或甚至在其他生产设施中形成的，但相同的一般原理适用于将食品填充到这些容器中，因此用于被设计用于填充这些不同类型的容器的机器的填充子系统的相同的控制方法也可以应用于这些设置。
35.如上所述，填充子系统是食物包装机的重要组成部分，需要对其操作进行仔细控制，以确保将正确数量的食品填充到包装中，并且不会发生填充过量或不足的情况。
36.图1总体上示出了食物包装机100。在所示示例中，食物包装机100是卷筒式纸盒包装机。这种机器的一般原理20是从包装材料卷形成卷材102。食物包装机100可以包括用于接收包装材料卷的卷接收器(图中未示出)。尽管未示出，但如果需要以满足食物安全法规，则可以使用过氧化氢浴、低压电子束(lveb)设备或能够减少不需要的微生物数量的任何其他装置对卷材102进行灭菌。
37.灭菌后，通过使用管形成器，卷材102可以形成管104。根据一个非限制性示例，管形成器可以是纵向密封设备。当已经形成管时，例如牛奶之类的食品可以通过至少部分地放置在管104内的产品管道106从产品填充设备供给到管104中。在这种情况下，食品指的是人们或动物摄取、食用和/或饮用或植物吸收的任何东西，包括但不限于液体、半液体、粘性、干燥、粉末和固体食品、饮料产品和水。为避免疑义，食品还包括用于准备食物的成分。食品的一些示例包括牛奶、水和果汁。
38.为了由填充有产品的管104形成包装112，可通过使用密封子系统110(通常也称为“钳口系统”)在管的下端进行横向密封。通常，密封子系统110具有两个主要功能——提供横向密封，即将管104的两个相对侧焊接在一起，使得放置在密封子系统110下面的管104下部的产品，与放置在密封子系统110上面的管104中的产品分离，并切断管104的下部，从而形成包装112。替代地，不是在如图所示的同一个装置中提供横向密封和切割下部，而是切割下部的步骤可以在后续步骤中通过不同的设备进行，或者如果这些包装旨在以多件装(a multi-pack)的形式出售，则由消费者进行。
39.此外，控制器还从食物包装机100的一个或多个远程子系统以及食物包装机100外部的一个或多个远程系统接收输入，它们都可能经历同样影响填充子系统的操作的事件。例如，一个生产工厂可以包括若干个包装机100，每个包装机100可以通过线路连接到中央食品储存库301，例如装有将被包装机100填充到单独的包装112中的液体的罐。如果其中一个包装机100遇到问题，这可能会导致通向其他包装机100的线路中的压力发生变化。这些其他包装机100的填充子系统需要对这种变化做出反应，以避免相应包装112的填充过多或填充不足。类似地，产品的密度和/或粘度可能会影响包装机的填充阀的行为。例如，与光滑液体(例如，水或苹果汁)相比，当用粘性或半固体液体(例如，豆类或压碎的西红柿)填充包装112时，填充阀可能需要打开更多或保持打开更长时间。在又一个示例中，包装112的填充可能受生产工厂中的环境温度影响(例如，一些液体在较高温度下流动更顺畅)，或受生产工厂的物理配置影响(例如，包含食品的罐位于比包装机低还是高的高度，使得重力是需要考虑的问题)。正如本领域技术人员认识到的那样，存在大量本地和远程因素可能对将食品填充到包装112中产生影响并且需要考虑这些因素以便实现对填充子系统的改进的控制。也可以有几个食品储存库301连接到包装机100。
40.这些事件和外部因素可以由一组变量表示，其值表示食物包装机100的不同子系统处的各种状态，或食物包装机100外部的各种系统的状态。这在图2中被示意性地示出，其显示了来自填充子系统的本地传感器的输入变量116如何与来自食物包装机的其他子系统的输入值204一起输入到控制器114。
41.图3示出了根据本发明的一个实施方案的填充子系统300的示意图。如图3所示，线路302连接到食品储存库301，食品要通过线路从食品储存库传送到容器(其可以是由卷材形成的管，或分立的容器)。如所提到的，填充阀304可以打开至不同程度并持续特定时间段以通过线路306将一定量的食品分配到容器中。填充阀304由控制器114控制。在图3所示的填充子系统300的实施方案中，有两个传感器116a和116b。第一传感器116a布置在线路302中阀304之前并且测量线路302中的压力。第二传感器116b测量被传送到食品包装112的食品的量，例如，通过测量食品的液位来进行，应该注意的是，这些仅仅是可以由传感器116a和116b测量的工艺变量的两个示例，并且在其他实施方案中，可以基于手头的具体配置来测量其他参数。总体而言，由传感器116a和116b测量的值将在下文中称为本地填充子系统输入变量116。
42.在一个实施方案中，表示来自本地填充子系统的物理参数的变量的一些示例包括：
43.·
填充阀动力学，其反映填充阀打开和关闭的瞬变(即，在打开或关闭阀门时发生的短暂压降或压力升高，并迅速再次稳定)，以及
44.·
填充阀控制信号，其反映填充阀的打开程度。
45.在一实施方案中，来自包装机的其他子系统或来自包装机外部的外部系统的变量的一些示例包括：
46.·
食品类型(和/或产品粘度)，
47.·
连接到中央食品储存库301的线路的数量(例如，与只有较少数量的线路以及从而有较少的事件时相比，更多的线路通常会导致更多的事件并且可能影响填充阀的控制方式)，
48.·
连接到中央食品储存库301的线路的工作状态(例如，每台填充机的线路可以在特定状态下运行，例如准备、生产、清洁、停止或让食品以不同的速度通过线路，具体取决于食物包装机100在任何给定时间正在做什么)，以及
49.·
食品在填充子系统输入处的压力变化。
50.可以认识到，这些仅仅是来自其他子系统或外部系统的可能影响因素的几个示例，不应被视为详尽无遗的列表。然而，它们确实代表了传统填充阀控制系统无法考虑的影响因素，因为很难或不可能确定这些因素的各种可能组合应该如何影响填充阀子系统的操作。
51.根据本文所述的各种实施方案，控制器114使用本地控制模型210来处理本地填充子系统输入变量116，并结合强化学习模型206来处理来自其他子系统的输入值，以及外部系统的任何输入变量，以确定所有测量变量作为一个整体如何共同影响填充子系统的操作。本地控制模型210可以是由pid控制器执行的算法。强化学习模型206可以是深度强化学习模型，其包括一个或多个神经网络，如上所述。在一些实施方案中，本地子系统输入变量116可以由强化学习模型206处理。在一些实施方案中，强化学习模型206可以用来计算出本地和远程变量的不同组合应该如何影响填充子系统并使用这种洞察力来改进本地控制模型210。基于这种处理和确定的结果，控制器114为本地填充子系统生成一组输出控制信号208，其控制填充阀，使得将正确数量的食品填充到包装112中。通常，对于填充阀，受控参数包括一个指定填充阀应打开到何种程度的参数(例如，0％表示完全关闭，至100％表示完全打开)和指定填充阀应在所需程度保持打开多长时间的时间。然而，这当然会根据所使用的特定类型的填充阀而有所不同，并且是系统工程师的设计选择问题。
52.可以在使用深度强化学习模型的实施方案中使用的神经网络的示例包括，例如，已经使用强化学习和深度强化学习训练的卷积神经网络(cnn)，递归神经网络(rnn)，诸如作为深度学习领域经常使用的长短期记忆(lstm)神经网络，或全连接神经网络。lstm网络可能特别有用，因为与标准前馈神经网络不同，lstm具有反馈连接。这使得lstm不仅可以处理单个数据点，还可以处理整个数据序列，这在设计用于生成大量包装112的食物包装机的情况下特别有用。
53.传统的控制技术通常需要对每个不同的工作设置(例如包装尺寸、食品类型等)进行手动校准，这通常是一个非常耗时的过程。相比之下，本发明的该实施方案使得能提供训练环境，在该训练环境中可以对不同参数如何变化进行模拟，这使得控制器114能够在给定填充子系统的目标的情况下学习最佳控制策略。这可以节省大量设置包装机的工时，从而也缩短了新包装和产品的上市时间。在一些实施方案中，强化学习模型的输出可用于调整传统pid控制器的增益，使得pid控制器与仅依赖本地变量值的传统控制技术相比可以更有效地运行。
54.应当注意，虽然子系统在上面被称为填充系统、灭菌系统、包装折叠系统等，它也可以指上述子系统的一部分，或单独的元件。
55.应当注意，在一些实施方案中，控制器140的控制模型可以驻留在控制器140本身内，如图2所示。在其他实施方案中，它们可以驻留在外部硬件/软件(例如，外部计算机或类似处理设备)并通过该外部硬件/软件操作以进一步加速所需的计算，并且食物包装机中的控制器140可以是仅执行由外部硬件/软件确定的功能的更简单的控制器。
56.此处公开的系统和方法可以实现为软件、固件、硬件或其组合。在硬件实现中，上述描述中所指的功能单元或部件之间的任务划分并不一定对应于物理单元的划分；相反，一个物理部件可以执行多种功能，一项任务可能由多个物理部件协作完成。
57.某些部件或所有部件可以实现为由数字信号处理器或微处理器执行的软件，或者实现为硬件或专用集成电路。这样的软件可以分布在计算机可读介质上，其可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。正如本领域技术人员所公知的，术语计算机存储介质包括以任何方法或技术实现的易失性和非易失性、可移动和不可移动介质，以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储技术、光或磁存储设备，或任何其他可用于存储所需信息并可被计算机访问的介质。
58.图中的流程图和方框图说明了根据本发明的各种实施方案的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就此而言，流程图或框图中的每个块可以表示模块、段或指令的一部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些替代实现方案中，方框中标注的功能可以不按图中标注的顺序发生。例如，连续显示的两个方框实际上可以基本上同时执行，或者这些方框有时可以以相反的顺序执行，具体取决于所涉及的功能。还应注意，方框图和/或流程图图示的每个方框，以及方框图和/或流程图图示中方框的组合，可以由执行特定功能或动作的基于专用硬件的系统来实现，或者执行专用硬件和计算机指令的组合。
59.从上面的描述可以看出，虽然已经描述和显示了本发明的各种实施方案，但是本发明不限于此，而是还可以在所附权利要求限定的主题的范围内以其他方式体现。

技术特征：
1.一种在食物包装机(100)中向包装(112)填充食品的方法，其中所述食物包装机(100)包括多个子系统，该方法包括：接收一个或多个本地变量值(116)，其表示所述食物包装机(100)的本地填充子系统(300)的一个或多个物理参数的测量值；接收一个或多个远程变量值(204)，其表示所述食物包装机(100)的一个或远程子系统的一个或多个物理参数的测量值；通过使用强化学习模型(206)和本地控制模型(210)处理所述远程变量值(204)和所述本地变量值(116)来确定用于所述食物包装机(100)的所述本地填充子系统(300)的一个或多个控制参数值；根据所确定的所述控制参数值调整所述本地填充子系统(300)的一个或多个控制参数；以及根据调整的所述一个或多个控制参数，控制所述食物包装机(100)向包装(112)中填充食品。2.根据权利要求1所述的方法，其中所述强化学习模型(206)是包括神经网络的深度强化学习模型。3.根据权利要求1或2所述的方法，其还包括：接收一个或多个远程变量值，该变量值表示在所述食物包装机(100)外部的一个或多个系统的一个或多个物理参数的测量值。4.根据权利要求3所述的方法，其中所述本地填充子系统(300)通过线路(302)连接到包含所述食品的中央储存库(301)并且被配置为分配特定量的所述食品到每个包装(112)中，并且远程变量值表示所述线路(302)中所述食品的压力。5.根据权利要求1-4中任一项所述的方法，其中调整所述填充子系统(300)的一个或多个控制参数包括调整以下一项或多项：打开填充阀(304)的时间，所述食品在添加到包装(112)时通过所述填充阀(304)；以及在将食品分配到包装(112)中时所述填充阀(304)打开的程度。6.根据权利要求2-5任一项所述的方法，其中，所述神经网络为以下一者：卷积神经网络、递归神经网络、长短期记忆神经网络和全连接神经网络。7.根据权利要求1-6中任一项所述的方法，其中：所述一个或多个本地变量包括：反映所述填充阀(304)打开和关闭时的瞬变的填充阀动力学，以及反映所述填充阀(304)打开的程度的填充阀控制信号；以及所述一个或多个远程变量包括：食品类型、连接到中央食品储存库(301)的线路的数量、连接到所述中央食品储存库(301)的所述线路(302)的工作状态、以及在所述填充子系统(300)的所述输入端的所述食品的压力变化。8.一种用于在食物包装机(100)中向包装(112)填充食品的系统(300)，其中所述食物包装机(100)包括多个子系统，所述系统包括：存储器；和处理器，其中，所述存储器包含指令，所述指令当由所述处理器执行时导致所述处理器执行方法，该方法包括：
接收一个或多个本地变量值(116)，其表示所述食物包装机(100)的本地填充子系统(300)的一个或多个物理参数的测量值；接收一个或多个远程变量值(204)，其表示所述食物包装机(100)的一个或远程子系统的一个或多个物理参数的测量值；通过使用强化学习模型(206)和本地控制模型(210)处理所述远程变量值(204)和所述本地变量值(116)来确定用于所述食物包装机(100)的所述本地填充子系统(300)的一个或多个控制参数值；根据所确定的所述控制参数值调整所述本地填充子系统(300)的一个或多个控制参数；以及根据调整的所述一个或多个控制参数，控制所述食物包装机(100)向包装(112)中填充食品。9.根据权利要求7或8中任一项所述的系统，其中所述强化学习模型(206)是包括神经网络的深度强化学习模型。10.根据权利要求8或9所述的系统，其中，由所述处理器执行的方法还包括：接收一个或多个远程变量值，该变量值表示在所述食物包装机(100)外部的一个或多个系统的一个或多个物理参数的测量值。11.根据权利要求10所述的系统，其中所述本地填充子系统(300)通过线路(302)连接到包含所述食品的中央储存库(301)并且被配置为分配特定量的所述食品到每个包装(112)中，并且远程变量值表示所述线路(302)中所述食品的压力。12.根据权利要求8-11中任一项所述的系统，其中调整所述填充子系统(300)的一个或多个控制参数包括调整以下一项或多项：打开填充阀(304)的时间，所述食品在添加到包装(112)时通过所述填充阀(304)；以及在将食品分配到包装(112)中时所述填充阀(304)打开的程度。13.根据权利要求9-12中任一项所述的系统，其中，所述神经网络为以下一者：卷积神经网络、递归神经网络、长短期记忆神经网络和全连接神经网络。14.根据权利要求8-13中任一项所述的系统，其中：所述一个或多个本地变量包括：反映所述填充阀(304)打开和关闭时的瞬变的填充阀动力学，以及反映所述填充阀(304)打开的程度的填充阀控制信号；以及所述一个或多个远程变量包括：食品类型、连接到中央食品储存库(301)的线路的数量、连接到所述中央食品储存库(301)的所述线路(302)的工作状态、以及在所述填充子系统(300)的所述输入端的所述食品的压力变化。15.一种计算机程序产品，其包括具有指令的计算机可读存储介质，所述指令适于在由处理器执行时实施根据权利要求1-7中任一项所述的方法。

技术总结
包括计算机程序产品的方法和装置被描述为在食物包装机(100)中向包装(112)填充食品，其中食物包装机(100)包括多个子系统。接收一个或多个本地变量值(116)，其表示食物包装机(100)的本地填充子系统(300)的一个或多个物理参数的测量值。接收一个或多个远程变量值(204)，其表示食物包装机(100)的一个或远程子系统的一个或多个物理参数的测量值。通过使用强化学习模型(206)和本地控制模型(210)处理远程变量值(204)和本地变量值(116)来确定用于食物包装机(100)的本地填充子系统(300)的一个或多个控制参数值。根据所确定的控制参数值调整本地填充子系统(300)的一个或多个控制参数。根据调整后的一个或多个控制参数，控制食物包装机(100)向包装(112)中填充食品。食物包装机(100)向包装(112)中填充食品。食物包装机(100)向包装(112)中填充食品。


技术研发人员：加布里埃莱
受保护的技术使用者：利乐拉瓦尔集团及财务有限公司
技术研发日：2021.12.17
技术公布日：2023/8/9