一种基于机器视觉和轨迹规划的机器人控制系统的制作方法

1.本发明涉及机器人控制技术领域，特别涉及一种基于机器视觉和轨迹规划的机器人控制系统。


背景技术：

2.在工业生产中，机器人的移动控制大致有两种方式，一是基于预先编程好的移动控制程序控制机器人按照预设规划轨迹进行移动，虽然这种方式的机器人控制系统控制程序简单，但是在轨迹环境多变的情况下应用效果较差；二是基于机器视觉的识别定位算法，即基于模板匹配(template matching)方法或描述符(descriptor-based)方法等实现机器人的定位识别，现有的基于机器视觉的识别定位算法可以对多变的轨迹物景灵活识别，并结合轨迹规划规则，使得机器人的移动控制在轨迹环境多变的情况下依旧有效。
3.但是，基于机器视觉和轨迹规划的机器人移动控制，需要提前获取多变的轨迹环境中的实时物景信息，以供基于模板匹配或描述符等方法进行定位识别和轨迹规划，但是现存的机器人控制系统的实际应用环境中轨迹物景的物景图像信息多通过人工获取或者机器人自动获取，这两种方式都导致轨迹物景的图像信息的准确度和时效性不足，进而对机器人的轨迹规划效果产生直接影响。
4.因此，本发明提出了一种基于机器视觉和轨迹规划的机器人控制系统。


技术实现要素：

5.本发明提供一种基于机器视觉和轨迹规划的机器人控制系统，用以通过对预设周期内所有机器人的初始规划轨迹的时空重合性分析和移动过程中获取的规划轨迹物景视频的视频帧连贯度进行分析，在机器人实时获取的规划轨迹物景视频中筛选出真实轨迹物景视频，基于真实轨迹物景视频更新机器人的初始规划轨迹，保证了机器人控制系统的实际应用环境中轨迹物景的物景图像信息的准确度和时效性，也使得机器人的移动控制轨迹的规划和更新更合理及时，进而获得更佳的机器人移动控制效果。
6.本发明提供一种基于机器视觉和轨迹规划的机器人控制系统，包括：实时获取模块，用于控制机器人按照初始规划轨迹移动，同时，控制机器人在移动过程中实时获取规划轨迹物景视频；视频筛选模块，用于基于预设周期内所有机器人的初始规划轨迹的时空重合性分析结果和规划轨迹物景视频的视频帧连贯度，在当前获取的规划轨迹物景视频中筛选出真实轨迹物景视频；轨迹更新模块，用于基于真实轨迹物景视频和初始规划轨迹更新机器人的初始规划轨迹，获得机器人的重新规划轨迹；移动控制模块，用于基于重新规划轨迹对机器人继续进行移动控制，获得机器人移动控制结果。
7.优选的，视频筛选模块，包括：
视频划分子模块，用于基于预设周期内所有机器人的初始规划轨迹的时空重合性分析结果，对当前获取的规划轨迹物景视频进行划分，获得多个物景视频段；第一计算子模块，用于基于预设周期内所有机器人当前获取的规划轨迹物景视频中不同物景视频段之间的物景匹配度，计算出每个物景视频段的第一真实度；第二计算子模块，用于基于规划轨迹物景视频的视频帧连贯度，计算出每个物景视频段的第二真实度；视频筛选子模块，用于基于第一真实度和第二真实度确定出综合真实度，并基于综合真实度在当前获取的规划轨迹物景视频中筛选出真实轨迹物景视频。
8.优选的，视频划分子模块，包括：实际范围确定单元，用于基于获取规划轨迹物景视频的摄像装置的预设三维摄像范围和预设移动环境的三维空间模型，确定出全部轨迹中每个位置点的实际三维摄像范围；空间重合度计算单元，用于将预设周期内不同机器人的初始规划轨迹中实际三维摄像范围重合的两个位置点当作初筛位置点组合，计算出初筛位置点组合中两个位置点的实际三维摄像范围的空间重合度；时刻偏差度计算单元，用于基于初始规划轨迹中每个位置点的预设途径时刻，计算出初筛位置点组合中两个位置点的途径时刻偏差度；时空重合性分析单元，用于基于初筛位置点组合的空间重合度和途径时刻偏差度，计算出初筛位置点组合的时空重合度，将所有时空重合度当作所有机器人的初始规划轨迹的时空重合性分析结果；物景视频划分单元，用于基于重合性分析结果对当前获取的规划轨迹物景视频进行划分，获得多个物景视频段。
9.优选的，物景视频划分单元，包括：重合筛选子单元，用于将时空重合性分析结果中的时空重合度超出重合度阈值的初筛位置点组合中的两个位置点判定为互为视频重合位置点；轨迹段筛选子单元，用于将每个初始规划轨迹中重合轨迹对象连续一致的多个视频重合位置点形成的轨迹段当作视频重合轨迹段；划分时刻确定子单元，用于将视频重合轨迹段的起点在所属初始规划轨迹中的预设途径时刻当作对应初始规划轨迹的第一视频划分时刻，同时，将视频重合轨迹段的终点在所属初始规划轨迹中的预设途径时刻当作对应初始规划轨迹的第二视频划分时刻；划分界限确定子单元，用于在当前获取的规划轨迹物景视频中获取时刻为对应初始规划轨迹的第一视频划分时刻的视频帧与相邻前一视频帧之间确定出划分界限，同时，在当前获取的规划轨迹物景视频中获取时刻为对应初始规划轨迹的第二视频划分时刻的视频帧与相邻后一视频帧之间确定出划分界限；物景视频划分子单元，用于基于当前获取的规划轨迹物景视频中的所有划分界限进行视频划分，获得多个物景视频段。
10.优选的，第一计算子模块，包括：轨迹段匹配单元，用于将不同初始规划轨迹中的包含连续互为视频重合位置点的位置点的两个视频重合轨迹段进行匹配，获得轨迹段匹配结果；
视频段匹配单元，用于基于轨迹段匹配结果，对对应物景视频段进行对应匹配，获得多个视频段匹配组合；第一计算单元，用于基于每个视频段匹配组合中的两个物景视频段之间的物景匹配度，计算出预设周期内所有机器人当前获取的规划轨迹物景视频中每个物景视频段的第一真实度。
11.优选的，第二计算子模块，包括：连贯度计算单元，用于计算出规划轨迹物景视频中所有相邻视频帧组合的视频帧连贯度，并将规划轨迹物景视频中每个视频帧的所有相邻视频帧组合的视频连贯度的平均值当作对应视频帧的综合视频连贯度；第二计算单元，用于将每个物景视频段中所有视频帧的综合视频连贯度的平均值，当作对应物景视频段的第二真实度。
12.优选的，轨迹更新模块，包括：初始获取子单元，用于获取预设移动环境内初始状态下的全部轨迹物景视频；视频更新子模块，用于基于真实轨迹物景视频和对应的视频获取时序以及初始规划轨迹，更新全部轨迹物景视频，并确定出全部轨迹物景视频的视频更新量；重新规划子模块，用于基于视频更新量，对机器人的初始规划轨迹进行重新规划，获得机器人的重新规划轨迹。
13.优选的，视频更新子模块，包括：物景信息提取单元，用于基于所有真实轨迹物景视频和对应的初始规划轨迹，确定出初始规划轨迹中每个位置点的至少一个物景信息；最新信息确定单元，用于基于物景信息所属的真实轨迹物景视频的视频获取时序，确定出每个位置点的所有物景信息的获取时序，基于所有物景信息的获取时序，在每个位置点的所有物景信息中确定出对应位置点的最新物景信息；物景信息更新单元，用于基于所有位置点的最新物景信息更新全部轨迹物景视频，并确定出全部轨迹物景视频的视频更新量。
14.优选的，物景信息更新单元，包括：物景信息更新子单元，用于在全部轨迹物景视频中确定出每个位置点的初始物景信息，当位置点的最新物景信息与初始物景信息的偏差度超过偏差阈值时，则将全部轨迹物景视频中对应位置点的初始物景信息替换为对应的最新物景信息，否则，保留全部轨迹物景视频中对应的位置点的初始物景信息；视频更新量确定子单元，用于将全部轨迹物景视频中包含的更新后的最新物景信息当作全部轨迹物景视频的视频更新量。
15.优选的，重新规划子模块，包括：故障段确定单元，用于基于视频更新量在全部轨迹中确定出故障轨迹段；重新规划单元，用于确定出初始规划轨迹中的未经轨迹段，基于未经轨迹段和故障轨迹段以及全部轨迹对对应初始规划轨迹进行重新规划，获得重新规划轨迹。
16.本发明区别于现有技术的有益效果：通过对预设周期内所有机器人的初始规划轨迹的时空重合性分析和移动过程中获取的规划轨迹物景视频的视频帧连贯度进行分析，在机器人实时获取的规划轨迹物景视频中筛选出真实轨迹物景视频，基于真实轨迹物景视频
更新机器人的初始规划轨迹，保证了机器人控制系统的实际应用环境中轨迹物景的物景图像信息的准确度和时效性，也使得机器人的移动控制轨迹的规划和更新更合理及时，进而获得更佳的机器人移动控制效果。
17.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
18.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
19.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：图1为本发明实施例中一种基于机器视觉和轨迹规划的机器人控制系统的具体模块和执行过程示意图；图2为本发明实施例中的视频筛选模块的具体模块和执行过程示意图；图3为本发明实施例中的视频划分子模块的具体单元和执行过程示意图。
具体实施方式
20.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
21.实施例1
22.本发明提供了一种基于机器视觉和轨迹规划的机器人控制系统，参考图1，包括：实时获取模块，用于控制机器人按照初始规划轨迹移动，同时，控制机器人在移动过程中实时获取规划轨迹物景视频；视频筛选模块，用于基于预设周期内所有机器人的初始规划轨迹的时空重合性分析结果和规划轨迹物景视频的视频帧连贯度，在当前获取的规划轨迹物景视频中筛选出真实轨迹物景视频；轨迹更新模块，用于基于真实轨迹物景视频和初始规划轨迹更新机器人的初始规划轨迹，获得机器人的重新规划轨迹；移动控制模块，用于基于重新规划轨迹对机器人继续进行移动控制，获得机器人移动控制结果。
23.该实施例中，初始规划轨迹即为编程控制人员预先根据机器人实际移动环境中的最新轨迹信息规划出的机器人移动轨迹，该初始规划轨迹可以是直达机器人最终目的地的轨迹，也可以是在到达目的地前的部分轨迹，例如：也可以是机器人在当前所在的直行轨迹段中的部分轨迹，对应的移动控制程序为控制机器人按照当前朝向直行（直行到执行轨迹段的拐角位置或者直行预设距离等）。
24.该实施例中，控制机器人按照初始规划轨迹移动即根据预先编程好的移动控制程序（即控制机器人按照对应初始规划轨迹移动的程序）实现。
25.该实施例中，规划轨迹物景视频即机器人在按照初始规划轨迹移动过程中基于装载在机器人上的一个或多个摄像装置实时获取的包含机器人途径轨迹上的实际物景的视
频。
26.该实施例中，预设周期即为判断初始规划轨迹的时空重合性分析结果和规划轨迹物景视频的视频帧连贯度时依据的周期，预设周期内所有机器人即为预设周期内在预设实际移动环境中移动的机器人。
27.该实施例中，时空重合性分析结果即为对预设周期内不同机器人的初始规划轨迹中的位置点的时空重合度（即表征两个初始规划轨迹中的两个位置点的空间和途径时刻的重合程度的数值）进行分析后获得的结果。
28.该实施例中，视频帧连贯度即为表征规划轨迹物景视频中每个视频帧和相邻视频帧之间的连贯程度的数值。
29.该实施例中，真实轨迹物景视频即为在所有当前获取的规划轨迹物景视频中筛选出的表征轨迹中对应位置点或轨迹段的最新实际物景情况的视频，即可保证轨迹物景视频的时效性和准确性。
30.该实施例中，基于真实轨迹物景视频和初始规划轨迹更新机器人的初始规划轨迹，基于真实轨迹物景视频更新云端存储的轨迹物景视频，并基于更新后的轨迹物景视频和预设的轨迹规划规则更新初始规划轨迹（例如：初始规划轨迹为ab
→
bc，当基于真实轨迹物景视频人工分析或机器学习分析出ab轨迹段存在障碍物或者通行情况较差，则可将轨迹更新为无障碍物或通行情况较好的af
→
fd
→
dc，又或者基于真实轨迹物景视频更新机器人定位识别过程中模板匹配的模板图像信息或描述特征，基于更新后的图像信息使得机器人移动控制程序得到优化，即实现对初始规划轨迹的更新）。
31.该实施例中，重新规划轨迹即为对初始规划轨迹更新后获得的新轨迹。
32.该实施例中，基于重新规划轨迹对机器人继续进行移动控制即基于重新规划轨迹对应的移动控制程序控制机器人按照重新规划轨迹移动。
33.该实施例中，机器人移动控制结果即为控制机器人按照最新获得的重新规划轨迹进行移动这一结果。
34.该实施例中，基于重新规划轨迹对机器人继续进行移动控制过程中，机器人继续获取规划轨迹物景视频，并继续基于视频筛选模块、轨迹更新模块继续在当前获取的规划轨迹物景视频中筛选出最新的真实轨迹物景视频，并基于最新的真实轨迹物景视频对机器人的重新规划轨迹不断更新，即在众多机器人在预设周期内移动或机器人到达目的地之前的整个移动过程中使得轨迹物景视频更新和规划轨迹更新形成一持续循环过程，进而更加提高了机器人移动控制过程中参考的轨迹物景的图像信息的时效性和准确性，也保证了机器人移动控制全程的轨迹规划效果。
35.以上技术的有益效果为：通过对预设周期内所有机器人的初始规划轨迹的时空重合性分析和移动过程中获取的规划轨迹物景视频的视频帧连贯度进行分析，在机器人实时获取的规划轨迹物景视频中筛选出真实轨迹物景视频，基于真实轨迹物景视频更新机器人的初始规划轨迹，保证了机器人控制系统的实际应用环境中轨迹物景的物景图像信息的准确度和时效性，也使得机器人的移动控制轨迹的规划和更新更合理及时，进而获得更佳的机器人移动控制效果。
36.实施例2
37.在实施例1的基础上，视频筛选模块，参考图2，包括：
视频划分子模块，用于基于预设周期内所有机器人的初始规划轨迹的时空重合性分析结果，对当前获取的规划轨迹物景视频进行划分，获得多个物景视频段；第一计算子模块，用于基于预设周期内所有机器人当前获取的规划轨迹物景视频中不同物景视频段之间的物景匹配度，计算出每个物景视频段的第一真实度；第二计算子模块，用于基于规划轨迹物景视频的视频帧连贯度，计算出每个物景视频段的第二真实度；视频筛选子模块，用于基于第一真实度和第二真实度确定出综合真实度，并基于综合真实度在当前获取的规划轨迹物景视频中筛选出真实轨迹物景视频。
38.该实施例中，物景视频段即为由当前获取的规划轨迹物景视频划分获得的视频段。
39.该实施例中，第一真实度即为基于预设周期内所有机器人当前获取的规划轨迹物景视频中不同物景视频段之间的物景匹配度计算出的表征物景视频段的真实可靠程度的数值。
40.该实施例中，物景匹配度即为表征不同物景视频段中包含的物景之间的匹配程度。
41.该实施例中，第二真实度即为基于规划轨迹物景视频的视频帧连贯度计算出的表征物景视频段的真实可靠程度的数值。
42.该实施例中，综合真实度即为第一真实度和第二真实度的平均值。
43.该实施例中，将综合真实度不小于真实度阈值的物景视频段当作真实轨迹物景视频段，将真实轨迹物景视频段按照空间位置进行拼接，获得一段或多段真实轨迹物景视频。
44.以上技术的有益效果为：基于众多机器人的初始规划轨迹的时空重合性分析结果对规划轨迹物景视频进行分析，获得轨迹物景可能存在重合的物景视频段，进而便于后续对划分后的物景视频段的真实性分析，并筛选出同时满足时效性和准确性的真实轨迹物景视频。
45.实施例3
46.在实施例2的基础上，视频划分子模块，参考图3，包括：实际范围确定单元，用于基于获取规划轨迹物景视频的摄像装置的预设三维摄像范围和预设移动环境的三维空间模型，确定出全部轨迹中每个位置点的实际三维摄像范围；空间重合度计算单元，用于将预设周期内不同机器人的初始规划轨迹中实际三维摄像范围重合的两个位置点当作初筛位置点组合，计算出初筛位置点组合中两个位置点的实际三维摄像范围的空间重合度；时刻偏差度计算单元，用于基于初始规划轨迹中每个位置点的预设途径时刻，计算出初筛位置点组合中两个位置点的途径时刻偏差度；时空重合性分析单元，用于基于初筛位置点组合的空间重合度和途径时刻偏差度，计算出初筛位置点组合的时空重合度，将所有时空重合度当作所有机器人的初始规划轨迹的时空重合性分析结果；物景视频划分单元，用于基于重合性分析结果对当前获取的规划轨迹物景视频进行划分，获得多个物景视频段。
47.该实施例中，摄像装置即为设置在机器人上用于获取规划轨迹物景视频的摄像机等摄像装置。
48.该实施例中，预设三维摄像范围即为预设的摄像装置可拍摄的三维空间范围，例如以摄像装置为中心、摄像装置正前方横向150度范围内、纵向150度范围内形成的三维空间范围。
49.该实施例中，预设移动环境即为当前机器人控制系统中所有机器人的预设可移动范围。
50.该实施例中，三维空间模型即为表征预设移动环境内的所有三维空间结构的三维模型。
51.该实施例中，全部轨迹即为预设移动环境中机器人可通行的所有移动轨迹。
52.该实施例中，位置点即为全部轨迹中的坐标点。
53.该实施例中，实际三维摄像范围即为当机器人在某位置点时，其装置的摄像装置在该位置点可拍摄的三维空间范围，由于轨迹两侧物景差异导致对摄像装置的摄像范围存在不同程度的遮挡情况，因此每个位置点的实际三维摄像范围不一样，该实际三维摄像范围可以根据预设三维摄像范围与三维空间模型中位置点附近的物景遮挡情况确定。
54.该实施例中，初筛位置点组合即为包含分别属于两个初始规划轨迹且实际三维摄像范围存在重合的位置点的位置点组合。
55.该实施例中，计算出初筛位置点组合中两个位置点的实际三维摄像范围的空间重合度，包括：基于有效距离在初筛位置点组合中两个位置点的实际三维摄像范围中筛选出对应位置点的有效摄像范围三维块；并将初筛位置点组合中两个位置点的有效摄像范围三维块中的重合部分当作重合范围三维块；将重合范围三维块与初筛位置点组合中两个位置点的有效摄像范围三维块的体积比的平均值当作初筛位置点组合中两个位置点的实际三维摄像范围的空间重合度。
56.该实施例中，预设途径时刻即为预设的机器人途径初始规划轨迹中对应位置点的时刻。
57.该实施例中，基于初始规划轨迹中每个位置点的预设途径时刻，计算出初筛位置点组合中两个位置点的途径时刻偏差度，包括：将初筛位置点组合中两个位置点的预设途径时刻的差值与（预设的）时间阈值的比值当作途径时刻偏差度。
58.该实施例中，基于初筛位置点组合的空间重合度和途径时刻偏差度，计算出初筛位置点组合的时空重合度，包括：将1和途径时刻偏差度的差值当作途径时刻重合度，并将空间重合度和途径时刻重合度的平均值当作初筛位置点组合的时空重合度。
59.以上技术的有益效果为：基于预设移动环境的三维空间模型确定出全部轨迹中所有位置点的实际三维摄像范围，并基于不同机器人的初始规划轨迹的实际三维摄像范围的重合情况确定出初筛位置点组合，并计算出初筛位置点组合呃空间重合度，再结合位置点的途径时刻计算出初筛位置点组合的途径时刻偏差度，进一步地，基于初筛位置点组合的
空间重合度和途径时刻偏差度，计算出初筛位置点组合的时空重合度，进而从位置点的实际三维摄像范围空间的重合情况和途径时刻的重合情况，准确分析出不同机器人的初始规划轨迹中的位置点之间的时空重合性，并进一步划分出便于后续真实性分析的物景视频段。
60.实施例4
61.在实施例3的基础上，物景视频划分单元，包括：重合筛选子单元，用于将时空重合性分析结果中的时空重合度超出重合度阈值的初筛位置点组合中的两个位置点判定为互为视频重合位置点；轨迹段筛选子单元，用于将每个初始规划轨迹中重合轨迹对象连续一致的多个视频重合位置点形成的轨迹段当作视频重合轨迹段；划分时刻确定子单元，用于将视频重合轨迹段的起点在所属初始规划轨迹中的预设途径时刻当作对应初始规划轨迹的第一视频划分时刻，同时，将视频重合轨迹段的终点在所属初始规划轨迹中的预设途径时刻当作对应初始规划轨迹的第二视频划分时刻；划分界限确定子单元，用于在当前获取的规划轨迹物景视频中获取时刻为对应初始规划轨迹的第一视频划分时刻的视频帧与相邻前一视频帧之间确定出划分界限，同时，在当前获取的规划轨迹物景视频中获取时刻为对应初始规划轨迹的第二视频划分时刻的视频帧与相邻后一视频帧之间确定出划分界限；物景视频划分子单元，用于基于当前获取的规划轨迹物景视频中的所有划分界限进行视频划分，获得多个物景视频段。
62.该实施例中，时空重合度即表征两个初始规划轨迹中的两个位置点的空间和途径时刻的重合程度的数值。
63.该实施例中，重合度阈值即为预设的、用于判断初筛位置点组合中的两个位置点是否互为视频重合位置点时依据的时空重合度阈值。
64.该实施例中，互为视频重合位置点即为时空重合度超出重合度阈值的初筛位置点组合中的两个位置点。
65.该实施例中，重合轨迹对象即为与对应位置点互为视频重合位置点的位置点所在的初始规划轨迹。
66.该实施例中，视频重合轨迹段即为初始规划轨迹中重合轨迹对象连续一致的多个视频重合位置点形成的轨迹段。
67.该实施例中，初始规划轨迹中重合轨迹对象连续一致的多个视频重合位置点形成的轨迹段，例如：初始规划轨迹a中第a个位置点至第a+b个位置点的重合轨迹对象都为初始规划轨迹b（即初始规划轨迹a中第a个位置点至第a+b个位置点与初始规划轨迹b中连续的（b+1）个位置点（例如第c个位置点值第c+b个位置点）互为视频重合位置点）时，则将初始规划轨迹a中第a个位置点至第a+b个位置点形成的轨迹段当作视频重合轨迹段，其中，a、b、c都大于0。
68.该实施例中，所属初始规划轨迹即为视频重合轨迹段所在的初始规划轨迹。
69.该实施例中，第一视频划分时刻即为视频重合轨迹段的起点在所属初始规划轨迹中对应的位置点的预设途径时刻。
70.该实施例中，第二视频划分时刻即为视频重合轨迹段的终点在所属初始规划轨迹
中对应的位置点的预设途径时刻。
71.以上技术的有益效果为：通过将初筛位置点组合的时空重合度与重合度阈值比较，筛选出可以有效摄像空间范围互相重合的位置点，即筛选出互为视频重合位置点的位置点组合，并通过进一步筛选出连续互为视频重合位置点的轨迹段当作视频重合轨迹段，基于视频重合轨迹段确定出的视频划分时刻进一步确定出视频划分界限，使得基于划分界限划分出的物景视频段包含连续的、互为视频重合位置点的多个位置点，进而使得划分出的物景视频段便于后续对其真实度的校验和计算。
72.实施例5
73.在实施例4的基础上，第一计算子模块，包括：轨迹段匹配单元，用于将不同初始规划轨迹中的包含连续互为视频重合位置点的位置点的两个视频重合轨迹段进行匹配，获得轨迹段匹配结果；视频段匹配单元，用于基于轨迹段匹配结果，对对应物景视频段进行对应匹配，获得多个视频段匹配组合；第一计算单元，用于基于每个视频段匹配组合中的两个物景视频段之间的物景匹配度，计算出预设周期内所有机器人当前获取的规划轨迹物景视频中每个物景视频段的第一真实度。
74.该实施例中，将不同初始规划轨迹中的包含连续互为视频重合位置点的位置点的两个视频重合轨迹段进行匹配，获得轨迹段匹配结果，例如：初始规划轨迹a中第a个位置点至第a+b个位置点的重合轨迹对象都为初始规划轨迹b（即初始规划轨迹a中第a个位置点至第a+b个位置点与初始规划轨迹b中连续的（b+1）个位置点（例如第c个位置点值第c+b个位置点）互为视频重合位置点）时，则将初始规划轨迹a中第a个位置点至第a+b个位置点形成的轨迹段当作视频重合轨迹段，其中，a、b、c都大于0；则将初始规划轨迹a中第a个位置点至第a+b个位置点的视频重合轨迹段a1与初始规划轨迹b中第c个位置点值第c+b个位置点的视频重合轨迹段进行匹配，获得轨迹段匹配结果。
75.该实施例中，轨迹段匹配结果为两个互相匹配的视频重合轨迹段，该领个互相匹配的视频重合轨迹段满足以下条件：两者包含的位置点互为视频重合位置点。
76.该实施例中，视频段匹配组合即为将轨迹段匹配结果中包含的两个互相匹配的视频重合轨迹段对应的物景视频段互相匹配后获得的组合（该组合包含两个互相匹配的物景视频段）。
77.该实施例中，两个物景视频段之间的物景匹配度的计算方式例如为：对物景视频段中包含的视频帧进行轮廓识别和边缘检测（例如有基于二值化图像或者opencv轮廓检测算法），获得所有识别轮廓；将不同识别轮廓之间的坐标偏差度当作对应不同轮廓之间的轮廓形状偏差度；将轮廓形状偏差度不超过偏差度阈值的两个识别轮廓判定为属于同一实物；将互相判定为属于同一实物的两个识别轮廓构成的组合汇总，则获得属于同一实物的识别轮廓集合（例如：识别轮廓a分别与识别轮廓b、识别轮廓c被判定为属于同一实物，且识别轮廓b与识别轮廓f被判定为属于同一实物，且识别轮廓c与识别轮廓e、识别轮廓d被判定为属于同一实物时，则将识别轮廓a、识别轮廓b、识别轮廓c、识别轮廓d、识别轮廓e、识
别轮廓f汇总，获得属于某同一实物的识别轮廓集合）；计算出属于两个物景视频段的任意两个识别轮廓集合的匹配度；（将两个识别轮廓集合中的识别轮廓进行任意组合，即组合中包含属于两个识别轮廓集合的两个识别轮廓，然后计算组合中的两个识别轮廓之间的匹配度，将两个识别轮廓集合中的所有组合的匹配度的平均值当作当前计算的两个识别轮廓集合的匹配度，其中，两个识别轮廓之间的匹配度通过以下方式计算：计算出两个识别轮廓中所有相同序数的点的坐标差值的平均值，将该坐标差值的平均值与差值阈值的比值当作两个识别轮廓的偏差度，将1与两个识别轮廓的偏差度的差值当作两个识别轮廓的匹配度）判断出两个物景视频段中的每个识别轮廓集合在除所属物景视频段以外的另一个物景视频段中是否存在匹配度不小于匹配度阈值的识别轮廓集合，若是，则将对应的两个识别轮廓集合判定为同属识别轮廓集合；否则，将对应识别轮廓集合判定为差异识别轮廓集合，并将差异识别轮廓集合中所有识别轮廓在所属视频帧中围成的区域当作差异区域；并将物景视频段中所有差异区域的总面积与对应物景视频段的所有视频帧的总面积的占比，当作对应物景视频段的差异度；当当前计算的两个物景视频段的差异度的和大于1时，则将1与物景视频段的差异度当作物景视频段与当前计算的另一个物景视频段的匹配度，并将当前计算的两个物景视频段的匹配度的平均值当作当前计算的两个物景视频段的物景匹配度；当前计算的两个物景视频段的差异度的和不大于1时，则将当前计算的两个物景视频段的差异度的平均值当作综合差异度，并将1与综合差异度的差值当作当前计算的两个物景视频段的物景匹配度。
78.该实施例中，基于每个视频段匹配组合中的两个物景视频段之间的物景匹配度，计算出预设周期内所有机器人当前获取的规划轨迹物景视频中每个物景视频段的第一真实度，包括：将物景视频段的所有物景匹配度进行去偏处理（即去掉异常的最大值和异常的最小值，例如：远大于（或小于）其他物景匹配度的物景匹配度），将去偏处理后剩余的所有物景匹配度的平均值当作对应物景视频段的第一真实度。
79.以上技术的有益效果为：基于不同初始规划轨迹中被判定为互为视频重合位置点的位置点，获得摄像空间范围连续互相重合的轨迹段，即轨迹段匹配结果，并基于轨迹段匹配结果实现视频段的匹配，再进一步基于匹配的视频段之间的物景匹配度实现对物景视频段的真实性的计算，即实现了基于摄像范围的分析，分析出视频重合的轨迹和视频，进而基于获取的视频之间的物景匹配程度，实现当前获取的多个物景视频段（即规划轨迹物景视频）的互相验证。
80.实施例6
81.在实施例2的基础上，第二计算子模块，包括：连贯度计算单元，用于计算出规划轨迹物景视频中所有相邻视频帧组合的视频帧连贯度，并将规划轨迹物景视频中每个视频帧的所有相邻视频帧组合的视频连贯度的平均值当作对应视频帧的综合视频连贯度；第二计算单元，用于将每个物景视频段中所有视频帧的综合视频连贯度的平均
值，当作对应物景视频段的第二真实度。
82.该实施例中，相邻视频帧组合即为规划轨迹物景视频中相邻视频帧构成的组合。
83.该实施例中，计算出规划轨迹物景视频中所有相邻视频帧组合的视频帧连贯度，包括：确定出相邻视频帧组合中的视频帧中的特征点；（例如采用灰度阈值法提取，即提取灰度值大于预设阈值的像素点当作特征点；又例如将采用边缘检测算法检测出的边缘点当作特征点）基于相对位置将相邻视频帧组合中两个视频帧中的特征点进行匹配，获得匹配特征点组合（例如：两个视频帧中视频帧x中包含四个分别分布于视频帧左上、左下、右上、右下的特征点，视频帧y中包含四个分别位于视频帧左上、左下、右上、右下的特征点，则将视频帧x和视频帧y中都位于左上的特征点进行匹配、都位于左下的特征点进行匹配、都位于右上的特征点进行匹配）；计算出匹配特征点组合中的两个特征点的坐标值的偏差度（两个特征点的坐标值差值与预设坐标差值的比值）；将1与偏差度的差值当作匹配特征点组合的匹配度；将相邻视频帧组合中两个视频帧中的所有匹配特征点组合的匹配度的平均值当作相邻视频帧组合的视频帧连贯度。
84.该实施例中，综合视频连贯度即为表针视频帧与相邻的两个视频帧之间的连贯程度的数值。
85.以上技术的有益效果为：通过计算物景视频中每个视频帧与两个相邻视频帧的视频帧连贯度，进而大大避免了出现物景视频被恶意入侵拼接的情况。
86.实施例7
87.在实施例1的基础上，轨迹更新模块，包括：初始获取子单元，用于获取预设移动环境内初始状态下的全部轨迹物景视频；视频更新子模块，用于基于真实轨迹物景视频和对应的视频获取时序以及初始规划轨迹，更新全部轨迹物景视频，并确定出全部轨迹物景视频的视频更新量；重新规划子模块，用于基于视频更新量，对机器人的初始规划轨迹进行重新规划，获得机器人的重新规划轨迹。
88.该实施例中，初始状态下即为当前计算的预设周期开始之前获得的预设移动环境内的最新的轨迹物景视频。
89.该实施例中，全部轨迹物景视频即为包含预设移动环境内在当前的预设周期开始前的轨迹物景状态的视频。
90.该实施例中，视频获取时序即为机器人获取真实轨迹物景视频的顺序，也包含真实轨迹物景视频中每个视频帧的获取时刻。
91.该实施例中，视频更新量即为全部轨迹物景视频中更新后的视频帧局部区域。
92.以上技术的有益效果为：基于筛选出的真实轨迹物景视频更新全部轨迹物景视频，并对应更新机器人的初始规划轨迹，实现对轨迹物景视频的及时准确更新，也使得机器人的轨迹规划更加合理。
93.实施例8
94.在实施例7的基础上，视频更新子模块，包括：物景信息提取单元，用于基于所有真实轨迹物景视频和对应的初始规划轨迹，确定出初始规划轨迹中每个位置点的至少一个物景信息；最新信息确定单元，用于基于物景信息所属的真实轨迹物景视频的视频获取时序，确定出每个位置点的所有物景信息的获取时序，基于所有物景信息的获取时序，在每个位置点的所有物景信息中确定出对应位置点的最新物景信息；物景信息更新单元，用于基于所有位置点的最新物景信息更新全部轨迹物景视频，并确定出全部轨迹物景视频的视频更新量。
95.该实施例中，物景信息即为真实轨迹物景视频中确定出的、包含以对应位置点为中心的预设范围内的空间中的物景的局部视频帧信息（即为视频帧的局部区域的图像信息）。
96.该实施例中，基于物景信息所属的真实轨迹物景视频的视频获取时序，确定出每个位置点的所有物景信息的获取时序，即为：基于物景信息对应的局部视频帧所属的真实轨迹物景视频的视频获取时序，确定出物景信息对应的局部视频帧的获取时刻；将位置点的所有物景信息的获取时刻排序，获得对应位置点的所有物景信息的获取时序。
97.该实施例中，基于所有物景信息的获取时序，在每个位置点的所有物景信息中确定出对应位置点的最新物景信息，包括：将所有物景信息的获取时序中最新的获取时刻对应的物景信息当作对应位置点的最新物景信息。
98.该实施例中，最新物景信息即为位置点的所有物景信息中获取时刻最新的物景信息。
99.以上技术的有益效果为：通过将真实轨迹物景视频与初始规划轨迹进行位置点对应确定出位置点的所有物景想你想，并基于视频获取时序确定出位置点的所有物景信息的获取时序，进而确定出最新物景信息，基于最新物景信息更新全部轨迹物景视频，进一步保证了轨迹物景视频的更新时效性。
100.实施例9
101.在实施例8的基础上，物景信息更新单元，包括：物景信息更新子单元，用于在全部轨迹物景视频中确定出每个位置点的初始物景信息，当位置点的最新物景信息与初始物景信息的偏差度超过偏差阈值时，则将全部轨迹物景视频中对应位置点的初始物景信息替换为对应的最新物景信息，否则，保留全部轨迹物景视频中对应的位置点的初始物景信息；视频更新量确定子单元，用于将全部轨迹物景视频中包含的更新后的最新物景信息当作全部轨迹物景视频的视频更新量。
102.该实施例中，初始物景信息即为全部轨迹物景视频中确定出的、包含以对应位置点为中心的预设范围内的空间中的物景的局部视频帧信息（即为视频帧的局部区域的图像信息）。
103.该实施例中，位置点的最新物景信息与初始物景信息的偏差度的计算方式为：
计算出最新物景信息对应的视频帧的局部区域和初始物景信息对应的视频帧的局部区域中相同位置的像素点的像素差值；并将像素差值分别与两个视频帧在对应位置的像素点的像素值的比值的平均值，当作对应位置的局部偏差度；将视频帧所有位置的局部偏差度的平均值当作对应的最新物景信息与初始物景信息的偏差度。
104.该实施例中，偏差阈值即为即为预先设定的、用于判断对应最新物景信息是否需要更新时依据的偏差度阈值。
105.该实施例中，将全部轨迹物景视频中对应位置点的初始物景信息替换为对应的最新物景信息（如何将视频中的物景信息替换），包括：将全部轨迹物景视频中对应位置点的初始物景信息对应的视频帧局部区域替换为对应最新物景信息对应的视频帧局部区域。
106.以上技术的有益效果为：通过判断每个位置点的最新物景信息和初始物景信息之间的偏差度是否超出偏差阈值，实现对全部轨迹物景视频中的物景信息是否需要更新的判断，并进行相应更新，即实现了全部轨迹物景视频的准确更新。
107.实施例10：在实施例7的基础上，重新规划子模块，包括：故障段确定单元，用于基于视频更新量在全部轨迹中确定出故障轨迹段；重新规划单元，用于确定出初始规划轨迹中的未经轨迹段，基于未经轨迹段和故障轨迹段以及全部轨迹对对应初始规划轨迹进行重新规划，获得重新规划轨迹。
108.该实施例中，故障轨迹段即为基于视频帧更新量确定出的全部轨迹中当前不可通行的轨迹段。
109.该实施例中，基于视频更新量在全部轨迹中确定出故障轨迹段，包括：通过将视频更新量中包含的更新后的视频帧局部区域所在的完整视频帧和更新前的视频帧局部区域所在的完整视频帧，输入至预先训练好的故障轨迹段判断模型（经由大量被标定为属于故障轨迹段的更新前的视频帧和更新后的视频帧，以及被标定为不属于故障轨迹段的更新前的视频帧和更新后的视频帧训练获得的模型）中，判断出对应位置点是否故障轨迹段；并基于上述判断结果，将被判定为属于故障轨迹段的位置点进行连接汇总，获得故障轨迹段。
110.该实施例中，未经轨迹段即初始规划轨迹中机器人未经过的轨迹段。
111.该实施例中，基于未经轨迹段和故障轨迹段以及全部轨迹对对应初始规划轨迹进行重新规划，获得重新规划轨迹，包括：基于未经轨迹段确定出机器人的当前所在位置点和目的地位置点；并在全部轨迹中排除最新确定出的故障轨迹段，在剩余的轨迹段中确定出当前所在位置点和目的地位置点之间的重新规划轨迹。
112.以上技术的有益效果为：基于视频更新量实现对轨迹段的状态判定，确定出故障轨迹段，并基于初始规划轨迹中的未经轨迹，在全部轨迹中排除故障轨迹段后对机器人的未经轨迹进行重新规划，保证了机器人移动控制过程中的顺利移动控制。
113.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种基于机器视觉和轨迹规划的机器人控制系统，其特征在于，包括：实时获取模块，用于控制机器人按照初始规划轨迹移动，同时，控制机器人在移动过程中实时获取规划轨迹物景视频；视频筛选模块，用于基于预设周期内所有机器人的初始规划轨迹的时空重合性分析结果和规划轨迹物景视频的视频帧连贯度，在当前获取的规划轨迹物景视频中筛选出真实轨迹物景视频；轨迹更新模块，用于基于真实轨迹物景视频和初始规划轨迹更新机器人的初始规划轨迹，获得机器人的重新规划轨迹；移动控制模块，用于基于重新规划轨迹对机器人继续进行移动控制，获得机器人移动控制结果。2.根据权利要求1所述的一种基于机器视觉和轨迹规划的机器人控制系统，其特征在于，视频筛选模块，包括：视频划分子模块，用于基于预设周期内所有机器人的初始规划轨迹的时空重合性分析结果，对当前获取的规划轨迹物景视频进行划分，获得多个物景视频段；第一计算子模块，用于基于预设周期内所有机器人当前获取的规划轨迹物景视频中不同物景视频段之间的物景匹配度，计算出每个物景视频段的第一真实度；第二计算子模块，用于基于规划轨迹物景视频的视频帧连贯度，计算出每个物景视频段的第二真实度；视频筛选子模块，用于基于第一真实度和第二真实度确定出综合真实度，并基于综合真实度在当前获取的规划轨迹物景视频中筛选出真实轨迹物景视频。3.根据权利要求2所述的一种基于机器视觉和轨迹规划的机器人控制系统，其特征在于，视频划分子模块，包括：实际范围确定单元，用于基于获取规划轨迹物景视频的摄像装置的预设三维摄像范围和预设移动环境的三维空间模型，确定出全部轨迹中每个位置点的实际三维摄像范围；空间重合度计算单元，用于将预设周期内不同机器人的初始规划轨迹中实际三维摄像范围重合的两个位置点当作初筛位置点组合，计算出初筛位置点组合中两个位置点的实际三维摄像范围的空间重合度；时刻偏差度计算单元，用于基于初始规划轨迹中每个位置点的预设途径时刻，计算出初筛位置点组合中两个位置点的途径时刻偏差度；时空重合性分析单元，用于基于初筛位置点组合的空间重合度和途径时刻偏差度，计算出初筛位置点组合的时空重合度，将所有时空重合度当作所有机器人的初始规划轨迹的时空重合性分析结果；物景视频划分单元，用于基于重合性分析结果对当前获取的规划轨迹物景视频进行划分，获得多个物景视频段。4.根据权利要求3所述的一种基于机器视觉和轨迹规划的机器人控制系统，其特征在于，物景视频划分单元，包括：重合筛选子单元，用于将时空重合性分析结果中的时空重合度超出重合度阈值的初筛位置点组合中的两个位置点判定为互为视频重合位置点；轨迹段筛选子单元，用于将每个初始规划轨迹中重合轨迹对象连续一致的多个视频重
合位置点形成的轨迹段当作视频重合轨迹段；划分时刻确定子单元，用于将视频重合轨迹段的起点在所属初始规划轨迹中的预设途径时刻当作对应初始规划轨迹的第一视频划分时刻，同时，将视频重合轨迹段的终点在所属初始规划轨迹中的预设途径时刻当作对应初始规划轨迹的第二视频划分时刻；划分界限确定子单元，用于在当前获取的规划轨迹物景视频中获取时刻为对应初始规划轨迹的第一视频划分时刻的视频帧与相邻前一视频帧之间确定出划分界限，同时，在当前获取的规划轨迹物景视频中获取时刻为对应初始规划轨迹的第二视频划分时刻的视频帧与相邻后一视频帧之间确定出划分界限；物景视频划分子单元，用于基于当前获取的规划轨迹物景视频中的所有划分界限进行视频划分，获得多个物景视频段。5.根据权利要求4所述的一种基于机器视觉和轨迹规划的机器人控制系统，其特征在于，第一计算子模块，包括：轨迹段匹配单元，用于将不同初始规划轨迹中的包含连续互为视频重合位置点的位置点的两个视频重合轨迹段进行匹配，获得轨迹段匹配结果；视频段匹配单元，用于基于轨迹段匹配结果，对对应物景视频段进行对应匹配，获得多个视频段匹配组合；第一计算单元，用于基于每个视频段匹配组合中的两个物景视频段之间的物景匹配度，计算出预设周期内所有机器人当前获取的规划轨迹物景视频中每个物景视频段的第一真实度。6.根据权利要求2所述的一种基于机器视觉和轨迹规划的机器人控制系统，其特征在于，第二计算子模块，包括：连贯度计算单元，用于计算出规划轨迹物景视频中所有相邻视频帧组合的视频帧连贯度，并将规划轨迹物景视频中每个视频帧的所有相邻视频帧组合的视频连贯度的平均值当作对应视频帧的综合视频连贯度；第二计算单元，用于将每个物景视频段中所有视频帧的综合视频连贯度的平均值，当作对应物景视频段的第二真实度。7.根据权利要求1所述的一种基于机器视觉和轨迹规划的机器人控制系统，其特征在于，轨迹更新模块，包括：初始获取子单元，用于获取预设移动环境内初始状态下的全部轨迹物景视频；视频更新子模块，用于基于真实轨迹物景视频和对应的视频获取时序以及初始规划轨迹，更新全部轨迹物景视频，并确定出全部轨迹物景视频的视频更新量；重新规划子模块，用于基于视频更新量，对机器人的初始规划轨迹进行重新规划，获得机器人的重新规划轨迹。8.根据权利要求7所述的一种基于机器视觉和轨迹规划的机器人控制系统，其特征在于，视频更新子模块，包括：物景信息提取单元，用于基于所有真实轨迹物景视频和对应的初始规划轨迹，确定出初始规划轨迹中每个位置点的至少一个物景信息；最新信息确定单元，用于基于物景信息所属的真实轨迹物景视频的视频获取时序，确定出每个位置点的所有物景信息的获取时序，基于所有物景信息的获取时序，在每个位置
点的所有物景信息中确定出对应位置点的最新物景信息；物景信息更新单元，用于基于所有位置点的最新物景信息更新全部轨迹物景视频，并确定出全部轨迹物景视频的视频更新量。9.根据权利要求8所述的一种基于机器视觉和轨迹规划的机器人控制系统，其特征在于，物景信息更新单元，包括：物景信息更新子单元，用于在全部轨迹物景视频中确定出每个位置点的初始物景信息，当位置点的最新物景信息与初始物景信息的偏差度超过偏差阈值时，则将全部轨迹物景视频中对应位置点的初始物景信息替换为对应的最新物景信息，否则，保留全部轨迹物景视频中对应的位置点的初始物景信息；视频更新量确定子单元，用于将全部轨迹物景视频中包含的更新后的最新物景信息当作全部轨迹物景视频的视频更新量。10.根据权利要求7所述的一种基于机器视觉和轨迹规划的机器人控制系统，其特征在于，重新规划子模块，包括：故障段确定单元，用于基于视频更新量在全部轨迹中确定出故障轨迹段；重新规划单元，用于确定出初始规划轨迹中的未经轨迹段，基于未经轨迹段和故障轨迹段以及全部轨迹对对应初始规划轨迹进行重新规划，获得重新规划轨迹。

技术总结
本发明提供了一种基于机器视觉和轨迹规划的机器人控制系统，包括：实时获取模块，用于控制机器人按照初始规划轨迹移动和控制机器人在移动过程中实时获取规划轨迹物景视频；视频筛选模块，用于基于预设周期内所有机器人的初始规划轨迹的时空重合性分析结果和规划轨迹物景视频的视频帧连贯度，在当前获取的规划轨迹物景视频中筛选出真实轨迹物景视频；轨迹更新模块，用于基于真实轨迹物景视频和初始规划轨迹更新初始规划轨迹，获得机器人的重新规划轨迹；移动控制模块，用于基于重新规划轨迹对机器人继续进行移动控制，获得机器人移动控制结果；用以使得轨迹物景视频的更新更加及时准确，并使得机器人的移动控制轨迹的规划和更新更合理及时。新更合理及时。新更合理及时。


技术研发人员：巫飞彪 张少华
受保护的技术使用者：广州东焊智能装备有限公司
技术研发日：2023.06.06
技术公布日：2023/7/12