一种基于专用AI感知芯片的实时全景感知系统及方法

一种基于专用ai感知芯片的实时全景感知系统及方法
技术领域
1.本发明涉及实时环视深度估计领域，尤其是一种基于专用ai感知芯片的实时全景感知系统及方法。


背景技术：

2.在视觉相机系统中，当前普遍使用的针孔相机视场范围小，需要多个相机构建相机阵列以实现全景图像的采集。现有技术中，将10个针孔相机两两一组进行环绕布置，以实现360度的全景深度感知，但针孔相机数量较多导致视觉相机系统体积较大。而使用鱼眼相机的视觉相机系统，相较于10个针孔相机的构型，具有更小的体积。然而，全景深度感知需要消耗大量的计算资源，导致上述鱼眼相机的视觉相机系统只能部署在具有较大功耗和较大体积的计算设备上，限制了其在微小型无人系统上的应用。
3.因此，上述问题亟待解决。


技术实现要素：

4.有鉴于此，本发明实施例提供一种基于专用ai感知芯片的实时全景感知系统及方法，用于减少视觉相机系统的体积并降低功耗。
5.本发明实施例的一方面提供了一种基于专用ai感知芯片的实时全景感知系统，包括：鱼眼相机模块、异构运算平台以及专用ai感知芯片；
6.所述鱼眼相机模块，用于采用横向布置方式采集鱼眼图像；
7.所述异构运算平台，用于将所述鱼眼图像转化为双目立体图；将所述专用ai感知芯片计算得到的视差图和时钟信号解析为全景稠密深度图；
8.所述专用ai感知芯片，用于根据所述双目立体图与预设的立体匹配参数计算得到所述视差图和时钟信号。
9.可选地，所述鱼眼相机模块包括四个鱼眼相机，四个鱼眼相机环形横向放置，用于获取覆盖全景的鱼眼图像。
10.可选地，其特征在于，所述系统还包括固定结构件；
11.四个所述鱼眼相机分别固定在所述固定结构件上，且在所述固定结构件上前后左右相对环绕横向布置。
12.可选地，四个所述鱼眼相机通过硬件触发的方式同步采集鱼眼图像，并将所述鱼眼图像发送到所述异构运算平台。
13.可选地，所述异构运算平台和所述专用ai感知芯片集成于同一印刷电路板上。
14.可选地，所述系统还包括通信接口模块；
15.所述通信接口模块与所述异构运算平台连接，所述异构运算平台还用于通过所述通信接口模块向其它终端发送所述全景稠密深度图，以供所述其它终端对所述全景稠密深度图进行后处理。
16.可选地，所述通信接口模块采用以太网口。
17.可选地，所述系统还包括无人机；
18.所述鱼眼相机模块、异构运算平台以及专用ai感知芯片均固定在所述无人机上。
19.本发明实施例的另一方面还提供了一种基于专用ai感知芯片的实时全景感知方法，应用于上述一种基于专用ai感知芯片的实时全景感知系统中的专用ai感知芯片，包括：
20.从异构运算平台获取由鱼眼图像转化的双目立体图；
21.对所述双目立体图进行图像矫正，得到无畸变的双目立体图；
22.提取所述无畸变的双目立体图中每一个像素点的特征信息；
23.根据所述特征信息与预设的立体匹配参数计算得到所述双目立体图对应的视差图。
24.可选地，所述方法还包括：
25.对所述视差图进行左右一致性检测和中值滤波操作，得到经过优化的所述视差图。
26.本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
27.所述存储器用于存储程序；
28.所述处理器执行所述程序实现所述的一种基于专用ai感知芯片的实时全景感知方法。
29.本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现所述的一种基于专用ai感知芯片的实时全景感知方法。
30.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
31.本发明采用鱼眼相机模块采集图像，相较于现有技术利用多个针孔相机组成的视觉相机系统，本发明可以减少相机的数量从而减小体积，并且，本发明的鱼眼相机模块采用横向布置方式采集鱼眼图像，相较于现有技术纵向布置鱼眼相机导致影响定位精度，本发明可以降低鱼眼相机畸变对深度估计的影响，同时，本发明采用的专用ai感知芯片用于将输入的双目立体图像和立体匹配参数输出为稠密的视差图及时钟信号，但功耗十分低，无需依赖现有技术中的高性能高功耗的计算平台，具有优越的能耗比。
附图说明
32.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1为本发明实施例提供的一种基于专用ai感知芯片的实时全景感知系统的组件示意图；
34.图2为本发明实施例提供的一种基于专用ai感知芯片的实时全景感知系统的示例结构图；
35.图3为本发明实施例提供的一种固定结构件的示例结构图；
36.图4为本发明实施例提供的一种实时全景感知系统的俯视图；
37.图5至图7为本发明实施例提供的图4所示的全景感知系统在不同角度下的结构图；
38.图8为本发明实施例提供的一种搭载了异构运算平台和专用ai芯片的印刷电路板的具体示例图；
39.图9为本发明实施例提供的另一种搭载了异构运算平台和专用ai芯片的印刷电路板的具体示例图；
40.图10为本发明实施例提供的一种专用ai感知芯片的外观示例图；
41.图11与图12为本发明实施例提供的一种部署在无人机的实时全景感知系统的示例图；
42.图13与图14为本发明实施例提供部署在无人机的实时全景感知系统在不同角度下的结构图；
43.图15为本发明实施例提供的一种搭载了全景感知系统的无人机实物图；
44.图16为本发明实施例提供的一种基于专用ai感知芯片的实时全景感知方法的流程示意图；
45.图17为本发明实施例提供的一种基于专用ai感知芯片的实时全景感知方法的具体示例图；
46.图18为本发明实施例提供的一种专用ai感知芯片的立体匹配数据处理流程图。
具体实施方式
47.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
48.参照图1，本发明实施例提供了一种基于专用ai感知芯片的实时全景感知系统，具体包括：鱼眼相机模块、异构运算平台以及专用ai感知芯片。
49.所述鱼眼相机模块，用于采用横向布置方式采集鱼眼图像。
50.参照图2，本发明实施例提供了一种基于专用ai感知芯片的实时全景感知系统的示例结构图。一种可选的实施方式下，所述鱼眼相机模块可以包括四个鱼眼相机，四个鱼眼相机环形横向放置，用于获取覆盖全景的鱼眼图像。
51.具体的，四个所述鱼眼相机通过硬件触发的方式同步采集鱼眼图像，并将所述鱼眼图像发送到所述异构运算平台。
52.为固定鱼眼相机，本发明实施例还可以包括固定结构件，可选的，四个所述鱼眼相机分别固定在所述固定结构件上，且在所述固定结构件上前后左右相对环绕横向布置。
53.参照图3，本发明实施例提供了一种固定结构件的示例结构图。
54.具体的，四个鱼眼相机以中心对称的关系，横向环形排列。图3中，1，2，3，4为鱼眼相机，5为用于固定鱼眼相机的固定结构件。
55.所述异构运算平台，用于将所述鱼眼图像转化为双目立体图；将所述专用ai感知芯片计算得到的视差图和时钟信号解析为全景稠密深度图。所述专用ai感知芯片，用于根
据所述双目立体图与预设的立体匹配参数计算得到所述视差图和时钟信号。
56.一种可选的实施方式下，所述异构运算平台和所述专用ai感知芯片集成于同一印刷电路板上。
57.参照图4，本发明实施例提供了一种实时全景感知系统的俯视图。图4中，1，3，4，5为横向环绕布置的鱼眼相机，2为搭载了异构运算平台和专用ai感知芯片的印刷电路板模块。
58.为了更全面地展示上述全景感知系统，本发明实施例还提供了如图5至图7所示的不同角度的结构图。
59.进一步，本发明实施例的全景感知系统还可以包括通信接口模块，所述通信接口模块与所述异构运算平台连接，所述异构运算平台还用于通过所述通信接口模块向其它终端发送所述全景稠密深度图，以供所述其它终端对所述全景稠密深度图进行后处理。
60.可选的，所述通信接口模块采用以太网口。
61.具体的，如图8所示，本发明实施例提供了一种搭载了异构运算平台和专用ai芯片的印刷电路板的具体示例图，其中，1，2，3，4为鱼眼相机接口，通过排线与鱼眼相机模块相连接。如图9所示，本发明实施例提供了另一种搭载了异构运算平台和专用ai芯片的印刷电路板的具体示例图，其中，5为基于zynq芯片的异构运算平台，6为专用ai感知芯片，7为以太网口，用于传输稠密的深度图等数据。参照图10，本发明实施例提供了一种专用ai感知芯片的外观示例图。
62.由于本发明实施例体积较小且功耗较低，因此可以部署在微小型无人系统上，例如微型机器人，微型无人机，微型无人车等系统，以无人机为例，即本发明实施例还可以包括无人机，所述鱼眼相机模块、异构运算平台以及专用ai感知芯片均固定在所述无人机上。
63.具体的，参照图11、图12，本发明提供了一种部署在无人机的实时全景感知系统，其中，1，2，3，4为鱼眼相机，5为固定鱼眼相机的固定结构件，6为搭载了异构运算平台和ai感知芯片的印刷电路板。
64.为了更清楚展示上述部署在无人机的实时全景感知系统，本发明实施例还提供了其在不同角度下的结构图，具体请参照图13、图14。
65.进一步，部署在无人机的实时全景感知系统可应用到实际中，图15为本发明实施例提供的一种搭载了全景感知系统的无人机实物图。
66.参照图16，本发明实施例提供了一种基于专用ai感知芯片的实时全景感知方法，应用于上述一种基于专用ai感知芯片的实时全景感知系统中的专用ai感知芯片，所述方法包括：
67.s100：从异构运算平台获取由鱼眼图像转化的双目立体图。
68.s110：对所述双目立体图进行图像矫正，得到无畸变的双目立体图。
69.s120：提取所述无畸变的双目立体图中每一个像素点的特征信息。
70.s130：根据所述特征信息与预设的立体匹配参数计算得到所述双目立体图对应的视差图。
71.进一步，为了优化视差图，本发明实施例还可以包括：对所述视差图进行左右一致性检测和中值滤波操作，得到经过优化的所述视差图。
72.接下来将以具体实例说明本发明的应用过程。
73.参照图17，本发明实施例提供了一种基于专用ai感知芯片的实时全景感知方法的具体示例图。
74.具体的，首先对鱼眼相机模块中的四个相机进行同步采集，然后将采集的鱼眼图像传输到异构运算平台中进行处理。在异构运算平台中，通过zynq中集成的cpu对鱼眼图像进行处理，并转化为多组双目立体图像。然后，异构运算平台将双目立体图像和匹配参数发送至专用ai感知芯片进行处理。专用ai感知芯片处理后将输出视差图和时钟信号，并由异构运算平台解析为全景稠密深度图，发送到定位导航等上层应用模块。
75.其中，鱼眼图像采集步骤在鱼眼相机模块上执行，鱼眼图像矫正、投影转化、后处理步骤在异构运算平台上执行，双目稠密立体匹配步骤在专用ai感知芯片上执行。
76.进一步，对专用ai感知芯片的数据处理流程进行说明，如图18所示。具体的，专用ai感知芯片可以用于双目稠密立体匹配，其输入数据为原始的双目立体图像。首先，专用ai感知芯片对双目立体图像进行图像矫正，以获得无畸变的双目立体图像。然后对无畸变的双目立体图像进行特征提取，以获得无畸变的双目立体图像每一个像素点的特征信息。而后，进行代价聚合操作，主要目的是根据多个路径进行匹配代价优化并获得初步的稠密视差图。最后，进行优化处理。优化处理步骤中，将进行左右一致性检测和中值滤波等操作，最终获得具有高精度和高完整度的稠密深度图像。
77.由于现有的基于针孔相机全景感知系统体积较大，本发明使用四个鱼眼相机代替现有10个针孔相机进行360度感知，降低了相机模组的体积。使用专用ai感知芯片和定制的异构运算平台进行计算加速，使得本发明的全景感知系统不必搭载高性能的cpu/gpu设备，也极大地降低了计算设备的体积。
78.现有的鱼眼相机构型方案普遍为纵向布置的方案。这种方案进行深度估计时，主要使用了相机画面中畸变较大的部分，会严重影响定位精度。本发明实施例将鱼眼相机构型横向放置，大大降低了鱼眼相机畸变对深度估计的影响。
79.另外，现有的方案功耗较高。稠密立体匹配需要消耗大量的计算资源。为了保障系统的实时性，现有的方案依赖于高性能的cpu/gpu计算平台。而高性能cpu/gpu平台的功耗非常大，无法部署于对功耗很敏感的微小型无人系统中。本发明实施例的异构运算平台和专用ai感知芯片的总功耗仅为3w，是高性能的cpu/gpu平台的几十分之一，具有优越的能耗比。
80.若不使用异构运算平台以及专用ai感知芯片进行加速，而使用通用的cpu/gpu计算平台，计算设备所需的功耗将增大数十倍，且无法保障系统的实时性，无法满足微小型无人系统对感知系统的功耗和实时性的要求。若不使用鱼眼相机构型，而使用多组双目针孔相机进行深度感知，则系统的体积将增大数倍，无法满足对机载设备有严格体积要求的微小型无人系统的要求。
81.因此，本发明实施例在对整体设备小体积低功耗的约束下，可以实现实时全景感知的功能。在技术方案上采用软硬件协同设计，自顶而下地集成了立体视觉算法、多视角鱼眼视觉成像系统以及专用硬件加速器，其技术优势在于多目鱼眼信息的融合以及专用硬件加速器设计与系统集成，具有高实时性、高鲁棒性和低功耗的特点。
82.具体的，本发明可以实现360
°
的全景深度感知，即使全景感知系统的某一个方向上的摄像头受遮挡或受光照影响而失能，本发明仍可以根据其它方向上的摄像头所提供的
信息，来维持系统对环境的感知能力。将四个鱼眼相机横向环绕布置，在进行深度感知的时候，能利用鱼眼相机图像中畸变最小的部分，可以大大提升深度感知的精度。
83.本发明可以在小体积低功耗的约束下，实现实时运行。本发明设计了基于zynq的异构运算平台，并设计了具有深度感知功能的专用ai感知芯片，以降低系统中cpu的负载，在不影响深度估计精度的前提下，极大地提升了系统的实时性，同时也极大地降低了系统的功耗。
84.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图16所示的方法。
85.在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
86.此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
87.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
88.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
89.计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(ram)、只读存储器(rom)、可擦除可编辑只读存储器(eprom或闪速存储器)、光纤装置以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
90.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
91.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
92.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
93.以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

技术特征：
1.一种基于专用ai感知芯片的实时全景感知系统，其特征在于，包括：鱼眼相机模块、异构运算平台以及专用ai感知芯片；所述鱼眼相机模块，用于采用横向布置方式采集鱼眼图像；所述异构运算平台，用于将所述鱼眼图像转化为双目立体图；将所述专用ai感知芯片计算得到的视差图和时钟信号解析为全景稠密深度图；所述专用ai感知芯片，用于根据所述双目立体图与预设的立体匹配参数计算得到所述视差图和时钟信号。2.根据权利要求1所述的一种基于专用ai感知芯片的实时全景感知系统，其特征在于，所述鱼眼相机模块包括四个鱼眼相机，四个鱼眼相机环形横向放置，用于获取覆盖全景的鱼眼图像。3.根据权利要求2所述的一种基于专用ai感知芯片的实时全景感知系统，其特征在于，所述系统还包括固定结构件；四个所述鱼眼相机分别固定在所述固定结构件上，且在所述固定结构件上前后左右相对环绕横向布置。4.根据权利要求2所述的一种基于专用ai感知芯片的实时全景感知系统，其特征在于，四个所述鱼眼相机通过硬件触发的方式同步采集鱼眼图像，并将所述鱼眼图像发送到所述异构运算平台。5.根据权利要求1所述的一种基于专用ai感知芯片的实时全景感知系统，其特征在于，所述异构运算平台和所述专用ai感知芯片集成于同一印刷电路板上。6.根据权利要求5所述的一种基于专用ai感知芯片的实时全景感知系统，其特征在于，所述系统还包括通信接口模块；所述通信接口模块与所述异构运算平台连接，所述异构运算平台还用于通过所述通信接口模块向其它终端发送所述全景稠密深度图，以供所述其它终端对所述全景稠密深度图进行后处理。7.根据权利要求6所述的一种基于专用ai感知芯片的实时全景感知系统，其特征在于，所述通信接口模块采用以太网口。8.根据权利要求1所述的一种基于专用ai感知芯片的实时全景感知系统，其特征在于，所述系统还包括无人机；所述鱼眼相机模块、异构运算平台以及专用ai感知芯片均固定在所述无人机上。9.一种基于专用ai感知芯片的实时全景感知方法，其特征在于，应用于权利要求1至8任一项所述的一种基于专用ai感知芯片的实时全景感知系统中的专用ai感知芯片，所述方法包括：从异构运算平台获取由鱼眼图像转化的双目立体图；对所述双目立体图进行图像矫正，得到无畸变的双目立体图；提取所述无畸变的双目立体图中每一个像素点的特征信息；根据所述特征信息与预设的立体匹配参数计算得到所述双目立体图对应的视差图。10.根据权利要求9所述的一种基于专用ai感知芯片的实时全景感知方法，其特征在于，所述方法还包括：对所述视差图进行左右一致性检测和中值滤波操作，得到经过优化的所述视差图。

技术总结
本发明公开了一种基于专用AI感知芯片的实时全景感知系统及方法，系统包括：鱼眼相机模块、异构运算平台以及专用AI感知芯片；所述鱼眼相机模块，用于采用横向布置方式采集鱼眼图像；所述异构运算平台，用于将所述鱼眼图像转化为双目立体图；将所述专用AI感知芯片计算得到的视差图和时钟信号解析为全景稠密深度图；所述专用AI感知芯片，用于根据所述双目立体图与预设的立体匹配参数计算得到定所述视差图和时钟信号。本发明可以减少视觉相机系统的体积并降低功耗，可广泛应用于实时环视深度估计领域。估计领域。估计领域。


技术研发人员：陈刚 黄谦 严远星 杨壹翔 郑佳宁
受保护的技术使用者：中山大学
技术研发日：2023.05.12
技术公布日：2023/8/9