图像延迟的优化方法、装置、终端设备及计算机介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像延迟的优化方法、装置、终端设备及计算机可读存储介质。


背景技术：

2.随着ar(augmented reality-增强现实)技术的应用场景越来越丰富，车载ar技术随之诞生。车载ar技术通过部署在汽车外部的雷达和相机实时捕获外界的场景图像数据，并对场景图像数据进行平面检测和图像融合处理，进而将经过处理的图像数据传输至驾驶员佩戴的ar眼镜，以供驾驶员通过ar眼镜获取图像数据内包含的导航信息或道路提示信息，从而大大提高了驾驶员的驾驶体验。
3.然而，车载ar技术在对场景图像数据进行处理的过程中，需要将获取的场景图像数据进行多次传输才能生成带有信息的图像数据，如此，在传输图像数据的过程中势必会造成驾驶员最后获取的场景图像数据与相机拍摄到的场景图像数据之间存在一定延迟，而如何优化这种延迟，也就成为了行业内亟需解决的技术问题。


技术实现要素：

4.本技术的主要目的在于提供一种图像延迟的优化方法、装置、终端设备及计算机可读存储介质，旨在优化车载ar技术在传输图像数据时产生的延迟时长。
5.为实现上述目的，本技术提供一种图像延迟的优化方法，所述方法应用于配置有图像采集装置的车辆，所述图像延迟的优化方法包括以下步骤：
6.通过所述图像采集装置获取初始图像数据，并确定所述初始图像数据对应的延迟时长和确定所述初始图像数据中的初始像素点对应的速度矢量；
7.根据所述延迟时长和所述初始像素点确定帧数补偿公式，并根据所述帧数补偿公式和所述速度矢量生成目标图像数据；
8.基于所述目标图像数据执行插帧操作以完成对所述延迟时长的优化。
9.进一步地，所述确定所述初始图像数据中的初始像素点对应的速度矢量的步骤，包括：
10.确定所述初始图像数据内包含的第一图像块；
11.确定所述第一图像块在与所述初始图像数据对应的第一参考图像数据和/或者第二参考图像数据中对应的第二图像块；
12.基于所述第一图像块和所述第二图像块确定所述初始图像数据中的初始像素点对应的速度矢量。
13.进一步地，所述确定所述第一图像块在与所述初始图像数据对应的第一参考图像数据和/或者第二参考图像数据中对应的第二图像块的步骤，包括：
14.检测所述初始图像数据对应的数据类型，其中，所述数据类型包含简单图像数据和复杂图像数据；
15.若检测到所述数据类型为所述简单图像数据，则通过预设的第一运动估计方法在第一参考图像数据中确定与所述第一图像块对应的第二图像块；
16.若检测到所述数据类型为所述复杂图像数据，则通过预设的第二运动估计方法确定所述第一参考图像数据和第二参考图像数据各自包含的所述第二图像块。
17.进一步地，所述通过预设的第一运动估计方法在第一参考图像数据中确定与所述第一图像块对应的第二图像块的步骤，包括：
18.确定所述第一图像块内的初始像素点对应的最小均方差函数；
19.基于所述最小均方差函数确定所述初始像素点对应的候选运动估计矢量，并根据所述候选运动估计矢量在第一参考图像数据中确定与所述第一图像块对应的第二图像块。
20.进一步地，所述通过预设的第二运动估计方法确定所述第一参考图像数据和第二参考图像数据各自包含的所述第二图像块的步骤，包括：
21.确定所述初始像素点与所述第一参考图像数据之间的第一最小绝对误差函数，并基于所述第一最小绝对误差函数确定所述初始像素点对应的第一候选运动估计矢量；
22.确定所述初始像素点与第二参考图像数据之间的第二最小绝对误差函数，并基于所述第二最小绝对误差函数确定所述初始像素点对应的第二候选运动估计矢量；
23.基于所述第一候选运动估计矢量和所述第二候选运动估计矢量确定所述第一参考图像数据和所述第二参考图像数据各自所包含的所述第二图像块。
24.进一步地，所述初始像素点处于所述第一图像块之内，所述基于所述第一图像块和所述第二图像块确定所述初始图像数据中的初始像素点对应的速度矢量的步骤，包括：
25.对所述初始像素点进行计算得到各偏导数；
26.通过各所述偏导数确定目标矩阵，并基于所述目标矩阵确定所述初始像素点在所述第二图像块内对应的目标像素点；
27.基于所述初始像素点和所述目标像素点确定所述初始像素点对应的速度矢量。
28.进一步地，所述根据所述延迟时长和所述初始像素点确定帧数补偿公式的步骤，包括：
29.确定所述初始像素点对应的像素表达式；
30.基于所述延迟时长对所述像素表达式进行处理以生成帧数补偿公式。
31.此外，为实现上述目的，本技术还以供一种图像延迟的优化装置，所述图像延迟的优化装置应用于配置有图像采集装置的车辆，所述装置包括：
32.参数确定模块，用于通过所述图像采集装置获取初始图像数据，并确定所述初始图像数据对应的延迟时长和确定所述初始图像数据中的初始像素点对应的速度矢量；
33.图像生成模块，用于根据所述延迟时长和所述初始像素点确定帧数补偿公式，并根据所述帧数补偿公式和所述速度矢量生成目标图像数据；
34.延迟优化模块，用于基于所述目标图像数据执行插帧操作以完成对所述延迟时长的优化。
35.此外，为实现上述目的，本技术还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像延迟的优化程序，所述图像延迟的优化程序被所述处理器执行时实现如上述的图像延迟的优化方法的步骤。
36.此外，为实现上述目的，本技术还提供一种计算机可读存储介质，所述计算机可读
存储介质上存储有图像延迟的优化程序，所述图像延迟的优化程序被处理器执行时实现如上述的图像延迟的优化方法的步骤。
37.本技术实施例提供的图像延迟的优化方法、装置、终端设备及计算机介质，应用于配置有图像采集装置的车辆，通过所述图像采集装置获取初始图像数据，并确定所述初始图像数据对应的延迟时长和确定所述初始图像数据中的初始像素点对应的速度矢量；根据所述延迟时长和所述初始像素点确定帧数补偿公式，并根据所述帧数补偿公式和所述速度矢量生成目标图像数据；基于所述目标图像数据执行插帧操作以完成对所述延迟时长的优化。
38.在本实施例中，终端设备在运行时，首先通过部署在车辆外的图像采集装置对车辆周围的环境进行拍摄从而获取初始图像数据，并将获取的初始图像数据输入至终端设备内配置的图像处理模块，由图像处理模块读取终端设备内部配置的存储装置从而获取技术人员预设的与该初始图像数据对应的延迟时长，并基于延迟时长确定初始图像数据内包含的初始像素点对应的速度矢量，之后，图像处理模块基于延迟时长和初始图像数据内包含的初始像素点确定初始像素点对应的帧数补偿公式，图像处理模块进而根据获取的帧数补偿公式对初始像素点对应的速度矢量进行计算以生成目标图像数据，最后，图像处理模块基于延迟时长确定插帧位置，从而将目标图像数据插入插帧位置以完成对延迟时长的优化。
39.如此，本技术通过基于图像数据在被获取时至图像数据被输出至ar眼镜时产生的延迟时长，确定初始图像数据内包含的初始像素点对应的运动规律，进而基于运动规律对初始图像数据进行补偿从而生成目标图像数据，并通过目标图像数据对初始图像数据进行插值的方式，达到了优化车载ar技术在传输图像数据时产生的延迟时长的技术效果，从而降低驾驶员在通过ar眼镜获取图像数据时产生的不适感和延迟感，提高了驾驶员的使用体验。
附图说明
40.图1是本技术实施例方案涉及的硬件运行环境的终端设备的结构示意图；
41.图2为本技术图像延迟的优化方法第一实施例的流程示意图；
42.图3为本技术图像延迟的优化方法一实施例涉及的块匹配单向运动估计方法示意图；
43.图4为本技术图像延迟的优化方法一实施例涉及的块匹配双向运动估计方法示意图；
44.图5为本技术图像延迟的优化方法一实施例涉及的功能模块示意图。
45.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
46.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
47.参照图1，图1为本技术实施例方案涉及的硬件运行环境的终端设备结构示意图。
48.需要说明的是，图1即可为终端设备的硬件运行环境的结构示意图。本技术实施例终端设备可以是执行本技术图像延迟的优化方法的设备，该终端设备具体可以是移动终
端、数据存储控制终端、pc或者便携计算机等终端。
49.如图1所示，该终端设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
50.本领域技术人员可以理解，图1中示出的结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
51.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及图像延迟的优化程序。
52.在图1所示的终端设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本技术终端设备中的处理器1001、存储器1005可以设置在终端设备中，所述终端设备通过处理器1001调用存储器1005中存储的图像延迟的优化程序，并执行本技术实施例提供的图像延迟的优化方法。
53.基于上述的终端设备，提供本技术图像延迟的优化方法的各个实施例。
54.请参照图2，图2为本技术图像延迟的优化方法第一实施例的流程示意图。
55.应当理解的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，本技术图像延迟的优化方法当然也可以以不同于此处的顺序执行所示出或描述的步骤。
56.在本实施例中，本技术图像延迟的优化方法，应用于配置有图像采集装置的车辆，可以包括以下步骤：
57.步骤s10：通过所述图像采集装置获取初始图像数据，并确定所述初始图像数据对应的延迟时长和确定所述初始图像数据中的初始像素点对应的速度矢量；
58.需要说明的是，在本实施例中，延迟时长为需要被处理的图像数据在被车机相机拍摄的时刻至该图像数据处理被输出至驾驶员佩戴的ar眼镜时对应的时间间隔，该延迟时长的具体数值由技术人员基于终端设备内预设的渲染引擎的图像处理能力和图像传输效率进行设置，本技术对此不做限制。
59.在本实施例中，终端设备在运行时，首先通过部署在车辆外的图像采集装置对车辆周围的环境进行拍摄从而获取初始图像数据，并将获取的初始图像数据输入至终端设备内配置的图像处理模块，由图像处理模块读取终端设备内部配置的存储装置从而获取技术人员预设的与该初始图像数据对应的延迟时长，并基于延迟时长确定初始图像数据内包含的初始像素点对应的速度矢量。
60.示例性地，例如，终端设备在运行时，首先控制部署在车辆周围的车机相机对周围环境进行拍摄，从而获取需要包含车辆周围环境的初始图像数据i0，终端设备即恩人将获取的初始图像数据i0输入至终端设备内配置的图像处理模块，由图像处理模块读取终端设备内部配置的存储装置以获取技术人员预设的与初始图像数据i0对应的延迟时长dt，图像处理模块在初始图像数据i0内确定尺寸为s
×
s的第一图像块，并确定第一图像块内包含的
初始像素点，图像处理模块进而确定初始像素点对应的运动状态，并基于初始像素点对应的运动状态确定初始像素点对应的速度矢量u和速度矢量v。
61.进一步地，在一种可行的实施例中，上述步骤s10中“确定所述初始图像数据中的初始像素点对应的速度矢量”的步骤，具体可以包括：
62.步骤s101：确定所述初始图像数据内包含的第一图像块；
63.在本实施例中，图像处理模块首先在初始图像数据中选定需要进行补偿的图像块，并将该图像块确定为第一图像块。
64.步骤s102：确定所述第一图像块在与所述初始图像数据对应的第一参考图像数据和/或者第二参考图像数据中对应的第二图像块；
65.在本实施例中，图像处理装置读取终端设备以在终端设备中获取处于初始图像数据前方，且间隔为一帧的第一参考图像数据，和，处于初始图像数据后方，且间隔为一帧的第二参考图像数据，图像处理模块进而确定第一图像块在第一参考图像数据和/或者第二参考图像数据内相似的第二图像块。
66.步骤s103：基于所述第一图像块和所述第二图像块确定所述初始图像数据中的初始像素点对应的速度矢量；
67.在本实施例中，图像处理模块基于对第一图像块内包含的各初始像素点进行计算，从而在第二图像块中确定与初始像素点对应的目标像素点，进而基于初始像素点和目标像素点确定初始图像数据中的初始像素点对应的速度矢量。
68.示例性地，例如，图像处理模块首先在初始图像数据i0中确定尺寸为s
×
s的待补偿图像块，并将该待匹配图像块确定为第一图像块，同时，图像处理模块读取终端设备以在终端设备中获取处于初始图像数据i0前方，与初始图像数据i0间隔为一帧的第一参考图像数据i1，和，处于初始图像数据i0后方，与初始图像数据i0间隔为一帧的第二参考图像数据i2，图像处理模块进而在第一参考图像数据i1和第二参考图像数据i2确定与第一图像块相似的第二图像块，之后，图像处理模块基于技术人员预设的光流匹配方法确定第一图像块中各初始像素点各自在第二像素块内对应的目标像素点，图像处理模块进而根据各初始像素点和目标像素点之间的位置关系，确定各初始像素点各自对应的速度矢量u和速度矢量v。
69.进一步地，在一种可行的实施例中，上述步骤s102，具体可以包括：
70.步骤s1021：检测所述初始图像数据对应的数据类型，其中，所述数据类型包含简单图像数据和复杂图像数据；
71.在本实施例中，图像处理模块在获取初始图像数据之后，首先判断初始图像数据对应的数据类型为简单图像数据还是为复杂图像数据。
72.步骤s1022：若检测到所述数据类型为所述简单图像数据，则通过预设的第一运动估计方法在第一参考图像数据中确定与所述第一图像块对应的第二图像块；
73.在本实施例中，图像处理模块在确定初始图像数据对应的数据类型为简单图像数据时，通过技术人员预设的块匹配单向运动估计方法在第一参考图像数据内确定与第一图像块相似的第二图像块。
74.步骤s1023：若检测到所述数据类型为所述复杂图像数据，则通过预设的第二运动估计方法确定所述第一参考图像数据和第二参考图像数据各自包含的所述第二图像块；
75.在本实施例中，图像处理模块在确定初始图像数据对应的数据类型为复杂图形数据时，通过技术人员预设的块匹配双向运动估计方法分别确定第一参考图像数据和第二参考图像数据各自包含的与第一图像块相似的第二图像块。
76.示例性地，例如，图像处理模块判断初始图像数据i0对应的数据类型为简单图像数据还是复杂图像数据，之后，终端设备若确定初始图像数据i0对应的数据类型为简单图像数据，则在获取的第一参考图像数据i1中确定搜索区域，并基于技术人员预设的块匹配单向运动估计方法在第一参考图像数据i1内包含的搜索区域中确定与第一图像块对应的第二图像块；
77.而图像处理模块若判断到初始图像数据i0对应的数据类型为复杂图像数据，则在获取的第一参考图像数据i1和第二参考图像数据i2中分别确定搜索区域，并基于技术人员预设的块匹配双向运动估计方法在第一参考图像数据i1和第二参考图像数据i2各自对应的搜索区域中分别确定与第一图像块相似的第二图像块；
78.最后，图像处理模块确定第一图像块内包含的初始像素点在第二图像块内对应的目标像素点，并基于初始像素点和目标像素点之间的位置关系确定初始像素点对应的速度矢量u和速度矢量v。
79.进一步地，在一种可行的实施例中，上述步骤s1022中“通过预设的第一运动估计方法在第一参考图像数据中确定与所述第一图像块对应的第二图像块”的步骤，具体可以包括：
80.步骤a10：确定所述第一图像块内的初始像素点对应的最小均方差函数；
81.在本实施例中，图像处理模块在使用技术人员预设的块匹配单向运动估计方法时，首先基于第一图像块和第一参考图像数据对应的搜索区域内包含的各像素点各自对应的像素值，确定初始像素点对应的最小均方误差函数。
82.步骤a20：基于所述最小均方差函数确定所述初始像素点对应的候选运动估计矢量，并根据所述候选运动估计矢量在第一参考图像数据中确定与所述第一图像块对应的第二图像块；
83.在本实施例中，图像处理模块基于最小均方误差函数确定初始像素点对应的前向运动估计矢量，进而根据初始像素点对应的前向运动估计矢量在第一参考图像数据包含的搜索区域中确定第二图像方块。
84.示例性地，例如，请参照图3，图3为本技术图像延迟的优化方法一实施例涉及的块匹配单向运动估计方法示意图，如图3所示，图像处理模块在使用技术人员预设的块匹配单向运动估计方法时，首先确定第一图像块内包含的各初始像素点q0(x,y)，和处于第一参考图像数据i1内搜索区域的各像素点对应的像素点q1(x+δx,y+δy)，之后，图像处理模块基于初始像素点q0(x,y)和像素点q1(x+δx,y+δy)确定第一图像块内初始像素点对应的最小均方误差函数为：
[0085][0086]
图像处理模块从而确定(δx,δy)＝(udx,vdy)，进而得到第一图像块内初始像素点对应的前向运动估计矢量，图像处理模块从而前向运动估计矢量在第一参考图像数据i1内的搜索区域中确定第二图像块的位置。
[0087]
需要说明的是，在本实施例中，上述最小均方误差函数内包含的m和n，分别表示图像数据对应的长度值和宽度值。
[0088]
进一步地，在一种可行的实施例中，上述步骤s1023中“通过预设的第二运动估计方法确定所述第一参考图像数据和第二参考图像数据各自包含的所述第二图像块”的步骤，具体可以包括：
[0089]
步骤a30：确定所述初始像素点与所述第一参考图像数据之间的第一最小绝对误差函数，并基于所述第一最小绝对误差函数确定所述初始像素点对应的第一候选运动估计矢量；
[0090]
在本实施例中，图像处理模块在使用技术人员预设的块匹配双向运动估计方法时，基于第一图像块和第一参考图像数据对应的搜索区域内包含的各像素点，各自对应的像素值确定初始像素点对应的第一最小绝对误差函数，并基于第一最小绝对误差函数确定初始像素点对应的前向运动估计矢量。
[0091]
步骤a40：确定所述初始像素点与第二参考图像数据之间的第二最小绝对误差函数，并基于所述第二最小绝对误差函数确定所述初始像素点对应的第二候选运动估计矢量；
[0092]
在本实施例中，图像处理模块在使用技术人员预设的块匹配双向运动估计方法时，基于第一图像块和第二参考图像数据对应的搜索区域内包含的各像素点，各自对应的像素值确定初始像素点对应的第二最小绝对误差函数，并基于第二最小绝对误差函数确定初始像素点对应的后向运动估计矢量。
[0093]
步骤a50：基于所述第一候选运动估计矢量和所述第二候选运动估计矢量确定所述第一参考图像数据和所述第二参考图像数据各自所包含的所述第二图像块；
[0094]
在本实施例中，图像处理模块基于获取的前向运动估计矢量在第一参考图像数据对应的搜索区域中确定与第一图像块相似的第二图像块，同样的，图像处理模块基于获取的后向运动估计矢量在第二参考图像数据对应的搜索区域中确定与第一图像块相似的第二图像块。
[0095]
示例性地，例如，请参照图4，图4为本技术图像延迟的优化方法一实施例涉及的块匹配双向运动估计方法示意图，如图4所示，图像处理模块在使用技术人员预设的块匹配双向运动估计方法时，首先基于第一图像块内包含的初始像素点q0(x,y)，和处于第一参考图像数据i1内搜索区域内的各像素点q1(x+δx,y+δy)，并基于初始像素点q0(x,y)和像素点q1(x+δx,y+δy)确定第一图像块内各初始像素点对应的第一最小绝对误差函数为：
[0096][0097]
图像处理模块从而基于第一最小绝对误差函数确定第一图像块内初始像素点对应的前向运动估计矢量，图像处理模块从而基于前向运动估计矢量在第一参考图像数据i1内的搜索区域中确定第二图像块；
[0098]
同样的，图像处理模块在使用技术人员预设的块匹配双向运动估计方法时，基于第一图像块内包含的初始像素点q0(x,y)，和处于第二参考图像数据i2内搜索区域内的各像素点q2(x+δx,y+δy)，并基于初始像素点q0(x,y)和像素点q2(x+δx,y+δy)确定第一图像块内各初始像素点对应的第二最小绝对误差函数为：
[0099][0100]
图像处理模块从而基于第二最小绝对误差函数确定第一图像块内初始像素点对应的后向运动估计矢量，图像处理模块从而基于后向运动估计矢量在第二参考图像数据i2内的搜索区域中确定第二图像块。
[0101]
进一步地，在一种可行的实施例中，上述步骤s103，具体可以包括：
[0102]
步骤s1031：对处于所述第一图像块内的所述初始像素点进行计算得到各偏导数；
[0103]
步骤s1032：通过各所述偏导数确定目标矩阵，并基于所述目标矩阵确定所述初始像素点在所述第二图像块内对应的目标像素点；
[0104]
步骤s1033：基于所述初始像素点和所述目标像素点确定所述初始像素点对应的速度矢量；
[0105]
示例性地，例如，图像处理模块在确定第二图像块之后，基于技术人员预设的lucas-kanade光流法对第一图像块内的初始像素点q进行计算，从而确定初始像素点q对x轴的偏导为i
x
(qn)，和，初始像素点q对y轴的偏导为iy(qn)，和，初始像素点q对时间t的偏导为i
t
(qn)，图像处理模块进而基于各偏导确定矩阵：
[0106][0107]
同时，图像处理模块获取预设的矢量计算公式：av＝b，并基于最小二乘法对该矢量计算公式进行计算得到：
[0108][0109]
图像处理模块从而确定v
x
和vy的值，进而将v
x
和vy分别确定为初始像素点对应的速度矢量u和速度矢量v。
[0110]
需要说明的是，在本实施例中，矩阵a为初始图像数据i0内包含的各初始像素点q各自与x轴和y轴对应的偏导数组合得到的矩阵，同样的，矩阵v为初始像素点q对应的速度矢量u和速度矢量v组合得到的矩阵，同样的，矩阵b为各初始像素点q各自与t轴对应的偏导数组合得到的矩阵。
[0111]
步骤s20：根据所述延迟时长和所述初始像素点确定帧数补偿公式，并根据所述帧数补偿公式和所述速度矢量生成目标图像数据；
[0112]
在本实施例中，图像处理模块基于延迟时长和初始图像数据内包含的初始像素点确定初始像素点对应的帧数补偿公式，图像处理模块进而根据获取的帧数补偿公式对初始像素点对应的速度矢量进行计算以生成目标图像数据。
[0113]
示例性地，例如，图像处理模块基于延迟时长dt确定处于初始图像数据i0内的初始像素点对应的帧数补偿公式为：ixu+ixv+it＝0，图像处理模块进而基于帧数补偿公式对速度矢量u和速度矢量v进行计算从而生成目标图像数据i
t
。
[0114]
进一步地，在一种可行的实施例中，上述步骤s20中“根据所述延迟时长和所述初始像素点确定帧数补偿公式”的步骤，具体可以包括：
[0115]
步骤s201：确定所述初始像素点对应的像素表达式；
[0116]
在本实施例中，图像处理模块确定处于初始图像数据内的初始像素点，并确定初始像素点对应的像素表达式。
[0117]
步骤s202：基于所述延迟时长对所述像素表达式进行处理以生成帧数补偿公式；
[0118]
在本实施例中，图像处理模块对生成的像素表达式进行泰勒展开从而得到第二像素表达式，并将第二像素表达式与展开前的像素表达式进行整合从而得到初始像素点对应的帧数补偿公式。
[0119]
示例性地，例如，图像处理模块首先确定初始图像数据i0内包含的初始像素点为q(x,y,t)，图像处理模块进而确定初始像素点对应的像素表达式为：q(x,y,t)＝q(x+dx,y+dy,t+dt)，之后，图像处理模块对像素表达式的右半部分进行泰勒展开得到第二像素表达式为：
[0120][0121]
由于第二像素表达式中的ε代表二阶无穷小，因此对ε忽略不计，图像处理模块进而将第二像素表达式带入展开钱的像素表达式后，去除公式中包含的延迟时长dt从而得到第三像素表达式为：
[0122][0123]
再之后，图像处理模块预设u和v分别为初始像素点沿x轴和y轴产生的速度矢量，从而确定速度矢量u为：
[0124][0125]
速度矢量v为：
[0126][0127]
同时，图像处理模块确定初始像素点沿x轴方向上的偏导数为：同样的，图像处理模块确定初始像素点沿y轴方向上的偏导数为：同样的，图像处理模块确定初始像素点在t轴上的偏导数为：最后，图像处理模块进而将各偏导数导入第三像素表达式得到初始像素点对应的帧数补偿公式为：
[0128]
qxu+qxv+qt＝0。
[0129]
步骤s30：基于所述目标图像数据执行插帧操作以完成对所述延迟时长的优化；
[0130]
在本实施例中，图像处理模块基于延迟时长确定插帧位置，从而将目标图像数据
插入插帧位置以完成对延迟时长的优化。
[0131]
示例性地，例如，图像处理模块基于延迟时长dt在初始图像数据i0和处于后方的第二参考图像数据i2之间确定插值位置，进而将目标图像数据i
t
插入该插值位置，以完成对延迟时长dt的优化。
[0132]
在本实施例中，终端设备在运行时，首先通过部署在车辆外的图像采集装置对车辆周围的环境进行拍摄从而获取初始图像数据，并将获取的初始图像数据输入至终端设备内配置的图像处理模块，由图像处理模块读取终端设备内部配置的存储装置从而获取技术人员预设的与该初始图像数据对应的延迟时长，并基于延迟时长确定初始图像数据内包含的初始像素点对应的速度矢量，之后，图像处理模块基于延迟时长和初始图像数据内包含的初始像素点确定初始像素点对应的帧数补偿公式，图像处理模块进而根据获取的帧数补偿公式对初始像素点对应的速度矢量进行计算以生成目标图像数据，最后，图像处理模块基于延迟时长确定插帧位置，从而将目标图像数据插入插帧位置以完成对延迟时长的优化。
[0133]
如此，本技术通过基于图像数据在被获取时至图像数据被输出至ar眼镜时产生的延迟时长，确定初始图像数据内包含的初始像素点对应的运动规律，进而基于运动规律对初始图像数据进行补偿从而生成目标图像数据，并通过目标图像数据对初始图像数据进行插值的方式，达到了优化车载ar技术在传输图像数据时产生的延迟时长的技术效果，从而降低驾驶员在通过ar眼镜获取图像数据时产生的不适感和延迟感，提高了驾驶员的使用体验。
[0134]
进一步地，为实现上述目的，本技术还提供一种图像延迟的优化装置，所述图像延迟的优化装置应用于配置有图像采集装置的车辆，请参照图5，图5为本技术图像延迟的优化方法一实施例涉及的功能模块示意图，如图5所示，所述装置包括：
[0135]
参数确定模块10，用于通过所述图像采集装置获取初始图像数据，并确定所述初始图像数据对应的延迟时长和确定所述初始图像数据中的初始像素点对应的速度矢量；
[0136]
图像生成模块20，用于根据所述延迟时长和所述初始像素点确定帧数补偿公式，并根据所述帧数补偿公式和所述速度矢量生成目标图像数据；
[0137]
延迟优化模块，用于基于所述目标图像数据执行插帧操作以完成对所述延迟时长的优化30。
[0138]
进一步地，参数确定模块10，还包括：
[0139]
区域划分单元，用于确定所述初始图像数据内包含的第一图像块；
[0140]
区域匹配单元，用于确定所述第一图像块在与所述初始图像数据对应的第一参考图像数据和/或者第二参考图像数据中对应的第二图像块。
[0141]
矢量计算单元，用于基于所述第一图像块和所述第二图像块确定所述初始图像数据中的初始像素点对应的速度矢量。
[0142]
进一步地，区域匹配单元，包括：
[0143]
类型检测子单元，用于检测所述初始图像数据对应的数据类型，其中，所述数据类型包含简单图像数据和复杂图像数据；
[0144]
第一匹配子单元，用于若检测到所述数据类型为所述简单图像数据，则通过预设的第一运动估计方法在第一参考图像数据中确定与所述第一图像块对应的第二图像块；
[0145]
第二匹配子单元，用于若检测到所述数据类型为所述复杂图像数据，则通过预设的第二运动估计方法确定所述第一参考图像数据和第二参考图像数据各自包含的所述第二图像块。
[0146]
进一步地，区域匹配单元，还包括：
[0147]
第一函数计算子单元，用于确定所述第一图像块内的初始像素点对应的最小均方差函数；
[0148]
单向运动估计子单元，用于基于所述最小均方差函数确定所述初始像素点对应的候选运动估计矢量，并根据所述候选运动估计矢量在第一参考图像数据中确定与所述第一图像块对应的第二图像块。
[0149]
进一步地，区域匹配单元，还包括：
[0150]
第二函数计算子单元，用于确定所述初始像素点与所述第一参考图像数据之间的第一最小绝对误差函数，并基于所述第一最小绝对误差函数确定所述初始像素点对应的第一候选运动估计矢量；
[0151]
第三函数计算子单元，用于确定所述初始像素点与第二参考图像数据之间的第二最小绝对误差函数，并基于所述第二最小绝对误差函数确定所述初始像素点对应的第二候选运动估计矢量；
[0152]
双向运动估计子单元，用于基于所述第一候选运动估计矢量和所述第二候选运动估计矢量确定所述第一参考图像数据和所述第二参考图像数据各自所包含的所述第二图像块。
[0153]
进一步地，所述初始像素点处于所述第一图像块之内，矢量计算单元，包括：
[0154]
偏导计算子单元，用于对所述初始像素点进行计算得到各偏导数；
[0155]
像素匹配子单元，用于通过各所述偏导数确定目标矩阵，并基于所述目标矩阵确定所述初始像素点在所述第二图像块内对应的目标像素点；
[0156]
速度计算子单元，用于基于所述初始像素点和所述目标像素点确定所述初始像素点对应的速度矢量。
[0157]
进一步地，图像生成模块20，包括：
[0158]
公式确定单元，用于确定所述初始像素点对应的像素表达式；
[0159]
公式生成单元，用于基于所述延迟时长对所述像素表达式进行处理以生成帧数补偿公式。
[0160]
此外，本技术还提供一种终端设备，该终端设备上有可在处理器上运行的图像延迟的优化程序，所述终端设备执行所述图像延迟的优化程序时实现如以上任一项实施例所述的图像延迟的优化方法的步骤。
[0161]
本技术终端设备的具体实施例与上述图像延迟的优化方法各实施例基本相同，在此不作赘述。
[0162]
此外，本技术还提供一种计算机可读存储介质，该计算机可读存储介质上存储有图像延迟的优化程序，所述图像延迟的优化程序被处理器执行时实现如以上任一项实施例所述图像延迟的优化方法的步骤。
[0163]
本发计算机可读存储介质的具体实施例与上述图像延迟的优化方法各实施例基本相同，在此不作赘述。
[0164]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0165]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0166]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是执行本技术图像延迟的优化方法的设备，该终端设备具体可以是移动终端、数据存储控制终端、pc或者便携计算机等终端等)执行本技术各个实施例所述的方法。
[0167]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。

技术特征：
1.一种图像延迟的优化方法，其特征在于，所述方法应用于配置有图像采集装置的车辆，所述图像延迟的优化方法包括以下步骤：通过所述图像采集装置获取初始图像数据，并确定所述初始图像数据对应的延迟时长和确定所述初始图像数据中的初始像素点对应的速度矢量；根据所述延迟时长和所述初始像素点确定帧数补偿公式，并根据所述帧数补偿公式和所述速度矢量生成目标图像数据；基于所述目标图像数据执行插帧操作以完成对所述延迟时长的优化。2.如权利要求1所述的图像延迟的优化方法，其特征在于，所述确定所述初始图像数据中的初始像素点对应的速度矢量的步骤，包括：确定所述初始图像数据内包含的第一图像块；确定所述第一图像块在与所述初始图像数据对应的第一参考图像数据和/或者第二参考图像数据中对应的第二图像块；基于所述第一图像块和所述第二图像块确定所述初始图像数据中的初始像素点对应的速度矢量。3.如权利要求2所述的图像延迟的优化方法，其特征在于，所述确定所述第一图像块在与所述初始图像数据对应的第一参考图像数据和/或者第二参考图像数据中对应的第二图像块的步骤，包括：检测所述初始图像数据对应的数据类型，其中，所述数据类型包含简单图像数据和复杂图像数据；若检测到所述数据类型为所述简单图像数据，则通过预设的第一运动估计方法在第一参考图像数据中确定与所述第一图像块对应的第二图像块；若检测到所述数据类型为所述复杂图像数据，则通过预设的第二运动估计方法确定所述第一参考图像数据和第二参考图像数据各自包含的所述第二图像块。4.如权利要求3所述的图像延迟的优化方法，其特征在于，所述通过预设的第一运动估计方法在第一参考图像数据中确定与所述第一图像块对应的第二图像块的步骤，包括：确定所述第一图像块内的初始像素点对应的最小均方差函数；基于所述最小均方差函数确定所述初始像素点对应的候选运动估计矢量，并根据所述候选运动估计矢量在第一参考图像数据中确定与所述第一图像块对应的第二图像块。5.如权利要求4所述的图像延迟的优化方法，其特征在于，所述通过预设的第二运动估计方法确定所述第一参考图像数据和第二参考图像数据各自包含的所述第二图像块的步骤，包括：确定所述初始像素点与所述第一参考图像数据之间的第一最小绝对误差函数，并基于所述第一最小绝对误差函数确定所述初始像素点对应的第一候选运动估计矢量；确定所述初始像素点与第二参考图像数据之间的第二最小绝对误差函数，并基于所述第二最小绝对误差函数确定所述初始像素点对应的第二候选运动估计矢量；基于所述第一候选运动估计矢量和所述第二候选运动估计矢量确定所述第一参考图像数据和所述第二参考图像数据各自所包含的所述第二图像块。6.如权利要求2所述的图像延迟的优化方法，其特征在于，所述初始像素点处于所述第一图像块之内，所述基于所述第一图像块和所述第二图像块确定所述初始图像数据中的初
始像素点对应的速度矢量的步骤，包括：对所述初始像素点进行计算得到各偏导数；通过各所述偏导数确定目标矩阵，并基于所述目标矩阵确定所述初始像素点在所述第二图像块内对应的目标像素点；基于所述初始像素点和所述目标像素点确定所述初始像素点对应的速度矢量。7.如权利要求1所述的图像延迟的优化方法，其特征在于，所述根据所述延迟时长和所述初始像素点确定帧数补偿公式的步骤，包括：确定所述初始像素点对应的像素表达式；基于所述延迟时长对所述像素表达式进行处理以生成帧数补偿公式。8.一种图像延迟的优化装置，其特征在于，所述图像延迟的优化装置应用于配置有图像采集装置的车辆，所述装置包括：参数确定模块，用于通过所述图像采集装置获取初始图像数据，并确定所述初始图像数据对应的延迟时长和确定所述初始图像数据中的初始像素点对应的速度矢量；图像生成模块，用于根据所述延迟时长和所述初始像素点确定帧数补偿公式，并根据所述帧数补偿公式和所述速度矢量生成目标图像数据；延迟优化模块，用于基于所述目标图像数据执行插帧操作以完成对所述延迟时长的优化。9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像延迟的优化程序，所述图像延迟的优化程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像延迟的优化方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像延迟的优化程序，所述图像延迟的优化程序被处理器执行时实现如权利要求1至7中任一项所述的图像延迟的优化方法的步骤。

技术总结
本申请公开了一种图像延迟的优化方法、装置、终端设备及计算机介质，涉及图像处理技术领域，应用于配置有图像采集装置的车辆。本申请通过所述图像采集装置获取初始图像数据，并确定所述初始图像数据对应的延迟时长和确定所述初始图像数据中的初始像素点对应的速度矢量；根据所述延迟时长和所述初始像素点确定帧数补偿公式，并根据所述帧数补偿公式和所述速度矢量生成目标图像数据；基于所述目标图像数据执行插帧操作以完成对所述延迟时长的优化。采用本申请能够实现优化车载AR技术在传输图像数据时产生的延迟时长的技术效果，从而降低驾驶员在通过AR眼镜获取图像数据时产生的不适感和延迟感。不适感和延迟感。不适感和延迟感。


技术研发人员：李佳明 李国鑫
受保护的技术使用者：歌尔股份有限公司
技术研发日：2023.04.23
技术公布日：2023/7/25