图像传输方法、装置及电子设备与流程

1.本技术涉及视频监控技术领域，尤其涉及图像传输方法、装置及电子设备。


背景技术：

2.视频监控系统可用于对各行业中指定场景比如部门或活动场所等的实时监控。视频监控系统通常由以下三个设备组成：摄像机、录像机和显示器，这里摄像机例如可以为：ipc(ip camera，网络摄像机)等，录像机例如可以为：nvr(network video recorder，网络视频录像机)等。但是摄像机在向录像机传输数据时存在一定的传输延时，如果传输延时过长，则可能无法满足用户对视频监控系统的实时性要求。


技术实现要素：

3.为克服相关技术中存在的问题，本技术提供了图像传输方法、装置及电子设备。
4.根据本技术实施例的第一方面，提供一种图像传输方法，该方法包括：
5.第二设备获得图像帧中被选中的目标图像区域；以及，获得所述目标图像区域被设置的延时要求；
6.第二设备在基于所述延时要求确定出与所述延时要求匹配的第一目标编码参数的前提下，在所述图像帧还包括除所述目标图像区域之外的背景图像区域时，获得所述背景图像区域被设置的第二目标编码参数，并将所述第一目标编码参数、所述第二目标编码参数以及目标图像区域的位置信息发送至第一设备，基于所述第一目标编码参数编码得到的图像的图像质量高于基于所述第二目标编码参数编码得到的图像的图像质量；
7.所述第一设备获得所述第一目标编码参数、所述第二目标编码参数和目标图像区域的位置信息，并基于所述第一目标编码参数对当前图像帧中与所述目标图像区域的位置信息对应的目标图像区域进行编码，得到目标编码图像；以及，基于已获得的第二目标编码参数对所述当前图像帧中的背景图像区域进行编码，得到背景编码图像；
8.所述第一设备通过被指定的用于传输目标图像区域的第一网络通道传输目标编码图像至所述第二设备，以及通过被指定的用于传输背景图像区域的第二网络通道传输背景编码图像至所述第二设备，所述第一网络通道的被配置的传输参数大于所述第二网络通道被配置的传输参数，以使得基于所述第一网络通道传输的图像时延小于基于所述第二网络通道传输的图像时延。
9.根据本技术实施例的第二方面，提供一种图像传输装置，该装置包括：
10.目标图像区域获得模块，用于第二设备获得图像帧中被选中的目标图像区域；以及，获得所述目标图像区域被设置的延时要求；
11.编码参数发送模块，用于第二设备在基于所述延时要求确定出与所述延时要求匹配的第一目标编码参数的前提下，在所述图像帧还包括除所述目标图像区域之外的背景图像区域时，获得所述背景图像区域被设置的第二目标编码参数，并将所述第一目标编码参数、所述第二目标编码参数以及目标图像区域的位置信息发送至第一设备，基于所述第一
目标编码参数编码得到的图像的图像质量高于基于所述第二目标编码参数编码得到的图像的图像质量；
12.编码模块，用于所述第一设备获得所述第一目标编码参数、所述第二目标编码参数和目标图像区域的位置信息，并基于所述第一目标编码参数对当前图像帧中与所述目标图像区域的位置信息对应的目标图像区域进行编码，得到目标编码图像；以及，基于已获得的第二目标编码参数对所述当前图像帧中的背景图像区域进行编码，得到背景编码图像；
13.图像传输模块，用于所述第一设备通过被指定的用于传输目标图像区域的第一网络通道传输目标编码图像至所述第二设备，以及通过被指定的用于传输背景图像区域的第二网络通道传输背景编码图像至所述第二设备，所述第一网络通道的被配置的传输参数大于所述第二网络通道被配置的传输参数，以使得基于所述第一网络通道传输的图像时延小于基于所述第二网络通道传输的图像时延。
14.根据本技术实施例的第三方面，提供一种电子设备，包括：处理器和存储器；其中，存储器，用于存储机器可执行指令；处理器，用于读取并执行存储器存储的机器可执行指令，以实现如上述第一方面所述的方法。
15.本技术的实施例提供的技术方案可以包括以下有益效果：
16.本技术实施例中，在对图像帧进行编码时，采用与被选中的目标图像区域的延时要求所确定的第一目标编码参数来对图像帧中的目标图像区域进行编码，使用低于第一目标编码参数的第二目标编码参数对图像帧中的背景图像区域进行编码，兼顾了图像编码效率和图像传输效率，降低了数据传输的延时。另外，在本技术中，在传输目标图像区域和背景图像区域时，使用传输参数不同的网络通道传输编码后的目标图像区域和编码后的背景图像区域，使得基于所述第一网络通道传输的图像时延小于基于所述第二网络通道传输的图像时延，能够有效降低用户感兴趣区域的传输延时以及显示延时。
17.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
18.此处的附图被并入说明书中并构成本技术的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
19.图1是本技术实施例示出的一种在编码设备通过双网络与解码设备进行数据传输的场景示意图。
20.图2是本技术实施例示出的一种图像传输方法的流程图。
21.图3是本技术实施例示出的一种参数映射表的生成示意图。
22.图4是本技术实施例示出的一种编码设备发送图像的流程图。
23.图5是本技术实施例示出的一种视频监控系统的整体流程图。
24.图6是本技术实施例示出的一种图像传输装置的框图。
25.图7是本技术实施例示出的一种电子设备的硬件结构图。
具体实施方式
26.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及
附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
27.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
28.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
29.接下来对本技术实施例进行详细说明。
30.如图1所示，图1是本技术实施例示出的一种编码设备通过双网络与解码设备进行数据传输的场景示意图，在该场景下，视频监控系统包括：编码设备、解码设备以及显示器，每个解码设备可以连接至少一个编码设备，即编码设备1、
……
编码设备n。编码设备通过双传输网络(即第一网络和第二网络)与解码设备进行数据传输，解码后的数据显示在显示器上。
31.在本实施例中，编码设备可以对采集到的图像帧进行编码以及封装，相对应地，解码设备可以对采集到的图像帧进行解码和解封装。作为一个实施例，编码设备可以为但不限于具有一定计算能力的摄像机，例如，ipc摄像机；解码设备可以为但不限于nvr。
32.为便于描述，将上述编码设备记为第一设备，解码设备记为第二设备。
33.如图2所示，图2是本技术实施例示出的一种图像传输方法的流程图，该方法应用于上述视频监控系统中，如图2所示，该方法包括如下步骤：
34.步骤202，第二设备获得图像帧中被选中的目标图像区域；以及，获得目标图像区域被设置的延时要求。
35.示例性地，在本实施例中，在步骤202中，目标图像区域是用户感兴趣的区域，在用户希望对图像帧中的感兴趣区域进行高速显示时，用户可在第二设备所显示的，第一设备已传输的图像帧中框选出目标图像区域的位置，当然，对于监控设备，其监控的区域是固定的，其采集的画面中的内容变动较小，用户也可以在不显示图像帧时根据经验直接在第二设备的显示窗口画框，本技术实施例并不具体限定。
36.同时，用户还可在第二设备中输入目标图像区域的延时要求，例如，用户可输入显示用户感兴趣的目标图像区域的延时，进而，第二设备可根据用户输入的延时要求确定与该延时要求所对应的编码参数，并将该编码参数以及目标图像区域的位置信息传输至第一设备，以使第一设备根据目标图像区域的位置信息从图像帧中分割出目标图像区域和背景图像区域。
37.在本实施例中，目标图像区域的位置信息指的是目标图像区域在图像帧所处的图像坐标下的坐标。
38.步骤s204：第二设备在基于延时要求确定出与延时要求匹配的第一目标编码参数
的前提下，在图像帧还包括除目标图像区域之外的背景图像区域时，获得背景图像区域被设置的第二目标编码参数，并将第一目标编码参数、第二目标编码参数以及目标图像区域的位置信息发送至第一设备。
39.示例性地，在本实施例中，目标编码参数可以包括但不限于码率、帧率、分辨率等，第二设备接收到延时要求后，若基于该延时要求确定出与延时要求匹配的第一目标编码参数，可将该第一目标编码参数和目标图像区域的位置信息发送至第一设备，以由第一设备采集到图像之后，依据该第一目标编码参数对采集到的图像的目标图像区域进行编码，并将编码后的图像传输至第二设备，以使第二设备对编码后的图像进解码并显示。若基于该延时要求未确定出与延时要求匹配的第一目标编码参数，则直接将目标图像区域的位置信息发送至第一设备，以由第一设备采集到图像之后，根据目标图像区域的位置信息从图像帧中分割出目标图像区域和背景图像区域，不对采集到的图像的目标图像区域进行编码，直接对目标图像区域进行封装后传输至第二设备，以使第二设备对封装后的图像进行解封后显示。
40.在步骤204中，若图像帧中被选中的目标图像区域为图像帧的部分区域，则图像帧还包括除目标图像区域之外的背景图像区域，目标图像区域要求的时延小于背景图像区域要求的时延；若图像帧中被选中的目标图像区域是全部图像帧，那么图像帧就不包括背景图像区域。
41.在本实施例中，若图像帧中被选中的目标图像区域为图像帧的部分区域，则图像帧还包括除目标图像区域之外的背景图像区域，获得背景图像区域被设置的第二目标编码参数，具体地，在第二设备根据获得的延时要求确定与该延时要求所对应的第一目标编码参数后将该第一目标编码参数显示在第二设备上，用户可依据第一目标编码参数设置第二目标编码参数，基于第一目标编码参数编码得到的图像的图像质量高于基于第二目标编码参数编码得到的图像的图像质量，这里，图像质量指的是：指被测图像(即目标图像)相对于标准图像(即原图像)在人眼视觉系统中产生误差的程度。
42.在本实施例中，用户依据第一目标编码参数设置第二目标编码参数，例如，当第一目标编码参数为码率时，若第一目标编码参数中的码率为4m时，第二目标编码参数中的码率可设置为2m；当第一目标编码参数为帧率时，若第一目标编码参数中的帧率为25帧时，第二目标编码参数中的帧率可设置为20帧；若第一目标编码参数中的分辨率为1080p时，第二目标编码参数中的分辨率可设置为720p。
43.在步骤204中，在得到第二目标编码参数后，第二设备可以将已获得的第二目标编码参数发送至第一设备，以由第一设备在采集到图像后，依据该第二目标编码参数对采集到的图像中的背景图像区域进行编码，并将编码后的图像传输至第二设备，以使第二设备对编码后的图像进解码并显示。若第二设备基于目标图像区域被设置的延时要求未确定出与延时要求匹配的第一目标编码参数，则也不需要设置第二目标编码参数，直接将目标图像区域的位置信息发送至第一设备，以由第一设备采集到图像之后，根据目标图像区域的位置信息从图像帧中分割出目标图像区域和背景图像区域，不对采集到的图像的目标图像区域和背景图像区域进行编码，直接对目标图像区域和背景图像区域进行封装后传输至第二设备，以使第二设备对封装后的图像进行解封后显示。
44.需要说明的是，第二设备中可存储有包含延时、编码参数以及延时与编码参数之
间的关联关系的映射表，在该映射表中，延时是根据在对应的编码参数下对图像进行编码的编码时长、传输编码图像的传输时长以及对编码图像进行解码的解码时长确定的。在接收到用户输入的延时要求之后，第二设备可通过查询该映射表即可确定与该延时要求所对应的第一目标编码参数。
45.另外，不同的第一设备所对应的映射表可以不同，第二设备中存储了其连接的所有第一设备的映射表。在实际应用中，第二设备根据用户所确定的目标图像区域确定该图像帧是来自第一设备1还是第一设备2，然后，根据用户所设置的延时要求从与该目标图像区域对应的第一设备的映射表中确定第一目标编码参数，并将第一目标编码参数发送至对应的第一设备中，以使该第一设备使用该第一目标编码参数对采集到的图像帧的目标图像区域进行编码。
46.此外，还需要说明的是，上述的映射表也可存储在第一设备中，在该场景下，第二设备仅需将用户输入的目标图像区域的位置信息以及延时要求传输至第一设备，第一设备即可根据该延时要求从映射表中确定第一目标编码参数，进而使用该第一目标编码参数对图像帧中的目标图像区域进行编码。
47.步骤206：第一设备获得第一目标编码参数、第二目标编码参数和目标图像区域的位置信息，并基于第一目标编码参数对当前图像帧中与目标图像区域的位置信息对应的目标图像区域进行编码，得到目标编码图像；以及，基于已获得的第二目标编码参数对当前图像帧中的背景图像区域进行编码，得到背景编码图像。
48.在步骤206中，第一设备在得到第一目标编码参数、第二目标编码参数以及目标图像区域的位置信息之后，第一设备根据该位置信息从待传输的当前图像帧中确定目标图像区域以及背景图像区域，并分离目标图像区域和背景图像区域，然后，使用第一目标编码参数对目标图像区域进行编码以及使用第二目标编码参数对背景图像区域进行编码，从而得到目标编码图像和背景编码图像。
49.步骤208：第一设备通过被指定的用于传输目标图像区域的第一网络通道传输目标编码图像至第二设备，以及通过被指定的用于传输背景图像区域的第二网络通道传输背景编码图像至第二设备，第一网络通道的被配置的传输参数大于第二网络通道被配置的传输参数，以使得基于第一网络通道传输的图像时延小于基于第二网络通道传输的图像时延。
50.在步骤208中，上述第一网络通道的被配置的传输参数大于第二网络通道被配置的传输参数，以使得基于第一网络通道传输的图像时延小于基于第二网络通道传输的图像时延，这里，传输参数可以为传输速率、图像显示优先级等，本技术实施例并不具体限定。
51.在一种可选的实施例中，在传输目标编码图像和背景编码图像时，可以采用双网络来进行传输，即在第一设备与第二设备之间设置具有不同传输速率的两个网络，其中，第一网络通道与第一网络的网口对应，第二网络通道与第二网络的网口对应，第一网络的传输速率大于第二网络的传输速率。
52.例如，如图3所示，在该场景中，第一网络的网络传输速率大于第二网络的网络传输速率。其中，第一网络为高速网络，当用户希望待传输的图像帧中的感兴趣区域高速传输时，第一设备与第二设备之间通过该高速网络传输用户感兴趣的图像区域；第二网络为普通网络，用于传输传统的视频监控数据，包括第一设备与第二设备之间的协议交互、视频数
据等。
53.另外，第一设备通过双网络与解码设备进行数据传输的场景中，第一设备通过第一网络将目标编码图像发送至第二设备，通过第二网络将背景编码图像发送至第二设备，即不同传输速率的网络传输具有不同延时要求的图像，以使得基于第一网络通道传输的图像时延小于基于第二网络通道传输的图像时延。
54.需要说明的是，在该场景中，每个第一设备需要额外再设置一个网卡，即第一设备需要部署至少两个网卡，每个第二设备也需要额外再设置一个网卡，即第二设备也需要部署至少有两个网卡，其中一个网卡用于实现第一设备与第二设备之间的高速数据传输，另一个网卡用于实现第一设备与第二设备之间的普通数据传输。两个网卡可以是虚拟网卡，也可以是由无线网络连接生成的网卡。
55.此外，还需要说明的是，通过高速网络传输用户所感兴趣的图像区域(即目标图像区域)，从而优先解码和显示用户所感兴趣的图像区域，降低了用户所感兴趣的图像区域的传输延时。
56.在另一种可选的实施例中，在第一设备与第二设备之间通过一个网络(记为第三网络)传输数据时，第一设备可通过该第三网络的不同的端口来分别传输目标编码图像和背景编码图像。即在该场景中，第一网络通道和第二网络通道对应第三网络下的不同端口；第一网络通道对应的第一端口传输的目标编码图像在第二设备的显示优先级大于第二网络通道对应的第二端口传输的背景编码图像在第二设备的显示优先级。对应的，第二设备优先显示目标图像区域，以使得基于第一网络通道传输的图像时延小于基于第二网络通道传输的图像时延，从而实现了达到了优先显示高速图像区域的目的，实现了降低高速图像区域的传输延时的效果。
57.需要说明的是，在有些场景中，无法使用两个网络，此时，可通过该传输网络的两个端口来分别传输目标编码图像和背景编码图像，以实现类似两个网络通道的机制。该方式同样可以优化编码和解码时间，降低延时，并且，相较于使用两个网络的场景，该方式仅使用了一个网络，其更加经济实惠。
58.至此，完成图2所示流程的描述。
59.基于上述步骤202至步骤208所限定的方案可以获知，本技术实施例中，在对图像帧进行编码时，采用与被选中的目标图像区域的延时要求所确定的第一目标编码参数来对图像帧中的目标图像区域进行编码，使用低于第一目标编码参数的第二目标编码参数对图像帧中的背景图像区域进行编码，兼顾了图像编码效率和图像传输效率，降低了数据传输的延时。另外，在本技术中，在传输目标图像区域和背景图像区域时，使用传输参数不同的网络通道传输编码后的目标图像区域和编码后的背景图像区域，使得基于第一网络通道传输的图像时延小于基于第二网络通道传输的图像时延，能够有效降低用户感兴趣区域的传输延时以及显示延时。
60.上述的映射表可通过在不同的编码参数下，对测试图像帧进行编码、传输、解码的延时统计所确定，即映射表包括不同的编码参数以及与不同的编码参数所对应的延时参数。
61.具体的，第一设备按照被测试的每一编码参数，对测试图像帧进行编码，得到测试编码图像，向第二设备发送测试编码图像，其中，测试编码图像至少携带测试编码图像的发
送时间点，以使第二设备基于发送时间点和接收到测试编码图像的接收时间点，确定该编码参数对应的延时参数，即延时参数由三部分组成，即第一设备对测试图像帧进行编码的编码时长、第一设备向第二设备传输测试编码图像的网络传输时长以及第二设备对测试编码图像进行解码的解码时长。而第一目标编码参数是基于图像帧中被选中的目标图像区域的延时要求所确定的延时参数，从已测试出的各编码参数对应的延时参数中选择出的编码参数。
62.可选的，图3示出了一种可选的映射表的生成示意图，由图3可知，在第一设备与第二设备建立连接之后，第一设备向第二设备发送测试包，该测试包中包括第一设备对测试图像帧进行编码的开始时间、对测试图像帧进行编码的结束时间，以及向第二设备发送编码后的测试图像帧(即测试编码图像)的发送时间。
63.第二设备在接收到第一设备发送的测试包之后，第二设备会采用与该编码参数对应的解码参数对测试编码图像进行解码，并记录接收测试编码图像的接收时间、解码开始时间以及解码结束时间。然后，第二设备根据上述六个时间点计算编码延时、解码延时以及传输延时，并计算三个延时总和，得到该编码参数所对应的延时参数。在计算该编码参数对应的延时参数之后，第二设备记录不同的编码参数与延时参数之间的关系，形成映射表，并存储在第二设备上，以便于后续根据用户输入的延时参数来确定第一目标编码参数。
64.需要说明的是，上述计算得到的延时参数会跟随编码参数的变化而发生变化，因此，通过记录不同编码参数下的延时参数，即可形成映射表。在该映射表中，可根据延时参数的高低对编码参数进行排序。在用户需要配置延时要求时，第二设备可从映射表中确定最大延时和最小延时，以确定延时范围，并显示该延时范围，供用户配置延时要求时参考。此外，该映射表也可用于用户设置延时要求后，查询与延时要求所对应的第一目标编码参数。
65.此外，还需要说明的是，为了降低随机误差，在相同的编码参数下，第一设备还可使用相同的编码参数对多张测试图像帧进行编码，并记录每张测试图像帧的编码延时、传输延时，以及第二设备对每张测试编码图像进行解码的解码延时，然后计算每张测试图像帧对应的延时，并计算所有测试图像帧在该编码参数下的延时平均值。在计算平均延时时，还可为每张测试图像帧设置权重值，从而计算所有测试图像帧在该编码参数下的加权的延时平均值作为该编码参数的延时参数。
66.此外，还可为每种类型的延时设置权重值，例如，编码延时的权重为a，传输延时的权重为b，解码延时的权重c，在计算编码参数对应的延时参数时，计算三种延时的加权的延时值即可。
67.另外，映射表中也记录有第一设备不编码和第二设备不解码时的延时，此时的编码延时和解码延迟记为0，在测试时，只需要记录传输时延即可。具体地，在测试时，第一设备对测试图像帧进行封装，将封装后的测试图像帧发送至第二设备，第二设备直接基于发送时间点和接收到封装后的测试图像帧的接收时间点，确定不对测试图像帧进行编码的延时参数。
68.此外，在第一设备与第二设备通过双网络进行数据传输时，映射表记录的是由第一设备的编码延时、第二设备的解码延时，以及第一设备通过传输速率较高的网络向第二设备传输数据时的传输延时所确定的延时与编码参数之间的关系。
69.需要说明的是，上述内容描述了由第二设备生成并存储映射表的过程，在实际应用中，也可由第一设备生成并存储映射表。其中，在第一设备端生成并存储映射表的过程与第二设备端生成并存储映射表的过程类似，在此不再赘述。在实际应用中，第一设备通常用于图像的采集以及图像编码，第一设备的计算资源通常较小，因此，在本实施例中，优先选择在第二设备生成并存储映射表，以降低第一设备的计算资源的消耗。
70.作为本技术实施例一个可选实施方式，在通过被指定的用于传输目标图像区域的第一网络通道传输目标编码图像后，第一设备检查当前时间与当前图像帧的下一图像帧的目标编码图像的发送时间之间的时差是否大于或等于设定时间差阈值(例如，10s)，如果是，则执行通过被指定的用于传输背景图像区域的第二网络通道传输背景编码图像至第二设备的步骤；和/或，如果否，则不执行通过被指定的用于传输背景图像区域的第二网络通道传输背景编码图像至第二设备的步骤。
71.对于不编码的情况，在通过被指定的用于传输目标图像区域的第一网络通道传输封装后的目标区域图像后，第一设备检查当前时间与当前图像帧的下一图像帧的封装后的目标区域图像的发送时间之间的时差是否大于或等于设定时间差阈值(例如，10s)，如果是，则执行通过被指定的用于传输背景图像区域的第二网络通道传输封装后的背景区域图像至第二设备的步骤；和/或，如果否，则不执行通过被指定的用于传输背景图像区域的第二网络通道传输封装后的背景区域图像至第二设备的步骤。
72.具体的，图4示出了一种可选的第一设备发送图像的流程图，由图4可知，第一设备通过第一网络将目标编码图像发送给第二设备，并通过第二网络发送背景编码图像。而在通过第二网络发送背景编码图像的过程中，第一设备可能会丢弃部分背景编码图像，即并不是所有的背景编码图像均能发送至第二设备，从而在资源不足时，通过丢失少量背景区域帧(即背景编码图像)，保证目标区域帧(即目标编码图像)能够优先被发送。
73.而在第一设备的图像缓存区域中不存在待发送的目标编码图像时，为了能够在第二设备处显示完整的图像帧，此时，第一设备将背景编码图像通过第二网络传输至第二设备，从而使第二设备能够完整的显示图像帧。而第二设备在接收到第二设备发送的目标编码图像和/或背景编码图像之后，对目标编码图像和/或背景编码图像进行解码，从而得到目标图像区域和/或背景图像区域，并在第二设备当前所显示的图像帧中与目标图像区域和/或背景图像区域的对应位置进行刷新操作，以使第二设备当前所显示的图像帧中与目标图像区域和/或背景图像区域的对应位置显示该目标图像区域和/或背景图像区域。例如，目标图像区域为红色苹果区域，背景图像区域为树区域，而第二设备正在显示的显示图像帧中与红色苹果区域对应的位置显示的是绿色苹果，则在第二设备接收并解码得到目标图像区域和背景图像区域之后，将第二设备正在显示的显示图像帧中的绿色苹果区域所对应的位置处显示红色苹果。
74.另外，在第二设备的缓存区域中存在多个背景图像区域时，第二设备根据每个解码后的背景图像区域的解码完成时间从多个解码后的背景图像区域确定当前待显示的背景图像区域，即选择解码完成时间最近的背景图像区域作为当前待显示的背景图像区域。
75.在本实施例中，在第一设备通过双网络与第二设备进行数据传输的场景中，第二设备可通过与第一网络对应的第一网卡建立码流接收服务，以接收第一设备发送的目标编码图像。当第二设备接收到目标编码图像时，优先显示目标图像区域。当检测到第二设备的
图像缓存区域中没有目标图像区域时，则第二设备通过第二网络对应的第二网卡建立码流接收服务，通过第二网络传输的背景图像区域。如果第二设备的图像缓存区域中存在多个背景图像区域时，第二设备只显示离当前时刻最近的背景图像区域，通过丢帧来实现背景图像区域的实时性。
76.可选的，图5示出了视频监控系统的整体流程图，由图5可知，通过第二设备与第一设备协同工作来设置包含延时与编码参数的映射表，然后，用户通过第二设备设置延时要求，第二设备通过映射表查找与延时要求对应的第一目标编码参数，以使第一设备根据该第一目标编码参数对用户所选择的目标图像区域进行编码，并将编码所得到的目标编码图像通过传输速率较高的网络传输至第二设备，以使第二设备对目标编码图像进行解码，得到目标图像区域，并显示目标图像区域。
77.通过上述方案，在对图像进行编码时，采用的是与用户所设置的延时要求所对应的最优编码参数(即第一目标编码参数)，而使用该最优编码参数对目标图像区域，兼顾了图像编码效率和图像传输效率，降低了数据传输的延时。另外，在本技术中，在传输目标图像区域和背景图像区域时，优先传输用户需要传输的目标图像区域，从而有效降低了用户感兴趣区域的传输延时；同样的，在显示图像时，优先显示用户需要显示的目标图像区域，从而降低了目标图像区域的显示延时。
78.与前述方法的实施例相对应，本技术还提供了图像传输装置、电子设备及存储介质的实施例。
79.如图6所示，图6是本技术实施例示出的一种图像传输装置的框图，该装置包括：
80.目标图像区域获得模块，用于第二设备获得图像帧中被选中的目标图像区域；以及，获得目标图像区域被设置的延时要求；
81.编码参数发送模块，用于第二设备在基于延时要求确定出与延时要求匹配的第一目标编码参数的前提下，在图像帧还包括除目标图像区域之外的背景图像区域时，获得背景图像区域被设置的第二目标编码参数，并将第一目标编码参数、第二目标编码参数以及目标图像区域的位置信息发送至第一设备，基于第一目标编码参数编码得到的图像的图像质量高于基于第二目标编码参数编码得到的图像的图像质量；
82.编码模块，用于第一设备获得第一目标编码参数、第二目标编码参数和目标图像区域的位置信息，并基于第一目标编码参数对当前图像帧中与目标图像区域的位置信息对应的目标图像区域进行编码，得到目标编码图像；以及，基于已获得的第二目标编码参数对当前图像帧中的背景图像区域进行编码，得到背景编码图像；
83.图像传输模块，用于第一设备通过被指定的用于传输目标图像区域的第一网络通道传输目标编码图像至第二设备，以及通过被指定的用于传输背景图像区域的第二网络通道传输背景编码图像至第二设备，第一网络通道的被配置的传输参数大于第二网络通道被配置的传输参数，以使得基于第一网络通道传输的图像时延小于基于第二网络通道传输的图像时延。
84.作为本技术实施例一个可选实施方式，传输参数包括：传输速率，第一网络通道与第一网络的网口对应，第二网络通道与第二网络的网口对应，第一网络的传输速率大于第二网络的传输速率；
85.或者，
86.传输参数包括：显示优先级，第一网络通道和第二网络通道对应第三网络下的不同端口；第一网络通道对应的第一端口传输的目标编码图像在第二设备的显示优先级大于第二网络通道对应的第二端口传输的背景编码图像在第二设备的显示优先级。
87.作为本技术实施例一个可选实施方式，在基于延时要求未确定出与延时要求匹配的第一目标编码参数的前提下，该图像传输装置还包括：
88.位置信息发送模块，用于第二设备将目标图像区域的位置信息发送至第一设备；
89.第一封装模块，用于第一设备获得目标图像区域的位置信息，并对当前图像帧中与目标图像区域的位置信息对应的目标图像区域进行封装；以及，在图像帧还包括除目标图像区域之外的背景图像区域时，对当前图像帧中的背景图像区域进行封装；
90.封装数据传输模块，用于第一设备通过被指定的用于传输目标图像区域的第一网络通道传输封装后的目标图像区域至第二设备，以及通过被指定的用于传输背景图像区域的第二网络通道传输封装后的背景图像区域至第二设备。
91.作为本技术实施例一个可选实施方式，在通过被指定的用于传输目标图像区域的第一网络通道传输目标编码图像后，该装置进一步包括：
92.检查模块，用于第一设备检查当前时间与当前图像帧的下一图像帧的目标编码图像的发送时间之间的时差是否大于或等于设定时间差阈值，如果是，则执行通过被指定的用于传输背景图像区域的第二网络通道传输背景编码图像至第二设备的步骤；和/或，如果否，则不执行通过被指定的用于传输背景图像区域的第二网络通道传输背景编码图像至第二设备的步骤。
93.作为本技术实施例一个可选实施方式，该图像传输装置还包括：
94.测试编码模块，用于第一设备按照被测试的每一编码参数，对测试图像帧进行编码，得到测试编码图像，向所第二设备发送测试编码图像；其中，测试编码图像至少携带测试编码图像的发送时间点；
95.延时参数确定模块，用于第二设备基于发送时间点和接收到测试编码图像的接收时间点，确定该编码参数对应的延时参数；第一目标编码参数是基于延时要求，从已测试出的各编码参数对应的延时参数中选择出的编码参数；
96.以及，
97.第二封装模块，用于第一设备对测试图像帧进行封装，将封装后的测试图像帧发送至第二设备；
98.第二延时参数确定模块，用于第二设备基于发送时间点和接收到封装后的测试图像帧的接收时间点，确定不对测试图像帧进行编码的延时参数。
99.作为本技术实施例一个可选实施方式，测试编码图像还携带编码前时间点以及编码后的时间点，该图像传输装置还包括：
100.编码时延和解码时延确定模块，用于第二设备基于编码前时间点以及编码后的时间点确定编码时延，并基于解码前时间点和解码后时间点确定解码时延；
101.延时参数确定模块具体用于：
102.第二设备基于发送时间点和接收到测试编码图像的接收时间点确定网络传输时延，基于网络传输时延、编码时延以及解码时延确定该编码参数对应的延时参数。
103.作为本技术实施例一个可选实施方式，该图像传输装置还包括：
104.目标编码图像接收模块，用于第二设备接收目标编码图像，并依据第一目标编码参数，对目标编码图像进行解码得到目标图像区域并显示；
105.背景编码图像接收模块，用于接收背景编码图像，依据第二目标编码参数，对背景编码图像进行解码得到背景图像区域；
106.背景图像区域显示模块，用于第二设备在当前没有新的目标图像区域显示时，根据已解码的多个背景图像区域中各背景图像区域的解码完成时间，显示距离当前时间最近的解码完成时间对应的背景图像区域。
107.上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
108.至此，完成图6所示装置的描述。
109.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本技术方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
110.对应地，本技术实施例还提供了图7所示电子设备的硬件结构图，具体如图7所示，该电子设备可以为上述实施方法的设备。如图7所示，该硬件结构包括：处理器和存储器。其中，所述存储器，用于存储机器可执行指令；所述处理器，用于读取并执行所述存储器存储的机器可执行指令，以实现如上所述的所对应的图像传输方法实施例。
111.作为一个实施例，存储器可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，存储器可以是ram(radom access memory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
112.至此，完成图7所示电子设备的描述。
113.基于同样的发明构思，本实施例还提供了计算机可读存储介质。该计算机可读存储介质，用于存储计算机程序；该计算机程序被处理器执行时实现如上所示的方法实施例。
114.上述对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
115.本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
116.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并
且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。
117.以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。

技术特征：
1.一种图像传输方法，其特征在于，该方法包括：第二设备获得图像帧中被选中的目标图像区域；以及，获得所述目标图像区域被设置的延时要求；第二设备在基于所述延时要求确定出与所述延时要求匹配的第一目标编码参数的前提下，在所述图像帧还包括除所述目标图像区域之外的背景图像区域时，获得所述背景图像区域被设置的第二目标编码参数，并将所述第一目标编码参数、所述第二目标编码参数以及目标图像区域的位置信息发送至第一设备，基于所述第一目标编码参数编码得到的图像的图像质量高于基于所述第二目标编码参数编码得到的图像的图像质量；所述第一设备获得所述第一目标编码参数、所述第二目标编码参数和目标图像区域的位置信息，并基于所述第一目标编码参数对当前图像帧中与所述目标图像区域的位置信息对应的目标图像区域进行编码，得到目标编码图像；以及，基于已获得的第二目标编码参数对所述当前图像帧中的背景图像区域进行编码，得到背景编码图像；所述第一设备通过被指定的用于传输目标图像区域的第一网络通道传输目标编码图像至所述第二设备，以及通过被指定的用于传输背景图像区域的第二网络通道传输背景编码图像至所述第二设备，所述第一网络通道的被配置的传输参数大于所述第二网络通道被配置的传输参数，以使得基于所述第一网络通道传输的图像时延小于基于所述第二网络通道传输的图像时延。2.根据权利要求1所述的方法，其特征在于，所述传输参数包括：传输速率，所述第一网络通道与第一网络的网口对应，所述第二网络通道与第二网络的网口对应，所述第一网络的传输速率大于所述第二网络的传输速率；或者，所述传输参数包括：显示优先级，所述第一网络通道和所述第二网络通道对应第三网络下的不同端口；所述第一网络通道对应的第一端口传输的目标编码图像在所述第二设备的显示优先级大于所述第二网络通道对应的第二端口传输的背景编码图像在所述第二设备的显示优先级。3.根据权利要求1所述的方法，其特征在于，在基于所述延时要求未确定出与所述延时要求匹配的第一目标编码参数的前提下，所述方法还包括：第二设备将目标图像区域的位置信息发送至第一设备；第一设备获得所述目标图像区域的位置信息，并对当前图像帧中与所述目标图像区域的位置信息对应的目标图像区域进行封装；以及，在所述图像帧还包括除所述目标图像区域之外的背景图像区域时，对所述当前图像帧中的背景图像区域进行封装；所述第一设备通过被指定的用于传输目标图像区域的第一网络通道传输封装后的目标图像区域至所述第二设备，以及通过被指定的用于传输背景图像区域的第二网络通道传输封装后的背景图像区域至所述第二设备。4.根据权利要求1或3所述的方法，其特征在于，在通过被指定的用于传输目标图像区域的第一网络通道传输目标编码图像后，该方法进一步包括：所述第一设备检查当前时间与所述当前图像帧的下一图像帧的目标编码图像的发送时间之间的时差是否大于或等于设定时间差阈值，如果是，则执行通过被指定的用于传输背景图像区域的第二网络通道传输背景编码图像至所述第二设备的步骤；和/或，如果否，
则不执行通过被指定的用于传输背景图像区域的第二网络通道传输背景编码图像至所述第二设备的步骤。5.根据权利要求1所述的方法，其特征在于，该方法之前进一步包括：所述第一设备按照被测试的每一编码参数，对测试图像帧进行编码，得到测试编码图像，向所第二设备发送所述测试编码图像；其中，所述测试编码图像至少携带测试编码图像的发送时间点；所述第二设备基于所述发送时间点和接收到测试编码图像的接收时间点，确定该编码参数对应的延时参数；所述第一目标编码参数是基于所述延时要求，从已测试出的各编码参数对应的延时参数中选择出的编码参数；以及，所述第一设备对测试图像帧进行封装，将封装后的测试图像帧发送至所述第二设备；所述第二设备基于所述发送时间点和接收到封装后的测试图像帧的接收时间点，确定不对测试图像帧进行编码的延时参数。6.根据权利要求5所述的方法，其特征在于，所述测试编码图像还携带编码前时间点以及编码后的时间点，所述方法还包括：所述第二设备基于编码前时间点以及编码后的时间点确定编码时延，并基于解码前时间点和解码后时间点确定解码时延；所述第二设备基于所述发送时间点和接收到测试编码图像的接收时间点，确定该编码参数对应的延时参数，包括：所述第二设备基于所述发送时间点和接收到测试编码图像的接收时间点确定网络传输时延，基于所述网络传输时延、编码时延以及解码时延确定该编码参数对应的延时参数。7.根据权利要求4所述的方法，其特征在于，所述方法还包括：所述第二设备接收目标编码图像，并依据所述第一目标编码参数，对所述目标编码图像进行解码得到目标图像区域并显示；所述第二设备接收背景编码图像，依据所述第二目标编码参数，对所述背景编码图像进行解码得到背景图像区域；所述第二设备在当前没有新的目标图像区域显示时，根据已解码的多个背景图像区域中各背景图像区域的解码完成时间，显示距离当前时间最近的解码完成时间对应的背景图像区域。8.一种图像传输装置，其特征在于，该装置包括：目标图像区域获得模块，用于第二设备获得图像帧中被选中的目标图像区域；以及，获得所述目标图像区域被设置的延时要求；编码参数发送模块，用于第二设备在基于所述延时要求确定出与所述延时要求匹配的第一目标编码参数的前提下，在所述图像帧还包括除所述目标图像区域之外的背景图像区域时，获得所述背景图像区域被设置的第二目标编码参数，并将所述第一目标编码参数、所述第二目标编码参数以及目标图像区域的位置信息发送至第一设备，基于所述第一目标编码参数编码得到的图像的图像质量高于基于所述第二目标编码参数编码得到的图像的图像质量；编码模块，用于所述第一设备获得所述第一目标编码参数、所述第二目标编码参数和
目标图像区域的位置信息，并基于所述第一目标编码参数对当前图像帧中与所述目标图像区域的位置信息对应的目标图像区域进行编码，得到目标编码图像；以及，基于已获得的第二目标编码参数对所述当前图像帧中的背景图像区域进行编码，得到背景编码图像；图像传输模块，用于所述第一设备通过被指定的用于传输目标图像区域的第一网络通道传输目标编码图像至所述第二设备，以及通过被指定的用于传输背景图像区域的第二网络通道传输背景编码图像至所述第二设备，所述第一网络通道的被配置的传输参数大于所述第二网络通道被配置的传输参数，以使得基于所述第一网络通道传输的图像时延小于基于所述第二网络通道传输的图像时延。9.根据权利要求8所述的装置，其特征在于，所述传输参数包括：传输速率，所述第一网络通道与第一网络的网口对应，所述第二网络通道与第二网络的网口对应，所述第一网络的传输速率大于所述第二网络的传输速率；或者，所述传输参数包括：显示优先级，所述第一网络通道和所述第二网络通道对应第三网络下的不同端口；所述第一网络通道对应的第一端口传输的目标编码图像在所述第二设备的显示优先级大于所述第二网络通道对应的第二端口传输的背景编码图像在所述第二设备的显示优先级。10.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器；其中，所述存储器，用于存储机器可执行指令；所述处理器，用于读取并执行所述存储器存储的机器可执行指令，以实现如权利要求1至7任一项所述的方法。

技术总结
本申请提供一种图像传输方法、装置及电子设备，该方法在对图像帧进行编码时，采用与被选中的目标图像区域的延时要求所确定的第一目标编码参数来对图像帧中的目标图像区域进行编码，使用低于第一目标编码参数的第二目标编码参数对图像帧中的背景图像区域进行编码，兼顾了图像编码效率和图像传输效率，降低了数据传输的延时。另外，在本申请中，在传输目标图像区域和背景图像区域时，使用传输参数不同的网络通道传输编码后的目标图像区域和编码后的背景图像区域，使得基于所述第一网络通道传输的图像时延小于基于所述第二网络通道传输的图像时延，能够有效降低用户感兴趣区域的传输延时以及显示延时。输延时以及显示延时。输延时以及显示延时。


技术研发人员：孙友统
受保护的技术使用者：杭州海康威视数字技术股份有限公司
技术研发日：2023.06.30
技术公布日：2023/10/8