串联滤波结构优化方法、装置及其计算机设备与流程

1.本发明涉及滤波结构的技术领域，特别涉及一种串联滤波结构优化方法、装置及其计算机设备。


背景技术：

2.在数字图像处理中，通常需要使用n x m数据窗口进行滤波算法，这会导致n/2行延迟在滤波器的输出上。当两个滤波器被串联时，第二级滤波器以第一级的输出（k x j）作为输入，这将使得最终的输出相对于原始输入有(n+k)/2行的延迟。如果最终的滤波结果需要与原始输入进行某种1运算处理，我们将需要使用(n+k)/2行的内存空间以存储原始输入数据，以便等待第二级滤波器的输出结果。为了减少内存的需求，常见的方法是从第一级滤波器的n x m数据窗口中选择必要的数据进行存储，这样可以避免n/2行的延迟，并且只需要存储k/2行的数据。虽然这种方式能够稍微减少缓存，但是也残留了较大的缓存需求。在数字图像分辨率不断提高的趋势下，每一行缓存数据都代表很大的成本。


技术实现要素：

3.本发明的主要目的为提供一种串联滤波结构优化方法、装置及其计算机设备，为了彻底消除行缓存，采用第一级滤波用多个滤波器并行处理的方式同时输出k行数据，用k个滤波器的面积换取k/2行的缓存面积的效果。
4.为实现上述目的，本发明提供了一种串联滤波结构优化方法，包括以下步骤：获取第一图像数据；按照预设的调取区间从所述第一图像数据中调取第一图像数据窗，且得到未被调取的若干第二图像数据窗；将所述第一图像数据窗进行打拍延时处理，同时将若干所述第二图像数据窗发送至第一滤波器，且由所述第一滤波器分别一一排列若干第二图像数据窗；将所述第一滤波器排列完毕的若干第二图像数据窗输入至第二滤波器进行归一运算，生成第三图像数据窗；将所述第一图像数据窗和第三图像数据窗进行融合处理，生成第二图像数据；输出所述第二图像数据。
5.进一步地，按照预设的调取区间从所述第一图像数据中调取第一图像数据窗，且得到未被调取的若干第二图像数据窗的步骤中，所述调取区间包括第一图像数据中心部分的n
×
m的区间。
6.进一步地，所述将所述第一图像数据窗进行打拍延时处理的步骤，包括：对所述第一图像数据窗进行暂停等待处理，以等待运算后生成的第三图像数据窗进行融合处理。
7.进一步地，将所述第一滤波器分列完毕的若干第二图像数据窗输入至第二滤波器进行归一运算，生成第三图像数据窗的步骤，包括：
采用第二滤波器对若干第二图像数据窗进行像素行与列的拼接，生成所述第三图像数据窗。
8.进一步地，将所述第一图像数据窗和第三图像数据窗进行融合处理，生成第二图像数据的步骤，包括：将所述第一图像数据窗和第三图像数据窗按照预设权重配比进行融合处理，生成第二图像数据。
9.进一步地，所述权重配比包括第一图像数据窗取50%的像素行列，所述第三图像数据窗取50%的像素行列，合一构成所述第二图像数据。
10.进一步地，所述获取第一图像数据与输出第二图像数据的步骤中，包括：通过data_in接口逐像素获取所述第一图像数据，通过data_out接口输出所述输出第二图像数据。
11.进一步地，所述第一图像数据窗和第三图像数据窗由rgbtoken字符串逐行逐列表示，在将所述第一图像数据窗和第三图像数据窗进行融合处理的步骤中，包括：将所述第一图像数据窗和第三图像数据窗各自对应的rgbtoken字符串利用色彩混合单元进行融合，其中，色彩混合单元包括ps的颜色混合模块。
12.本发明还提出一种串联滤波结构优化装置，包括：获取单元，用于获取第一图像数据；调取单元，用于按照预设的调取区间从所述第一图像数据中调取第一图像数据窗，且得到未被调取的若干第二图像数据窗；第一滤波单元，用于将所述第一图像数据窗进行打拍延时处理，同时将若干所述第二图像数据窗发送至第一滤波器，且由所述第一滤波器分别一一排列若干第二图像数据窗；第二滤波单元，用于将所述第一滤波器分列完毕的若干第二图像数据窗输入至第二滤波器进行归一运算，生成第三图像数据窗；融合单元，用于将所述第一图像数据窗和第三图像数据窗进行融合处理，生成第二图像数据；输出单元，用于输出所述第二图像数据。
13.本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述串联滤波结构优化方法的步骤。
14.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的串联滤波结构优化方法的步骤。
15.本发明提供的串联滤波结构优化方法、装置及其计算机设备，其具有以下有益效果：1、显著缩短了单个项目的模型研发周期，从而提高了项目交付效率；2、更多项目可以并行，从另一维度显著提高了研发效率；3、显著提高了对需求变更的响应效率；4、大模型使得模型训练标准高效、便于维护，也使得软件研发更标准化；5、大模型在新任务上的检测能力不断增强，新项目基于大模型参数微调训练达到
检测指标的速度不断加快。
附图说明
16.图1为现有技术中的方案示意图；图2是本发明一实施例中串联滤波结构优化方法原理图；图3是本发明一实施例中串联滤波结构优化方法的流程示意图；图4是本发明一实施例中串联滤波结构优化装置结构框图；图5是本发明一实施例的计算机设备的结构示意框图。
17.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
18.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
19.参照图1为现有技术中的方案示意图，通过data_in逐像素输入，行缓存不改变原始数据，但需要凑够n行数据（通常在n/2数据后开始输出，缺少的行采用mirror方式进行补齐），因此会有行延迟。滤波器会改变数据，但输入输出延时比较小，通常几个或十几个时钟周期后就会输出。
20.参考附图2，为本发明提出的串联滤波结构优化方法的原理示意图，通过依照现有技术进行改进，改进后使用一个n+k行的缓存替代前面的两个行缓存，总大小不变，但因为集中在一起面积会小一点。输出（n+k）
×ꢀ
m的数据窗口可以提图k个nxm的数据窗分别送给对应的a滤波器，k个a滤波器的输出组成k行数据送给滤波器b进行运算。从（n+k）
×ꢀ
m数据窗中可抽取需要的原始数据经过打拍延时后与data_b对齐后进行融合处理。打拍数量取决于两级滤波器处理的总延迟时钟周期数。因为并行处理，滤波器a的功耗和总面积会有所增加，但远小于行缓存的面积。
21.而具体的，参考附图3为本发明提出的一种串联滤波结构优化方法的流程示意图，包括以下步骤：s1，获取第一图像数据；s2，按照预设的调取区间从所述第一图像数据中调取第一图像数据窗，且得到未被调取的若干第二图像数据窗；s3，将所述第一图像数据窗进行打拍延时处理，同时将若干所述第二图像数据窗发送至第一滤波器，且由所述第一滤波器分别一一排列若干第二图像数据窗；s4，将所述第一滤波器排列完毕的若干第二图像数据窗输入至第二滤波器进行归一运算，生成第三图像数据窗；s5，将所述第一图像数据窗和第三图像数据窗进行融合处理，生成第二图像数据；s6，输出所述第二图像数据。
22.具体的，在步骤一，我们从某个源头获取了一组初始的图像数据，被称为"第一图像数据"。在步骤二，我们会根据预先设定的选取区间，从这第一图像数据中提取一个特定
的数据子集，这个子集被称为"第一图像数据窗口"。在这个过程中，我们也创建了未被选取的一些数据窗口，这些窗口被称为"若干第二图像数据窗口"。接下来的步骤三涉及两个并行的过程。首先，我们对第一图像数据窗口进行处理，实现了一个所谓的"打拍延时处理"。具体的处理方式可能会根据具体应用有所不同。与此同时，我们将那些未被选取的第二图像数据窗口发送至第一滤波器。第一滤波器的任务是将这些数据窗口进行分别一一排列，准备进行下一步处理。在步骤四，排列完毕的第二图像数据窗口被输入到第二滤波器。第二滤波器的工作是对这些数据窗口进行归一化计算，这个过程可能会包括某些标准化或归一化的步骤，生成了"第三图像数据窗口"。在步骤五，我们将第一图像数据窗口与第三图像数据窗口进行合并处理，可能涉及一些权重分配、图像平滑或是增强等处理方式，最终生成了我们需要的"第二图像数据"。最后的步骤六，在所有这些处理步骤后，我们将生成的第二图像数据进行输出，这可能包含保存到文件、显示在屏幕上或是发送到某个特定的设备或应用中。这个过程总体上定义了一个能够有效处理和融合图像数据的工作流程，以达到预期的图像处理效果。
23.优选的，所述调取区间包括第一图像数据中心部分的n
×
m的区间。
24.在一个实施例中，所述将所述第一图像数据窗进行打拍延时处理的步骤，包括：对所述第一图像数据窗进行暂停等待处理，以等待运算后生成的第三图像数据窗进行融合处理。
25.这个步骤实际上是在处理第一图像数据窗口时引入一个延时或暂停处理。此步骤的目的在于同步两个不同的数据窗口（即第一图像数据窗口和第三图像数据窗口），使它们可以同时进行融合处理。这可能由于第三图像数据窗口的生成在整个流程中较晚，所以通过对第一图像数据窗口进行打拍延时处理，能够确保二者在时间上的匹配，以进行适当的融合操作。
26.在一个实施例中，将所述第一滤波器分列完毕的若干第二图像数据窗输入至第二滤波器进行归一运算，生成第三图像数据窗的步骤，包括：采用第二滤波器对若干第二图像数据窗进行像素行与列的拼接，生成所述第三图像数据窗。
27.这个步骤是关于如何使用第二滤波器处理第二图像数据窗口，并生成第三图像数据窗口的。这里的处理方式是将第二图像数据窗口经过第一滤波器分列完毕后，进行像素行与列的拼接。换句话说，第二滤波器将处理所有的第二图像数据窗口，通过按照指定的方式拼接它们的像素行和列，以形成一个新的、更大的图像数据窗口，这就是所谓的第三图像数据窗。这样做的目标是为了进行下一步的处理，把这第三图像数据窗和第一图像数据窗并入一起，形成最终的第二图像数据。
28.在一个实施例中，将所述第一图像数据窗和第三图像数据窗进行融合处理，生成第二图像数据的步骤，包括：将所述第一图像数据窗和第三图像数据窗按照预设权重配比进行融合处理，生成第二图像数据。
29.具体的，所述权重配比包括第一图像数据窗取50%的像素行列，所述第三图像数据窗取50%的像素行列，合一构成所述第二图像数据。
30.在一个实施例中，所述获取第一图像数据与输出第二图像数据的步骤中，包括：
通过data_in接口逐像素获取所述第一图像数据，通过data_out接口输出所述输出第二图像数据。
31.在一个实施例中，所述第一图像数据窗和第三图像数据窗由rgbtoken字符串逐行逐列表示，在将所述第一图像数据窗和第三图像数据窗进行融合处理的步骤中，包括：将所述第一图像数据窗和第三图像数据窗各自对应的rgbtoken字符串利用色彩混合单元进行融合，其中，色彩混合单元包括ps的颜色混合模块。
32.在本实施例中，这个步骤涉及到第一图像数据窗口和第三图像数据窗口如何进行融合处理。在这个过程中，每一个图像数据窗口都由rgb token字符串来逐行、逐列地表示。其中，rgb是代表红、绿、蓝三原色的标识符，它们是用于构建几乎所有色彩的基础。token则是数据的一种表示方式，用来描述这一特定的信息。在融合处理的步骤中，我们将第一图像数据窗口和第三图像数据窗口各自对应的rgb token字符串送入色彩混合单元进行融合。色彩混合单元是专门用来处理图像色彩和光度信息的部件，它包括一个名为ps的颜色混合模块。这个模块可能使用了预设颜色混合的算法，以调整各自的红色、绿色和蓝色部分，由此生成新的色彩混合结果，这就构造了我们最终需要的第二图像数据。
33.参考附图4,为本发明提出的一种串联滤波结构优化装置的结构框图，包括：获取单元1，用于获取第一图像数据；调取单元2，用于按照预设的调取区间从所述第一图像数据中调取第一图像数据窗，且得到未被调取的若干第二图像数据窗；第一滤波单元3，用于将所述第一图像数据窗进行打拍延时处理，同时将若干所述第二图像数据窗发送至第一滤波器，且由所述第一滤波器分别一一排列若干第二图像数据窗；第二滤波单元4，用于将所述第一滤波器分列完毕的若干第二图像数据窗输入至第二滤波器进行归一运算，生成第三图像数据窗；融合单元5，用于将所述第一图像数据窗和第三图像数据窗进行融合处理，生成第二图像数据；输出单元6，用于输出所述第二图像数据。
34.在本实施例中，上述装置实施例中的各个单元的具体实现，请参照上述方法实施例中所述，在此不再进行赘述。
35.参照图5，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、显示屏、输入装置、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储本实施例中对应的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述方法。
36.s1，获取第一图像数据；s2，按照预设的调取区间从所述第一图像数据中调取第一图像数据窗，且得到未被调取的若干第二图像数据窗；
s3，将所述第一图像数据窗进行打拍延时处理，同时将若干所述第二图像数据窗发送至第一滤波器，且由所述第一滤波器分别一一排列若干第二图像数据窗；s4，将所述第一滤波器分列完毕的若干第二图像数据窗输入至第二滤波器进行归一运算，生成第三图像数据窗；s5，将所述第一图像数据窗和第三图像数据窗进行融合处理，生成第二图像数据；s6，输出所述第二图像数据。
37.本领域技术人员可以理解，图3中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定。
38.本发明一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。
39.综上所述，通过获取第一图像数据；按照预设的调取区间从所述第一图像数据中调取第一图像数据窗，且得到未被调取的若干第二图像数据窗；将所述第一图像数据窗进行打拍延时处理，同时将若干所述第二图像数据窗发送至第一滤波器，且由所述第一滤波器分别一一排列若干第二图像数据窗；将所述第一滤波器分列完毕的若干第二图像数据窗输入至第二滤波器进行归一运算，生成第三图像数据窗；将所述第一图像数据窗和第三图像数据窗进行融合处理，生成第二图像数据；输出所述第二图像数据；为了彻底消除行缓存，采用第一级滤波用多个滤波器并行处理的方式同时输出k行数据，用k个滤波器的面积换取k/2行的缓存面积的效果。
40.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram通过多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双速据率sdram（ssrsdram）、增强型sdram（esdram）、同步链路（synchlink）dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram等。
41.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
42.以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种串联滤波结构优化方法，其特征在于，包括以下步骤：获取第一图像数据；按照预设的调取区间从所述第一图像数据中调取第一图像数据窗，且得到未被调取的若干第二图像数据窗；将所述第一图像数据窗进行打拍延时处理，同时将若干所述第二图像数据窗发送至第一滤波器，且由所述第一滤波器分别一一排列若干第二图像数据窗；将所述第一滤波器排列完毕的若干第二图像数据窗输入至第二滤波器进行归一运算，生成第三图像数据窗；将所述第一图像数据窗和第三图像数据窗进行融合处理，生成第二图像数据；输出所述第二图像数据。2.根据权利要求1所述的串联滤波结构优化方法，其特征在于，按照预设的调取区间从所述第一图像数据中调取第一图像数据窗，且得到未被调取的若干第二图像数据窗的步骤中，所述调取区间包括第一图像数据中心部分的n
×
m的区间。3.根据权利要求1所述的串联滤波结构优化方法，其特征在于，所述将所述第一图像数据窗进行打拍延时处理的步骤，包括：对所述第一图像数据窗进行暂停等待处理，以等待运算后生成的第三图像数据窗进行融合处理。4.根据权利要求1所述的串联滤波结构优化方法，其特征在于，将所述第一滤波器分列完毕的若干第二图像数据窗输入至第二滤波器进行归一运算，生成第三图像数据窗的步骤，包括：采用第二滤波器对若干第二图像数据窗进行像素行与列的拼接，生成所述第三图像数据窗。5.根据权利要求1所述的串联滤波结构优化方法，其特征在于，将所述第一图像数据窗和第三图像数据窗进行融合处理，生成第二图像数据的步骤，包括：将所述第一图像数据窗和第三图像数据窗按照预设权重配比进行融合处理，生成第二图像数据。6.根据权利要求5所述的串联滤波结构优化方法，其特征在于，所述权重配比包括第一图像数据窗取50%的像素行列，所述第三图像数据窗取50%的像素行列，合一构成所述第二图像数据。7.根据权利要求1所述的串联滤波结构优化方法，其特征在于，所述获取第一图像数据与输出第二图像数据的步骤中，包括：通过data_in接口逐像素获取所述第一图像数据，通过data_out接口输出所述第二图像数据。8.根据权利要求1所述的串联滤波结构优化方法，其特征在于，所述第一图像数据窗和第三图像数据窗由rgbtoken字符串逐行逐列表示，在将所述第一图像数据窗和第三图像数据窗进行融合处理的步骤中，包括：将所述第一图像数据窗和第三图像数据窗各自对应的rgbtoken字符串利用色彩混合单元进行融合，其中，色彩混合单元包括ps的颜色混合模块。9.一种串联滤波结构优化装置，其特征在于，包括：
获取单元，用于获取第一图像数据；调取单元，用于按照预设的调取区间从所述第一图像数据中调取第一图像数据窗，且得到未被调取的若干第二图像数据窗；第一滤波单元，用于将所述第一图像数据窗进行打拍延时处理，同时将若干所述第二图像数据窗发送至第一滤波器，且由所述第一滤波器分别一一排列若干第二图像数据窗；第二滤波单元，用于将所述第一滤波器分列完毕的若干第二图像数据窗输入至第二滤波器进行归一运算，生成第三图像数据窗；融合单元，用于将所述第一图像数据窗和第三图像数据窗进行融合处理，生成第二图像数据；输出单元，用于输出所述第二图像数据。10.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述串联滤波结构优化方法的步骤。

技术总结
本发明涉及一种串联滤波结构优化方法、装置及其计算机设备，通过获取第一图像数据；按照预设的调取区间从第一图像数据中调取第一图像数据窗，且得到未被调取的若干第二图像数据窗；将第一图像数据窗进行打拍延时处理，同时将若干第二图像数据窗发送至第一滤波器，且由第一滤波器分别一一排列若干第二图像数据窗；将第一滤波器分列完毕的若干第二图像数据窗输入至第二滤波器进行归一运算，生成第三图像数据窗；将第一图像数据窗和第三图像数据窗进行融合处理，生成第二图像数据；输出第二图像数据；为了彻底消除行缓存，采用第一级滤波用多个滤波器并行处理的方式同时输出k行数据，用k个滤波器的面积换取k/2行的缓存面积的效果。效果。效果。


技术研发人员：黄义远 谭锐
受保护的技术使用者：深圳为迅科技有限公司
技术研发日：2023.08.24
技术公布日：2023/10/11