一种个人图像隐私保护方法、系统及电子设备

1.本技术属于多模态图像分割和图像隐私保护技术领域，具体涉及一种个人图像隐私保护方法、系统及电子设备。


背景技术：

2.网络平台和社交媒体的爆炸性繁荣极大地丰富了人们的生活。然而，在社交网络中进行个人信息分享的同时，大量的个人图片会在网络中被传输共享，这可能会导致个人隐私信息的泄露，特别是个人身份等信息，这会带来潜在的隐私侵犯和侵权问题。
3.现有的图像隐私保护方法主要分为传统方法和深度学习方法。传统的隐私保护方式通常采用自动遮蔽策略，如对整个图像进行马赛克或模糊处理，这不可避免地导致了严重的信息损失。近年来，受益于深度学习的发展与人脸检测和人体姿态识别技术的进步，现有的检测方法能自动检测出图像中所有的人脸和身体，然后模糊它们以过滤掉私人信息。虽然这些隐私保护方法可以有效地保护个人隐私，但是当用户只希望隐藏屏蔽掉一个或部分人时，就会面临内容过度保护的问题，图像中的一个或多个不被期望屏蔽的人被不可避免地屏蔽，产生不必要的图像信息损失。在这种情况下，现有方法通常需要对图像区域进行手动模糊处理，导致额外的人工操作成本。
4.最近，随着多模态领域技术进步，指代图像分割技术使得根据复杂的语言表达或音频输入来捕捉定位图像中对应的区域成为可能，为依靠文本或语音信息定位图像中的需要保护的对象或隐私信息提供了一种潜在的解决方案。更重要的是，使用音频或文本输入有以下优势，首先，由于文本包含丰富的高维语义信息，它已被证明在指代分割和语义表示领域具有出色的概括能力和高效的对象定位能力；其次，通过使用音频与设备交互是人们日常生活的一部分，因此，指代个人图像隐私保护技术具有广泛的应用场景，如保密视频会议等。然而，现有的指代图像分割方法很少有考虑到在指代和非指代图像像素之间通过二元交叉熵(bce)损失训练，由于在图像中指代的区域只占很小的比例，会存在训练像素不平衡的问题，这种不平衡对指代图像隐私保护技术发展的阻碍是相当严重的，它将阻碍网络的优化训练，导致对所指物体的不能够精确定位，严重影响了该方法在隐私保护中应用的实际性能。


技术实现要素：

5.本发明公开了一种个人图像隐私保护方法、系统及电子设备，其可以有效解决背景技术中涉及的技术问题。
6.为实现上述目的，本发明的技术方案为：
7.一种个人图像隐私保护方法，包括以下步骤：
8.步骤一，构建指代个人图像隐私保护数据集，所述数据集中的数据包含与人相关的图像、相应的指代文字描述以及真实标注掩码；
9.步骤二，将图像与指代文字描述输入至文本感知的视觉编码网络中，提取多尺度
的指代局部信息增强的视觉特征；
10.步骤三，将多尺度的指代局部信息增强的视觉特征输入至多尺度特征解码网络中，输出高质量图像掩码，获得图像中需要保护的人的具体位置；
11.步骤四，基于平衡二元交叉熵损失函数对图像进行训练优化，通过在二元交叉熵的基础上引入平衡系数项，缓解网络训练时像素不平衡的问题。
12.作为本发明的一种优选改进，在步骤一中，所述数据集包括训练集、测试集和验证集，训练集、测试集和验证集按照8：1：1的比例划分。
13.作为本发明的一种优选改进，在步骤一中，数据集根据指代文字描述内容不同分为三种类别数据集，具体包括:
14.第一类数据集，其指代文字长度较短，少于10个词，包含位置信息词；
15.第二类数据集，其指代文字长度中等，为10至15个词，包含外观词；
16.第三类数据集，其对文本描述更为丰富，包含位置信息词和外观词。
17.作为本发明的一种优选改进，在步骤二中，所述视觉编码网络包括图像编码模块、文本编码模块以及图像文本多尺度编码模块，其中：
18.所述图像编码模块用于提取多尺度视觉特征；
19.所述文本编码模块用于将输入文本编码成词向量；
20.所述图像文本多尺度编码模块用于将从原始数据提取到的图像模态特征与文本模态特征输入进带有文本感知控制门的文本感知注意力机制，增强多尺度视觉特征中指代的视觉局部信息。
21.作为本发明的一种优选改进，在步骤三中，所述多尺度特征解码网络包括多尺度特征融合模块和掩码定位增强模块，其中：
22.所述多尺度特征融合模块通过带有噪声信息过滤门的多尺度上采样网络进一步过滤、补充与融合多尺度特征；
23.所述掩码定位增强模块基于所述多尺度特征融合模块提取到的特征定位隐私对象。
24.作为本发明的一种优选改进，所述掩码定位增强模块包括两个连续的步骤：
25.双注意力特征强化：采用通道自注意分支和空间自注意分支的双重注意力机制来强化局部特征表征与掩码定位特征；
26.定位掩码生成：采用改进的aspp以不同的采样率在多个尺度感受野上捕获定位隐私保护目标解码，生成用于隐私保护后处理操作的高质量掩码。
27.一种个人图像隐私保护系统，包括：
28.数据构建模块，用于构建指代个人图像隐私保护数据集，所述数据集中的数据包含与人相关的图像、相应的指代文字描述以及真实标注掩码；
29.特征提取模块，用于将图像与指代文字描述输入至文本感知的视觉编码网络中，提取多尺度的指代局部信息增强的视觉特征；
30.特征解码模块，用于将多尺度的指代局部信息增强的视觉特征输入至多尺度特征解码网络中，输出高质量图像掩码，获得图像中需要保护的人的具体位置；
31.网络训练模块，用于基于平衡二元交叉熵损失函数对图像进行训练优化，通过在二元交叉熵的基础上引入平衡系数项，缓解网络训练时像素不平衡的问题。
32.一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时执行所述的方法。
33.本发明还提供了一种存储介质，所述存储介质存储有指令，所述指令被处理器执行时，实现所述的方法。
34.本发明的有益效果如下：
35.1、本发明提出的指代个人图像隐私保护数据集，为基于图像分割网络的隐私保护方法提供新的网络学习范式，解决了现有个人图像隐私保护技术中存在的内容过度保护问题；
36.2、本发明提出的图像文本多尺度编码模块，从文本感知注意力的角度增强多尺度视觉特征里指代的视觉局部信息，能更好地融合多模态特征，克服指代信息丢失的问题，提高网络的检测性能，有效解决隐私保护技术中对于非指代内容的过度保护；
37.3、本发明提出的多尺度特征融合模块，通过一个设计的带有噪声信息过滤门的多尺度上采样网络进一步过滤、补充与融合多尺度特征，为定位隐私对象提供强大的视觉特征，减少网络出现的漏检和误检的概率；
38.4、本发明提出的掩码定位增强模块，侧重于利用通道自注意分支和空间自注意分支的双重注意力机制来强化局部特征表征与掩码定位特征，并借助不同的采样率在多个尺度感受野上捕获定位隐私保护目标，生成更细粒度的用于隐私保护后处理操作的目标对象掩码；
39.5、本发明提出的平衡二元交叉熵损失，可以缓解网络训练时像素的不平衡问题，从而网络在训练时获得更好的优化效果，在预测阶段能更好地捕捉图像中被指代所需保护的人物，并且，本方法能容易地嵌入到现有其他网络中；
40.6、本发明提出的隐私保护网络采用纯卷积神经网络结构，与基于计算资源需求高的transformer的网络相比，在保持高精度的情况下推理速度更快，具有低计算成本和高运行效率的优势。
附图说明
41.图1为本发明实施例提供的方法流程图；
42.图2为本发明实施例提供的系统框架图；
43.图3为本发明实施例提供的电子设备的结构框架图；
44.图4为本发明实施例提供的测试结果示意图。
具体实施方式
45.下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
46.需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
47.另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
48.在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
49.另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
50.为了解决现有个人图像隐私保护技术中存在的内容过度保护与指代个人图像隐私保护网络在训练中存在指代和非指代图像像素之间不平衡导致网络性能差的问题，本发明提出了一种基于损失平衡的指代图像分割网络的个人图像隐私保护方法，该方法允许用户通过文字表达来指定保护图像中的某个人，从而解决图像隐私过度保护的问题，并节省人工操作成本。用户输入的语言和被保护的个人图像，将通过由两个轻量级深度神经网络组成的文本感知的视觉编码器进行视觉与文本信息的并行编码，以少量的计算成本生成与文本信息充分融合的多尺度视觉特征。在解码过程中，视觉特征通过设计的多尺度特征融合模块，过滤噪声信息的同时补充缺失的特征，为指代对象提供一个强大的视觉特征，进一步采用掩码定位增强模块，将解码特征转移到高质量的掩码中，最后送入后处理程序以生成稳定的指定个人隐私保护图像。
51.而针对训练中像素不平衡问题，提出了一种在二元交叉熵的基础上引入两个平衡系数项的平衡二元交叉熵损失来缓解这个问题，它可以使得网络更公平地关注指代和非指代区域，实现更好地优化网络，提高网络对个人图像隐私保护的效果。
52.下面将以具体实施例对本技术作进一步说明。
53.实施例1
54.参阅图1和图4所示，本发明提供了一种个人图像隐私保护方法，包括以下步骤：
55.步骤一，为指代个人图像隐私保护网络的训练构建指代个人图像隐私保护数据集，该数据集包括训练集、测试集和验证集，数据包含与人相关的图像、相应的指代文字描述以及真实标注掩码；
56.具体的，训练集、测试集和验证集按照8：1：1的比例划分。数据集从refcoco中选择部分与人相关的图像、相应的指代文字描述以及真实标注掩码。为了扩大数据集，进一步从mscoco中选择部分与人相关的图像，并手动标注文本描述和相应的掩码，数据集共包含12014张416
×
416大小的图像，53125个指代文字描述和52323个真实标注掩码。
57.依据实际中多样的使用需求，进一步将数据集根据指代文字描述内容不同分为第一类数据集、第二类数据集以及第三类数据集。其中，第一类数据集中指代文字长度较短，少于10个词，通过"左"、"右"等词提供位置信息；第二类数据集中指代文字长度中等，为10至15个词，包含"高"、"黄"等外观词；第三类数据集中文本描述更为丰富，包含上述位置信
息词和外观词。
58.步骤二，将与人相关的图像与指代文字描述输入至文本感知的视觉编码网络中，以提取多尺度的指代局部信息增强的视觉特征；
59.所述视觉编码网络包括图像编码模块、文本编码模块以及图像文本多尺度编码模块；其中，所述图像编码模块用于提取多尺度视觉特征；所述文本编码模块用于将输入文本编码成词向量；所述图像文本多尺度编码模块将从原始数据提取到的图像模态特征与文本模态特征输入进文本感知注意力特征融合网络中，其通过设计了一个带有文本感知控制门的文本感知注意力机制，增强多尺度视觉特征中指代的视觉局部信息。
60.具体的，将一组图片文本对{xn,yn}n对作为输入，其中，文本yn指代一个人在图像xn，图像xn通过图像编码器darknet-53提取到多尺度全局视觉特征其中l表示第l层全局视觉特征。文本yn通过文本编码器bigru提取高层次词向量嵌入特征其中t为单词的数量，d为词向量嵌入的维度。对于w为宽度，h为高度，c为通道数。得到高维度的特征输入后，进一步采用基于文本感知的注意机制的图像文本多尺度编码模块增强指代的视觉局部信息，具体而言，通过设计的一个文字感知门乘以全局视觉特征来生成文本注意力视觉特征如下式表示：
[0061][0062][0063]
其中，表示第l层的文本感知多层感知器映射函数，σ表示带有批量归一化的激活函数，
⊙
表示张量点乘。
[0064]
步骤三，将多尺度的指代局部信息增强的视觉特征输入进多尺度特征解码网络中输出高质量的图像掩码，以获得图像中需要保护的人的具体位置；
[0065]
所述多尺度特征解码网络包括多尺度特征融合模块和掩码定位增强模块。其中，多尺度特征融合模块通过一个设计的带有噪声信息过滤门的多尺度上采样网络进一步过滤、补充与融合多尺度特征；所述掩码定位增强模块通过一个设计的利用通道自注意分支和空间自注意分支的双重注意力机制来强化局部特征表征与掩码定位特征，并采用改进的aspp以不同的采样率在多个尺度感受野上捕获定位隐私保护目标，生成用于隐私保护后处理操作的目标对象掩码。
[0066]
具体的，将提取到的多尺度指代局部信息增强的视觉特征输入到多尺度特征融合模块和掩码定位增强模块进行解码，其中，多尺度特征融合模块为给定位隐私对象提供强大的视觉特征，需要更好地过滤噪声信息以及补充文本视觉信息中缺失的特征。给定两个尺度特征和首先对进行上采样操作，然后再与连接生成融合特征表达式如下所示：
[0067][0068]
这种策略在上采样过程中可能会产生噪声信息，所以，在此基础上，多尺度特征融
合模块进一步过滤和补充了多尺度特征。首先，设计一个过滤门以过滤噪声信息，表达式如下所示：
[0069][0070][0071]
其中，ωf是一个具有批量归一化的卷积映射函数，代表过滤后的特征，考虑到的特征可能被过度过滤，因此进一步补充，如下式所示：
[0072][0073]
其中，ωc是卷积投影，用于补充上的缺失信息，代表第l-1层的解码输出，然后被送入第l-2层的多尺度特征融合模块。
[0074]
所述掩码定位增强模块基于所述多尺度特征融合模块提取到的特征定位隐私对象，包括两个连续的步骤：双注意力特征强化和定位掩码生成。
[0075]
双注意力特征强化：采用两个自注意力模块as(空间注意)和ac(通道注意)来强化局部特征表征，如下所示：
[0076][0077][0078]
其中，是在上生成的文本注意力视觉特征，是双注意力的视觉特征。为避免视觉内容的损失，本发明进一步将和进行连接，输出增强的局部视觉特征
[0079]
定位掩码生成：采用改进的aspp以不同的采样率在多个尺度感受野上捕获定位隐私保护目标，并进一步采用2倍的双线性上采样算法，以获得用于隐私保护后处理操作的高质量的掩码
[0080]
步骤四，基于平衡二元交叉熵损失函数对图像进行训练优化，该损失函数在二元交叉熵的基础上引入平衡系数项，缓解网络训练时像素不平衡的问题。
[0081]
具体的，改进平衡二元交叉熵通过在理论上深入挖掘损失梯度值，缓解图像训练像素不平衡问题。经典的二元交叉熵损失衡量了图像分割在像素级的预测概率与真实概率之间的差异，如下式所示：
[0082][0083]
其中，和p
n,r
分别表示真实标签和图像xn里第r个像素的预测。网络的训练目的是对于掩码pn中内的每个正像素都输出期望预测值p
n,r
接近1，与真实标签值一致；另一方面，在掩码pn外的每个负像素上输出期望预测值p
n,r
＝0。所以，上式可以转换为：
[0084][0085]
其中，h(p
n,r
)与f(p
n,r
)分别表示正、负像素上的泰勒扩展项，α表示系数。在训练过程中，对于网络计算出一组正负像素的梯度值，推断方法如下所示：
[0086][0087]
其中，n
p
和nn分别表示正、负像素的数量。上述公式分别反映正负像素引起的误差传播方向，它与两个项目有关：数量项n
p
、nn以及误差项。当训练接近收敛时，上述公式的值被数量项所支配。然而，所指代的分割区域在图像中通常占有较小的比例，意味着正像素比负像素少很多。因此，该网络的收敛很容易被负像素支配，导致不能得到满意的性能。为了解决这个问题，本发明提出了一种平衡二元交叉熵损失，在h(p
n,r
)与f(p
n,r
)中引入了两个平衡项，具体如下：
[0088][0089][0090]
其中，ε1和ε2分别为正、负像素的平衡权重。因此n
p
和nn分别变为-(1+ε1)n
p
和(1+ε2)n
p
，而误差项保持不变，设置ε2∈[-1,0]以减少负像素的数量项，ε1∈[0,1]以增加正像素的数量项。因此，像素不平衡的问题得到了缓解，平衡二元交叉熵表达式为：
[0091][0092]
其中，pn为掩码。
[0093]
参阅图2所示，本发明还提供了一种个人图像隐私保护系统，包括：
[0094]
数据构建模块11，用于构建指代个人图像隐私保护数据集，所述数据集中的数据包含与人相关的图像、相应的指代文字描述以及真实标注掩码；
[0095]
特征提取模块12，用于将图像与指代文字描述输入至文本感知的视觉编码网络中，提取多尺度的指代局部信息增强的视觉特征；
[0096]
特征解码模块13，用于将多尺度的指代局部信息增强的视觉特征输入至多尺度特征解码网络中，输出高质量图像掩码，获得图像中需要保护的人的具体位置；
[0097]
网络训练模块14，用于基于平衡二元交叉熵损失函数对图像进行训练优化，通过在二元交叉熵的基础上引入平衡系数项，缓解网络训练时像素不平衡的问题。
[0098]
本发明还提供了一种电子设备21，包括存储器22和处理器23，所述存储器22中存储有计算机程序指令，所述计算机程序指令被所述处理器23读取并运行时执行所述的方法。
[0099]
本发明还提供了一种存储介质，所述存储介质存储有处理器可执行的指令，所述指令被处理器执行时，实现所述的方法。所述存储介质包括u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，random access memory)、磁碟、光盘等各种可以存储程序代码的介质。
[0100]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0101]
实施例2
[0102]
本技术实施例通过使用一个具有24gb显存的rtx 6000gpu来实现所述方法。具体来说，对于编码器，将一个句子的最大长度t设置为20，以生成1024维的文本向量，并生成三个多尺度特征以支持解码。对于解码器，采用2个多尺度特征融合模块和1个掩码定位增强模块来生成掩码。在50个训练轮次中联合训练编码网络和解码网络，批次大小为24，初始学习率被设置为0.0010，30个训练轮次后降至0.0005。训练采用本发明提供的平衡二元交叉熵损失，设置为ε1＝1,ε2＝-0.4，这在验证集上取得了最佳性能。
[0103]
如下表1所示，将本发明与六种先进方法之间的准确性进行比较，采用iou、prec@x、recall、f-1、tdir五个指标进行性能评估。iou反映了定位的准确性，prec@x表示iou＝x∈{0.5,0.7,0.9}下的检测精度，这些指标被广泛用于参考图像年龄分割。对于隐私保护的指标，top-1去识别率(tdir)衡量的是成功去识别人脸的数量与所有测试图像数量的比率，而recall和f-1反映的是全身保护的效果。与interseg和autoblur等隐私保护方法相比，基于损失平衡的指代图像分割网络的个人图像隐私保护方法可以自动定位所需的目标，以有限的成本实现更好的准确性。
[0104]
即使在所有的指代分割方法中，本发明方法也在所有的指标上取得了最好的表现，带来了显著的准确性提高。这种显著的提高源于所提出的组件，如多尺度特征融合模块、掩码定位增强模块和平衡的二元交叉熵损失，它们可以加强模型的训练，以提供强大的视觉特征和掩码。
[0105]
表1本发明和六种先进方法之间的准确性比较
[0106]
methodsiouprec@0.5prec@0.7prec@0.9recallf-1tdirinterseg58.2356.042.06.078.5677.566.7autoblur35.80.470.00.090.2511.62
–
cmsa64.5273.7952.3711.1480.3282.8975.42mcn66.3673.9253.4712.5683.3584.7978.24vlt69.7878.7755.0714.3186.7888.2382.4cris74.2585.5276.4822.4390.3492.9883.5本发明74.7286.1877.1728.3490.6793.5284.3
[0107]
本发明的有益效果如下：
[0108]
1、本发明提出的指代个人图像隐私保护数据集，为基于图像分割网络的隐私保护方法提供新的网络学习范式，解决了现有个人图像隐私保护技术中存在的内容过度保护问题；
[0109]
2、本发明提出的图像文本多尺度编码模块，从文本感知注意力的角度增强多尺度视觉特征里指代的视觉局部信息，能更好地融合多模态特征，克服指代信息丢失的问题，提高网络的检测性能，有效解决隐私保护技术中对于非指代内容的过度保护；
[0110]
3、本发明提出的多尺度特征融合模块，通过一个设计的带有噪声信息过滤门的多尺度上采样网络进一步过滤、补充与融合多尺度特征，为定位隐私对象提供强大的视觉特征，减少网络出现的漏检和误检的概率；
[0111]
4、本发明提出的掩码定位增强模块，侧重于利用通道自注意分支和空间自注意分支的双重注意力机制来强化局部特征表征与掩码定位特征，并借助不同的采样率在多个尺度感受野上捕获定位隐私保护目标，生成更细粒度的用于隐私保护后处理操作的目标对象掩码；
[0112]
5、本发明提出的平衡二元交叉熵损失，可以缓解网络训练时像素的不平衡问题，从而网络在训练时获得更好的优化效果，在预测阶段能更好地捕捉图像中被指代所需保护的人物，并且，本方法能容易地嵌入到现有其他网络中；
[0113]
6、本发明提出的隐私保护网络采用纯卷积神经网络结构，与基于计算资源需求高的transformer的网络相比，在保持高精度的情况下推理速度更快，具有低计算成本和高运行效率的优势。
[0114]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。

技术特征：
1.一种个人图像隐私保护方法，其特征在于，包括以下步骤：步骤一，构建指代个人图像隐私保护数据集，所述数据集中的数据包含与人相关的图像、相应的指代文字描述以及真实标注掩码；步骤二，将图像与指代文字描述输入至文本感知的视觉编码网络中，提取多尺度的指代局部信息增强的视觉特征；步骤三，将多尺度的指代局部信息增强的视觉特征输入至多尺度特征解码网络中，输出高质量图像掩码，获得图像中需要保护的人的具体位置；步骤四，基于平衡二元交叉熵损失函数对图像进行训练优化，通过在二元交叉熵的基础上引入平衡系数项，缓解网络训练时像素不平衡的问题。2.根据权利要求1所述的方法，其特征在于，在步骤一中，所述数据集包括训练集、测试集和验证集，训练集、测试集和验证集按照8：1：1的比例划分。3.根据权利要求2所述的方法，其特征在于，在步骤一中，数据集根据指代文字描述内容不同分为三种类别数据集，具体包括:第一类数据集，其指代文字长度较短，少于10个词，包含位置信息词；第二类数据集，其指代文字长度中等，为10至15个词，包含外观词；第三类数据集，其对文本描述更为丰富，包含位置信息词和外观词。4.根据权利要求3所述的方法，其特征在于，在步骤二中，所述视觉编码网络包括图像编码模块、文本编码模块以及图像文本多尺度编码模块，其中：所述图像编码模块用于提取多尺度视觉特征；所述文本编码模块用于将输入文本编码成词向量；所述图像文本多尺度编码模块用于将从原始数据提取到的图像模态特征与文本模态特征输入进带有文本感知控制门的文本感知注意力机制，增强多尺度视觉特征中指代的视觉局部信息。5.根据权利要求4所述的方法，其特征在于，在步骤三中，所述多尺度特征解码网络包括多尺度特征融合模块和掩码定位增强模块，其中：所述多尺度特征融合模块通过带有噪声信息过滤门的多尺度上采样网络进一步过滤、补充与融合多尺度特征；所述掩码定位增强模块基于所述多尺度特征融合模块提取到的特征定位隐私对象。6.根据权利要求5所述的方法，其特征在于，所述掩码定位增强模块包括两个连续的步骤：双注意力特征强化：采用通道自注意分支和空间自注意分支的双重注意力机制来强化局部特征表征与掩码定位特征；定位掩码生成：采用改进的aspp以不同的采样率在多个尺度感受野上捕获定位隐私保护目标解码，生成用于隐私保护后处理操作的高质量掩码。7.一种个人图像隐私保护系统，其特征在于，包括：数据构建模块，用于构建指代个人图像隐私保护数据集，所述数据集中的数据包含与人相关的图像、相应的指代文字描述以及真实标注掩码；特征提取模块，用于将图像与指代文字描述输入至文本感知的视觉编码网络中，提取多尺度的指代局部信息增强的视觉特征；
特征解码模块，用于将多尺度的指代局部信息增强的视觉特征输入至多尺度特征解码网络中，输出高质量图像掩码，获得图像中需要保护的人的具体位置；网络训练模块，用于基于平衡二元交叉熵损失函数对图像进行训练优化，通过在二元交叉熵的基础上引入平衡系数项，缓解网络训练时像素不平衡的问题。8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时执行如权利要求1-6任意一项所述的方法。

技术总结
本发明公开了一种个人图像隐私保护方法、系统及电子设备。本发明提供的方法允许用户通过语言表达来指定保护图像中的某个人，通过使用轻量级深度神经网络对输入指代信息和个人图像进行并行编码，生成图像与文本信息充分融合的多尺度视觉特征，在解码过程中，通过多尺度特征融合和掩码定位增强模块，生成稳定的指定个人隐私保护图像掩码，此外，引入平衡二元交叉熵损失来解决训练中的像素不平衡问题，优化网络性能，提高个人图像隐私保护效果。本发明可以解决现有个人图像隐私保护技术中存在内容过度保护以及指代个人图像隐私保护网络在训练中存在的像素不平衡问题。在训练中存在的像素不平衡问题。在训练中存在的像素不平衡问题。


技术研发人员：李智勇 陈嘉俊 林家丞 肖志强 付浩龙 王子安 刘函豪 郭一呼
受保护的技术使用者：湖南大学
技术研发日：2023.07.06
技术公布日：2023/10/7