基于场景识别的辅助拍照方法及系统与流程

1.本发明涉及数据处理技术，尤其涉及一种基于场景识别的辅助拍照方法及系统。


背景技术：

2.隐私问题一直是大众所密切关注的问题，尤其是在一些特定的场景下，如何有效地对隐私进行监管，是困扰着人们的一个非常重要的问题。目前，手机或平板电脑等电子设备都具有拍照功能，随着电子设备上拍照功能的进一步升级，拍照所带来的隐私问题也逐渐受到重视。
3.现有技术中，通过电子设备所拍摄的照片通常都会进行自动保存，人们在对照片中某些区域进行隐私处理时，一般会对保存好的照片进行二次处理，例如添加马赛克或者进行抠图等，但是通过这种后期加工的方式，很容易就会被不法人员破解，例如采用去除马赛克等方式破解，从而可能导致人们的隐私遭到泄露。
4.因此，如何结合用户的需求从根本上消除照片中的隐私区域，提高照片的保密性成了如今亟需解决的问题。


技术实现要素：

5.本发明实施例提供一种基于场景识别的辅助拍照方法及系统，可以结合用户的需求从根本上消除照片中的隐私区域，提高照片的保密性。
6.本发明实施例的第一方面，提供一种基于场景识别的辅助拍照方法，包括：响应用户输入的安全拍照模式，对拍照端取景框内的实时图像帧进行采集，提取所述实时图像帧中的多个第一物体轮廓展示给拍照端，获取用户基于拍照端选中的所述第一物体轮廓作为去除轮廓；基于用户的拍摄动作获取当前实时图像帧作为待处理图像，获取待处理图像中的多个第二物体轮廓，将所述去除轮廓与各第二物体轮廓进行形状比对，确定待处理图像中与所述去除轮廓对应的第二物体轮廓作为消除轮廓；获取待处理图像中与所述消除轮廓对应的区域为消除区域，根据所述消除区域的区域面积得到划分数量，基于所述划分数量对所述消除区域进行区域划分，得到多个填充区域；提取各填充区域的边缘像素点作为填充像素点，根据填充像素点的平均像素值得到各填充区域对应的填充像素值，基于填充像素值对待处理图像中相应的填充区域进行填充，得到保存图像。
7.可选地，在第一方面的一种可能实现方式中，将所述去除轮廓与各第二物体轮廓进行形状比对，确定待处理图像中与所述去除轮廓对应的第二物体轮廓作为消除轮廓，包括：根据轮廓比对模型对去除轮廓和各第二物体轮廓进行形状对比；或，根据去除轮廓和各第二物体轮廓对应的极值点坐标对去除轮廓和各第二物体轮
廓进行形状对比，得到待处理图像中与去除轮廓对应的第二物体轮廓作为消除轮廓。
8.可选地，在第一方面的一种可能实现方式中，根据去除轮廓和各第二物体轮廓对应的极值点坐标对去除轮廓和各第二物体轮廓进行形状对比，得到待处理图像中与去除轮廓对应的第二物体轮廓作为消除轮廓，包括：根据去除轮廓和各第二物体轮廓对应的极值点坐标进行计算，得到去除轮廓和各第二物体轮廓对应的第一形状相似值和第二形状相似值；基于所述第一形状相似值和第二形状相似值计算得到融合相似值，获取融合相似值最大的第二物体轮廓作为消除轮廓；通过以下公式计算融合相似值，；其中，为融合相似值，为第一形状相似值，为第一形状相似值权重值，为第二形状相似值，为第二形状相似值权重值。
9.可选地，在第一方面的一种可能实现方式中，通过以下步骤计算第一形状相似值，包括：获取去除轮廓对应的第一最大x轴坐标点、第一最小x轴坐标点、第一最大y轴坐标点和第一最小y轴坐标点，以及各第二物体轮廓对应的第二最大x轴坐标点、第二最小x轴坐标点、第二最大y轴坐标点和第二最小y轴坐标点；根据第一最大x轴坐标点、第一最小x轴坐标点得到去除轮廓对应的第一x轴距离值，根据第一最大y轴坐标点、第一最小y轴坐标点得到去除轮廓对应的第一y轴距离值，基于第一x轴距离值和第一y轴距离值得到去除轮廓对应的第一距离比值；根据第二最大x轴坐标点、第二最小x轴坐标点得到各第二物体轮廓对应的第二x轴距离值，根据第二最大y轴坐标点、第二最小y轴坐标点得到各第二物体轮廓对应的第二y轴距离值，基于第二x轴距离值和第二y轴距离值得到各第二物体轮廓对应的第二距离比值；基于第一距离比值和第二距离比值得到去除轮廓和各第二物体轮廓对应的第一形状相似值。
10.可选地，在第一方面的一种可能实现方式中，基于第一距离比值和第二距离比值得到去除轮廓和各第二物体轮廓对应的第一形状相似值，包括：根据第一距离比值和第二距离比值得到距离差值，基于距离差值计算得到第一形状相似值；通过以下公式计算第一形状相似值，；其中，为第一x轴距离值，为第一y轴距离值，为第一距离比值，为第二x轴距离值，为第二y轴距离值，为第二距离比值，为距离差值，为
距离差值权重值。
11.可选地，在第一方面的一种可能实现方式中，通过以下步骤计算第二形状相似值，包括：根据第一最大x轴坐标点、第一最小x轴坐标点得到去除轮廓对应的第一x轴斜率，根据第一最大y轴坐标点、第一最小y轴坐标点得到去除轮廓对应的第一y轴斜率，基于第一x轴斜率和第一y轴斜率得到去除轮廓对应的第一夹角；根据第二最大x轴坐标点、第二最小x轴坐标点得到各第二物体轮廓对应的第二x轴斜率，根据第二最大y轴坐标点、第二最小y轴坐标点得到各第二物体轮廓对应的第二y轴斜率，基于第二x轴斜率和第二y轴斜率得到各第二物体轮廓对应的第二夹角；基于第一夹角和第二夹角得到去除轮廓和各第二物体轮廓对应的第二形状相似值。
12.可选地，在第一方面的一种可能实现方式中，基于第一夹角和第二夹角得到去除轮廓和各第二物体轮廓对应的第二形状相似值，包括：根据第一夹角和第二夹角得到夹角差值，基于夹角差值计算得到第二形状相似值；通过以下公式计算第二形状相似值，；其中，为第二形状相似值，为第一夹角，为第二夹角，为预设夹角差值，为夹角差值权重值。
13.可选地，在第一方面的一种可能实现方式中，根据所述消除区域的区域面积得到划分数量，基于所述划分数量对所述消除区域进行区域划分，得到多个填充区域，包括：统计消除区域所对应的像素点总数量，根据像素点总数量对基准区域数量进行偏移得到划分数量；获取消除区域的边缘像素点数量，根据边缘像素点数量和划分数量的比值得到间隔像素点数量；确定消除区域的边缘线上任意一个边缘像素点作为第一个划分点，以第一个划分点为起点，顺时针获取消除区域的边缘线上位于间隔像素点数量处的边缘像素点作为下一个划分点；以当前的划分点为起点，顺时针获取消除区域的边缘线上位于间隔像素点数量处的边缘像素点作为下一个划分点，重复上述步骤，直至下一个划分点为第一个划分点时停止获取；获取消除区域的中心点，连接中心点与各划分点得到多条划分线，根据多条划分线对消除区域进行划分，得到多个填充区域。
14.可选地，在第一方面的一种可能实现方式中，在获取待处理图像中与所述消除轮廓对应的区域为消除区域之前，还包括：响应用户触发的主动规划信息，调用透明抠图图层展示在所述待处理图像上方，基于所述透明抠图图层接收用户输入的触发痕迹，根据所述触发痕迹得到主动规划轮廓，
并将所述主动规划轮廓添加至消除轮廓中。
15.本发明实施例的第二方面，提供一种基于场景识别的辅助拍照系统，包括：选取模块，用于响应用户输入的安全拍照模式，对拍照端取景框内的实时图像帧进行采集，提取所述实时图像帧中的多个第一物体轮廓展示给拍照端，获取用户基于拍照端选中的所述第一物体轮廓作为去除轮廓；消除模块，用于基于用户的拍摄动作获取当前实时图像帧作为待处理图像，获取待处理图像中的多个第二物体轮廓，将所述去除轮廓与各第二物体轮廓进行形状比对，确定待处理图像中与所述去除轮廓对应的第二物体轮廓作为消除轮廓；填充模块，用于获取待处理图像中与所述消除轮廓对应的区域为消除区域，根据所述消除区域的区域面积得到划分数量，基于所述划分数量对所述消除区域进行区域划分，得到多个填充区域；保存模块，用于提取各填充区域的边缘像素点作为填充像素点，根据填充像素点的平均像素值得到各填充区域对应的填充像素值，基于填充像素值对待处理图像中相应的填充区域进行填充，得到保存图像。
16.本发明的有益效果如下：1、本发明通过在将照片进行保存前就对照片中相应的隐私区域进行消除，可以使照片在后续不易被破解，提高照片的保密性。在对照片中相应的隐私区域进行消除时，本发明会对轮廓进行识别，同时会将用户选定的去除轮廓与待处理图像中的各第二物体轮廓进行形状比对，从而找到待处理图像中与用户选定的去除轮廓所对应的消除轮廓，以及该消除轮廓所对应的消除区域对其进行填充消除，还会将用户主动规划的轮廓区域也作为消除区域对其进行消除填充，这样不仅可以提高轮廓对比时的准确性，还可以根据用户的实际需求对相应的隐私区域进行消除，本发明通过上述方式，可以在拍摄图片时就对用户交互的隐私区域从根本上进行消除，也就是本方案不会对隐私区域进行数据采集，在隐私区域所采集到的数据是填充的虚假数据，即使被二次处理，得到的也是虚假数据，不会对用户产生隐私安全，相对于后期对照片中的隐私区域进行二次加工的方式，本发明所采用的方式保密性会相对更高。
17.2、本发明在将用户选定的去除轮廓和待处理图像中的第二物体轮廓进行形状比对时，会首先依据去除轮廓和各第二物体轮廓的极值点坐标生成第一形状相似值和第二形状相似值，再依据第一形状相似值和第二形状相似值得到的融合相似值对其进行比对。其中，第一形状相似值是指去除轮廓和第二物体轮廓之间相应线段的距离比值的相似值，第二形状相似值是指去除轮廓和第二物体轮廓之间相应线段的夹角的相似值。通过这两个维度的相似值之间的比对，可以使轮廓比对时的数据更加准确，并且以极值点坐标从两个维度的数据对去除轮廓和第二物体轮廓之间的形状相似度进行比对，也可以减少轮廓比对时的数据处理量，提高轮廓比对时的效率。
18.3、本发明在对消除区域进行填充时，会依据消除区域的区域面积将消除区域划分为多个填充区域进行填充，使得填充后的区域可以相对较好的与图像背景相融合。在划分填充区域时，会依据划分数量和消除区域的边缘像素点数量得到消除区域边缘上的多个划分点，然后通过消除区域的中心点和各划分点连接而成的划分线将消除区域划分为多个填充区域，这样可以使各填充区域内部的填充像素值与其外部边缘的像素值可以相对接近一
些，可以减少填充时的违和感，使得填充后的图像可以更加自然一些。
附图说明
19.图1为本发明实施例提供的一种基于场景识别的辅助拍照方法示意图；图2为本发明实施例提供的一种基于场景识别的辅助拍照系统的结构示意图；图3为本发明实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
20.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.参见图1，是本发明实施例提供的一种基于场景识别的辅助拍照方法示意图，图1所示方法的执行主体可以是软件和/或硬件装置。本技术的执行主体可以包括但不限于以下中的至少一个：用户设备、网络设备等。其中，用户设备可以包括但不限于计算机、智能手机、个人数字助理（personal digital assistant，简称：pda）及上述提及的电子设备等。网络设备可以包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机。本实施例对此不做限制。包括步骤s1至步骤s4，具体如下：s1，响应用户输入的安全拍照模式，对拍照端取景框内的实时图像帧进行采集，提取所述实时图像帧中的多个第一物体轮廓展示给拍照端，获取用户基于拍照端选中的所述第一物体轮廓作为去除轮廓。
22.在实际应用中，通过电子设备拍摄的照片通常会进行自动保存，这样用户在后期对照片中的隐私区域进行处理后有很大可能会被他人所破解，从而导致用户的隐私遭到泄露。
23.因此，本发明会在用户进行拍摄时设置安全拍照模式和正常拍照模式，当用户启动安全拍照模式时，本发明会在照片进行保存前就对用户选定的隐私区域进行相应的处理，从而使保存的照片不易被破解，提高照片的保密性。当用户启动正常拍照模式时，可以按照一般的方式对照片进行保存，以便于依据用户的实际需求对照片进行相应的存储。
24.具体的，当用户启动安全拍照模式后，本发明会将拍照端，例如手机的相机取景框中多个物体的轮廓展示给用户，然后将用户选中的轮廓作为后期需要消除的物体所对应的轮廓，即上述去除轮廓。
25.通过步骤s1，用户在选择安全拍照模式时，本方案可以从根本上去除照片中的隐私区域，从而对用户的隐私数据进行保护，提高照片的保密性。
26.s2，基于用户的拍摄动作获取当前实时图像帧作为待处理图像，获取待处理图像中的多个第二物体轮廓，将所述去除轮廓与各第二物体轮廓进行形状比对，确定待处理图像中与所述去除轮廓对应的第二物体轮廓作为消除轮廓。
27.可以理解的是，本发明会在拍摄图片时就找到待处理图像中与用户选择的去除轮
廓对应的消除轮廓，从而可以在后续将用户选择的隐私区域从根本上进行消除，也就是本方案在后续不会对隐私区域进行数据采集，在隐私区域所采集到的数据是填充的虚假数据，即使被二次处理，得到的也是虚假数据，不会对用户产生隐私安全。
28.其中，拍摄动作可以是按下快门。例如，可以在用户按下快门时截取相应的图像帧作为上述待处理图像。
29.具体的，为了找到待处理图像中与用户选择的去除轮廓对应的消除轮廓，本发明会将去除轮廓与待处理图像中的多个第二物体轮廓进行形状比对，从而找到多个第二物体轮廓中与去除轮廓对应的消除轮廓，在进行形状比对时，可以采用以下两种方式：其中，第一种方式可以根据轮廓比对模型对去除轮廓和各第二物体轮廓进行形状对比。
30.轮廓比对模型可以是现有技术中的任意一种轮廓比对模型，例如可以是时间差分模型。
31.另外一种方式可以根据去除轮廓和各第二物体轮廓对应的极值点坐标对去除轮廓和各第二物体轮廓进行形状对比，得到待处理图像中与去除轮廓对应的第二物体轮廓作为消除轮廓。
32.需要说明的是，使用该方式识别的物体最好是静态不变的，在这种情况下，本方案的识别准确度较高，对于动态物体，该方式识别的不够精准，后续会采用轮廓跟踪的技术进行相应的专利布局，本专利对此不做阐述。
33.具体的，该方式的可以通过以下步骤实现：s21，根据去除轮廓和各第二物体轮廓对应的极值点坐标进行计算，得到去除轮廓和各第二物体轮廓对应的第一形状相似值和第二形状相似值。
34.可以理解的是，在拍摄静态物体时，静态物体的形状通常是不会发生改变的，因此在比对去除轮廓和各第二物体轮廓时可以将它们的形状进行比对，从而在后续找到与去除轮廓所对应的第二物体轮廓。
35.本发明在对比形状时，采用的是通过去除轮廓和各第二物体轮廓对应的极值点坐标得到的第一形状相似值和第二形状相似值对其进行比对的方式。其中，第一形状相似值是指去除轮廓对应的极值点坐标生成的线段之间的距离比值，与各第二物体轮廓对应的极值点坐标生成的线段之间的距离比值的相似值。第二形状相似值是指去除轮廓对应的极值点坐标生成的线段夹角，与各第二物体轮廓对应的极值点坐标生成的线段夹角的相似值。
36.由于静态物体的形状通常情况下是不会发生变化的，在其处于不变的情况下，其对应的极值点生成的线段之间的距离比值和夹角可能也不会发生改变，因此可以通过极值点坐标来对去除轮廓和各第二物体轮廓之间的形状相似度进行比对。
37.在一些实施例中，可以通过以下步骤得到第一形状相似值：s211，获取去除轮廓对应的第一最大x轴坐标点、第一最小x轴坐标点、第一最大y轴坐标点和第一最小y轴坐标点，以及各第二物体轮廓对应的第二最大x轴坐标点、第二最小x轴坐标点、第二最大y轴坐标点和第二最小y轴坐标点。
38.具体的，在获取去除轮廓对和各第二物体轮廓对应的极值点坐标时，可以先对去除轮廓和第二物体轮廓进行坐标化处理，再获取到其对应的最大x轴坐标点、最小x轴坐标点、最大y轴坐标点和最小y轴坐标点。
39.s212，根据第一最大x轴坐标点、第一最小x轴坐标点得到去除轮廓对应的第一x轴距离值，根据第一最大y轴坐标点、第一最小y轴坐标点得到去除轮廓对应的第一y轴距离值，基于第一x轴距离值和第一y轴距离值得到去除轮廓对应的第一距离比值。
40.上述第一x轴距离值可以通过以下公式计算得到，；其中，为第一x轴距离值，为第一最大x轴坐标点的x轴坐标，为第一最小x轴坐标点的x轴坐标，为第一最大x轴坐标点的y轴坐标，为第一最小x轴坐标点的y轴坐标。
41.同样的，上述第一y轴距离值也可以通过与第一x轴距离值相同的方式得到，在此不做赘述。
42.进一步的，在得到第一x轴距离值和第一y轴距离值后，可以通过它们的比值得到第一距离比值。
43.s213，根据第二最大x轴坐标点、第二最小x轴坐标点得到各第二物体轮廓对应的第二x轴距离值，根据第二最大y轴坐标点、第二最小y轴坐标点得到各第二物体轮廓对应的第二y轴距离值，基于第二x轴距离值和第二y轴距离值得到各第二物体轮廓对应的第二距离比值。
44.得到上述第二x轴距离值和第二y轴距离值的方式与得到第一x轴距离值的方式类似，在此不做赘述。
45.同样的，在得到第二x轴距离值和第二y轴距离值后，可以通过它们的比值得到第二距离比值。
46.s214，基于第一距离比值和第二距离比值得到去除轮廓和各第二物体轮廓对应的第一形状相似值。
47.根据第一距离比值和第二距离比值得到距离差值，基于距离差值计算得到第一形状相似值。
48.可以理解的是，通过比对去除轮廓和第二物体轮廓之间相应线段的距离比值的差值，可以判断去除轮廓和第二物体轮廓之间的形状相似值，当它们两者的形状越相近时，它们之间相应线段的距离比值的差值可能也会越小，当它们形状差距越大时，它们之间相应线段的距离比值的差值可能也会越大。
49.具体的，可以通过以下公式计算第一形状相似值，；其中，为第一x轴距离值，为第一y轴距离值，为第一距离比值，为第二x轴距离值，为第二y轴距离值，为第二距离比值，为距离差值，为距离差值权重值。
50.从上述公式中可以看出，距离差值越大，说明比对的去除轮廓和第二物体轮廓之间相应线段的距离比值可能相差也会越大，两者形状的相似度可能也会越小，因此第一形状相似值也会越小。相反的，距离差值越小，说明比对的去除轮廓和第二物体轮廓之间相应线段的距离比值可能相差也会越小，两者形状的相似度可能也会越大，因此第一形状相似值也会越大。
51.此外，在另一些实施例中，可以通过以下步骤得到第二形状相似值：s215，根据第一最大x轴坐标点、第一最小x轴坐标点得到去除轮廓对应的第一x轴斜率，根据第一最大y轴坐标点、第一最小y轴坐标点得到去除轮廓对应的第一y轴斜率，基于第一x轴斜率和第一y轴斜率得到去除轮廓对应的第一夹角。
52.上述第一x轴斜率可以通过以下公式计算得到，；其中，为第一x轴斜率。
53.同样的，上述第一y轴斜率也可以通过与第一x轴斜率相同的方式得到，本发明在此不做赘述。
54.进一步的，得到第一最大x轴坐标点和第一最小x轴坐标点对应线段的第一x轴斜率，以及第一最大y轴坐标点、第一最小y轴坐标点对应线段的第一y轴斜率后，便可以通过两条直线的夹角公式计算它们之间的夹角大小。
55.s216，根据第二最大x轴坐标点、第二最小x轴坐标点得到各第二物体轮廓对应的第二x轴斜率，根据第二最大y轴坐标点、第二最小y轴坐标点得到各第二物体轮廓对应的第二y轴斜率，基于第二x轴斜率和第二y轴斜率得到各第二物体轮廓对应的第二夹角。
56.得到第二x轴斜率和第二y轴斜率的方式与得到第一x轴斜率的方式相同，在此不做赘述。
57.同样的，在得到第二最大x轴坐标点和第二最小x轴坐标点对应线段的第二x轴斜率，以及第二最大y轴坐标点、第二最小y轴坐标点对应线段的第二y轴斜率后，便可以通过两条直线的夹角公式计算它们之间的夹角大小。
58.s217，基于第一夹角和第二夹角得到去除轮廓和各第二物体轮廓对应的第二形状相似值。
59.根据第一夹角和第二夹角得到夹角差值，基于夹角差值计算得到第二形状相似值。
60.可以理解的是，通过比对去除轮廓和第二物体轮廓之间相应线段的夹角大小，也可以判断去除轮廓和第二物体轮廓之间的形状相似值，当它们两者的形状越相近时，它们之间相应线段的夹角可能变化也会越小，当它们形状差距越大时，它们之间相应线段的夹角可能变化也会越大。
61.通过以下公式计算第二形状相似值，
；其中，为第二形状相似值，为第一夹角，为第二夹角，为预设夹角差值，为夹角差值权重值。
62.从上述公式中可以看出，夹角差值越大，说明比对的去除轮廓和第二物体轮廓之间相应线段的夹角可能也会相差越大，两者形状的相似度可能也会越小，因此第二形状相似值也会越小。相反的，夹角差值越小，说明比对的去除轮廓和第二物体轮廓之间相应线段的夹角可能也会相差越小，两者形状的相似度可能也会越大，因此第二形状相似值也会越大。
63.在实际应用中，上述第一夹角和第二夹角可以采用现有技术对其进行计算，例如第一夹角可以是。
64.进一步的，为了使得到的数据更加准确，本发明在得到第一形状相似值和第二形状相似值后，还会对它们进行融合计算，通过它们之间的融合来进一步判断去除轮廓和第二物体轮廓之间的相似程度，具体包括步骤s22：s22，基于所述第一形状相似值和第二形状相似值计算得到融合相似值，获取融合相似值最大的第二物体轮廓作为消除轮廓。
65.融合相似值越大，说明去除轮廓和第二物体轮廓之间相应线段的距离比值和夹角大小可能也会越相近，两者之间的形状相似程度可能也会越高，因此可以选择融合相似值最大的第二物体轮廓作为与去除轮廓对应的消除轮廓。
66.具体的，可以通过以下公式计算融合相似值，；其中，为融合相似值，为第一形状相似值，为第一形状相似值权重值，为第二形状相似值，为第二形状相似值权重值。
67.从上述公式中可以看出，融合相似值越大，说明去除轮廓和第二物体轮廓之间相应线段的距离比值和夹角大小可能也会越大，两者之间的形状可能也会越相似。相反的，融合相似值越小，说明去除轮廓和第二物体轮廓之间相应线段的距离比值和夹角大小可能也会越小，两者之间的形状可能也会相差越大。
68.在实际应用中，第一形状相似值权重值和第二形状相似值权重值可以依据实际情况进行设置。例如，可以将第一形状相似值和第二形状相似值中相对重要的相似值对应的权重值设置的大一些。
69.通过上述方式得到的融合相似值，可以通过极值点坐标从两个维度的数据对去除轮廓和第二物体轮廓之间的形状相似度进行比对，不仅可以提高轮廓对比时的准确性，还可以减少轮廓比对时的数据处理量。
70.此外，除了通过上述方式得到的消除轮廓，在一些实施例中，本发明还会通过以下步骤来得到消除轮廓：响应用户触发的主动规划信息，调用透明抠图图层展示在所述待处理图像上方，基于所述透明抠图图层接收用户输入的触发痕迹，根据所述触发痕迹得到主动规划轮廓，并将所述主动规划轮廓添加至消除轮廓中。
71.可以理解的是，有些隐私区域的轮廓可能不易被识别，例如手臂上的纹身可能会由于不完整而不易被识别，因此除了自动识别的消除轮廓外，还可以基于用户自己选择的区域来得到消除轮廓。
72.其中，主动规划信息可以根据用户的需求来进行启动，当用户不需要主动消除图像中的相应区域时可以不对其进行响应。
73.具体的，当用户触发主动规划信息后，可以将用户在透明抠图图层输入的触发痕迹得到的轮廓也作为消除轮廓。
74.s3，获取待处理图像中与所述消除轮廓对应的区域为消除区域，根据所述消除区域的区域面积得到划分数量，基于所述划分数量对所述消除区域进行区域划分，得到多个填充区域。
75.在实际应用中，消除轮廓边缘外部的颜色可能会有多种，用一种颜色填充消除轮廓所对应的区域可能会使填充后的区域不能很好的与背景融合，因此可以将消除区域划分为多个区域后再对其进行填充。
76.在填充时，消除区域的面积越大，其填充时在背景中所占的区域也会越大，因此为了使填充后的区域可以相对较好的与背景进行融合，可以依据消除区域的面积大小对区域进行划分，面积越大，划分的区域也可以相对越多，以使填充后的区域像素值可以与背景像素值更加接近一些。
77.具体的，在上述实施例的基础上步骤s3的具体实现方式可以是：s31，统计消除区域所对应的像素点总数量，根据像素点总数量对基准区域数量进行偏移得到划分数量。
78.上述划分数量可以通过以下公式计算得到，；其中，为划分数量，为像素点总数量，为基准像素点数量，为基准区域数量，为划分数量权重值。
79.从上述公式中可以看出，像素点总数量越大，说明消除区域所对应的面积也就越大，在填充时在背景中所占的区域也会越大，其区域边缘在背景中所涵盖的像素值可能也会越多，因此划分数量也可以设置的越大，以使得使填充后的区域可以相对较好的与背景进行融合。
80.相反的，像素点总数量越小，说明消除区域所对应的面积也就越小，在填充时在背景中所占的区域也会越小，其区域边缘在背景中所涵盖的像素值可能也会越少，因此划分数量也可以设置的越小，以使得使填充后的区域可以相对较好的与背景进行融合。
81.s32，获取消除区域的边缘像素点数量，根据边缘像素点数量和划分数量的比值得到间隔像素点数量。
82.在进行区域划分时，由于已经得到了消除区域的划分数量，因此可以基于消除区域的边缘像素点数量和划分数量的比值，得到消除区域边缘上对应的划分点之间的间隔距离，即间隔像素点数量，再在后续将其在边缘上得到的划分点分别和中心点相连接就可以将消除区域划分为多个填充区域。
83.这样划分可以使消除区域填充后的像素值更好与消除区域的边缘外部所对应的像素值相融合，使保存时的图像可以相对自然。
84.s33，确定消除区域的边缘线上任意一个边缘像素点作为第一个划分点，以第一个划分点为起点，顺时针获取消除区域的边缘线上位于间隔像素点数量处的边缘像素点作为下一个划分点。
85.在确定消除区域的边缘所对应的划分点时，可以随机取任意一个像素点作为第一个划分点，然后再顺时针获取位于间隔像素点数量处的像素点作为下一个划分点。另外，也可以由第一个划分点逆时针获取下一个划分点。
86.s34，以当前的划分点为起点，顺时针获取消除区域的边缘线上位于间隔像素点数量处的边缘像素点作为下一个划分点，重复上述步骤，直至下一个划分点为第一个划分点时停止获取。
87.同样的，在获取下一个划分点时，也可以以当前的划分点为起点，通过步骤s33中一样的方式得到下一个划分点，当下一个划分点为第一个划分点，说明此时所有的划分点已经获取完毕，因此可以停止继续获取划分点。
88.s35，获取消除区域的中心点，连接中心点与各划分点得到多条划分线，根据多条划分线对消除区域进行划分，得到多个填充区域。
89.在实际应用中，在获取消除区域的中心点时，可以首先对消除区域进行坐标化处理，得到消除区域中每个像素点的坐标，然后找到多个坐标中的最大x轴坐标值、最小x轴坐标值、最大y轴坐标值、最小y轴坐标值，然后依据最大x轴坐标值和最小x轴坐标值的差值的中间值得到中心点坐标的x轴坐标值，依据最大y轴坐标值和最小y轴坐标值的差值的中间值得到中心点坐标的y轴坐标值，最后结合中心点坐标对应的x轴坐标值和y轴坐标值得到消除区域的中心点。
90.在得到中心点后，可以依据中心点与各划分点连接的多条划分线将消除区域划分为多个填充区域。
91.s4，提取各填充区域的边缘像素点作为填充像素点，根据填充像素点的平均像素值得到各填充区域对应的填充像素值，基于填充像素值对待处理图像中相应的填充区域进行填充，得到保存图像。
92.需要说明的是，填充时的填充像素点是与消除轮廓相邻的外部像素点，这样可以减少由于消除轮廓的轮廓线的像素值与消除轮廓的边缘外部的像素值不一样而造成的违和感。例如，可能会出现消除轮廓的轮廓线为黑色，而消除轮廓的边缘外部是其他颜色的情况。
93.通过上述方式，可以使消除区域填充后的像素值更好的与消除区域的边缘外部的像素值相融合，减少填充时所带的违和感，使保存的图像可以相对较自然。
specific integrated circuits，简称：asic)中。另外，该asic可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器（rom）、随机存取存储器（ram）、cd-rom、磁带、软盘和光数据存储设备等。
105.本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
106.在上述设备的实施例中，应理解，处理器可以是中央处理单元（英文：central processing unit，简称：cpu），还可以是其他通用处理器、数字信号处理器（英文：digital signal processor，简称：dsp）、专用集成电路（英文：application specific integrated circuit，简称：asic）等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
107.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种基于场景识别的辅助拍照方法，其特征在于，包括：响应用户输入的安全拍照模式，对拍照端取景框内的实时图像帧进行采集，提取所述实时图像帧中的多个第一物体轮廓展示给拍照端，获取用户基于拍照端选中的所述第一物体轮廓作为去除轮廓；基于用户的拍摄动作获取当前实时图像帧作为待处理图像，获取待处理图像中的多个第二物体轮廓，将所述去除轮廓与各第二物体轮廓进行形状比对，确定待处理图像中与所述去除轮廓对应的第二物体轮廓作为消除轮廓；获取待处理图像中与所述消除轮廓对应的区域为消除区域，根据所述消除区域的区域面积得到划分数量，基于所述划分数量对所述消除区域进行区域划分，得到多个填充区域；提取各填充区域的边缘像素点作为填充像素点，根据填充像素点的平均像素值得到各填充区域对应的填充像素值，基于填充像素值对待处理图像中相应的填充区域进行填充，得到保存图像。2.根据权利要求1所述的方法，其特征在于，将所述去除轮廓与各第二物体轮廓进行形状比对，确定待处理图像中与所述去除轮廓对应的第二物体轮廓作为消除轮廓，包括：根据轮廓比对模型对去除轮廓和各第二物体轮廓进行形状对比；或，根据去除轮廓和各第二物体轮廓对应的极值点坐标对去除轮廓和各第二物体轮廓进行形状对比，得到待处理图像中与去除轮廓对应的第二物体轮廓作为消除轮廓。3.根据权利要求2所述的方法，其特征在于，根据去除轮廓和各第二物体轮廓对应的极值点坐标对去除轮廓和各第二物体轮廓进行形状对比，得到待处理图像中与去除轮廓对应的第二物体轮廓作为消除轮廓，包括：根据去除轮廓和各第二物体轮廓对应的极值点坐标进行计算，得到去除轮廓和各第二物体轮廓对应的第一形状相似值和第二形状相似值；基于所述第一形状相似值和第二形状相似值计算得到融合相似值，获取融合相似值最大的第二物体轮廓作为消除轮廓；通过以下公式计算融合相似值，；其中，为融合相似值，为第一形状相似值，为第一形状相似值权重值，为第二形状相似值，为第二形状相似值权重值。4.根据权利要求3所述的方法，其特征在于，通过以下步骤计算第一形状相似值，包括：获取去除轮廓对应的第一最大x轴坐标点、第一最小x轴坐标点、第一最大y轴坐标点和第一最小y轴坐标点，以及各第二物体轮廓对应的第二最大x轴坐标点、第二最小x轴坐标点、第二最大y轴坐标点和第二最小y轴坐标点；根据第一最大x轴坐标点、第一最小x轴坐标点得到去除轮廓对应的第一x轴距离值，根据第一最大y轴坐标点、第一最小y轴坐标点得到去除轮廓对应的第一y轴距离值，基于第一x轴距离值和第一y轴距离值得到去除轮廓对应的第一距离比值；根据第二最大x轴坐标点、第二最小x轴坐标点得到各第二物体轮廓对应的第二x轴距
离值，根据第二最大y轴坐标点、第二最小y轴坐标点得到各第二物体轮廓对应的第二y轴距离值，基于第二x轴距离值和第二y轴距离值得到各第二物体轮廓对应的第二距离比值；基于第一距离比值和第二距离比值得到去除轮廓和各第二物体轮廓对应的第一形状相似值。5.根据权利要求4所述的方法，其特征在于，基于第一距离比值和第二距离比值得到去除轮廓和各第二物体轮廓对应的第一形状相似值，包括：根据第一距离比值和第二距离比值得到距离差值，基于距离差值计算得到第一形状相似值；通过以下公式计算第一形状相似值，；其中，为第一x轴距离值，为第一y轴距离值，为第一距离比值，为第二x轴距离值，为第二y轴距离值，为第二距离比值，为距离差值，为距离差值权重值。6.根据权利要求5所述的方法，其特征在于，通过以下步骤计算第二形状相似值，包括：根据第一最大x轴坐标点、第一最小x轴坐标点得到去除轮廓对应的第一x轴斜率，根据第一最大y轴坐标点、第一最小y轴坐标点得到去除轮廓对应的第一y轴斜率，基于第一x轴斜率和第一y轴斜率得到去除轮廓对应的第一夹角；根据第二最大x轴坐标点、第二最小x轴坐标点得到各第二物体轮廓对应的第二x轴斜率，根据第二最大y轴坐标点、第二最小y轴坐标点得到各第二物体轮廓对应的第二y轴斜率，基于第二x轴斜率和第二y轴斜率得到各第二物体轮廓对应的第二夹角；基于第一夹角和第二夹角得到去除轮廓和各第二物体轮廓对应的第二形状相似值。7.根据权利要求6所述的方法，其特征在于，基于第一夹角和第二夹角得到去除轮廓和各第二物体轮廓对应的第二形状相似值，包括：根据第一夹角和第二夹角得到夹角差值，基于夹角差值计算得到第二形状相似值；通过以下公式计算第二形状相似值，；其中，为第二形状相似值，为第一夹角，为第二夹角，为预设夹角差值，为夹角差值权重值。8.根据权利要求1所述的方法，其特征在于，根据所述消除区域的区域面积得到划分数量，基于所述划分数量对所述消除区域进行区域划分，得到多个填充区域，包括：
统计消除区域所对应的像素点总数量，根据像素点总数量对基准区域数量进行偏移得到划分数量；获取消除区域的边缘像素点数量，根据边缘像素点数量和划分数量的比值得到间隔像素点数量；确定消除区域的边缘线上任意一个边缘像素点作为第一个划分点，以第一个划分点为起点，顺时针获取消除区域的边缘线上位于间隔像素点数量处的边缘像素点作为下一个划分点；以当前的划分点为起点，顺时针获取消除区域的边缘线上位于间隔像素点数量处的边缘像素点作为下一个划分点，重复上述步骤，直至下一个划分点为第一个划分点时停止获取；获取消除区域的中心点，连接中心点与各划分点得到多条划分线，根据多条划分线对消除区域进行划分，得到多个填充区域。9.根据权利要求8所述的方法，其特征在于，在获取待处理图像中与所述消除轮廓对应的区域为消除区域之前，还包括：响应用户触发的主动规划信息，调用透明抠图图层展示在所述待处理图像上方，基于所述透明抠图图层接收用户输入的触发痕迹，根据所述触发痕迹得到主动规划轮廓，并将所述主动规划轮廓添加至消除轮廓中。10.一种基于场景识别的辅助拍照系统，其特征在于，包括：选取模块，用于响应用户输入的安全拍照模式，对拍照端取景框内的实时图像帧进行采集，提取所述实时图像帧中的多个第一物体轮廓展示给拍照端，获取用户基于拍照端选中的所述第一物体轮廓作为去除轮廓；消除模块，用于基于用户的拍摄动作获取当前实时图像帧作为待处理图像，获取待处理图像中的多个第二物体轮廓，将所述去除轮廓与各第二物体轮廓进行形状比对，确定待处理图像中与所述去除轮廓对应的第二物体轮廓作为消除轮廓；填充模块，用于获取待处理图像中与所述消除轮廓对应的区域为消除区域，根据所述消除区域的区域面积得到划分数量，基于所述划分数量对所述消除区域进行区域划分，得到多个填充区域；保存模块，用于提取各填充区域的边缘像素点作为填充像素点，根据填充像素点的平均像素值得到各填充区域对应的填充像素值，基于填充像素值对待处理图像中相应的填充区域进行填充，得到保存图像。

技术总结
本发明提供一种基于场景识别的辅助拍照方法及系统，响应用户输入的安全拍照模式，提取实时图像帧中的多个第一物体轮廓展示给拍照端，获取用户基于拍照端选中的第一物体轮廓作为去除轮廓；基于用户的拍摄动作获取当前实时图像帧作为待处理图像，获取待处理图像中的多个第二物体轮廓，将去除轮廓与各第二物体轮廓进行形状比对，确定待处理图像中与去除轮廓对应的第二物体轮廓作为消除轮廓；获取待处理图像中与消除轮廓对应的区域为消除区域，基于划分数量对消除区域进行区域划分，得到多个填充区域；根据填充像素点的平均像素值得到各填充区域对应的填充像素值，基于填充像素值对待处理图像中相应的填充区域进行填充，得到保存图像。图像。图像。


技术研发人员：林钦松 徐俊 陈兰
受保护的技术使用者：芯知科技（江苏）有限公司
技术研发日：2023.07.10
技术公布日：2023/8/9