违规图像分类方法、装置、设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种违规图像分类方法、装置、设备及存储介质。


背景技术：

2.在互联网和网络论坛飞速发展的如今，各类短视频、直播、论坛每天生产海量的图片和视频。网民基数大，受教育程度差异大，海量的内容可能会包含一些不适宜观看或者向未成年人展示的违规的场景，从而危害未成年人的健康发展。单纯依靠人力去审核这些海量内容成本很高并且无法及时检测和做出措施，并且大部分推出的违规审核只涉及正常和违规这两个类别，容易误判的同时也不能反馈给用户具体的违规信息。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供一种违规图像分类方法、装置、设备及存储介质，旨在解决现有技术违规信息不能自动实现细致分类的技术问题。
5.为实现上述目的，本发明提供了一种违规图像分类方法，所述方法包括以下步骤：
6.当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息，所述预设分类模型用于表征图像与违规分类信息之间的对应关系；
7.根据所述目标违规分类信息确定所述目标图像所属的分类类别。
8.可选地，所述当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息之前，还包括：
9.将待分类图像按照预设输入尺寸进行裁剪，得到目标图像；
10.通过预设判断模型对所述目标图像进行违规判断，以确定所述目标图像是否为违规图像。
11.可选地，所述根据所述目标违规分类信息确定所述目标图像所属的分类类别之后，还包括：
12.获取所述目标图像的账户来源信息；
13.根据所述账户来源信息确定所述目标图像的来源账户；
14.通过所述预设分类模型对所述来源账户进行风险评估，得到账户评估结果。
15.可选地，所述通过所述预设分类模型对所述来源账户进行风险评估，得到账户评估结果，包括：
16.获取所述来源账户的图像记录信息；
17.根据所述图像记录信息得到多个抽检图像；
18.通过预设分类模型对所述抽检图像进行违规分类，获得所述抽检图像的抽检违规
分类信息；
19.根据所述抽检违规分类信息确定所述来源账户的账户评估结果。
20.可选地，所述根据所述抽检违规分类信息确定所述来源账户的账户评估结果，包括：
21.根据所述抽检违规分类信息确定所述抽检图像所属的分类类别；
22.根据所述抽检图像所属的分类类别确定抽检违规率；
23.根据所述抽检违规率确定所述来源账户的账户评估结果。
24.可选地，所述根据所述抽检违规率确定所述来源账户的账户评估结果，包括：
25.当所述抽检违规率超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为黑名单账户；
26.当所述抽检违规率未超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为警告帐户。
27.可选地，所述当所述抽检违规率超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为黑名单账户之后，还包括：
28.获取所述黑名单账户的账户身份信息；
29.根据所述账户身份信息将所述黑名单账户加入违规账户名单；
30.禁止所述违规账户名单中的所述黑名单账户进行图像传输。
31.可选地，所述当所述抽检违规率未超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为警告帐户之后，还包括：
32.获取所述警告账户的登录设备信息；
33.根据所述登录设备信息向所述警告账户的登录设备发送警告信息，以提示所述警告账户避免发送违规图像。
34.可选地，所述根据所述目标违规分类信息确定所述目标图像所属的分类类别之后，还包括：
35.获取所述目标图像的图像参数信息；
36.根据所述图像参数信息确定所述目标图像的图像来源信息；
37.根据所述图像来源信息更新违规站点名单。
38.可选地，所述根据所述图像来源信息更新违规站点名单，包括：
39.根据所述图像来源信息确定所述目标图像的来源站点；
40.根据所述来源站点和所述目标图像所属的分类类别确定所述来源站点和分类类别的对应关系；
41.根据所述对应关系更新违规站点名单。
42.可选地，所述根据所述对应关系更新违规站点名单之后，还包括：
43.当接收到来自用户账户的图像传输请求时，获取图像传输信息；
44.根据所述图像传输信息确定待传输图像的传输来源站点；
45.当所述传输来源站点与所述违规站点名单中的站点相同时，拒绝所述图像传输请求，并向所述用户账户反馈图像报警信息。
46.此外，为实现上述目的，本发明还提出一种违规图像分类装置，所述违规图像分类装置包括：
47.分析模块，用于当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息，所述预设分类模型用于表征图像与违规分类信息之间的对应关系；
48.分类模块，用于根据所述目标违规分类信息确定所述目标图像所属的分类类别。
49.可选地，所述分析模块，还用于将待分类图像按照预设输入尺寸进行裁剪，得到目标图像；通过预设判断模型对所述目标图像进行违规判断，以确定所述目标图像是否为违规图像。
50.可选地，所述分类模块，还用于获取所述目标图像的账户来源信息；根据所述账户来源信息确定所述目标图像的来源账户；通过所述预设分类模型对所述来源账户进行风险评估，得到账户评估结果。
51.可选地，所述分类模块，还用于获取所述来源账户的图像记录信息；根据所述图像记录信息得到多个抽检图像；通过预设分类模型对所述抽检图像进行违规分类，获得所述抽检图像的抽检违规分类信息；根据所述抽检违规分类信息确定所述来源账户的账户评估结果。
52.可选地，所述分类模块，还用于根据所述抽检违规分类信息确定所述抽检图像所属的分类类别；根据所述抽检图像所属的分类类别确定抽检违规率；根据所述抽检违规率确定所述来源账户的账户评估结果。
53.可选地，所述分类模块，还用于当所述抽检违规率超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为黑名单账户；当所述抽检违规率未超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为警告帐户。
54.可选地，所述分类模块，还用于获取所述黑名单账户的账户身份信息；根据所述账户身份信息将所述黑名单账户加入违规账户名单；禁止所述违规账户名单中的所述黑名单账户进行图像传输。
55.此外，为实现上述目的，本发明还提出一种违规图像分类设备，所述违规图像分类设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的违规图像分类程序，所述违规图像分类程序配置为实现如上文所述的违规图像分类方法的步骤。
56.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有违规图像分类程序，所述违规图像分类程序被处理器执行时实现如上文所述的违规图像分类方法的步骤。
57.本发明当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息，所述预设分类模型用于表征图像与违规分类信息之间的对应关系；根据所述目标违规分类信息确定所述目标图像所属的分类类别。通过这种方式，实现了在目标图像被认定为违规图像之后通过预设分类模型直接对目标图像进行违规分类，得到了目标违规分类信息，然后根据目标违规分类信息得到了目标图像所述的分类类别，使得目标图像的违规具体分类可以不经过人工审核和分类直接得到，更加有效率和准确。
附图说明
58.图1是本发明实施例方案涉及的硬件运行环境的违规图像分类设备的结构示意
图；
59.图2为本发明违规图像分类方法第一实施例的流程示意图；
60.图3为本发明违规图像分类方法第二实施例的流程示意图；
61.图4为本发明违规图像分类方法第三实施例的流程示意图；
62.图5为本发明违规图像分类装置第一实施例的结构框图。
63.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
64.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
65.参照图1，图1为本发明实施例方案涉及的硬件运行环境的违规图像分类设备结构示意图。
66.如图1所示，该违规图像分类设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
67.本领域技术人员可以理解，图1中示出的结构并不构成对违规图像分类设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
68.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及违规图像分类程序。
69.在图1所示的违规图像分类设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明违规图像分类设备中的处理器1001、存储器1005可以设置在违规图像分类设备中，所述违规图像分类设备通过处理器1001调用存储器1005中存储的违规图像分类程序，并执行本发明实施例提供的违规图像分类方法。
70.本发明实施例提供了一种违规图像分类方法，参照图2，图2为本发明一种违规图像分类方法第一实施例的流程示意图。
71.本实施例中，所述违规图像分类方法包括以下步骤：
72.步骤s10：当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息，所述预设分类模型用于表征图像与违规分类信息之间的对应关系。
73.需要说明的是，本实施例的执行主体为一个服务器，该服务器可以为实体服务器，也可以是一个云服务器，主要为控制违规图像分类方法的服务器，或者其他能实现此功能的设备，本实施例对此不加以限制。
74.应理解的是，目前使用的违规图像的识别方法大多还是设立人工审核的方式进行图像的违规判定和审核，但是这种方式消耗了大量的人工成本，并且存在人工原因的错误
和误判，而同时也有用人工智能方法去审核图片是否违规的手段，但是这种手段也只能分辨图片是否违规，并不能对图片的具体违规类别做出判断。而本方案使用预设分类模型实现了对已经判断违规的图像进行违规分类，然后再根据预设分类模型输出的目标违规分类信息确定目标图像所属的分类类别，从而实现了自动对图像进行违规分类，减少人工误判的同时更有效率的进行违规图像分类。
75.在具体实施中，目标图像指的是需要被检测具体的分类类别的图像，并且目标图像需要预先经过裁剪到合适的尺寸。
76.需要说明的是，预设分类模型指的是预先设定的regnet 4.0gf模型，可以预先训练并设定输出的分类，而在使用时将目标图像输入之后可以直接输出有关于目标图像的目标违规分类信息。
77.应理解的是，目标违规分类信息中包括但不限于由预设分类模型输出的有关于目标图像的违规分类的有关信息，而违规分类信息指的是由用户或者管理员预先设定的，对于违规图像的具体分类标准，可以包括色情、低俗、敏感等等类型的具体分类，例如：色情中的重要部位裸露，以及敏感中的血腥、暴力，均可以设定为违规的分类。
78.在具体实施中，目标图像的目标违规分类信息中包括的目标图像涉及的违规分类的分类类别，其中目标图像包括的分类类别可以是一种，也可以是多种，本实施例对此不加以限制。
79.需要说明的是，所述预设分类模型用于表征图像与违规分类信息之间的对应关系指的是：预设分类模型中是利用图像和违规分类信息的对应关系进行输入和输出，例如：当输入到预设分类模型中一个图像之后，预设分类模型会根据图像与违规分类信息之间的对应关系找到图像对应的违规分类信息，而在本实施例中即为输入目标图像，输出违规分类信息。
80.进一步地，为了准确的判断目标图像是否为违规图像，步骤s10之前，还包括：将待分类图像按照预设输入尺寸进行裁剪，得到目标图像；通过预设判断模型对所述目标图像进行违规判断，以确定所述目标图像是否为违规图像。
81.应理解的是，预设输入尺寸是由用户或者管理员预先设定的输入预设判断模型的图像尺寸，所以需要将待分类图像经过裁剪得到目标图像，预设输入尺寸一般为224*224，也可以是其他尺寸，由用户或者管理员自行设定，本实施例对此不加以限制。
82.在具体实施中，待分类图像指的是需要经过违规判断以及违规分类的图像，待分类图像的来源可以是账户发送或者上传的图像，也可以是在各种论坛以及网站发表的图像，本实施例对此不加以限制。
83.需要说明的是，预设判断模型也是预先设定的regnet 4.0gf模型，但是预设判断模型与预设分类模型并不相同，预设判断模型是用于表征图像与是否违规之间的对应关系，也就是当输入任意图像之后，预设判断模型会输出判断结果，也就是输入的图像是否违规。
84.通过这种方式，实现了预先处理待分类图像得到目标图像，并且准确的判断目标图像是否为违规图像，使得图像是否违规的判断更加准确。
85.步骤s20：根据所述目标违规分类信息确定所述目标图像所属的分类类别。
86.应理解的是，根据所述目标违规分类信息确定所述目标图像所属的分类类别指的
是：根据目标违规分类信息确定目标图像所述的分类类别，分类类别即为用户在违规分类信息中设定的具体的违规类别，例如：臀部裸露、血腥、暴力等类别。其中，目标图像可以属于多个分类类别，不仅限于一个。
87.本实施例通过当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息，所述预设分类模型用于表征图像与违规分类信息之间的对应关系；根据所述目标违规分类信息确定所述目标图像所属的分类类别。通过这种方式，实现了在目标图像被认定为违规图像之后通过预设分类模型直接对目标图像进行违规分类，得到了目标违规分类信息，然后根据目标违规分类信息得到了目标图像所述的分类类别，使得目标图像的违规具体分类可以不经过人工审核和分类直接得到，更加有效率和准确。
88.参考图3，图3为本发明一种违规图像分类方法第二实施例的流程示意图。
89.基于上述第一实施例，本实施例违规图像分类方法在所述步骤s20之后，还包括：
90.步骤s201：获取所述目标图像的账户来源信息。
91.需要说明的是，账户来源信息指的是发表或者上传目标图像(待分类图像)的账户的相关信息，包括但不限于账户的身份信息、登录时间、登录方式等。
92.步骤s202：根据所述账户来源信息确定所述目标图像的来源账户。
93.应理解的是，根据所述账户来源信息确定所述目标图像的来源账户指的是从账户来源信息中抽取与账户身份相关的信息，从而确定目标图像的来源账户。来源账户指的是发表或者上传目标图像的账户。
94.步骤s203：通过所述预设分类模型对所述来源账户进行风险评估，得到账户评估结果。
95.在具体实施中，通过所述预设分类模型对所述来源账户进行风险评估，得到账户评估结果指的是：将来源账户发表的图像记录信息中抽取若干图像，然后输入到预设分类模型中，根据输出的结果对来源账户进行风险评估，得到账户评估结果。
96.进一步地，为了能够准确的得到抽检的抽检违规分类信息，步骤s203包括：获取所述来源账户的图像记录信息；根据所述图像记录信息得到多个抽检图像；通过预设分类模型对所述抽检图像进行违规分类，获得所述抽检图像的抽检违规分类信息；根据所述抽检违规分类信息确定所述来源账户的账户评估结果。
97.需要说明的是，图像记录信息指的是来源账户历史记录中曾经发送和上传过的图像的相关信息，包括但不限于：历史上传的图像、上传时间等。
98.应理解的是，抽检图像指的是从图像记录信息中抽取的来源账户曾经上传和发送的图像，抽检图像可以为预设个数的图像，具体数目可以由用户自行设定，但是抽检图像的具体个数不能小于三个。
99.在具体实施中，通过预设分类模型对所述抽检图像进行违规分类，获得所述抽检图像的抽检违规分类信息指的是：将所有的抽检图像输入到预设分类模型中，通过预设分类模型输出抽检图像对应的抽检违规分类信息，抽检违规分类信息即为抽检图像对应的违规分类信息。
100.需要说明的是，根据所述抽检违规分类信息确定所述来源账户的账户评估结果指的是：根据抽检违规分类信息确定每个抽检图像所属的分类类别，然后根据这些分类类别
确定抽检图像的抽检违规率，从而得到来源账户的账户评估结果。
101.通过这种方式，实现了从来源账户的图像记录信息中抽取抽检图像，然后通过预设分类模型得到抽检违规分类信息，从而确定来源账户的账户评估结果，使得账户评估的依据更加详细和准确。
102.进一步地，为了能准确的计算抽检违规率，根据所述抽检违规分类信息确定所述来源账户的账户评估结果的步骤包括：根据所述抽检违规分类信息确定所述抽检图像所属的分类类别；根据所述抽检图像所属的分类类别确定抽检违规率；根据所述抽检违规率确定所述来源账户的账户评估结果。
103.应理解的是，抽检图像所属的分类类别指的是每一个抽检图像对应的分类类别的具体信息。
104.在具体实施中，根据所述抽检图像所属的分类类别确定抽检违规率指的是：根据所述抽检图像所属的分类类别确定违规了的抽检图像和没有违规的抽检图像，当抽检违规分类信息中显示某一个抽检图像不属于任何一种分类类别时，判定这个抽检图像为没有违规，抽检违规率的计算方法为违规的抽检图像的个数和抽检图像的总个数的比值。例如：违规的抽检图像的个数为3个和抽检图像的总个数为5个，则抽检违规率为60％。
105.需要说明的是，根据所述抽检违规率确定所述来源账户的账户评估结果指的是：根据抽检违规率确定来源账户的账户类型，从而确定账户评估结果。
106.通过这种方式，实现了根据计算抽检违规率对来源账户进行风险评估，得到账户评估结果，使得账户评估结果更加全面准确。
107.进一步地，为了能够确定账户评估结果，根据所述抽检违规率确定所述来源账户的账户评估结果的步骤包括：当所述抽检违规率超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为黑名单账户；当所述抽检违规率未超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为警告帐户。
108.应理解的是，预设拉黑阈值指的是由用户或者管理员预先设置的，用于评估抽检违规率的数值，以及确定账户评估结果的数值，预设拉黑阈值的具体数值可以由用户或者管理员自行设置，本实施例对此不加以限制。
109.在具体实施中，当所述抽检违规率超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为黑名单账户指的是：将抽检违规率与预设拉黑阈值进行比较，如果抽检违规率大于预设拉黑阈值，将账户评估结果确定为来源账户设定为黑名单账户。例如：当抽检违规率为50％，而预设拉黑阈值为30％时，抽检违规率超过了预设拉黑阈值，故将来源账户设定为黑名单账户。
110.需要说明的是，当所述抽检违规率未超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为警告帐户指的是：将抽检违规率与预设拉黑阈值进行比较，如果抽检违规率小于等于预设拉黑阈值，将账户评估结果确定为来源账户设定为警告账户。例如：当抽检违规率为50％，而预设拉黑阈值为60％时，抽检违规率没有超过预设拉黑阈值，故将来源账户设定为警告账户。
111.通过这种方式，实现了根据预设拉黑阈值和抽检违规率进行比较从而确定账户评估结果以及来源账户属于黑名单账户还是警告账户，从而能够更方便的针对不同类型的账户做出不同的措施。
112.进一步地，为了能够对黑名单账户做出针对性的措施，当所述抽检违规率超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为黑名单账户的步骤之后，还包括：获取所述黑名单账户的账户身份信息；根据所述账户身份信息将所述黑名单账户加入违规账户名单；禁止所述违规账户名单中的所述黑名单账户进行图像传输。
113.应理解的是，账户身份信息指的是黑名单账户的账户相关的身份信息以及登录信息等。
114.在具体实施中，根据所述账户身份信息将所述黑名单账户加入违规账户名单指的是：将黑名单账户对应的账户身份信息中的黑名单账户相关的账户的身份信息进行记录并存储到违规账户名单。
115.需要说明的是，禁止所述违规账户名单中的所述黑名单账户进行图像传输指的是：当检测到图像上传或者图像发送的请求时，如果这个请求来自于违规账户名单中的黑名单账户，则拒绝这个请求，也就是不允许违规账户名单中的账户进行图像传输。
116.通过这种方式，可以通过限制黑名单账户进行图像传输从而实现减少违规图像的发送和传播，使得管控违规图像的传播更加有效率。
117.进一步地，为了能够对警告账户做出针对性的措施，当所述抽检违规率未超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为警告帐户的步骤之后，还包括：获取所述警告账户的登录设备信息；根据所述登录设备信息向所述警告账户的登录设备发送警告信息，以提示所述警告账户避免发送违规图像。
118.应理解的是，登录设备信息指的是警告账户所登陆的当前的设备的相关信息，设备可以是智能手机、笔记本电脑、个人电脑，或者其他能实现此功能的设备，同时，登录设备信息还包括了如果登录设备为智能手机时手机的电话号以及其他相关信息。
119.在具体实施中，根据所述登录设备信息向所述警告账户的登录设备发送警告信息，以提示所述警告账户避免发送违规图像指的是：根据登录设备信息确定警告账户所登陆的设备，然后向警告账户登陆的设备发送警告信息，实现提醒警告账户避免发送违规图像。其中，警告信息可以是app的推送，也可以是短信，或者其他能实现此功能的信息，本实施例对此不加以限制。
120.通过这种方式，实现了在账户评估结果为来源账户是警告账户时向用户发起警告，提示避免发送违规图像，提高了用户的使用体验，并且使得管控违规图像传播更加有效率。
121.本实施例通过获取所述目标图像的账户来源信息；根据所述账户来源信息确定所述目标图像的来源账户；通过所述预设分类模型对所述来源账户进行风险评估，得到账户评估结果。通过这种方式，实现了根据目标图像来源的账户进行风险评估，实现了当确定目标账户违规之后对发表目标图像的来源账户进行风险评估，实现了不仅对图像进行违规分类，也更加准确地评估每个账户的风险和违规，使得网络环境监管更加细致和准确。
122.参考图4，图4为本发明一种违规图像分类方法第三实施例的流程示意图。
123.基于上述第一实施例，本实施例违规图像分类方法在所述步骤s20之后，还包括：
124.步骤s211：获取所述目标图像的图像参数信息。
125.需要说明的是，图像参数信息指的是目标图像的参数相关信息，例如像素、分辨率、图像细节等。
126.步骤s212：根据所述图像参数信息确定所述目标图像的图像来源信息。
127.应理解的是，根据所述图像参数信息确定所述目标图像的图像来源信息指的是：根据图像参数信息确定目标图像的来源站点，从而得到图像来源信息。其中，确定目标图像的来源站点可以是根据图片参数信息查询和搜索包含与目标图像相似或者相同的图像的网站，将查询和搜索到的网站作为来源站点，然后将来源站点作为图像来源信息进行储存。
128.步骤s213：根据所述图像来源信息更新违规站点名单。
129.在具体实施中，违规站点名单是一个预先建立并且维护的名单，其中存储了包含违规图像的站点的相关信息，每次得到违规的目标图像时，都会将当次的目标图像的来源站点更新并保存到违规站点名单中。
130.进一步地，为了能够准确的更新违规站定名单，步骤s213包括：根据所述图像来源信息确定所述目标图像的来源站点；根据所述来源站点和所述目标图像所属的分类类别确定所述来源站点和分类类别的对应关系；根据所述对应关系更新违规站点名单。
131.需要说明的是，来源站点指的是包含了目标图像的网站或者网址，是根据图像参数信息查询后得到的结果，并且来源站点可以是多个。
132.应理解的是，根据所述来源站点和所述目标图像所属的分类类别确定所述来源站点和分类类别的对应关系指的是：将目标图像所述的分类类别和目标图像的来源站点进行对应，得到了来源站点和分类类别的对应关系，也就是来源站点对应了哪一种或者哪几种违规的分类类别。
133.在具体实施中，根据所述对应关系更新违规站点名单指的是将来源站点和分类类别对应存储到违规站点名单中，实现对违规站点名单的更新，也可以通过违规站点名单随时查询和查看各个来源站点的分类类别。
134.通过这种方式，实现了将来源站点和分类类别对应存储到违规站点名单中，使得违规图像的来源的站点可以被记录，也就是有违规内容的站点以及具体的分类类别被记录，使得违规图像的管控更加准确和有效。
135.进一步地，为了对违规图像的源头进行管控，根据所述对应关系更新违规站点名单的步骤之后，还包括：当接收到来自用户账户的图像传输请求时，获取图像传输信息；根据所述图像传输信息确定待传输图像的传输来源站点；当所述传输来源站点与所述违规站点名单中的站点相同时，拒绝所述图像传输请求，并向所述用户账户反馈图像报警信息。
136.需要说明的是，当接收到来自用户账户的图像传输请求时，获取图像传输信息指的是：当接收到来自任意的用户的登录账户的传输图像的请求时，获取图像传输请求对应的想要上传的图像的图像传输信息。其中，图像传输请求可以是传输图像、上传图像或者在聊天交流中发送图像的请求。图像传输信息包括但不限于图像传输请求中请求上传的待传输图像的相关信息、图像传输请求的发送时间。
137.应理解的是，根据所述图像传输信息确定待传输图像的传输来源站点指的是：当确定图像传输信息之后，根据图像传输信息确定本次图像传输请求中请求的待传输图像的来源站点，作为传输来源站点。
138.在具体实施中，当所述传输来源站点与所述违规站点名单中的站点相同时，拒绝所述图像传输请求，并向所述用户账户反馈图像报警信息指的还是：将传输来源站点与违规站点名单中的所有的来源站点进行比对，如果出现网址或者域名相同的情况时，则拒绝
图像传输请求，也就是禁止此次传输待传输图像的行为，并且向发起图像传输请求的用户账户反馈图像报警信息。其中，图像报警信息指的是向用户账户提示待传输图像不能发送的反馈信息。
139.通过这种方式，实现了禁止传输来源于违规站点名单中的站点的图像，使得管控违规图像的传输和传播更加有效率。
140.本实施例获取所述目标图像的图像参数信息；根据所述图像参数信息确定所述目标图像的图像来源信息；根据所述图像来源信息更新违规站点名单。通过这种方式，实现了根据目标图像的图像参数信息确定目标图像的图像来源信息，也就是目标图像的来源站点，然后进一步更新违规站点名单，使得可以集中管理和记录违规图像的来源网站，进而可以实现从源头管控违规图像的传播，使得违规图像传播的管控更加有效率。
141.此外，本发明实施例还提出一种存储介质，所述存储介质上存储有违规图像分类程序，所述违规图像分类程序被处理器执行时实现如上文所述的违规图像分类方法的步骤。
142.由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不一一赘述。
143.参照图5，图5为本发明违规图像分类装置第一实施例的结构框图。
144.如图5所示，本发明实施例提出的违规图像分类装置包括：
145.分析模块10，用于当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息，所述预设分类模型用于表征图像与违规分类信息之间的对应关系。
146.分类模块20，用于根据所述目标违规分类信息确定所述目标图像所属的分类类别。
147.本实施例通过当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息，所述预设分类模型用于表征图像与违规分类信息之间的对应关系；根据所述目标违规分类信息确定所述目标图像所属的分类类别。通过这种方式，实现了在目标图像被认定为违规图像之后通过预设分类模型直接对目标图像进行违规分类，得到了目标违规分类信息，然后根据目标违规分类信息得到了目标图像所述的分类类别，使得目标图像的违规具体分类可以不经过人工审核和分类直接得到，更加有效率和准确。
148.在一实施例中，所述分析模块10，还用于将待分类图像按照预设输入尺寸进行裁剪，得到目标图像；通过预设判断模型对所述目标图像进行违规判断，以确定所述目标图像是否为违规图像。
149.在一实施例中，所述分类模块20，还用于获取所述目标图像的账户来源信息；根据所述账户来源信息确定所述目标图像的来源账户；通过所述预设分类模型对所述来源账户进行风险评估，得到账户评估结果。
150.在一实施例中，所述分类模块20，还用于获取所述来源账户的图像记录信息；根据所述图像记录信息得到多个抽检图像；通过预设分类模型对所述抽检图像进行违规分类，获得所述抽检图像的抽检违规分类信息；根据所述抽检违规分类信息确定所述来源账户的账户评估结果。
151.在一实施例中，所述分类模块20，还用于根据所述抽检违规分类信息确定所述抽检图像所属的分类类别；根据所述抽检图像所属的分类类别确定抽检违规率；根据所述抽检违规率确定所述来源账户的账户评估结果。
152.在一实施例中，所述分类模块20，还用于当所述抽检违规率超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为黑名单账户；当所述抽检违规率未超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为警告帐户。
153.在一实施例中，所述分类模块20，还用于获取所述黑名单账户的账户身份信息；根据所述账户身份信息将所述黑名单账户加入违规账户名单；禁止所述违规账户名单中的所述黑名单账户进行图像传输。
154.在一实施例中，所述分类模块20，还用于获取所述警告账户的登录设备信息；根据所述登录设备信息向所述警告账户的登录设备发送警告信息，以提示所述警告账户避免发送违规图像。
155.在一实施例中，所述分类模块20，还用于获取所述目标图像的图像参数信息；根据所述图像参数信息确定所述目标图像的图像来源信息；根据所述图像来源信息更新违规站点名单。
156.在一实施例中，所述分类模块20，还用于根据所述图像来源信息确定所述目标图像的来源站点；根据所述来源站点和所述目标图像所属的分类类别确定所述来源站点和分类类别的对应关系；根据所述对应关系更新违规站点名单。
157.在一实施例中，所述分类模块20，还用于当接收到来自用户账户的图像传输请求时，获取图像传输信息；根据所述图像传输信息确定待传输图像的传输来源站点；当所述传输来源站点与所述违规站点名单中的站点相同时，拒绝所述图像传输请求，并向所述用户账户反馈图像报警信息。
158.应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
159.需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
160.另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的违规图像分类方法，此处不再赘述。
161.此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
162.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
163.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质
(如只读存储器(read only memory，rom)/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
164.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
165.本发明公开了a1、一种违规图像分类方法，所述违规图像分类方法包括：
166.当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息，所述预设分类模型用于表征图像与违规分类信息之间的对应关系；
167.根据所述目标违规分类信息确定所述目标图像所属的分类类别。
168.a2、如a1所述的方法，所述当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息之前，还包括：
169.将待分类图像按照预设输入尺寸进行裁剪，得到目标图像；
170.通过预设判断模型对所述目标图像进行违规判断，以确定所述目标图像是否为违规图像。
171.a3、如a1所述的方法，所述根据所述目标违规分类信息确定所述目标图像所属的分类类别之后，还包括：
172.获取所述目标图像的账户来源信息；
173.根据所述账户来源信息确定所述目标图像的来源账户；
174.通过所述预设分类模型对所述来源账户进行风险评估，得到账户评估结果。
175.a4、如a3所述的方法，所述通过所述预设分类模型对所述来源账户进行风险评估，得到账户评估结果，包括：
176.获取所述来源账户的图像记录信息；
177.根据所述图像记录信息得到多个抽检图像；
178.通过预设分类模型对所述抽检图像进行违规分类，获得所述抽检图像的抽检违规分类信息；
179.根据所述抽检违规分类信息确定所述来源账户的账户评估结果。
180.a5、如a4所述的方法，所述根据所述抽检违规分类信息确定所述来源账户的账户评估结果，包括：
181.根据所述抽检违规分类信息确定所述抽检图像所属的分类类别；
182.根据所述抽检图像所属的分类类别确定抽检违规率；
183.根据所述抽检违规率确定所述来源账户的账户评估结果。
184.a6、如a5所述的方法，所述根据所述抽检违规率确定所述来源账户的账户评估结果，包括：
185.当所述抽检违规率超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为黑名单账户；
186.当所述抽检违规率未超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为警告帐户。
187.a7、如a6所述的方法，所述当所述抽检违规率超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为黑名单账户之后，还包括：
188.获取所述黑名单账户的账户身份信息；
189.根据所述账户身份信息将所述黑名单账户加入违规账户名单；
190.禁止所述违规账户名单中的所述黑名单账户进行图像传输。
191.a8、如a6所述的方法，所述当所述抽检违规率未超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为警告帐户之后，还包括：
192.获取所述警告账户的登录设备信息；
193.根据所述登录设备信息向所述警告账户的登录设备发送警告信息，以提示所述警告账户避免发送违规图像。
194.a9、如a10所述的方法，所述根据所述目标违规分类信息确定所述目标图像所属的分类类别之后，还包括：
195.获取所述目标图像的图像参数信息；
196.根据所述图像参数信息确定所述目标图像的图像来源信息；
197.根据所述图像来源信息更新违规站点名单。
198.a10、如a9所述的方法，所述根据所述图像来源信息更新违规站点名单，包括：
199.根据所述图像来源信息确定所述目标图像的来源站点；
200.根据所述来源站点和所述目标图像所属的分类类别确定所述来源站点和分类类别的对应关系；
201.根据所述对应关系更新违规站点名单。
202.a11、如a10所述的方法，所述根据所述对应关系更新违规站点名单之后，还包括：
203.当接收到来自用户账户的图像传输请求时，获取图像传输信息；
204.根据所述图像传输信息确定待传输图像的传输来源站点；
205.当所述传输来源站点与所述违规站点名单中的站点相同时，拒绝所述图像传输请求，并向所述用户账户反馈图像报警信息。
206.本发明还公开了b12、一种违规图像分类装置，所述违规图像分类装置包括：
207.分析模块，用于当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息，所述预设分类模型用于表征图像与违规分类信息之间的对应关系；
208.分类模块，用于根据所述目标违规分类信息确定所述目标图像所属的分类类别。
209.b13、如b12所述的装置，所述分析模块，还用于将待分类图像按照预设输入尺寸进行裁剪，得到目标图像；通过预设判断模型对所述目标图像进行违规判断，以确定所述目标图像是否为违规图像。
210.b14、如b12所述的装置，所述分类模块，还用于获取所述目标图像的账户来源信息；根据所述账户来源信息确定所述目标图像的来源账户；通过所述预设分类模型对所述来源账户进行风险评估，得到账户评估结果。
211.b15、如b14所述的装置，所述分类模块，还用于获取所述来源账户的图像记录信息；根据所述图像记录信息得到多个抽检图像；通过预设分类模型对所述抽检图像进行违规分类，获得所述抽检图像的抽检违规分类信息；根据所述抽检违规分类信息确定所述来
源账户的账户评估结果。
212.b16、如b15所述的装置，所述分类模块，还用于根据所述抽检违规分类信息确定所述抽检图像所属的分类类别；根据所述抽检图像所属的分类类别确定抽检违规率；根据所述抽检违规率确定所述来源账户的账户评估结果。
213.b17、如b16所述的装置，所述分类模块，还用于当所述抽检违规率超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为黑名单账户；当所述抽检违规率未超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为警告帐户。
214.b18、如b17所述的装置，所述分类模块，还用于获取所述黑名单账户的账户身份信息；根据所述账户身份信息将所述黑名单账户加入违规账户名单；禁止所述违规账户名单中的所述黑名单账户进行图像传输。
215.本发明还公开了c19、一种违规图像分类设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的违规图像分类程序，所述违规图像分类程序配置为实现如上所述的违规图像分类方法。
216.本发明还公开了d20、一种存储介质，所述存储介质上存储有违规图像分类程序，所述违规图像分类程序被处理器执行时实现如上所述的违规图像分类方法。

技术特征：
1.一种违规图像分类方法，其特征在于，所述违规图像分类方法包括：当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息，所述预设分类模型用于表征图像与违规分类信息之间的对应关系；根据所述目标违规分类信息确定所述目标图像所属的分类类别。2.如权利要求1所述的方法，其特征在于，所述当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息之前，还包括：将待分类图像按照预设输入尺寸进行裁剪，得到目标图像；通过预设判断模型对所述目标图像进行违规判断，以确定所述目标图像是否为违规图像。3.如权利要求1所述的方法，其特征在于，所述根据所述目标违规分类信息确定所述目标图像所属的分类类别之后，还包括：获取所述目标图像的账户来源信息；根据所述账户来源信息确定所述目标图像的来源账户；通过所述预设分类模型对所述来源账户进行风险评估，得到账户评估结果。4.如权利要求3所述的方法，其特征在于，所述通过所述预设分类模型对所述来源账户进行风险评估，得到账户评估结果，包括：获取所述来源账户的图像记录信息；根据所述图像记录信息得到多个抽检图像；通过预设分类模型对所述抽检图像进行违规分类，获得所述抽检图像的抽检违规分类信息；根据所述抽检违规分类信息确定所述来源账户的账户评估结果。5.如权利要求4所述的方法，其特征在于，所述根据所述抽检违规分类信息确定所述来源账户的账户评估结果，包括：根据所述抽检违规分类信息确定所述抽检图像所属的分类类别；根据所述抽检图像所属的分类类别确定抽检违规率；根据所述抽检违规率确定所述来源账户的账户评估结果。6.如权利要求5所述的方法，其特征在于，所述根据所述抽检违规率确定所述来源账户的账户评估结果，包括：当所述抽检违规率超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为黑名单账户；当所述抽检违规率未超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为警告帐户。7.如权利要求6所述的方法，其特征在于，所述当所述抽检违规率超过预设拉黑阈值时，将所述账户评估结果确定为将所述来源账户设定为黑名单账户之后，还包括：获取所述黑名单账户的账户身份信息；根据所述账户身份信息将所述黑名单账户加入违规账户名单；禁止所述违规账户名单中的所述黑名单账户进行图像传输。
8.一种违规图像分类装置，其特征在于，所述违规图像分类装置包括：分析模块，用于当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息，所述预设分类模型用于表征图像与违规分类信息之间的对应关系；分类模块，用于根据所述目标违规分类信息确定所述目标图像所属的分类类别。9.一种违规图像分类设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的违规图像分类程序，所述违规图像分类程序配置为实现如权利要求1至7中任一项所述的违规图像分类方法。10.一种存储介质，其特征在于，所述存储介质上存储有违规图像分类程序，所述违规图像分类程序被处理器执行时实现如权利要求1至7任一项所述的违规图像分类方法。

技术总结
本发明属于图像处理技术领域，公开了一种违规图像分类方法、装置、设备及存储介质。该方法包括：当目标图像被认定为违规图像时，通过预设分类模型对所述目标图像进行违规分类，获得所述目标图像的目标违规分类信息，所述预设分类模型用于表征图像与违规分类信息之间的对应关系；根据所述目标违规分类信息确定所述目标图像所属的分类类别。通过上述方式，实现了在目标图像被认定为违规图像之后通过预设分类模型直接对目标图像进行违规分类，得到了目标违规分类信息，然后根据目标违规分类信息得到了目标图像所述的分类类别，使得目标图像的违规具体分类可以不经过人工审核和分类直接得到，更加有效率和准确。更加有效率和准确。更加有效率和准确。


技术研发人员：黄泽涛
受保护的技术使用者：北京奇虎科技有限公司
技术研发日：2021.12.28
技术公布日：2023/7/13