公共数据开放利用的系统及方法与流程

1.本发明涉及大数据管理和利用技术领域，尤其是涉及一种公共数据开放利用的系统及方法。


背景技术：

2.随着数字化建设进程的加快，为了夯实建设基础，全面赋能经济社会发展，许多地区或者企业建立了大数据平台，用于统筹本地区或者企业的大数据发展。政务或者企业大数据经过大数据平台整合汇聚后，主要有两条数据利用通道：一是面向政务或企业内部应用的数据共享通道，一是面向（非内部的）外部社会应用的数据共享通道。但是，由于大量数据比较敏感，涉及到安全保护问题，如果将这部分数据直接通过大数据平台进行数据公开，会存在数据泄露等安全问题，因此，现有的数据共享通道无法完全将敏感的、有价值的数据进行数据公开，提供给个人或者社会企业使用，从而导致数据利用率低。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种公共数据开放利用的系统及方法，能够在保证原始数据的安全性的同时，提高数据的利用率。
4.为了实现上述目的，本发明实施例采用的技术方案如下：第一方面，本发明实施例提供了一种公共数据开放利用的系统，包括：部署在政务或企业外网环境的数据开放域子系统和公共数据资源管理子系统；其中，数据开放域子系统包括：数据申请管控模块、数据加工处理模块、数据产品审核模块和数据产品服务模块；公共数据资源管理子系统包括：公共数据仓库；数据申请管控模块用于进行数据开放审批和建立数据开放协议；数据加工处理模块用于从数据仓库获取样例数据进行数据加工模型的训练，得到数据产品；数据产品审核模块用于对数据产品进行审核；数据产品服务模块用于在数据产品审核通过后，向外部应用提供数据产品服务。
5.在一种实施方式中，数据开放域子系统还包括：开放终止和安全模块，用于进行数据开放终止、数据开放评价以及数据销毁。
6.在一种实施方式中，公共数据资源管理子系统还包括：数据目录；数据申请管控模块包括：入驻与建档子模块、开放数据申请审批子模块和协议签订审批子模块；入驻与建档子模块用于对数据使用对象提交的入驻申请进行审批，并对审批通过的数据使用对象进行档案建立和管理；开放数据申请审批子模块用于根据入驻的数据使用对象的数据开放申请进行数据开放审批；其中，数据开放申请是根据数据目录确定的；协议签订审批子模块用于在完成数据开放审批之后，确定数据开放协议。
7.在一种实施方式中，数据加工处理模块包括：脱敏空间、开发空间、测试空间和生产空间；脱敏空间用于从公共数据仓库中获取样例数据进行数据脱敏，并将脱敏后的样例数据发送至开发空间；开发空间用于根据脱敏后的样例数据进行模型训练，得到数据加工模型；测试空间用于根据测试样例数据对数据加工模型进行测试；生产空间用于根据数据
加工模型进行模型计算，得到数据产品。
8.在一种实施方式中，数据产品审核模块包括：形式审核子模块、技术审核子模块和业务审核子模块；形式审核子模块的审核内容至少包括：数据产品基本信息审核、数据产品形态审核、数据产品完整性审核和敏感数据脱敏规则审核；技术审核子模块的审核内容至少包括：数据产品与申请信息一致性审核、数据加工逻辑审核、入参出参合规性审核和出参敏感数据脱敏规则核验；业务审核子模块用于的审核内容至少包括：数据产品业务价值审核、出域数据非原始数据审核、不可算法还原原始数据审核和数据服务限流规则核验。
9.在一种实施方式中，数据产品服务模块包括：api接口网关、接口监测子模块和api限流熔断子模块；api接口网关用于向外部应用提供数据产品服务；接口监测子模块用于监测api接口网关的接口数据请求；api限流熔断子模块用于在监测到异常高并发接口数据请求时，熔断接口数据请求。
10.在一种实施方式中，开放终止和安全模块包括：开放终止审批子模块、数据开放评价子模块和数据销毁子模块；开放终止审批子模块用于提交数据开放终止申请，并对数据开放终止申请进行审批；数据开放评价子模块用于对数据开放和使用过程进行评价；数据销毁子模块用于对开放数据进行销毁。
11.在一种实施方式中，上述系统还包括：部署在互联网环境的多个外部应用。
12.第二方面，本发明实施例提供了一种公共数据开放利用的方法，该方法应用于上述第一方面提供的任一项的公共数据开放利用的系统，包括：通过数据申请管控模块进行数据开放审批和建立数据开放协议；通过数据加工处理模块从公共数据仓库获取样例数据进行数据加工模型的训练，得到数据产品；通过数据产品审核模块对数据产品进行审核；通过数据产品服务模块在数据产品审核通过后，向外部应用提供数据产品服务。
13.在一种实施方式中，上述方法还包括：通过开放终止和安全模块进行数据开放终止、数据开放评价以及数据销毁。
14.本发明实施例带来了以下有益效果：本发明实施例提供的上述公共数据开放利用的系统及方法，包括：部署在政务或企业外网环境的数据开放域子系统和公共数据资源管理子系统；其中，数据开放域子系统包括：数据申请管控模块、数据加工处理模块、数据产品审核模块和数据产品服务模块；公共数据资源管理子系统包括：公共数据仓库；数据申请管控模块用于进行数据开放审批和建立数据开放协议；数据加工处理模块用于从数据仓库获取样例数据进行数据加工模型的训练，得到数据产品；数据产品审核模块用于对数据产品进行审核；数据产品服务模块用于在数据产品审核通过后，向外部应用提供数据产品服务。上述系统未将公共数据暴露在互联网中，采用在政务或企业外网环境相对封闭安全的环境进行公共数据开放利用，能够保证数据的安全性，避免数据泄露；同时，上述系统通过数据申请管控模块对数据开放进行审核，通过数据加工处理模块、数据产品审核模块和数据产品服务模块对公共数据加工后，将不再敏感的结果数据提供给互联网环境中的外部应用调用，使得数据使用对象无法接触原始数据，既能保障公共数据的安全性，又能保障数据使用对象的用数需求，充分利用公共数据资源，提高数据的利用率。
15.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书
以及附图中所特别指出的结构来实现和获得。
16.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明实施例提供的一种现有的政务数据公开方法流程图；图2为本发明实施例提供的一种公共数据开放利用的系统的结构示意图；图3为本发明实施例提供的另一种公共数据开放利用的系统的结构示意图；图4为本发明实施例提供的一种公共数据开放利用的方法的流程图；图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
19.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.政务或者企业大数据经过大数据平台整合汇聚后，主要有两条数据利用通道：一是面向政务或企业内部应用的数据共享通道，一是面向（非内部的）外部社会应用的数据共享通道。以政务大数据为例，根据某省统计数据，当前大数据资源有95.7%的数据可以通过无条件或者受限方式共享、不共享的比率仅占4.3%，然而，当前面向社会应用可公开利用的政务数据仅占7.9%，大量的政务数据（约92.1%）因为涉及安全保护问题无法有效提供给个人、社会企业使用。
21.如图1所示，当前现有的技术方案主要是通过政务数据开放网站的方式公开政务数据。政务部门将本部门可以开放的数据目录编目、归集至政务数据开放网站，企业群众根据政务目录检索需要的数据，进行api接口调用申请或直接申请下载原始数据，在数据使用过程中，将发现的问题反馈至政务数据开放网站，然后政务部门对本部门开放的、存在质量问题的数据进行治理。但是，为了避免数据网站被攻击，造成数据泄露，当前可以直接在互联网公开的数据数量极少且价值较低，因此，现有的方法中无法完全将敏感的、有价值的数据进行数据公开，提供给个人或者社会企业使用，从而导致数据利用率低。
22.基于此，本发明实施例提供的一种公共数据开放利用的系统及方法，能够在保证原始数据的安全性的同时，提高数据的利用率。
23.为便于对本实施例进行理解，首先对本发明实施例所公开的一种公共数据开放利用的系统进行详细介绍，参见图2所示的一种公共数据开放利用的系统的结构示意图，示意出该系统主要包括：部署在政务或企业外网环境1的数据开放域子系统2和公共数据资源管理子系统3；其中，数据开放域子系统2包括：数据申请管控模块4、数据加工处理模块5、数据
产品审核模块6和数据产品服务模块7；公共数据资源管理子系统3包括：公共数据仓库8。
24.数据申请管控模块4用于进行数据开放审批和建立数据开放协议；数据加工处理模块5用于从数据仓库获取样例数据进行数据加工模型的训练，得到数据产品；数据产品审核模块6用于对数据产品进行审核；数据产品服务模块7用于在数据产品审核通过后，向外部应用提供数据产品服务。
25.在一种具体的实施方式中，政务或企业外网环境1只有具备访问权限的人才可以访问，在政务或企业外网环境1中部署众多政务或者企业内部应用，包括但不限于：数据开放域子系统2和公共数据资源管理子系统3。
26.数据开放域子系统2包括但不限于：数据申请管控模块4、数据加工处理模块5、数据产品审核模块6和数据产品服务模块7。在具体实施时，基于数据申请管控模块4，数据使用对象（包括但不限于：社会企业、事业单位、组织机构等）可以申请入驻，并对申请通过的数据使用对象进行档案建设；对于入驻的数据使用对象，可以通过数据申请管控模块4进行数据开放申请，数源单位可以根据申请进行数据开放审批；在完成数据开放审批之后，可以签订数据开放协议，对数据开放应用场景、数据加工逻辑、拟开放的数据清单等进行协议规定。
27.在完成数据开放协议后，可以基于数据加工处理模块5从数据仓库获取样例数据进行数据加工模型的训练，得到数据产品，并将数据产品提交审核。数据产品审核模块6对数据产品进行审核，在数据产品审核通过后，可以基于数据产品服务模块7向外部应用提供数据产品服务。
28.本发明实施例提供的上述公共数据开放利用的系统，未将公共数据暴露在互联网中，采用在政务或企业外网环境相对封闭安全的环境进行公共数据开放利用，能够保证数据的安全性，避免数据泄露；同时，上述系统通过数据申请管控模块对数据开放进行审核，通过数据加工处理模块、数据产品审核模块和数据产品服务模块对公共数据加工后，将不再敏感的结果数据提供给互联网环境中的外部应用调用，使得数据使用对象无法接触原始数据，既能保障公共数据的安全性，又能保障数据使用对象的用数需求，充分利用公共数据资源，提高数据的利用率。
29.在一种实施方式中，参见图2所示，上述公共数据资源管理子系统3还包括：数据目录9；上述数据开放域子系统2还包括：开放终止和安全模块10，用于进行数据开放终止、数据开放评价以及数据销毁。在具体实施时，当数据使用对象因业务需要，需要终止对外提供数据产品服务时，可以通过开放终止和安全模块10进行数据开放终止申请，同时按照指引进行数据开放评价和数据销毁。
30.参见图3所示，数据申请管控模块4包括：入驻与建档子模块11、开放数据申请审批子模块12和协议签订审批子模块13；入驻与建档子模块11用于对数据使用对象提交的入驻申请进行审批，并对审批通过的数据使用对象进行档案建立和管理；开放数据申请审批子模块12用于根据入驻的数据使用对象的数据开放申请进行数据开放审批；其中，数据开放申请是根据数据目录9确定的；协议签订审批子模块13用于在完成数据开放审批之后，确定数据开放协议。
31.在具体实施时，基于入驻与建档子模块11，社会企业、事业单位、组织机构等数据使用对象可以申请入驻数据开放域子系统2，并提交入驻申请；对于申请通过的数据使用对
象，可以进行档案建设和管理。入驻的数据使用对象需要具备数据加工分析技术能力，有明确的、有价值的（且确有必要的）公共数据使用场景需求，禁止发生过数据安全泄露事件的数据使用对象入驻。
32.开放数据申请审批子模块12和公共数据资源管理子系统3关联，开放数据申请审批子模块12可以经由数据申请管控模块4直接访问数据目录9，进行数据资源开放申请。具体的，基于开放数据申请审批子模块12，已入驻的数据使用对象可以浏览数据目录9，根据自身需求发起数据开放申请，数源单位，可以按照“一事一议”的原则，根据数据开放申请进行数据开放审批。
33.在完成数据开放审批后，数据使用对象、数源单位以及大数据管理部门可以基于协议签订审批子模块13签订数据开放协议，协议的内容主要包括数据开放应用场景、拟开放使用的数据清单、数据模型加工逻辑、数据安全保护措施和责任要求等。完成数据开放协议签订后，数据使用对象可以进入数据加工处理模块5，进行数据加工建模。
34.参见图3所示，数据加工处理模块5包括：脱敏空间14、开发空间15、测试空间16和生产空间17；脱敏空间14用于从公共数据仓库8中获取样例数据进行数据脱敏，并将脱敏后的样例数据发送至开发空间15；开发空间15用于根据脱敏后的样例数据进行模型训练，得到数据加工模型；测试空间16用于根据测试样例数据对数据加工模型进行测试；生产空间17用于根据数据加工模型进行模型计算，得到数据产品。
35.在具体实施时，脱敏空间14主要用于从公共数据仓库8中抽取少量样例数据进行数据脱敏，以支持数据使用对象在开发空间15中进行数据模型训练。数据抽样的样本量以“最小必要”为原则，能保障模型的验证即可。数据脱敏需要对个人、法人的敏感信息进行脱敏，防止个人（法人）敏感信息泄露；同时数据脱敏需要确保数据使用户对象（即用数单位）无法通过算法还原原始数据。数据抽样、数据脱敏的过程由程序自动执行，以防止用数单位直接接触原始数据。为了保障数据安全性，防止原始数据泄露，整个数据加工处理模块中，用数单位可以接触和使用的是少量脱敏后的样例数据，无法直接接触到原始数据。此外，本发明实施例中还可以通过数据加密的方式对样例数据进行处理。
36.开发空间15主要用于数据使用户对象利用脱敏后的样例数据进行模型训练。在开发空间15中数据使用户对象也可以导入自有的原始数据进行融合建模。开发空间15输出的成果即为开发好的数据加工模型。
37.测试空间16主要用于数据使用户对象进行数据加工模型的测试。数据使用户对象可以利用用于测试的样例数据进行模型测试，以验证模型的正确性、精准性。若验证数据加工模型有问题，则返回开发空间15重新进行模型修正。其中，数据加工模型的类型可以根据数据使用对象的具体业务需求进行确定。
38.生产空间17主要用于模型计算，可以将生产数据导入数据加工模型进行模型计算。生产空间17中的生产数据由数据管理部门负责导入，数据加工模型由政务或企业管理部门负责运行，数据使用对象无法直接接触原始数据。
39.经过数据加工处理脱敏、开发、测试、生产4个过程后，数据使用对象可以提交数据产品审核。
40.参见图3所示，数据产品审核模块6包括：形式审核子模块18、技术审核子模块19和业务审核子模块20；形式审核子模块18的审核内容至少包括：数据产品基本信息审核、数据
产品形态审核、数据产品完整性审核和敏感数据脱敏规则审核；技术审核子模块19的审核内容至少包括：数据产品与申请信息一致性审核、数据加工逻辑审核、入参出参合规性审核和出参敏感数据脱敏规则核验；业务审核子模块20用于的审核内容至少包括：数据产品业务价值审核、出域数据非原始数据审核、不可算法还原原始数据审核和数据服务限流规则核验。
41.在具体实施时，数据产品审核模块6主要用于大数据管理部门对用数单位开发的数据产品进行核验，确保数据产品满足“原始数据不出域”，“不可通过可逆模型或算法还原出原始数据”等要求。
42.形式审核子模块18，主要包含数据产品基本信息审核、数据产品形态审核、数据产品完整性审核、敏感数据脱敏规则审核等内容。
43.技术审核子模块19，主要包含产品与申请信息一致性审核、数据加工逻辑审核、入参出参合规性审核、出参敏感数据脱敏规则核验等内容。
44.业务审核子模块20，主要包括数据产品业务价值审核、出域数据非原始数据审核、不可算法还原原始数据审核，数据服务限流规则核验等内容。
45.经过上述三重审核后，用数单位可以发布数据产品，对互联网上的社会应用提供数据服务。参见图3所示，数据产品服务模块7包括：api接口网关21、接口监测子模块22和api限流熔断子模块23；api接口网关21用于向外部应用提供数据产品服务；接口监测子模块22用于监测api接口网关21的接口数据请求；api限流熔断子模块23用于在监测到异常高并发接口数据请求时，熔断接口数据请求。
46.在具体实施时，数据使用对象发布数据产品，向互联网上的社会应用提供数据服务，提供服务的形式主要以api接口网关21为主。在数据产品服务模块7中，还包括：接口监测子模块22和api限流熔断子模块23，分别用于监测异常高并发接口数据请求，及时熔断对系统造成冲击的接口申请，保障数据产品对外提供服务的质量。
47.参见图3所示，开放终止和安全模块10包括：开放终止审批子模块24、数据开放评价子模块25和数据销毁子模块26；开放终止审批子模块24用于提交数据开放终止申请，并对数据开放终止申请进行审批；数据开放评价子模块25用于对数据开放和使用过程进行评价；数据销毁子模块26用于对开放数据进行销毁。
48.在具体实施时，当数据使用对象因业务需要，需要终止对外提供数据产品服务时，可以进入开放终止审批子模块24进行数据开放终止申请，同时按照数据开放评价子模块25和数据销毁子模块26的指引进行数据开放评价和数据销毁。数据管理部门在规定时间内完成数据开放终止申请的审批，审批通过后，可以及时释放数据使用对象的数据开放使用权限。数据使用对象在审批完成后可以进入数据开放评价子模块25对数据开放和利用过程进行评价，提出提升优化建议，数据管理部门可以对建议进行吸收落实；同时，数据使用对象还可以根据数据销毁子模块26的指引完成不再使用的开放数据的销毁，释放申请的项目空间资源，数据管理部门对用数单位数据销毁情况进行核验确认，形成管理闭环。
49.进一步，参见图3所示，上述系统还包括：部署在互联网环境27的多个外部应用28。具体的，在互联网环境27中存在着各类社会（企业）建设的各类社会应用28，互联网环境27可以供所有的公众进行访问。
50.本发明实施例提供的上述公共数据开放利用的系统，采用在政务或企业外网建设
数据开放域系统，实现公共数据“可用不可见、数据不出域”的方式开放利用，与传统技术相比，具体有以下优点和效果：（1）本发明未将政务数据暴露在互联网环境，采用在政务或企业外网相对封闭安全的环境进行公共数据开放利用，将加工分析后不再敏感的结果数据，通过api接口的方式，供互联网上的社会应用调用，既保障了原始数据的安全性，也保障了互联网上社会应用的用数需求，实现公共数据充分开发利用，充分释放公共数据资源价值。
51.（2）本发明提供的数据开放域系统，通过“原始数据不出域，数据可用不可见”，有效地保障了数据安全，使社会单位可以浏览所有的数据资源，并提出申请使用需求，让数据资源可以流动、利用起来，充分发挥数据资源的价值。
52.（3）本发明在数据加工处理模块，通过脱敏空间、开发空间、测试空间、生产空间隔离的方式，分割细化不同空间里面数据管理部门、社会用数单位的权限，确保用数单位只能利用少了脱敏后的样例数据进行模型构建开发，数据脱敏、模型测试、计算生产等过程由数据管理部门控制，确保用数单位不接触原始数据，保障政务数据安全。
53.（4）本发明通过提供数据加工处理模块、数据产品审核模块、数据产品服务模块，使得所有的数据加工、开发、测试、生产、使用过程处于可监控、可管理、可审核的状态，便于追踪数据加工过程，便于收集数据开放利用效果评价和建议，有利于数据开放生态不断迭代优化。
54.（5）本发明通过数据产品审核模块，对数据产品进行形式审核、技术审核和业务审核，不仅确保原始数据不出域，而且确保开发利用输出的结果数据无法通过算法恢复成原始数据，规避原始数据泄露风险，提升政务部门开放政务数据的意愿度和政务数据开放利用的可行性。
55.（6）本发明设置数据销毁子模块，确保数据开放流程终止后，敏感数据进行全量销毁，有效防止数据泄露，确保数据安全。
56.对于前述公共数据开放利用的系统，本发明还提供了一种公共数据开放利用的方法，参见图4所示的一种公共数据开放利用的方法的流程图，示意出该方法主要包括以下步骤s401至步骤s404：步骤s401：通过数据申请管控模块进行数据开放审批和建立数据开放协议。
57.步骤s402：通过数据加工处理模块从公共数据仓库获取样例数据进行数据加工模型的训练，得到数据产品。
58.步骤s403：通过数据产品审核模块对数据产品进行审核。
59.步骤s404：通过数据产品服务模块在数据产品审核通过后，向外部应用提供数据产品服务。
60.本发明实施例提供的上述公共数据开放利用的方法，未将公共数据暴露在互联网中，采用在政务或企业外网环境相对封闭安全的环境进行公共数据开放利用，能够保证数据的安全性，避免数据泄露；同时，上述方法通过数据申请管控模块对数据开放进行审核，通过数据加工处理模块、数据产品审核模块和数据产品服务模块对公共数据加工后，将不再敏感的结果数据提供给互联网环境中的外部应用调用，使得数据使用对象无法接触原始数据，既能保障公共数据的安全性，又能保障数据使用对象的用数需求，充分利用公共数据资源，提高数据的利用率。
61.在一种实施方式中，上述方法还包括：通过开放终止和安全模块进行数据开放终止、数据开放评价以及数据销毁。
62.本发明实施例所提供的方法，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，方法实施例部分未提及之处，可参考前述系统实施例中相应内容。
63.本发明实施例还提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如上实施方式的任一项所述的方法。
64.图5为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器50，存储器51，总线52和通信接口53，所述处理器50、通信接口53和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。
65.其中，存储器51可能包含高速随机存取存储器（ram，random access memory），也可能还包括非不稳定的存储器（non-volatilememory），例如至少一个磁盘存储器。通过至少一个通信接口53（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
66.总线52可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
67.其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。
68.处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。
69.本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
70.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计
算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
71.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种公共数据开放利用的系统，其特征在于，包括：部署在政务或企业外网环境的数据开放域子系统和公共数据资源管理子系统；其中，所述数据开放域子系统包括：数据申请管控模块、数据加工处理模块、数据产品审核模块和数据产品服务模块；所述公共数据资源管理子系统包括：公共数据仓库；所述数据申请管控模块用于进行数据开放审批和建立数据开放协议；所述数据加工处理模块用于从所述数据仓库获取样例数据进行数据加工模型的训练，得到数据产品；所述数据产品审核模块用于对所述数据产品进行审核；所述数据产品服务模块用于在所述数据产品审核通过后，向外部应用提供数据产品服务。2.根据权利要求1所述的系统，其特征在于，所述数据开放域子系统还包括：开放终止和安全模块，用于进行数据开放终止、数据开放评价以及数据销毁。3.根据权利要求1所述的系统，其特征在于，所述公共数据资源管理子系统还包括：数据目录；所述数据申请管控模块包括：入驻与建档子模块、开放数据申请审批子模块和协议签订审批子模块；所述入驻与建档子模块用于对数据使用对象提交的入驻申请进行审批，并对审批通过的所述数据使用对象进行档案建立和管理；所述开放数据申请审批子模块用于根据入驻的所述数据使用对象的数据开放申请进行数据开放审批；其中，所述数据开放申请是根据所述数据目录确定的；所述协议签订审批子模块用于在完成数据开放审批之后，确定所述数据开放协议。4.根据权利要求1所述的系统，其特征在于，所述数据加工处理模块包括：脱敏空间、开发空间、测试空间和生产空间；所述脱敏空间用于从所述公共数据仓库中获取样例数据进行数据脱敏，并将脱敏后的所述样例数据发送至所述开发空间；所述开发空间用于根据脱敏后的所述样例数据进行模型训练，得到数据加工模型；所述测试空间用于根据测试样例数据对所述数据加工模型进行测试；所述生产空间用于根据所述数据加工模型进行模型计算，得到所述数据产品。5.根据权利要求1所述的系统，其特征在于，所述数据产品审核模块包括：形式审核子模块、技术审核子模块和业务审核子模块；所述形式审核子模块的审核内容至少包括：数据产品基本信息审核、数据产品形态审核、数据产品完整性审核和敏感数据脱敏规则审核；所述技术审核子模块的审核内容至少包括：数据产品与申请信息一致性审核、数据加工逻辑审核、入参出参合规性审核和出参敏感数据脱敏规则核验；所述业务审核子模块用于的审核内容至少包括：数据产品业务价值审核、出域数据非原始数据审核、不可算法还原原始数据审核和数据服务限流规则核验。6.根据权利要求1所述的系统，其特征在于，所述数据产品服务模块包括：api接口网关、接口监测子模块和api限流熔断子模块；所述api接口网关用于向所述外部应用提供数据产品服务；所述接口监测子模块用于监测所述api接口网关的接口数据请求；
所述api限流熔断子模块用于在监测到异常高并发接口数据请求时，熔断所述接口数据请求。7.根据权利要求2所述的系统，其特征在于，所述开放终止和安全模块包括：开放终止审批子模块、数据开放评价子模块和数据销毁子模块；所述开放终止审批子模块用于提交数据开放终止申请，并对所述数据开放终止申请进行审批；所述数据开放评价子模块用于对数据开放和使用过程进行评价；所述数据销毁子模块用于对开放数据进行销毁。8.根据权利要求1所述的系统，其特征在于，所述系统还包括：部署在互联网环境的多个外部应用。9.一种公共数据开放利用的方法，其特征在于，所述方法应用于权利要求1至8任一项所述的公共数据开放利用的系统，包括：通过数据申请管控模块进行数据开放审批和建立数据开放协议；通过数据加工处理模块从公共数据仓库获取样例数据进行数据加工模型的训练，得到数据产品；通过数据产品审核模块对所述数据产品进行审核；通过数据产品服务模块在所述数据产品审核通过后，向外部应用提供数据产品服务。10.根据权利要求9所述的方法，其特征在于，所述方法还包括：通过开放终止和安全模块进行数据开放终止、数据开放评价以及数据销毁。

技术总结
本发明提供了一种公共数据开放利用的系统及方法，包括：部署在政务或企业外网环境的数据开放域子系统和公共数据资源管理子系统；其中，数据开放域子系统包括：数据申请管控模块、数据加工处理模块、数据产品审核模块和数据产品服务模块；公共数据资源管理子系统包括：公共数据仓库；数据申请管控模块用于进行数据开放审批和建立数据开放协议；数据加工处理模块用于从数据仓库获取样例数据进行数据加工模型的训练，得到数据产品；数据产品审核模块用于对数据产品进行审核；数据产品服务模块用于在数据产品审核通过后，向外部应用提供数据产品服务。本发明能够在保证原始数据的安全性的同时，提高数据的利用率。提高数据的利用率。提高数据的利用率。


技术研发人员：邹任芯 周和英 万琳
受保护的技术使用者：数字浙江技术运营有限公司
技术研发日：2023.07.19
技术公布日：2023/8/16