一种牧场用数据处理系统及处理方法与流程
未命名
08-27
阅读:115
评论:0
1.本发明属于大数据智能技术领域,具体涉及一种牧场用数据处理系统及处理方法。
背景技术:
2.目前,用于牧场的数据处理系统主要采用云服务平台,而云服务平台依赖主机和公共云实现,数据直接保存在公共云,而主机仅起到操作的作用,主机不提供本地保存功能或仅提供简单的保存功能,由于主机的内存小,数据一般不进行加密、分类处理,而且数据会被定期覆盖。
3.同时,公共云存在数据泄露的风险,同时公共云与主机之间存在丢包、延迟现象,一方面,降低了数据保存的安全性,另一方面,还会导致数据不精准。
4.因此,亟需开发一种新的牧场用数据处理系统及处理方法,以解决上述问题。
技术实现要素:
5.本发明的目的是提供一种牧场用数据处理系统及处理方法。
6.为了解决上述技术问题,本发明提供了一种牧场用数据处理系统,其包括:公共云、主机、本地云、读写服务器和私有云;其中所述公共云用于读写操作数据及云端时间数据,由所述主机对公共云上读写的操作数据进行本地映射,所述主机将操作数据送入本地云进行存储;所述主机将本地时间数据插入操作数据中形成统一数据码,以将统一数据码送入所述读写服务器进行读写,以使所述读写服务器将统一数据码送入私有云,由所述私有云根据统一数据码的后缀进行分类存储;以及当所述主机通过读写服务器调用相应统一数据码时,所述主机将统一数据码分解为本地时间数据与操作数据。
7.进一步,在所述主机上将分解后的本地时间数据、操作数据与公共云上的云端时间数据、操作数据进行比对。
8.进一步,在所述公共云上将分解后的本地时间数据、操作数据与公共云上的云端时间数据、操作数据进行比对。
9.进一步,所述公共云包括:操作虚拟机,用于读写操作数据及云端时间数据;云数据库,用于存储操作数据及云端时间数据。
10.进一步,所述操作虚拟机、云数据库通过公共服务器建立。
11.进一步,所述公共服务器设置有电容监控模块,以用于反馈电容信号。
12.进一步,所述主机将操作数据转换为十进制数据。
13.进一步,所述主机将本地时间数据为十进制数据。
14.进一步,所述主机将本地时间数据随机插帧式插入操作数据中除后缀段以外部分,以形成统一数据码。
15.进一步,所述私有云包括:特征数据库,用于判断统一数据码的后缀;分类存储库,用于分类存储统一数据码。
16.进一步,所述分类存储库包括:若干存储虚拟机;各所述存储虚拟机分别用于存储一类数据组;所述特征数据库根据统一数据码的后缀判断其类别,以将相应统一数据码存入对应的所述存储虚拟机。
17.进一步,将所述分类存储库拆分为各存储虚拟机,且各所述存储虚拟机固化。
18.另一方面,本发明提供一种牧场用数据处理系统的处理方法,其包括:公共云读写操作数据及云端时间数据,由主机对公共云上读写的操作数据进行本地映射,主机将操作数据送入本地云进行存储;主机将本地时间数据插入操作数据中形成统一数据码,以将统一数据码送入读写服务器进行读写,以使读写服务器将统一数据码送入私有云,由私有云根据统一数据码的后缀进行分类存储;以及当主机通过读写服务器调用相应统一数据码时,主机将统一数据码分解为本地时间数据与操作数据。
19.进一步,将主机上分解后的本地时间数据、操作数据与公共云上的云端时间数据、操作数据进行比对。
20.进一步,处理方法采用如上述的牧场用数据处理系统。
21.本发明的有益效果是,本发明通过主机对公共云上读写的操作数据进行本地映射,能够保存至本地云,最大化提升保存量,并且还能够将本地时间数据插入操作数据中形成统一数据码,一方面起到对数据加密的作用,另一方面保证数据的精准性,克服公共云与主机之间存在延迟导致数据不精准的问题,通过读写服务器作为中转站将数据送入私有云中进行分类存储,能够降低私有云对数据的计算量,提升数据传输速度,避免数据溢出造成丢包的现象,即使公共云发生停机,也不会造成数据丢失,同时对数据进行校验判断是否存在延迟。
22.本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。
23.为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
24.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
25.图1是本发明的牧场用数据处理系统的原理框图;图2是本发明的牧场用数据处理系统的结构框图;图3是本发明的统一数据码形成的流程图;图4是本发明的分类存储库的结构框图;图5是本发明的处理方法的流程图。
具体实施方式
26.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是
全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
27.实施例1,在本实施例中,如图1至图5所示,本实施例提供了一种牧场用数据处理系统,其包括:公共云、主机、本地云、读写服务器和私有云;其中所述公共云用于读写操作数据及云端时间数据,由所述主机对公共云上读写的操作数据进行本地映射,所述主机将操作数据送入本地云进行存储;所述主机将本地时间数据插入操作数据中形成统一数据码,以将统一数据码送入所述读写服务器进行读写,以使所述读写服务器将统一数据码送入私有云,由所述私有云根据统一数据码的后缀进行分类存储;以及当所述主机通过读写服务器调用相应统一数据码时,所述主机将统一数据码分解为本地时间数据与操作数据。
28.在本实施例中,本实施例通过主机对公共云上读写的操作数据进行本地映射,能够保存至本地云,最大化提升保存量,并且还能够将本地时间数据插入操作数据中形成统一数据码,一方面起到对数据加密的作用,另一方面保证数据的精准性,克服公共云与主机之间存在延迟导致数据不精准的问题,通过读写服务器作为中转站将数据送入私有云中进行分类存储,能够降低私有云对数据的计算量,提升数据传输速度,避免数据溢出造成丢包的现象,即使公共云发生停机,也不会造成数据丢失,同时对数据进行校验判断是否存在延迟。
29.在本实施例中,公共云可以为openstack、阿里云、腾讯云、华为云、aws。
30.在本实施例中,在所述主机上将分解后的本地时间数据、操作数据与公共云上的云端时间数据、操作数据进行比对。
31.在本实施例中,能够在本地的主机上实现校验数据,由于操作数据传输到公共云上保存时有可能存在延迟、丢包,因此,首先通过操作数据去公共云上寻找与其匹配的操作数据,若在公共云上寻找不到则说明发生丢包,若在公共云上寻找到以后,将本地时间数据与云端时间数据进行对比,若本地时间数据与云端时间数据一致,则说明未发生延迟,不然则说明发生延迟,实现对数据进行校验的功能。
32.在本实施例中,在所述公共云上将分解后的本地时间数据、操作数据与公共云上的云端时间数据、操作数据进行比对。
33.在本实施例中,能够在公共云上实现校验数据,由于操作数据传输到公共云上保存时有可能存在延迟、丢包,因此,首先通过操作数据去公共云上寻找与其匹配的操作数据,若在公共云上寻找不到则说明发生丢包,若在公共云上寻找到以后,将本地时间数据与云端时间数据进行对比,若本地时间数据与云端时间数据一致,则说明未发生延迟,不然则说明发生延迟,实现对数据进行校验的功能。
34.在本实施例中,所述公共云包括:操作虚拟机,用于读写操作数据及云端时间数据;云数据库,用于存储操作数据及云端时间数据。
35.在本实施例中,所述操作虚拟机、云数据库通过公共服务器建立。
36.在本实施例中,操作虚拟机呈软件形式由主机进行访问,实现数据读写功能。
37.在本实施例中,所述公共服务器设置有电容监控模块,以用于反馈电容信号。
38.在本实施例中,主机通过反馈电容信号判断云数据库是否能正常读写数据。
39.在本实施例中,所述主机将操作数据转换为十进制数据。
40.在本实施例中,所述主机将本地时间数据为十进制数据。
41.在本实施例中,将操作数据、本地时间数据都转换为十进制数据,能够实现数据统一,方便后续对操作数据、本地时间数据处理。
42.在本实施例中,所述主机将本地时间数据随机插帧式插入操作数据中除后缀段以外部分,以形成统一数据码。
43.在本实施例中,由于将本地时间数据随机插帧式插入操作数据中除后缀段以外部分,因此形成的统一数据码更加安全,同时保留操作数据中后缀段部分,能够方便判断统一数据码的类别。
44.在本实施例中,读写服务器作为中转站,其选择规格较高的服务器,满足数据读写及传输需求。
45.在本实施例中,所述私有云包括:特征数据库,用于判断统一数据码的后缀;分类存储库,用于分类存储统一数据码。
46.在本实施例中,统一数据码的后缀可以是文件类型、资源类别等,可以根据实际使用情况设置。
47.在本实施例中,所述分类存储库包括:若干存储虚拟机;各所述存储虚拟机分别用于存储一类数据组;所述特征数据库根据统一数据码的后缀判断其类别,以将相应统一数据码存入对应的所述存储虚拟机。
48.在本实施例中,将所述分类存储库拆分为各存储虚拟机,且各所述存储虚拟机固化。
49.目前私有云的虚拟机是呈整体的,数据传输到私有云时,私有云会分出一个虚拟机去接收数据,但是数据由于未分类,数据超过该虚拟机的容量,此时私有云对虚拟机进行扩容,但是在私有云分出虚拟机、扩容虚拟机是有一定时间的,而数据传输不中断,因此这个过程中存在数据溢出造成丢包的现象,而本实施例中直接将分类存储库拆分为n个存储虚拟机进行固化,每个存储虚拟机对应一个数据组,一方面实现对数据分类,另一方面省去分出虚拟机、扩容虚拟机的过程,克服数据溢出造成丢包的问题,提升数据存储的稳定性。
50.实施例2,在实施例1的基础上,本实施例提供一种牧场用数据处理系统的处理方法,其包括:公共云读写操作数据及云端时间数据,由主机对公共云上读写的操作数据进行本地映射,主机将操作数据送入本地云进行存储;主机将本地时间数据插入操作数据中形成统一数据码,以将统一数据码送入读写服务器进行读写,以使读写服务器将统一数据码送入私有云,由私有云根据统一数据码的后缀进行分类存储;以及当主机通过读写服务器调用相应统一数据码时,主机将统一数据码分解为本地时间数据与操作数据。
51.在本实施例中,将主机上分解后的本地时间数据、操作数据与公共云上的云端时间数据、操作数据进行比对。
52.在本实施例中,处理方法采用如实施例1所提供的牧场用数据处理系统。
53.综上所述,本发明通过主机对公共云上读写的操作数据进行本地映射,能够保存至本地云,最大化提升保存量,并且还能够将本地时间数据插入操作数据中形成统一数据码,一方面起到对数据加密的作用,另一方面保证数据的精准性,克服公共云与主机之间存在延迟导致数据不精准的问题,通过读写服务器作为中转站将数据送入私有云中进行分类存储,能够降低私有云对数据的计算量,提升数据传输速度,避免数据溢出造成丢包的现象,即使公共云发生停机,也不会造成数据丢失,同时对数据进行校验判断是否存在延迟。
54.本技术中选用的各个器件(未说明具体结构的部件)均为通用标准件或本领域技术人员知晓的部件,其结构和原理都为本技术人员均可通过技术手册得知或通过常规实验方法获知。
55.在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
56.在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
57.在本技术所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
58.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
59.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
60.以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。
技术特征:
1.一种牧场用数据处理系统,其特征在于,包括:公共云、主机、本地云、读写服务器和私有云;其中所述公共云用于读写操作数据及云端时间数据,由所述主机对公共云上读写的操作数据进行本地映射,所述主机将操作数据送入本地云进行存储;所述主机将本地时间数据插入操作数据中形成统一数据码,以将统一数据码送入所述读写服务器进行读写,以使所述读写服务器将统一数据码送入私有云,由所述私有云根据统一数据码的后缀进行分类存储;以及当所述主机通过读写服务器调用相应统一数据码时,所述主机将统一数据码分解为本地时间数据与操作数据。2.如权利要求1所述的牧场用数据处理系统,其特征在于,在所述主机上将分解后的本地时间数据、操作数据与公共云上的云端时间数据、操作数据进行比对。3.如权利要求1所述的牧场用数据处理系统,其特征在于,在所述公共云上将分解后的本地时间数据、操作数据与公共云上的云端时间数据、操作数据进行比对。4.如权利要求1所述的牧场用数据处理系统,其特征在于,所述公共云包括:操作虚拟机,用于读写操作数据及云端时间数据;云数据库,用于存储操作数据及云端时间数据。5.如权利要求4所述的牧场用数据处理系统,其特征在于,所述操作虚拟机、云数据库通过公共服务器建立。6.如权利要求5所述的牧场用数据处理系统,其特征在于,所述公共服务器设置有电容监控模块,以用于反馈电容信号。7.如权利要求1所述的牧场用数据处理系统,其特征在于,所述主机将操作数据转换为十进制数据。8.如权利要求7所述的牧场用数据处理系统,其特征在于,所述主机将本地时间数据为十进制数据。9.如权利要求8所述的牧场用数据处理系统,其特征在于,所述主机将本地时间数据随机插帧式插入操作数据中除后缀段以外部分,以形成统一数据码。10.如权利要求1所述的牧场用数据处理系统,其特征在于,所述私有云包括:特征数据库,用于判断统一数据码的后缀;分类存储库,用于分类存储统一数据码。11.如权利要求10所述的牧场用数据处理系统,其特征在于,所述分类存储库包括:若干存储虚拟机;各所述存储虚拟机分别用于存储一类数据组;所述特征数据库根据统一数据码的后缀判断其类别,以将相应统一数据码存入对应的所述存储虚拟机。
12.如权利要求11所述的牧场用数据处理系统,其特征在于,将所述分类存储库拆分为各存储虚拟机,且各所述存储虚拟机固化。13.一种牧场用数据处理系统的处理方法,其特征在于,包括:公共云读写操作数据及云端时间数据,由主机对公共云上读写的操作数据进行本地映射,主机将操作数据送入本地云进行存储;主机将本地时间数据插入操作数据中形成统一数据码,以将统一数据码送入读写服务器进行读写,以使读写服务器将统一数据码送入私有云,由私有云根据统一数据码的后缀进行分类存储;以及当主机通过读写服务器调用相应统一数据码时,主机将统一数据码分解为本地时间数据与操作数据。14.如权利要求13所述的牧场用数据处理系统的处理方法,其特征在于,将主机上分解后的本地时间数据、操作数据与公共云上的云端时间数据、操作数据进行比对。15.如权利要求14所述的牧场用数据处理系统的处理方法,其特征在于,采用如权利要求1-12任一项所述的牧场用数据处理系统。
技术总结
本发明属于大数据智能技术领域,具体涉及一种牧场用数据处理系统及处理方法,本牧场用数据处理系统包括:由主机对公共云上读写的操作数据进行本地映射,主机将操作数据送入本地云进行存储;主机将本地时间数据插入操作数据中形成统一数据码,以将统一数据码送入读写服务器进行读写,由私有云根据统一数据码的后缀进行分类存储;本发明能够保存至本地云,最大化提升保存量,一方面起到对数据加密的作用,另一方面保证数据的精准性,能够降低私有云对数据的计算量,提升数据传输速度,避免数据溢出造成丢包的现象,即使公共云发生停机,也不会造成数据丢失,同时对数据进行校验判断是否存在延迟。存在延迟。存在延迟。
技术研发人员:邓军 李竹良 张广雷 杨小荣 马海菱 王超
受保护的技术使用者:常州辉途智能科技有限公司
技术研发日:2023.07.25
技术公布日:2023/8/24
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
