您所在的位置: 成果库 一种优化阵列数据库并行数据加载性能的系统

一种优化阵列数据库并行数据加载性能的系统

发布时间: 2022-12-15

来源: 试点城市(园区)

基本信息

合作方式: 技术转让
成果类型: 发明专利
行业领域:
新一代信息技术产业
成果介绍
本发明公开了一种优化阵列数据库数据并行加载性能的系统,包括监控引擎(1),监控引擎(1)收集数据库集群(2)的监控信息,将监控信息反馈到FASTLoad系统组件(3),FASTLoad系统组件(3)根据监控信息对待加载的数据进行分配方法数据加载;监控引擎(1)用于实时监控数据库节点(7);数据库集群(2)用于数据加载的执行;FASTLoad系统组件(3)用于数据的分割处理和加载。本发明不仅能满足阵列数据的加载需求,而且是一种能够对大规模基于阵列模型的数据进行数据并行加载的科学数据管理工具系统,该系统性能是原有的数据库系统加载数据机制的性能的4到6倍。
成果亮点
与现有技术相比,本发明通过监控引擎收集数据库集群的监控信息,将监控信息反馈到FASTLoad系统组件,FASTLoad系统组件中的数据加载协调引擎根据监控信息,应用自定义的规则来安排一部分数据库集群节点参与数据并行加载任务的执行。根据参与执行任务的各数据库节点的可用内存情况,FASTLoad系统组件中的数据分区引擎分析待加载的数据,将待加载的数据文件进行分割,然后协调参与执行任务的各数据库节点并行的执行数据加载任务,系统性能可达到原有数据库系统加载数据机制的性能的4到6倍。
团队介绍
团队由贵州各高校师生组成固定团体,目前约500人,下设综合部、自科项目与平台管理部、社科项目与平台管理部、成果与知识产权管理部。成果与知识产权管理部:1.负责收审、查验、评定、核算的科研成果积分和奖励。2.负责对外产学研合作和成果转移转化等工作。3.负责科研成果汇编及数据信息的保密管理、存档。团队重管理、讲效率,团队纪律严格、明确责任、不懈努力、开拓进取,为增强团队每一个成员的的创新能力,团队定期开展研讨交流会,在研讨交流中拓宽成员思路,在团建活动中凝聚团队力量。
成果资料