科创中国
云数据融合方法和系统
成果类型：: 发明专利
发布时间: 2023-02-13 09:31:50
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-03-17 13:53:23
本发明提供了一种云数据融合方法和系统。所述方法包括：读取非结构化云数据；对所述非结构化云数据进行并行处理，并输出处理结果；将所述处理结果进行转换得到结构化云数据，并存储。所述系统包括：读取模块，用于读取非结构化云数据；并行处理模块，用于对所述非结构化云数据进行并行处理，并输出处理结果；转换模块，用于将所述处理结果进行转换得到结构化云数据，并存储。采用本发明能节省数据查询所耗费的时间。
一种云数据融合方法，包括如下步骤：读取非结构化云数据；对所述非结构化云数据进行并行处理，并输出处理结果；将所述处理结果进行转换得到结构化云数据，并存储；所述将所述处理结果进行转换得到结构化云数据，并存储的步骤包括：获取所述处理结果即将存入的结构化数据库的列所对应的数据类型；将所述处理结果转换为所述获取得到的数据类型；将所述转换得到的处理结果写入结构化数据库。
随着大型数据处理的迅猛发展，云计算的应用越来越普遍，而应用云计算所实现的各种云数据处理和云数据查询也成为了云计算系统的主要任务。云计算中大都采用非结构化数据库，以易于划分和合并云数据，进而满足云计算中的分布式并行处理需求。
然而，由于云计算所采用的是非结构化数据库，因此，将数据存入时是不存在结构化的，进而造成云计算过程中的云数据查询需要耗费非常多的时间，
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
结构化数据库，用于写入所述转换得到的处理结果。
在其中一个实施例中，所述系统还包括:
查询模块，用于获取所述处理结果的查询请求，根据所述查询请求在所述结构化云数据中进行查询得到处理结果。
上述云数据融合方法和系统中，将读取的非结构化云数据进行并行处理，得到处理结果，对该处理结果进行转换，使得处理结果由非结构化云数据变换为结构化云数据并存储，由于处理结果是以结构化云数据的形式存储的，因此，将使得处理结构能够适应频繁的查询，并节省查询所耗费的时间。
技术合作
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
下载app