科创中国
广域数据融合分析平台技术协同
发布时间:
2023-10-31
截止日期:2023-10-31
价格 双方协商
地区： 浙江省 温州市 市辖区
需求方： 温州***公司
行业领域
电子信息技术,计算机及网络技术
需求背景
将“数字变革创新”作为一项重要工作，着力推进以数字化转型整体驱动生产方式、生活方式和治理方式变革。随着数据分析的日益复杂，如处理流程长、数据处理方式多样、广域异地和跨组织等，设计研发“易用、强大、高效”的数据分析处理平台成为各方努力的重点。美国阿拉贡国家实验室、劳伦斯国家实验室等正在尝试研发适用于广域协同的数据融合分析平台，用于大规模科学数据、工程数据处理分析，取得很好效果，相关系统仍在持续改进中。
需解决的主要技术难题
本项目围绕探索式数据融合分析，攻关大数据/人工智能/高性能计算融合计算技术、数据分析工作流性能自动/半自动优化技术、复杂数据分析可重现技术，研发分析软件，并搭建相应分析平台和开展应用示范，形成一套广域协同的数据融合分析平台。
本项目主要解决的重大问题有四个，包括数量众多、使用方式差异大的大数据、人工智能、高性能计算软件统一、协同使用问题；解决复杂数据分析工作流性能高效优化问题；解决复杂数据分析可重现问题；搭建探索式数据融合分析平台软件研发与示范问题：
1、大数据/人工智能/高性能计算融合计算技术攻关：针对目前大数据、人工智能、高性能计算软件众多，使用方式差异大问题，针对性研究融合计算框架，实现大数据、人工智能、高性能计算等数据处理方式的统一与协同，并解决不同数据处理方式间数据格式适配、数据高效流转问题。
2、数据分析工作流性能自动/半自动优化技术：针对复杂数据分析工作流当前性能优化技术门槛高、优化效率低、适应性差等问题，探索并行优化、参数空间并行探索、近似计算等多种数据分析工作流优化技术，综合考虑计算资源特性和应用个性化需求，智能生成优化方案，并支持自动、半自动优化。
3、复杂数据分析可重现技术：可重现性是保证数据分析科学性的基本要求。但随着数据分析日益复杂，越来越多的数据分析难以重现，表现为环境依赖、数据依赖等难以重建。针对此问题，将研究基于容器的数据分析环境重现技术，基于数据血缘的数据分析重现技术，包括数据依赖定义（如数据血缘粒度选择）、血缘元数据高效获取与处理（如血缘数据自动精准获取、重复数据应对等）。
4、探索式数据融合分析平台软件研发与示范：基于上述成果，研发探索式数据融合分析平台软件，实现富媒体交互式UI、多数据处理模式融合计算、自动/半自动性能优化、多尺度计算性能自适应、数据分析重现等特色功能，并支持多地、多人协作，易达（随时随地）易用（低门槛）。搭建基于超级计算平台的探索式数据融合分析平台，并选取典型场景进行应用示
期望实现的主要技术目标
本项目在支持期限内，围绕探索式数据融合分析，攻关大数据/人工智能/高性能计算融合计算技术、数据分析工作流性能自动/半自动优化技术、复杂数据分析可重现技术，研发分析软件，并搭建相应分析平台和开展应用示范，形成一套广域协同的数据融合分析平台。
基于本项目，攻关复杂数据分析可重现技术，完善探索式数据融合分析平台软件；搭建3个数据融合分析典型应用场景，完成5项企业技术服务；牵头参与团体标准或行业标准制定1项；组建1个数据融合分析市级或以上重点实验室或工程研究中心。
下载app