科创中国

行业领域

电子信息技术

需求背景

大数据处理需求：随着互联网和物联网的快速发展，各种应用场景产生了大量的数据。处理这些海量数据对于传统的数据处理方法来说是一个巨大的挑战。当代需求背景要求数据处理自动化云平台能够利用分布式计算、大数据技术等，实现高效处理海量数据的能力。

自动化处理需求：传统的数据处理过程通常需要人工干预和操作，效率低下且容易出现错误。当代需求背景要求数据处理自动化云平台能够实现数据处理过程的自动化，减少人工干预，提高处理效率和准确性。

工具支持和扩展需求：不同的数据处理任务可能需要不同的工具和算法。当代需求背景要求数据处理自动化云平台内置海量工具，并支持工具扩展开发，以满足各种数据处理任务的需求。

可视化编排和业务模型需求：数据处理过程通常包括多个环节和步骤，需要进行编排和组合。当代需求背景要求数据处理自动化云平台能够提供可视化编排的功能，支持用户通过拖拽和连接的方式构建业务模型，简化数据处理流程的设计和管理。

分布式并行计算需求：对于大规模数据处理任务，传统的串行计算方式无法满足要求。当代需求背景要求数据处理自动化云平台能够支持分布式并行计算，将任务分解成多个子任务，并通过并行计算的方式加速处理过程。

需解决的主要技术难题

依托分布式、大数据、人工智能等技术，构建数据全流程自动化处理平台。内置海量工具，支持工具扩展开发，可视化编排构建业务模型及分布式并行计算，实现从数据写入、数据处理到数据写出的全流程处理。在功能要求上，要提供工具可视化编排、运行日志查看及工具扩展开发等功能模块。

期望实现的主要技术目标

提供工具扩展开发标准，支持算法封装为自定义工具；支持工具拖拽连接组合为业务模型；支持业务模型运行流程监控及运行日志信息查看；支持对接关系型数据库、非关系型数据库、分布式存储等多种数据存储方式；支持读取矢量、栅格、三维等多源异构数据，并提供多源数据融合处理、实时动态数据采集处理、互联网数据抓取等数据处理工具；支持结果数据写出至本地路径、数据库及对外 API 服务；支持分布式并行计算，根据硬件资源动态调度任务，满足高并发需求；要求系统云端部署，从启动到界面全部加载完成时间不超过 5 秒；算法调度响应时间，要求启动任务后在 3 秒内运行数据处理算法，如遇报错，应自动中止此次任务并反馈日志信息；

处理进度