数据处理自动化云平台技术

发布时间: 2023-07-18

来源: 试点城市（园区）

截止日期:2023-07-19

价格双方协商

地区：北京市市辖区海淀区

需求方：中关***合会

行业领域

电子信息技术

需求背景

依托分布式、大数据、人工智能等技术，构建数据全流程自动化处理平台。内置海量工具，支持工具扩展开发，可视化编排构建业务模型及分布式并行计算，实现从数据写入、数据处理到数据写出的全流程处理。

需解决的主要技术难题

提供工具可视化编排、运行日志查看及工具扩展开发等功能模块。

期望实现的主要技术目标

提供工具扩展开发标准，支持算法封装为自定义工具；

支持工具拖拽连接组合为业务模型；

支持业务模型运行流程监控及运行日志信息查看；

支持对接关系型数据库、非关系型数据库、分布式存储等多种数据存储方式；

支持读取矢量、栅格、三维等多源异构数据，并提供多源数据融合处理、实时动态数据采集处理、互联网数据抓取等数据处理工具；

支持结果数据写出至本地路径、数据库及对外 API 服务；

支持分布式并行计算，根据硬件资源动态调度任务，满足高并发需求；

要求系统云端部署，从启动到界面全部加载完成时间不超过 5 秒；

算法调度响应时间，要求启动任务后在 3 秒内运行数据处理算法，如遇报错，应自动中止此次任务并反馈日志信息；

处理进度

科创中国