您所在的位置: 需求库 技术需求 数据模型自动化评审系统的研发

数据模型自动化评审系统的研发

发布时间: 2023-08-09
截止日期:2023-08-09

价格 双方协商

地区： 四川省 德阳市 旌阳区

需求方： 德阳***公司

行业领域

金融业

需求背景

大数据技术现在被越来越多的行业所使用，典型的电信行业就是使用大数据的先
驱者，电信系统最显著的一个特点就是数据量大，月存储PB数量级，随着集群的增大，越来越多样式的数据接入，数据以各种形式存放在集群里。数据的多样性，复杂性给管理带来很大的成本，且数据模型的管理基本上各厂家都有一套自己的规范，这也导致整个集群出现各种命名模式的模型，使得模型较为混乱，因此一些集群便出现了模型管理人员，但目前这些管理人员仍然用最原始的方法进行模型评审，即厂家开发人员提交模型过来，模型评审人员结合自己的业务理解和技术能力对所提交模型进行评审，整体流程如图1所示，包括如下阶段：

1、提交阶段：建模厂家提交建立模型的SQL语句，各厂家按照自己的规范进行建模。

2、评审阶段：模型评审人员收到建模厂家的建模语句后，结合自己以往的业务经验和技术能力，进行评估，目前主要是针对命名规范性进行校验。

3、通知阶段：评审人员将校验结构反馈给建模厂家。对于电信系统业务等大型业务系统，一般具有特点：1、业务数据量大，数据样式多；2、建模时效性要求高；3、厂家众多，建模数量多。

由上可见，现有的技术具有如下缺点：1、人工操作，容易产生错误；2、效率较为低下；3、对评审人员的业务知识，系统熟悉度要求较高。

需解决的主要技术难题

  1. 自动化评审：设计能够自动化评审数据模型的机制，通过算法和规则判断模型的质量和准确性。

  2. 复杂模型处理：解决复杂数据模型的评审问题，包括处理大规模数据、高维度数据和多层次模型等。

  3. 鲁棒性与可扩展性：确保系统具备高度鲁棒性，能够处理不同类型和形式的数据模型，并具备良好的可扩展性。

期望实现的主要技术目标

  • 适配不同的数据格式，如CSV、JSON、XML等常见数据格式。
  • 评审准确率：达到90%以上的准确率，对数据模型进行可靠和准确的评审。
  • 处理速度：能够在合理的时间内完成对大型数据模型的评审，每分钟处理10个模型。

需求解析

解析单位：四川省德阳市 解析时间：2023-08-09

杨京典

电子科技大学成都学院

教授

综合评价

提高数据模型设计质量：自动化评审系统可以快速、准确地对数据模型进行评审，并发现潜在的问题和风险。通过提供及时反馈和建议，可以帮助数据模型设计人员改进和优化数据模型，提高其质量和可用性。 降低人工成本：传统的数据模型评审通常需要大量的人工参与，耗费时间和人力资源。自动化评审系统可以大大减少人工的投入，减轻人员负担，并更好地利用测试人员的专业知识和经验。 规范数据模型设计：自动化评审系统基于事先定义的评审规则，对数据模型进行评估。这将有助于规范数据模型设计，提高设计的一致性和可维护性，并减少后续的调整和修复工作。 提升评审效率：自动化评审系统能够快速处理大量的数据模型，并提供详细的评审报告和结果。相比传统的人工评审，节省了时间和精力，并能够更好地跟踪评审的进度和结果。
查看更多>
更多