您所在的位置: 成果库 海通证券新一代全栈自主可控分布式数据仓库

海通证券新一代全栈自主可控分布式数据仓库

成果类型:: 实用新型专利

发布时间: 2023-09-13 13:43:38

科技成果产业化落地方案
方案提交机构:成果发布人| 耿祎楠 | 2023-09-13 13:43:38

海通证券新一代自主可控分布式数据仓库是海通证券为应对“数智时代”的挑战,基于“国产ARM服务器+国产操作系统+国产分布式数据库”全栈自主可控的解决方案。目前新一代全栈自主可控分布式数据仓库已于2019年12月31日正式上线。新系统采用华为TaiShan 服务器+GaussDB OLAP 分布式数据库的融合数据湖解决方案。公司根据业务所需,提出了可扩展的“国产ARM服务器+国产操作系统+国产分布式数据库”全栈自主可控的解决方案,采用Share-Nothing 架构,实现了性能与容量管理、数据仓库辅助管理、ETL快速开发、统一任务调度、数据服务与管理等配套系统,形成了完善的数据仓库体系。采用开放的Share-Nothing架构,实现性能与容量的按需横向扩展,支撑海通证券由于业务高速发展而快速扩张的数据需求,满足数据集市、对账单等核心数据应用;在数据仓库典型场景数据模型、对账单以及性能复杂的智能账户场景上均由较大的提升,特别是针对性能消耗最大的智能账户分析场景,数据分析时间由原先的2.5小时缩短至60分钟左右,性能提升最高达3倍。

区别于原有数据仓库的传统一体机封闭架构,新一代数据仓库软硬件架构采用开放的Share-Nothing架构,实现性能与容量的按需横向扩展,支撑海通证券由于业务高速发展而快速扩张的数据需求,满足数据集市、对账单等核心数据应用;基于鲲鹏生态的全系统组件实现HA高可靠,不仅数据与计算节点分布式部署,所有协调节点全部为多活架构,确保整个系统架构无单节点故障隐患,最大程度保障业务数据安全。通过GaussDB全并行计算 + 行列混存的特性,完美适配如交易明细查询、合规风控等复杂应用场景,实现千万级数据关联分析查询秒级响应,实现Ad-hoc报表业务需求。

新一代全栈自主可控企业级数据仓库的成功投产,改变了证券行业数据仓库系统长期依赖国外品牌的局面,是响应国家数字新基建和信息技术应用创新的重要举措,还将对证券行业重要信息系统实现自主可控起到示范作用。采用“TaiShan服务器 + Euler操作系统 + GaussDB OLAP分布式数据库”的全栈自主可控的解决方案,对底层代码完全自主可控,替换国外数据库产品,避免核心技术的绑定,从软件与硬件、性能和效率、短期应用的战术最优化和长远发展的战略最优化多个角度实现了整体全面提升。此外,通过本次新一代数据仓库技术平台转型升级工作公司锻炼了一批能打硬仗的分布式数据库方面的人才。

数据作为企业重要的资产,让数据资产围绕业务价值创造的目标更好地流动、加工、分析、应用,最终产生效益和价值,这是新一代企业级数据仓库建设的出发点和落脚点。展望未来,我们会一直秉承“集团化、国际化、信息化”的发展战略,围绕“1+3+N”大数据战略(1是指大数据平台,3是指数据管控平台、报表与分析平台、人工智能平台,N是指大数据平台技术输出到业务的应用场景),持续加强在数据中台方面的投入,持续加强数据应用并发挥数据价值,不断深化在客户服务、运营管理、风险合规和财务管理等业务领域的数据应用,全面赋能公司业务创新发展和数字化转型,为行业金融科技创新贡献更多范例。

海通证券是上海市属国有大型金融机构,也是中国资本市场成立最早、综合实力最强、金融牌照最全的证券公司之一。公司成立于1988年,始终坚持“务实、开拓、稳健、卓越”的经营理念,三十余年行稳致远,立足上海,服务全国,面向全球,经营网点遍及全球14个国家和地区,覆盖“纽、伦、东、沪、新、港”六大国际金融中心,各项经营指标长期处于行业领先地位。截至2020年底,公司总资产达6941亿元,归属母公司净资产达1534亿元,排名行业第2;2020年公司实现营业收入382.2亿元,排名行业第2,归属母公司净利润108.8亿元,排名行业第3。公司分类评价结果持续保持行业最高水平A类AA级。

海通新一代分布式数据仓库系统已于2019年12月31日正式上线。接入93多个数据源,构建了当事人、协议、机构、产品、事件、财务、渠道、资产等8大基础数据模型和汇总数据层,为60个应用系统提供服务,包括e海通财、e海通行、风险集市、财务集市、客户集市、运营集市、监管报送系统等重要应用。同时配套有完善据库管理和数据开发工具,具有全链路覆盖的统一调度和监控系统,逐步完善的数据质量保障体系,形成了公司级别的数据资产平台。

项目可以采用技术转让、技术合作等多种形式进行对接,基于“国产ARM服务器+国产操作系统+国产分布式数据库”的解决方案,实现从软硬件基础设施到应用系统的全面自主可控。

基于鲲鹏系列处理器,利用GaussDB全并行计算 + 行列混存的特性,支持PB级数据和秒级数据处理,打造分布式高性能的新一代全栈自主可控数据仓库;

配套完善据库管理和数据开发工具,实现全链路覆盖的统一调度和监控系统,落地完善的数据质量保障体系,形成公司级别的数据资产平台。