您所在的位置: 成果库 应用于大模型推理的算网一体的AI超算服务器

应用于大模型推理的算网一体的AI超算服务器

发布时间: 2023-10-18

基本信息

合作方式：
成果类型： 软件著作权,新技术
行业领域：
新一代信息技术产业,互联网与云计算、大数据服务
成果介绍
本项目提供的产品形态是超算服务器和集群系统。该项目主要采用算网一体的架构采用无损以太网技术把多个计算节点（产品方案采用高通SOC芯片，也可替换高性能的国产芯片）组建集群设计制造小超算服务器，同时多个超算服务器也可以通过算网一体的并行计算方案组建大型超算系统。 该项目主要研究如何通过算网一体架构 (ICC, Integrated Computing and Communication）实现计算和网络通讯的协同，以及计算和网络资源的统一、灵活和动态的调度，结合对SoC计算单元算力的效率提升，提高整个AI并行计算系统的计算效率。这其中应用到了包括嵌入式AI、无损以太网、 RoCE（Rdma over Converged Ethernet ）、CoCE（Collective over Converged Ethernet融合以太网集合通信）、并行计算、算网资源协同调度等技术。
成果亮点
该项目产品和系统主要服务于AI高性能计算领域，包括大模型推理（AIGC应用等、人机交互）场景、大密度低时延边缘计算场景。 该项目产品与同类主流竞品相比可以显著降低采购和运营成本、提高能效比和计算资源利用率、能够平滑扩容；经过对比测算分析：GPU资源利用率从50%提升到75%以上，同等算力采购成本降低50%，运行能耗降低80%。
团队介绍
李斌，CTO，首席AI科学家和架构师/首席解决方案，负责产品规划和并行计算系统的研发以及面向市场的解决方案开发；曾担任华为数据通信产品管理团队(PMT)的核心成员、极路由技术总监、海尔集团北京聆风科技CEO、北京数真科技有限公司CTO，他对大带宽通讯技术、数据路由交换技术、深度学习、机器视觉、实时视频流分析、嵌入式人工智能（即将出书）在智能终端的应用等有深入的研究和积累，在相关领域拥有数十篇国内外发明专利。 严海波，研发VP，负责软硬件产品开发；前华为智能网关PDT开发代表，曾主导参与开发了多个大型通讯设备，离职后创业后曾涉及到通讯、自动化以及机器人系统等。 任师臣，CMO，负责产品销售管理和市场拓展工作。曾先后在西门子、GE等公司负责大区销售，在华为有将近12年的行业拓展和销售经验，对金融、电信、零售等多个领域有着丰富的客户资源，在渠道建设、行业市场规划等方面具有丰富的成功实践和团队管理经验。
专家点评

“科创中国”技术路演——新一代信息技术（辽宁）专场活动 | 2023-10-18

  • 刘朗宇

    中信科信（北京）投资咨询有限公司—投资副总裁

    经济专家
    掌握核心技术，应用前景广，发展潜力较大，需进一步梳理发展规划路径。
成果资料
路演文件