成果介绍
本成果针对主流大模型复杂度高,参数规模大导致本地部署成本高的难题,提出了输入自适应的模型轻量化技术,攻克了模型压缩后精度显著下降的挑战,研发了精度无损的大模型有效压缩技术,形成了基于国产异构算力卡的大模型本地部署低成本一体机系统,突破了超大规模模型参数的高算力需求以及国产算力卡资源差异较大的性能瓶颈,解决了主流一体机平台成本高昂问题,实现了低成本的国产算力大模型本地部署,达到了国际领先的低成本大模型本地部署水平。
成果亮点
(1) 模型困惑度<22;
(2) 模型吞吐量>100token/s;
(3) 满血版 DEEPSEEK R1-671B 本地部署成本<30 万;
(4) 满血版 DEEPSEEK R1-671B 压缩后网络规模<330B。
成果可应用于大量数据敏感或者网络受限场景的文本及多模态生成类应用领域,例如金融、医疗中的问答任务等场景,实现低成本的大模型本地部署效果。同时,成果可应用于端设备延迟敏感的视觉处理类应用领域,例如车载和无人机载目标检测等。
团队介绍
联系人: 庄老师 单位名称:常州市武进区科技成果转移中心
成果资料