低于1TB 支持100并发 联想AI服务器首次实现本地部署DeepSeek满血大模型性能突破

3月3日消息，近日，联想集团宣布基于联想问天WA7780 G3服务器，在行业内首次实现单机部署DeepSeek-R1/V3 671B大模型，以低于行业公认1TGB显存（实际768GB）承载100并发用户流畅体验，可以满足千人以上企业的使用需求，为行业树立了企业级大模型部署新基准。

联想此次突破为企业提供科学选型指南。针对行业公认1TB显存是千亿参数大模型运行基线的背景下，联想研发团队通过专家并行优化、智能访存架构升级及PCIe 5.0全互联架构创新，大幅提升了显存利用率，从而实现了性能的提升。

联想实测数据显示，在512 token标准测试环境下，该系统可支持100个并发用户持续获得每秒10 token的稳定输出，首token响应时间压缩至30秒内。即便面对4K长序列复杂场景，仍能保持25个并发用户同等性能表现。

尤为值得关注的是，这台服务器仅配置了8张96GB显存的GPU卡。而DeepSeek-R1大模型的模型参数就需占用约700GB显存，仅余不到100GB显存空间可需用于KV-Cache等计算，如果不做专门优化，仅能支持2、3个用户接入。

联想在万全异构智算平台的加持下通过精心优化实现了突破，成功达成了用户最为关注的三项关键指标：首token延迟小于30秒、单token延迟小于100毫秒、支持2K以上长序列问题处理，同时实现了20%以上的成本节约。

未来，联想基础设施业务群与联想研究院先进计算实验室将继续携手合作，依托联想万全异构智算平台对DeepSeek平台从AI预训练、后训练到推理的全流程进行持续优化，为客户奉献出性能更佳、性价比更高的产品和解决方案，以加速DeepSeek大模型的落地。（静静）

本文来自网易科技报道，更多资讯和深度内容，关注我们。