MK体育科技有限公司·合球运动官方平台

电话

0371-61283258

MK体育英伟达全新AI平台Vera Rubin亮相单 Token 成本降至 110

标签: ai智能训练系统 2026-03-20 

  

MK体育英伟达全新AI平台Vera Rubin亮相单 Token 成本降至 110

  【环球网科技综合报道】3月17日消息,据Investing报道,在今年的GTC 大会上,英伟达正式发布了Vera Rubin AI 平台,专为智能体 AI 发展打造。这一平台被视作英伟达在 AI 基础设施领域的代际飞跃,也标志着其开启史上最大规模的 AI 基建布局,将全面覆盖从大规模预训练到实时智能体推理的 AI 全生命周期,为智能体 AI 技术发展提供强有力的算力与技术支撑。

  英伟达创始人兼首席执行官黄仁勋表示,Vera Rubin AI 平台在核心算力、推理加速、数据存储等多个维度实现技术突破,从底层基础设施层面优化 AI 全流程运算效率,助力智能体 AI 的规模化落地。

  在核心算力层面,平台搭载的新一代 NVL72 机架实现效率突破性提升,通过 NVLink 6 完成 72 块 Rubin GPU 与 36 块 Vera CPU 的连接。相较于上一代 Blackwell 平台,该系统完成混合专家大模型(MoE)训练仅需四分之一的 GPU,每瓦推理吞吐量提升 10 倍,成功将单 Token 成本降至原来的十分之一,大幅降低了 AI 模型训练与推理的成本。同时,专为验证 AI 模型结果设计的 Vera CPU 机架集成 256 块液冷 CPU,运行效率达到传统 CPU 的两倍,运算速度提升 50%,进一步提升 AI 模型验证环节的效率。MK体育官网入口

  针对智能体系统低延迟、长上下文的核心需求,英伟达同步推出 Groq 3 LPX 推理加速机架。该系统配备 256 个 LPU 处理器,与 Vera Rubin 平台结合后,每兆瓦推理吞吐量最高可提升 35 倍,有效解决智能体 AI 运行过程中的延迟问题,适配长上下文的运算需求。

  数据存储环节的技术升级同样亮眼,全新 BlueField-4 STX 机架构建起 AI 原生存储基础架构。依托全新的 DOCA Memos 框架,该系统能高效处理大型语言模型生成的海量键值(KV)缓存数据,在显著降低能耗的同时,将推理吞吐量最高提升 5 倍,让 AI 多轮交互的响应速度大幅加快,更好地匹配智能体 AI 的实际应用场景。(纯钧)返回搜狐,查看更多

推荐新闻