輝達公布最新 AI 伺服器效能：可讓部分模型速度提升達 10 倍

美國晶片大廠輝達（NVDA） 公布最新效能數據指出，其最新一代 AI 伺服器可讓目前成長最快的人工智慧模型在推理階段取得高達 10 倍效能提升。此結果突顯出輝達希望在產業從「訓練」轉向「大規模部署」的競爭環境中，持續守住領先地位。

混合專家（MoE）架構成焦點，DeepSeek、OpenAI、Mistral 都採用

輝達強調，本次效能躍進主要發生在混合專家（Mixture-of-Experts, MoE）模型。
此類架構會依任務類型自動分配至模型中的不同「專家」模組，以提升運算效率。

MoE 技術今年快速爆紅，源自中國業者 DeepSeek 釋出高性能開源模型，引發全球廣泛採用。目前包括 OpenAI、法國 Mistral 及中國 Moonshoot AI 等開發者皆已導入此架構。

72 顆頂級晶片組成高速伺服器、Moonshoot 模型效能提升十倍

輝達表示，最新伺服器採用 72 顆頂規 AI 晶片，並透過高速互連架構將其整合成單一運算系統。

在 Moonshoot AI 的 Kimi K2 Thinking 模型上，效能相較前一代輝達伺服器提升 10 倍，DeepSeek 模型也出現類似增幅。

公司指出，效能提升主因包括更高的晶片密度（同機塞進更多 GPU），以及更快的晶片間傳輸速度。這些仍是輝達相對於競爭對手具優勢的領域。

AI 部署戰升溫，超微、Cerebras 明年將推高密度伺服器

這項更新發布之際，輝達在「模型部署」（Serving）市場面臨超微、Cerebras 等競爭加劇。

超微已計畫於明年推出類似的多 GPU 高密度伺服器產品，使市場競爭更加白熱化。

市場觀察者將關注雲端服務商與 AI 開發者是否會快速導入輝達最新伺服器，以及這些效能優勢是否能在競爭加劇的情況下，轉化為持續性需求。

提到的股票

• AMD 超微半導體

• NVDA 輝達

概念股

• GPU

• HPC

參考資料

• Nvidia Servers Deliver Tenfold Performance Boost for Emerging AI Models
• Nvidia servers speed up AI models from China's Moonshoot AI and others tenfold