Groq 推出語言處理單元，挑戰 Nvidia GPU 市場地位
Ryan Chen
為什麼重要
Groq 的語言處理單元（LPU）提供了新的數位處理速度和效率基準，這將對人工智慧、數據分析等需大量運算的產業產生深遠影響。
LPU 的出現可能改變資料處理的方式，並有潛力取代目前廣泛使用的 GPU。
背景故事
Google TPU 專案的先驅 Jonathan Ross 於 2016 年創立了 Groq，迅速確立了自己在處理單元創新領域的領導者地位。
Ross 在人工智慧和處理技術方面的豐富背景推動了 LPU 的發展，並曾表示，Groq 的存在是為了消除「富人和窮人」，並幫助人工智慧社群中的每個人發展。
面對大量運算需求時，傳統的處理架構往往無法滿足要求，因此 Groq 的 LPU 旨在解決 CPU 和 GPU 等舊技術的限制。
發生了什麼
Groq 推出了語言處理單元（LPU），首度公開成果，引起社群媒體熱議。
LPU 的速度接近每秒 500 個 token，為數位處理的速度和效率樹立了新的基準，並能將延遲降至最低，提供了迄今為止聞所未聞的服務速度。
Groq 使用新的張量流處理器（TPS）架構來實現 LLM 運算，TPS 和 LPU 有望改變處理資料的方式，其快速推理和降低功耗的承諾受到關注。
接下來如何
LPU 的運作方式與 GPU 不同，使用臨時指令集電腦架構，不必像 GPU 使用高頻寬記憶體（HBM）那樣頻繁地從記憶體重新載入資料，有助於避免 HBM 短缺問題並降低成本。
LPU 不像 GPU 需要超高速儲存，Groq 聲稱其技術可以憑藉其強大的晶片和軟體在人工智慧任務中取代 GPU。
由於推理運行使用的資料比模型訓練少得多，因此 Groq 的 LPU 更節能，與用於推理任務的 Nvidia GPU 相比，Groq 的 LPU 從外部記憶體讀取的資料更少，功耗也更少。
他們說什麼
X 平台帳號 k_zer0s 表示，Groq 的 LPU 不需要像 Nvidia GPU 那樣快速的資料傳輸，其系統中沒有 HBM，使用 SRAM，其速度比 GPU 使用的速度大約快 20 倍。
Groq 公司宣稱，其技術能夠透過其強大的晶片和軟體，在推理任務中取代 GPU 的角色，Ross 強調，推理是實現這一目標的關鍵，因為「速度」是將開發人員的想法轉化為商業解決方案和改變生 APP 的關鍵。
