鎧俠（Kioxia）推開源 AiSAQ 技術，降低生成式 AI 對 DRAM 需求
為什麼重要
日本記憶體製造商鎧俠（Kioxia）的 AiSAQ 技術，將直接提升雲端計算和大數據分析領域的效率，降低營運成本。
此技術對於需要大量資料處理和儲存的生成式 AI 系統部署的發展之路，或許是個重要轉捩點。
背景故事
生成式 AI 系統帶動各行各業突破、創新，各界對生成式 AI 需求暴增，但也因此需要大量的運算、記憶體和儲存資源，整個成本水漲船高。
RAG（Retrieval-Augmented Generation，檢索增強生成）作為 AI 的關鍵階段，透過特定公司或應用程式的資料來改善大型語言模型（LLM），其核心元件為向量資料庫。
傳統上，ANNs（近似最近鄰搜尋）演算法部署在 DRAM 中，以實現快速檢索，但這仰賴高速效能，並使用大量記憶體。
發生了什麼
鎧俠近日宣布開放 AiSAQ（Approximate Nearest Neighbor Search and Product Quantization）技術的原始碼，這項技術能透過 SSD 儲存加速 AI 檢索過程，降低對 DRAM 的依賴，為 AI 產業提供更具成本效益的解決方案。
AiSAQ 技術為 RAG 提供了可擴充套件的效能，允許在不使用 DRAM 的情況下，直接在 SSD（固態硬碟）上進行搜尋。
鎧俠 AiSAQ 技術為十億級資料集提供了一個可擴充套件且高效能的 ANNs 解決方案，具有記憶體使用量極低、索引快速切換等優勢。
接下來如何
鎧俠透過將 AiSAQ 以 開源軟體形式提供給開發者，日後更多用戶能運用這項技術，降低 AI 開發與部署成本。
AiSAQ 技術將促進更廣泛的創新，使大型資料庫在不依賴有限的 DRAM 資源的情況下也能執行，進而增強 RAG 系統的效能。
透過 AiSAQ 技術，向量資料庫可以即時啟動，用戶不必將索引資料載入 DRAM 中，即達成高效的 RAG 服務交付。
他們說什麼
「透過直接在 SSD 上進行搜尋，AiSAQ 技術不僅降低了對 DRAM 的依賴，還為雲端基礎設施和大數據應用開啟了新的可能性。」- 分析師
