What is Modular?
Modular 加速執行平台 (MAX),革命性的 AI 軟體堆疊,專為 AI 工程師設計,提供無與倫比的效能、可程式化和可移植性。由 Modular Inc. 開發的 MAX 是一種創新的 AI 基礎架構方法,提供一組完整的工具和函式庫,可簡化低延遲、高輸送量、即時 AI 推論管線的部署。
主要特色:
使用 Mojo 的完全可程式化:MAX 建立在 Mojo 上,這是一種結合 Python 的易用性、Rust 的安全性以及 C 的效能的程式語言。這種獨特的組合解鎖了 AI 硬體的全部潛力,讓 AI 工程師可以以前所未有的輕鬆與效率擴充並最佳化 AI 模型。
無與倫比的效能:作為平台核心元件的 MAX Engine,為 AI 管線提供最先進的延遲和輸送量。這包括生成模型,允許快速將 AI 管線商品化,並在雲端基礎架構上大幅節省成本。
無縫可移植性:MAX 確保 AI 模型和管線可以輕鬆移到任何硬體目標。這種靈活性將效能與成本比最大化,並消除廠商鎖定,在硬體選擇上提供自由度和效率。
MAX Engine:作為模型推論執行時間和 API 函式庫,MAX Engine 在任何硬體上以卓越的效能執行 AI 管線。它提供簡單的 Python 或 C API,可以快速從現有的推論呼叫(如 TensorFlow、PyTorch 或 ONNX)進行轉換,並在各種 CPU 架構中提供高達 5 倍的執行速度。
MAX Serving:MAX Engine 這個模型提供函式庫,提供與現有提供系統的完全互通性,並在 Kubernetes 等容器式基礎架構內無縫部署。作為 NVIDIA Triton 推論伺服器等系統的直接替換,可提高整合和部署的便利性。
使用案例:
快速效能提升:MAX 允許快速提升 AI 模型效能。透過將目前的推論呼叫替換為 MAX Engine,使用者可以使用最少的程式碼變更大幅提升速度。
擴充並最佳化模型:使用 MAX Engine,使用者可以使用 Mojo 進一步最佳化他們的模型。這包括使用 Mojo 編寫自訂運算元,或建立整個模型,使用 MAX Graph API 進行推論。
全堆疊最佳化:除了推論以外,MAX 還允許最佳化整個 AI 管線。使用者可以將資料前/後處理程式碼和應用程式碼移轉至 Mojo,並持續新增 MAX 工具和函式庫,以加速整個 AI 堆疊的開發。
為何選擇 MAX?
由 AI 專家打造:Modular 團隊包括全球領先的 AI 專家,他們對 TensorFlow、PyTorch、ONNX 和 XLA 等基礎 AI 基礎架構有貢獻。
重新定義 AI 基礎架構:MAX 代表了 AI 堆疊的「第一原理」重建,以一種創新且有效率的方法解決現有解決方案的複雜性。
即用即能的基礎架構:MAX 設計成可以無縫整合到現有的工作流程中,無需重新撰寫模型或硬體專長,即可運用尖端技術。
MAX 不僅僅是一個平台;它是一種 AI 開發和部署方式的典範轉移,為 AI 工程師和組織提供一種具未來性和高效能的解決方案。透過 MAX,AI 硬體的潛力得以完全釋放,為下一波 AI 創新鋪路。





