2025年最好的 GGML 替代方案
-
-
-
GLM-4.5V：賦予您的 AI 卓越視覺能力。可從螢幕截圖生成網頁程式碼、自動化圖形使用者介面，並能運用深度推理，精準分析文件與影片。
-
Gemma 3 270M：輕巧高效能的 AI，專為特定任務打造。可微調以實現精準指令遵循，並支援低成本的裝置端部署。
-
-
-
-
LlamaEdge 專案讓您輕鬆在本機端執行 LLM 推論應用程式，並為 Llama2 系列的 LLM 建立與 OpenAI 相容的 API 服務。
-
-
Transformer Lab：一個開源平台，讓您可在本地端建構、微調和執行大型語言模型 (LLM)，無需編碼。下載數百個模型，跨硬體微調，聊天、評估等等。
-
在您的手機上完全離線執行最先進的生成式 AI 模型，親身體驗最新技術。透過 Google AI Edge Gallery 探索本地 AI、分析圖片、聊天並取得效能分析。
-
MonsterGPT：透過對話輕鬆微調並部署專屬AI模型。讓複雜的大型語言模型（LLM）與人工智慧（AI）任務變得更簡單。輕鬆存取超過 60 個開源模型。
-
為了加速 LLM 的推論並增強 LLM 對關鍵資訊的感知，壓縮提示和 KV 快取，在效能損失極小的情況下達到高達 20 倍的壓縮率。
-
EmbeddingGemma：為著重隱私的 AI 應用程式，提供裝置端多語言文字嵌入。無論線上線下，皆能享有卓越的效能與效率。
-
-
-
讓 FriendliAI 的 PeriFlow 強大您的生成式 AI 專案。最快速度的 LLM 服務引擎，彈性部署選項，深受業界領導者信賴。
-
-
-
-
BAGEL：字節跳動-Seed 開源的多模態人工智慧模型。能理解、生成、編輯圖像和文字。功能強大、靈活，堪比 GPT-4o。可用於構建先進的人工智慧應用程式。
-
LM Studio 是一款操作簡便的桌面應用程式，讓您能輕鬆體驗本地與開源的大型語言模型（LLM）。這款 LM Studio 跨平台桌面應用程式，讓您可以從 Hugging Face 下載並運行任何 ggml-相容的模型，並提供簡潔而強大的模型配置與推論介面。該應用程式會盡可能地運用您的 GPU 資源。
-
Shimmy：免配置的 Rust 伺服器，專為本地大型語言模型設計。無縫相容 OpenAI API，無需修改任何程式碼。提供快速、私密的 GGUF/SafeTensors 推論。
-
-
-
-
Kolosal AI 是一個開放原始碼平台，讓使用者能於個人裝置上，例如筆電、桌機，甚至樹莓派，本地執行大型語言模型 (LLM)，並優先考量速度、效率、隱私及環保。
-
-
還在為不穩定的生成式AI所困擾嗎？Future AGI 是您評估、優化及即時安全的端到端一站式平台。助您更快打造值得信賴的AI。
-
