2025年最好的 Shimmy 替代方案
-

-

TalkCody: The open-source AI coding agent. Boost developer velocity with true privacy, model freedom & predictable costs.
-

ManyLLM: 整合並保障您的本機大型語言模型工作流程。一個以隱私為優先的工作區,適用於開發人員、研究人員,並具備 OpenAI API 相容性與本機 RAG 功能。
-

-

LM Studio 是一款操作簡便的桌面應用程式,讓您能輕鬆體驗本地與開源的大型語言模型(LLM)。這款 LM Studio 跨平台桌面應用程式,讓您可以從 Hugging Face 下載並運行任何 ggml-相容的模型,並提供簡潔而強大的模型配置與推論介面。該應用程式會盡可能地運用您的 GPU 資源。
-

CogniSelect SDK:打造可在瀏覽器中私下執行 LLM 的 AI 應用程式。享有零成本執行期、完全的資料隱私權及即時擴充性。
-

Bodhi App 讓您在自己的電腦上運行大型語言模型。盡享隱私、簡單易用的聊天介面、簡潔的模型管理、OpenAI API 相容性以及高性能。免費、開源,非常適合開發者、AI 愛好者和重視隱私的使用者。立即下載!
-

運用 ChatFrame,全面優化高階 AI 工作流程:整合多元大型語言模型 (LLMs),藉由本機 RAG 確保您的專有資料安全,並在桌機上輕鬆呈現複雜輸出成果。
-

大幅降低大型語言模型成本,並強化隱私保護。RunAnywhere 的混合式人工智慧,能智慧地將請求分流至裝置端或雲端,以實現最佳效能與資安。
-

-

LlamaEdge 專案讓您輕鬆在本機端執行 LLM 推論應用程式,並為 Llama2 系列的 LLM 建立與 OpenAI 相容的 API 服務。
-

LazyLLM: 專為多代理式LLM應用程式打造的低程式碼平台。快速建構、疊代並部署複雜的AI解決方案,從原型開發到正式部署一氣呵成。將重心放在演算法的創新,而非繁瑣的工程細節。
-

使用 backboard.io 的 API,整合逾2200個大型語言模型。取得持續性 AI 記憶與 RAG,讓您打造更智慧、具情境感知能力的應用程式,告別碎片化困擾。
-

-

FastRouter.ai 透過智慧型 LLM 路由,優化您的營運 AI。整合逾百種模型,降低成本,確保可靠性,並僅需透過單一 API 即可輕鬆擴展。
-

BrowserAI:直接在您的瀏覽器中運行生產就緒型大型語言模型 (LLM)。它簡單、快速、私密且開源。其功能包括 WebGPU 加速、零伺服器成本和離線功能。非常適合開發人員、公司和愛好者。
-

Harbor 是一個容器化的 LLM 工具組。它能讓您立即啟動完整的 LLM 堆疊,無縫連接各種服務,自訂您的環境,簡化模型管理,並提升 LLM 效能。Harbor 非常適合 AI 開發、測試和學習。
-

Shisa V2 405B: 日本性能最優異的雙語大型語言模型。為您的進階應用程式帶來世界級的日語及英語AI效能。開放原始碼。
-

-

OpenMemory:自行託管的 AI 記憶引擎。 透過持久性、結構化、私密性及可解釋的長期記憶,突破 LLM 的上下文限制。
-

Moonshine 語音轉文字模型。快速、準確、資源效率高。非常適合裝置上處理。超越 Whisper。適用於即時轉錄和語音指令。賦能各種應用。
-

-

開源且功能豐富的 Gemini/ChatGPT 類似介面,可在瀏覽器中使用 WebGPU 本地執行開源模型(Gemma、Mistral、LLama3 等)。無伺服器端處理 - 您的數據永遠不會離開您的電腦!
-

KTransformers 是由清華大學 KVCache.AI 團隊與 QuJing Tech 共同開發的開源專案,旨在優化大型語言模型的推論過程。它能降低硬體門檻,讓使用者僅需配備 24GB 顯示記憶體的單張 GPU,即可運行 6710 億參數的模型。此外,它還能大幅提升推論速度(預處理階段最高可達每秒 286 個 tokens,生成階段最高可達每秒 14 個 tokens),非常適合個人、企業以及學術機構使用。
-

LangDB AI Gateway 是您 AI 工作流程的一站式指揮中心。它提供對 150 多個模型的統一存取,透過智慧路由實現高達 70% 的成本節省,以及無縫整合。
-

-

Open-Fiesta: 專為開發者打造的開源 AI 聊天體驗平台。支援多款 AI 模型並列比較與評測。自行架設,全面掌控。
-

Kolosal AI 是一個開放原始碼平台,讓使用者能於個人裝置上,例如筆電、桌機,甚至樹莓派,本地執行大型語言模型 (LLM),並優先考量速度、效率、隱私及環保。
-

Langbase,一個以可組合基礎架構為核心的革命性 AI 平台。提供速度、靈活性和易用性。幾分鐘內即可部署。支援多種大型語言模型 (LLM)。專為開發人員設計。節省成本。用途廣泛。賦能 AI 發展。
-

