2025年最好的 GGML 替代方案
-
-
-
-
Gemma 3 270M：小巧轻便、极致高效的人工智能，专精于特定任务。可微调以实现精准指令遵循，并支持低成本的设备端部署。
-
-
-
-
LlamaEdge 项目让您能够轻松运行 LLM 推理应用程序，并在本地为 Llama2 系列的 LLM 创建与 OpenAI 兼容的 API 服务。
-
-
Transformer Lab：一个开源平台，无需编码即可在本地构建、微调和运行大型语言模型 (LLM)。下载数百个模型，跨硬件微调，聊天，评估等等。
-
在您的手机上完全离线运行，体验最前沿的生成式 AI 模型。通过 Google AI Edge Gallery 探索本地 AI，分析图像，聊天并获取性能洞察。
-
MonsterGPT：聊天即刻微调与部署定制AI模型。让复杂的LLM与AI任务变得轻而易举。轻松访问60多款开源模型。
-
为了提升 LLM 的推理速度，增强 LLM 识别关键信息的感知能力，对提示和 KV 缓存进行压缩，在性能损失极小的情况下实现了高达 20 倍的压缩。
-
EmbeddingGemma：专为隐私优先的AI应用打造的设备端多语言文本嵌入技术。即使离线，亦能提供顶尖的性能与效率。
-
-
-
使用FriendliAI的PeriFlow，为您的生成式AI项目注入强劲动力。最快的大型语言模型（LLM）服务引擎，部署方式灵活，深受行业领导者的信赖。
-
Genkit 是一款开源框架，专为构建全栈AI驱动型应用程序而设计。它由 Google 旗下的 Firebase 团队打造，并已在其生产环境中得到验证和使用。
-
-
-
BAGEL：字节跳动-Seed 开源的多模态 AI 模型。它能理解、生成和编辑图像和文本，功能强大且灵活，可与 GPT-4o 相媲美。使用 BAGEL 构建先进的 AI 应用。
-
LM Studio 是一款操作简便的桌面应用程序，专为探索本地和开源大型语言模型（LLM）而设计。LM Studio 跨平台桌面应用程序让您能够从 Hugging Face 下载并运行任何 ggml 兼容模型，并提供了一个简洁而功能强大的模型配置和推理用户界面（UI）。该应用程序在可能的情况下会充分利用您的图形处理器（GPU）。
-
Shimmy：零配置Rust服务器，专为本地大模型设计。完美兼容OpenAI API，您无需修改现有代码。提供快速、私有的GGUF/SafeTensors推理服务。
-
-
-
-
Kolosal AI是一个开源平台，允许用户在笔记本电脑、台式机甚至树莓派等本地设备上运行大型语言模型（LLMs），其优先考虑速度、效率、隐私和环保。
-
-
-
