LazyLLM| Launched | 2022-11 |
| Pricing Model | Free |
| Starting Price | |
| Tech used | Cloudflare Analytics,Fastly,Google Fonts,GitHub Pages,Highlight.js,jQuery,Varnish |
| Tag | Text Analysis |
| Launched | |
| Pricing Model | Free |
| Starting Price | |
| Tech used | |
| Tag | Low Code,Mlops |
| Global Rank | 2509184 |
| Country | United States |
| Month Visit | 8348 |
| Global Rank | |
| Country | |
| Month Visit |
Estimated traffic data from Similarweb
LM Studio - LM Studio 是一款操作簡便的桌面應用程式,讓您能輕鬆體驗本地與開源的大型語言模型(LLM)。這款 LM Studio 跨平台桌面應用程式,讓您可以從 Hugging Face 下載並運行任何 ggml-相容的模型,並提供簡潔而強大的模型配置與推論介面。該應用程式會盡可能地運用您的 GPU 資源。
LLMLingua - 為了加速 LLM 的推論並增強 LLM 對關鍵資訊的感知,壓縮提示和 KV 快取,在效能損失極小的情況下達到高達 20 倍的壓縮率。
vLLM - LLM 的高通量及記憶體用量有效推論與服務引擎
LLM-X - 使用 LLM-X 革新 LLM 發展!透過安全的 API 將大型語言模型無縫整合至您的工作流程。提升生產力,為您的專案發揮語言模型的強大功能。