LLMLingua
為了加速 LLM 的推論並增強 LLM 對關鍵資訊的感知，壓縮提示和 KV 快取，在效能損失極小的情況下達到高達 20 倍的壓縮率。
LiteLLM
使用 OpenAI 格式呼叫所有 LLM API。使用 Bedrock、Azure、OpenAI、Cohere、Anthropic、Ollama、Sagemaker、HuggingFace、Replicate（100 多個 LLM）
LLMLingua
| Launched | 2023-7 |
| Pricing Model | Free |
| Starting Price | |
| Tech used | Google Analytics,Google Tag Manager,cdnjs,Font Awesome,Highlight.js,jQuery,Gzip,HSTS,Nginx,Ubuntu |
| Tag | Text Generators,Data Science,Summarize Text |
LiteLLM
| Launched | 2023-08 |
| Pricing Model | Free |
| Starting Price | |
| Tech used | Next.js,Vercel,Webpack,HSTS |
| Tag | Gateway |
LLMLingua Rank/Visit
| Global Rank | 11514600 |
| Country | India |
| Month Visit | 1634 |
Top 5 Countries
50.25%
49.75%
India
United States
Traffic Sources
8.83%
1.49%
0.11%
9.67%
29.93%
49.62%
social
paidReferrals
mail
referrals
search
direct
LiteLLM Rank/Visit
| Global Rank | 102564 |
| Country | United States |
| Month Visit | 482337 |
Top 5 Countries
15.04%
14.77%
8.53%
3.3%
2.72%
United States
China
India
Germany
Vietnam
Traffic Sources
1.9%
0.7%
0.07%
11.34%
41.94%
44.03%
social
paidReferrals
mail
referrals
search
direct
Estimated traffic data from Similarweb
What are some alternatives?
When comparing LLMLingua and LiteLLM, you can also consider the following products
vLLM - LLM 的高通量及記憶體用量有效推論與服務引擎
LMQL - 使用類型、範本、約束和最佳化執行時間，進行強大且模組化的 LLM 提示。
PolyLM - PolyLM 是一款革命性的多語言大型語言模型 (LLM)，支援 18 種語言，在各種任務中表現卓越，且為開源項目。非常適合開發者、研究人員和企業滿足多語言需求。
Teammate Lang - 我們現在處於公開預覽階段！ Teammate Lang 是一款適用於 LLM 應用程式開發人員和運營的一體化解決方案。 No-code 編輯器、語義快取、提示版本管理、LLM 資料平台、A/B 測試、QA、包含 GPT、PaLM、Llama、Cohere 等 20 多種模型的遊樂場。
EasyLLM - EasyLLM 是一個開放原始碼專案，提供便利工具和方法，供您使用開放原始碼和封閉原始碼大型語言模型（LLM）。立即開始或查看文件。