LLMLingua
为了提升 LLM 的推理速度，增强 LLM 识别关键信息的感知能力，对提示和 KV 缓存进行压缩，在性能损失极小的情况下实现了高达 20 倍的压缩。
LiteLLM
使用 OpenAI 格式调用所有 LLM API。使用 Bedrock、Azure、OpenAI、Cohere、Anthropic、Ollama、Sagemaker、HuggingFace、Replicate（100 多个 LLM）
LLMLingua
| Launched | 2023-7 |
| Pricing Model | Free |
| Starting Price | |
| Tech used | Google Analytics,Google Tag Manager,cdnjs,Font Awesome,Highlight.js,jQuery,Gzip,HSTS,Nginx,Ubuntu |
| Tag | Text Generators,Data Science,Summarize Text |
LiteLLM
| Launched | 2023-08 |
| Pricing Model | Free |
| Starting Price | |
| Tech used | Next.js,Vercel,Webpack,HSTS |
| Tag | Gateway |
LLMLingua Rank/Visit
| Global Rank | 11514600 |
| Country | India |
| Month Visit | 1634 |
Top 5 Countries
50.25%
49.75%
India
United States
Traffic Sources
8.83%
1.49%
0.11%
9.67%
29.93%
49.62%
social
paidReferrals
mail
referrals
search
direct
LiteLLM Rank/Visit
| Global Rank | 102564 |
| Country | United States |
| Month Visit | 482337 |
Top 5 Countries
15.04%
14.77%
8.53%
3.3%
2.72%
United States
China
India
Germany
Vietnam
Traffic Sources
1.9%
0.7%
0.07%
11.34%
41.94%
44.03%
social
paidReferrals
mail
referrals
search
direct
Estimated traffic data from Similarweb
What are some alternatives?
When comparing LLMLingua and LiteLLM, you can also consider the following products
vLLM - 面向 LLM 的高吞吐量、内存高效的推理和服务引擎
LMQL - 利用类型、模板、约束以及优化运行时，实现强大且模块化的 LLM 提示。
PolyLM - PolyLM 是一款革命性的多语言大型语言模型 (LLM)，支持 18 种语言，在各种任务中表现出色，并且是开源的。非常适合开发者、研究人员和企业的多语言需求。
Teammate Lang - 我们现已进入公开预览阶段！Teammate Lang 是面向 LLM 应用程序开发人员和运维人员的一体化解决方案。无代码编辑器、语义缓存、提示版本管理、LLM 数据平台、A/B 测试、QA、游乐场，其中包括 GPT、PaLM、Llama、Cohere 等 20 多种模型。
EasyLLM - EasyLLM 是一个开源项目，提供了一些实用的工具和方法，用于处理大型语言模型（LLM），无论是开源的还是闭源的。立即开始或查看文档。