VLLM
LiteLLM
VLLM
| Launched | |
| Pricing Model | Free |
| Starting Price | |
| Tech used | |
| Tag | Software Development,Data Science |
LiteLLM
| Launched | 2023-08 |
| Pricing Model | Free |
| Starting Price | |
| Tech used | Next.js,Vercel,Webpack,HSTS |
| Tag | Gateway |
VLLM Rank/Visit
| Global Rank | |
| Country | |
| Month Visit |
Top 5 Countries
Traffic Sources
LiteLLM Rank/Visit
| Global Rank | 102564 |
| Country | United States |
| Month Visit | 482337 |
Top 5 Countries
Traffic Sources
Estimated traffic data from Similarweb
What are some alternatives?
EasyLLM - EasyLLM est un projet open source qui fournit des outils et méthodes utiles pour travailler avec des modèles de langage volumineux (LLM), open source et fermés. Commencez immédiatement ou consultez la documentation.
LLMLingua - Pour accélérer l'inférence LLM et améliorer la perception des informations clés de LLM, compressez l'invite et KV-Cache, ce qui permet d'obtenir une compression jusqu'à 20x avec une perte de performance minimale.
StreamingLLM - Présentation de StreamingLLM : une structure efficace pour le déploiement des LLM dans les applications de streaming. Gérez des longueurs de séquence infinies sans sacrifier les performances et profitez d'optimisations de la vitesse allant jusqu'à 22,2 x. Idéal pour les dialogues multitours et les assistants quotidiens.
LazyLLM - LazyLLM : Le low-code pour les applications LLM multi-agents. Créez, itérez et déployez rapidement des solutions d'IA complexes, du prototype à la production. Concentrez-vous sur les algorithmes, et non sur l'ingénierie.
OneLLM - OneLLM est votre plateforme no-code de bout en bout pour créer et déployer des LLM.