StreamingLLM
LazyLLM| Launched | 2024 |
| Pricing Model | Free |
| Starting Price | |
| Tech used | |
| Tag | Workflow Automation,Developer Tools,Communication |
| Launched | |
| Pricing Model | Free |
| Starting Price | |
| Tech used | |
| Tag | Low Code,Mlops |
| Global Rank | |
| Country | |
| Month Visit |
| Global Rank | |
| Country | |
| Month Visit |
Estimated traffic data from Similarweb
vLLM - Un moteur d'inférence et de service à haut débit et économe en mémoire pour les LLM
EasyLLM - EasyLLM est un projet open source qui fournit des outils et méthodes utiles pour travailler avec des modèles de langage volumineux (LLM), open source et fermés. Commencez immédiatement ou consultez la documentation.
LLMLingua - Pour accélérer l'inférence LLM et améliorer la perception des informations clés de LLM, compressez l'invite et KV-Cache, ce qui permet d'obtenir une compression jusqu'à 20x avec une perte de performance minimale.
LMCache - LMCache est un réseau de diffusion de connaissances (KDN) open source qui accélère les applications LLM en optimisant le stockage et la récupération des données.