LLM Explorer VS LiteLLM

LLM-X - Революционизируйте разработку LLM с помощью LLM-X! Интегрируйте большие языковые модели в ваш рабочий процесс с помощью безопасного API. Повысьте продуктивность и раскройте возможности языковых моделей для ваших проектов.

vLLM - Высокопроизводительный и экономичный по памяти механизм вывода и обслуживания для LLMs

EasyLLM - EasyLLM — это проект с открытым исходным кодом, который предоставляет полезные инструменты и методы для работы с большими языковыми моделями (LLM), как с открытым, так и с закрытым исходным кодом. Начните работу мгновенно или ознакомьтесь с документацией.

VerifAI's MultiLLM - Откройте для себя мощь VerifAI — это ваш конечный путеводитель для сравнения ответов больших языковых моделей. Точные оценки, разнообразные параметры и многомерный анализ для принятия обоснованных решений.

LM Studio - LM Studio — это удобное настольное приложение для экспериментов с локальными и открытыми большими языковыми моделями (LLM). Кроссплатформенное настольное приложение LM Studio позволяет скачивать и запускать любую ggml-совместимую модель с Hugging Face, а также предоставляет простой, но мощный пользовательский интерфейс для настройки моделей и выполнения инференса. Приложение задействует ваш GPU по возможности.