koboldcpp

KoboldCpp — простое в использовании программное обеспечение ИИ для генерации текста для моделей GGML. Это один автономный дистрибутив от Concedo, созданный на основе llama.cpp, который дополняет универсальную конечную точку API Kobold, дополнительную поддержку форматов, обратную совместимость, а также удобный пользовательский интерфейс с постоянными историями, инструментами редактирования, форматами сохранения, памятью, информацией о мире, заметками автора, персонажами, сценариями и всем, что могут предложить Kobold и Kobold Lite. Использование Загрузите последнюю версию .exe здесь или клонируйте репозиторий git. Бинарные файлы Windows предоставляются в виде koboldcpp.exe, который представляет собой оболочку pyinstaller для нескольких файлов .dll и koboldcpp.py. Если у вас есть опасения, вы можете предпочесть пересобрать его самостоятельно с помощью предоставленных make-файлов и скриптов. Веса не включены, вы можете использовать официальный quantize.exe llama.cpp, чтобы сгенерировать их из ваших официальных файлов весов (или загрузить их из других мест, таких как Huggingface TheBloke). Чтобы запустить, выполните koboldcpp.exe или перетащите файл ggml_model.bin в формат .exe, а затем подключитесь к Kobold или Kobold Lite. Если вы не работаете в Windows, запустите скрипт KoboldCpp.py после компиляции библиотек. Запуск без аргументов командной строки отображает графический пользовательский интерфейс, содержащий подмножество настраиваемых параметров. Обычно вам не нужно ничего менять, кроме пресетов и графических слоев. Прочтите --help для получения дополнительной информации о каждом параметре. По умолчанию вы можете подключиться к http://localhost:5001 Вы также можете запустить его, используя командную строку koboldcpp.exe [ggml_model.bin] [порт]. Для получения информации, пожалуйста, проверьте koboldcpp.exe --help. Размер контекста по умолчанию слишком мал? Попробуйте --contextsize 3072, чтобы увеличить размер контекста в 1,5 раза! без особого увеличения сложности. Обратите внимание, что вам также придется увеличить максимальный контекст в пользовательском интерфейсе Kobold Lite (нажмите и отредактируйте текстовое поле номера). Большой контекст слишком медленный? Попробуйте использовать флаг --smartcontext, чтобы снизить частоту обработки подсказок. Кроме того, вы можете попробовать запустить свой графический процессор с помощью CLBlast с флагом --useclblast для ускорения. Хотите еще больше ускорить? Объедините --useclblast с --gpulayers, чтобы перенести целые слои на графический процессор! Гораздо быстрее, но использует больше VRAM. Экспериментируйте, чтобы определить количество слоев для переноса, и сократите их на несколько, если у вас закончится память. Если у вас возникают сбои или проблемы, вы можете попробовать отключить BLAS с помощью флага --noblas. Вы также можете попробовать запустить программу в режиме совместимости без avx2 с помощью --noavx2. Наконец, вы можете попробовать отключить mmap с помощью --nommap. Для получения дополнительной информации обязательно запустите программу с флагом --help.