koboldcpp

KoboldCpp es un software de generación de texto con IA fácil de usar para modelos GGML. Es una sola distribución autónoma de Concedo, que se basa en llama.cpp y añade un versátil punto final Kobold API, soporte de formato adicional, compatibilidad con versiones anteriores, así como una llamativa interfaz de usuario con historias persistentes, herramientas de edición, formatos de guardado, memoria, información del mundo, notas del autor, personajes, escenarios y todo lo que Kobold y Kobold Lite tienen para ofrecer. Uso: Descarga la última versión .exe aquí o clona el repositorio git. Los binarios de Windows se proporcionan en forma de koboldcpp.exe, que es un contenedor pyinstaller para algunos archivos .dll y koboldcpp.py. Si te preocupa, puedes preferir reconstruirlo tú mismo con los makefiles y scripts proporcionados. Los pesos no están incluidos, puedes utilizar el llama.cpp oficial quantize.exe para generarlos a partir de tus archivos de peso oficiales (o descargarlos de otros lugares como TheBloke's Huggingface. Para ejecutarlo, ejecuta koboldcpp.exe o arrastra y suelta tu archivo ggml_model.bin cuantificado en el .exe, y luego conéctate con Kobold o Kobold Lite. Si no estás en Windows, ejecuta el script KoboldCpp.py después de compilar las bibliotecas. El lanzamiento sin argumentos de la línea de comandos muestra una GUI que contiene un subconjunto de ajustes configurables. Generalmente no tienes que cambiar mucho además de los Presets y las Capas GPU. Lee la --help para más información sobre cada configuración. Por defecto, puedes conectarte a http://localhost:5001 También puedes ejecutarlo usando la línea de comandos koboldcpp.exe [ggml_model.bin] [port]. Para obtener información, consulta koboldcpp.exe --help ¿El tamaño de contexto predeterminado es pequeño? Prueba --contextsize 3072 para aumentar 1,5 veces el tamaño de tu contexto. sin mucha ganancia de perplejidad. Ten en cuenta que también tendrás que aumentar el contexto máximo en la interfaz de usuario de Kobold Lite (haz clic y edita el campo de texto numérico). ¿El contexto grande es demasiado lento? Prueba la etiqueta --smartcontext para reducir la frecuencia de procesamiento de los avisos. También puedes intentar ejecutarlo con tu GPU usando CLBlast, con la etiqueta --useclblast para acelerar. ¿Quieres aún más aceleración? Combina --useclblast con --gpulayers para descargar capas enteras a la GPU. Mucho más rápido, pero utiliza más VRAM. Experimenta para determinar el número de capas que se descargarán y reduce algunas si te quedas sin memoria. Si tienes caídas o problemas, puedes intentar desactivar BLAS con la etiqueta --noblas. También puedes intentar ejecutarlo en un modo de compatibilidad no avx2 con --noavx2. Por último, puedes intentar desactivar mmap con --nommap. Para más información, asegúrate de ejecutar el programa con la etiqueta --help.