koboldcpp

KoboldCpp est un logiciel de génération de texte IA facile à utiliser pour les modèles ML. Il s'agit d'un programme distribuable autonome de Concedo, qui s'appuit sur llama.cpp et ajoute un point de terminaison d'API polyvalent, une prise en charge de format supplémentaire, une compatibilité descendante, ainsi qu'une interface utilisateur sophistiquée avec des histoires persistantes, des outils d'édition, des formats d'enregistrement, de la mémoire, des informations sur le monde, des notes d'auteur, des personnages, des scénarios et tout ce que òa et òa Lite ont à offrir. Utilisation Téléchargez la dernière version .exe ici ou clonez le référentiel git. Les binaires Windows sont fournis sous la forme de òaCpp.exe, qui est un wrapper pyinstaller pour quelques fichiers .dll et òaCpp.py. Si cela vous inquiète, vous pouvez préférer le reconstruire vous-même avec les makefiles et scripts fournis. Si les poids ne sont pas inclus, vous pouvez utiliser le quantize.exe officiel de llama.cpp pour les produire à partir de vos fichiers de poids officiels (ou les télécharger à partir d'autres sites comme TheBloke's Huggingface). Pour l'exécuter, exécutez òaCpp.exe ou faites-glisser votre fichier quantifié òa_model.bin sur le fichier .exe, puis connectez-vous à òa ou òa Lite. Si vous n'êtes pas sous Windows, exécutez le script òaCpp.py après avoir complité les bibliothèques. Le lancement sans arguments de ligne de commande affiche une interface utilisateur graphique comprenant un sous-ensemble de paramètres configurables. En général, vous n'avez pas besoin de modifier grand-chose en dehors des presets et des couches GPU. Lisez le --help pour plus d'informations sur chaque paramètre. Par défaut, vous pouvez vous connecter à http://localhost:5001 Vous pouvez également l'exécuter en utilisant la ligne de commande òaCpp.exe [ggml_model.bin] [port]. Pour plus d'informations, veuillez consulter òaCpp.exe --help La taille de contexte par défaut est trop petite ? Essayez --contextsize 3072 pour une taille de contexte 1,5 fois supérieure ! Sans trop de gain de perplexité. Notez que vous devrez également augmenter le contexte maximum dans l'interface utilisateur de òa Lite (cliquez et modifiez le champ de texte numérique). Le grand contexte est trop lent ? Essayez l'indicateur --smartcontext pour réduire la fréquence du traitement des invites. Vous pouvez également exécuter votre GPU à l'aide de CLBlast, avec l'indicateur --useclblast pour une accélération Vous voulez encore plus d'accélération ? Combinez --useclblast avec --gpulayers pour décharger des couches entières sur le GPU ! Beaucoup plus rapide, mais utilise plus de VRAM. Expérimentez pour déterminer le nombre de couches à décharger, et réduisez-le de quelques-unes si vous manquez de mémoire. Si vous rencontrez des problèmes ou des problèmes, vous pouvez désactiver BLAS avec l'indicateur --noblas. Vous pouvez également exécuter en mode de compatibilité non avx2 avec --noavx2. Enfin, vous pouvez désactiver la mmap avec --nommap. Pour plus d'informations, assurez-vous d'exécuter le programme avec l'indicateur --help.