koboldcpp

KoboldCpp是一款易于使用的人工智能文本生成软件，专为GGML模型设计。这是由Concedo提供的一个独立的可分发软件，基于llama.cpp构建，添加了多功能的Kobold API端点、额外的格式支持、向后兼容性，以及一个带有持续故事、编辑工具、保存格式、内存、世界信息、作者注释、角色、场景等一切Kobold和Kobold Lite所提供的新颖用户界面。

使用方法

在这里下载最新的.exe版本，或者克隆git仓库。

Windows二进制文件以koboldcpp.exe的形式提供，这是一个pyinstaller包装器，包含几个.dll文件和koboldcpp.py。如果您担心，您可以使用提供的makefiles和脚本自行重新构建它。

权重文件未包含在内，您可以使用官方的llama.cpp quantize.exe从官方权重文件生成它们。您也可以从其他地方（例如TheBloke的Huggingface）下载它们。

要运行，执行koboldcpp.exe或将量化的ggml_model.bin文件拖放到.exe文件上，然后连接到Kobold或Kobold Lite。如果您不在windows上，则在编译库后运行脚本KoboldCpp.py。

不带命令行参数启动会显示包含一些可配置设置的GUI。通常您无需做太多更改，除了预设值和GPU层。阅读--help以获取有关每个设置的更多信息。

默认情境大小太小？尝试--contextsize 3072将您的情境大小扩大1.5倍！不会有太大困惑增长。请注意，您还必须在Kobold Lite UI中增加最大情境（点击并编辑数字文本字段）。

大情境太慢？尝试--smartcontext标志以减少提示处理频率。此外，您可以尝试使用CLBlast在GPU上运行，使用--useclblast标志以加快速度。

想要更快速度提升？结合--useclblast和--gpulayers标志将整个层次卸载到GPU上！速度更快，但会使用更多显存。尝试确定要卸载的层数，并在内存不足时减少几层。

如果出现崩溃或问题，您可以尝试关闭BLAS使用--noblas标志。您还可以尝试以非AVX2兼容模式运行使用--noavx2。最后，您可以尝试关闭mmap使用--nommap。

要获取更多信息，请务必使用--help标志运行程序。