koboldcpp

KoboldCpp 是一款易於使用的 AI 文字生成軟體，適用於 ML 模型。這是 Concedo 提供的單一獨立發行版本，建構自 llama.cpp，並添加了一個多功能的 Old API 端點、其他格式支援、向後相容性，以及一個精美的 UI，其中包含持續的故事、編輯工具、保存格式、記憶體、世界資訊、作者的註解、角色、場景，以及 Old 和 Old Lite 所提供的一切。 用法 在此處下載最新的 .exe 發行版本或複製 git 存放庫。 Windows 二進位檔以 pyinstaller wrapper 的形式提供，用於少數 .dll 檔案和 Oldcpp.py。如果感到擔心，您可以使用所附的 makefiles 和腳本來自行重新建構。 如果未包含，您可以使用官方的 llama.cpp quantize.exe 從您的官方加權檔案中產生它們（或從其他位置（例如 TheBloke 的 Huggingface）下載）。 若要執行，請執行 Oldcpp.exe 或將您的量化 ml_model.bin 檔案拖放到 .exe 上，然後連接到 Old 或 Old Lite。如果不在 Windows 上，則在編譯函式庫後執行腳本 OldCpp.py。 不帶命令列引數啟動會顯示一個 GUI，其中包含一組可配置的設定。通常除了預設和 GPU 層之外，您不需要更改太多。閱讀 --help 以獲取有關每個設定的更多資訊。 預設您可以連接到 http://localhost:5001 您也可以使用命令列 Oldcpp.exe [ggml_model.bin] [port] 執行。有關資訊，請查看 Oldcpp.exe --help 預設內容大小太小？嘗試 --contextsize 3072，將內容大小增加 1.5 倍！沒有太多困頓增益。請注意，您還必須在 Old Lite UI 中增加最大內容（按一下並編輯數字文字框）。 大背景太慢？嘗試使用 --smartcontext 標記來降低提示處理頻率。此外，您可以嘗試使用 CLBlast 和 --useclblast 標記與 GPU 一起執行，以加快速度 想要進一步加快速度？將 --useclblast 與 --gpulayers 結合起來，將整個層卸載到 GPU！快很多，但會使用更多 VRAM。進行測試以確定要卸載的層數，如果記憶體不足，則可再降低一些。 如果遇到困難或問題，您可以嘗試使用 --noblas 標記關閉 BLAS。您也可以嘗試使用 --noavx2 在非 avx2 相容模式下執行。此外，您可以嘗試使用 --nommap 關閉 mmap。 有關更多資訊，務必使用 --help 標記執行該計劃。