koboldcpp

KoboldCpp는 GGML 모델을 위한 사용하기 쉬운 AI 텍스트 생성 소프트웨어입니다. Concedo에서 제공하는 단일의 독립형 배포판으로, llama.cpp를 기반으로 구축되었으며 다양한 Kobold API 엔드포인트, 추가 형식 지원, 이전 버전과의 호환성, 지속적인 스토리, 편집 도구, 저장 형식, 메모리, 세계 정보, 작가의 메모, 캐릭터, 시나리오 및 Kobold와 Kobold Lite의 모든 기능을 제공하는 세련된 UI를 추가했습니다.

사용법

최신 .exe 릴리스를 여기에서 다운로드하거나 git 저장소를 복제하세요.

Windows 바이너리는 몇 개의 .dll 파일과 koboldcpp.py를 위한 pyinstaller 래퍼인 koboldcpp.exe 형식으로 제공됩니다. 우려되는 점이 있으시면 제공된 makefiles 및 스크립트를 사용하여 직접 다시 빌드하실 수 있습니다.

가중치는 포함되지 않습니다. 공식 llama.cpp quantize.exe를 사용하여 공식 가중치 파일에서 가중치를 생성하거나 TheBloke의 Huggingface와 같은 다른 곳에서 다운로드할 수 있습니다.

실행하려면 koboldcpp.exe를 실행하거나 양자화된 ggml_model.bin 파일을 .exe로 끌어다 놓은 다음 Kobold 또는 Kobold Lite에 연결합니다. Windows가 아닌 경우 라이브러리를 컴파일한 후 KoboldCpp.py 스크립트를 실행하세요.

명령줄 인수 없이 실행하면 구성 가능한 설정의 하위 집합을 포함하는 GUI가 표시됩니다. 일반적으로 사전 설정과 GPU 레이어 외에는 별도로 변경할 필요가 없습니다. 각 설정에 대한 자세한 내용은 --help를 참조하세요.

기본적으로 http://localhost:5001에 연결할 수 있습니다.

koboldcpp.exe [ggml_model.bin] [포트]를 사용하여 명령줄로 실행할 수도 있습니다. 자세한 내용은 koboldcpp.exe --help를 확인하세요.

기본 컨텍스트 크기가 작은가요? --contextsize 3072를 사용하여 컨텍스트 크기를 1.5배 이상으로 늘려보세요! 퍼플렉시티는 거의 증가하지 않습니다. Kobold Lite UI에서도 최대 컨텍스트를 늘려야 한다는 점에 유의하세요(숫자 텍스트 필드를 클릭하여 편집하세요).

큰 컨텍스트가 너무 느린가요? --smartcontext 플래그를 사용하여 프롬프트 처리 빈도를 줄여보세요. 또한 --useclblast 플래그를 사용하여 CLBlast를 사용하여 GPU에서 실행해 볼 수도 있습니다.

더 빠른 속도를 원하시나요? --useclblast와 --gpulayers를 결합하여 전체 레이어를 GPU로 오프로드하세요! 훨씬 빠르지만 VRAM을 더 많이 사용합니다. 오프로드할 레이어의 수를 확인하려면 테스트를 거치고 메모리가 부족한 경우 몇 개 줄이세요.

충돌이나 문제가 발생하는 경우 --noblas 플래그를 사용하여 BLAS를 해제할 수 있습니다. --noavx2를 사용하여 avx2와 호환되지 않는 모드로 실행해 볼 수도 있습니다. 마지막으로 --nommap으로 mmap을 해제해 볼 수 있습니다.

자세한 내용은 --help 플래그를 사용하여 프로그램을 실행하세요.