Text Generation WebUI

文字生成網路使用者界面是一個適用於大型語言模型的 Gradio 網路使用者界面，它提供三種界面模式、多個模型後端和一個下拉式選單，用於快速切換不同的模型。它還具備高效的文字串流、多模管道和一個擴充套件框架。該軟體很簡單就能安裝和更新，它提供聊天模式的精確說明範本。

主要特色：

1. 三種界面模式：預設（兩欄）、筆記本和聊天

2. 多個模型後端：transformers、llama.cpp、ExLlama、ExLlamaV2、AutoGPTQ、GPTQ-for-LLaMa、CTransformers

3. 用於快速切換不同模型的下拉式選單

4. LoRA：即時載入和卸載 LoRA，使用 QLoRA 訓練新的 LoRA

5. 聊天模式的精確說明範本，包括 Llama-2-chat、Alpaca、Vicuna、WizardLM、StableLM，以及其他更多範本

6. 透過 transformers 庫進行 4 位元、8 位元和 CPU 推論

7. 使用 transformers 取樣器（llamacpp_HF 載入器）使用 llama.cpp 模型

8. 多模管道，包括 LLaVA 和 MiniGPT-4

9. 擴充套件框架

10. 自訂聊天角色

11. 非常高效的文字串流

12. 具備 LaTeX 渲染的 Markdown 輸出，例如用於 GALACTICA

13. API，包括 WebSocket 串流的端點

使用案例：文字生成網路使用者界面可以在需要大型語言模型進行文字生成的情況下有效利用，例如聊天機器人、內容創作和語言翻譯。它還對需要使用不同的模型和後端來進行實驗的研究人員和開發人員很有用。

文字生成網路使用者界面是一款強大的文字生成工具，它提供各種不同的功能和能力。它的易用性和靈活性使其成為需要使用大型語言模型的任何人的理想選擇。透過其聊天模式的精確說明範本、多個模型後端和高效的文字串流，文字生成網路使用者界面是從事文字生成領域的任何人的必備工具。