Text Generation WebUI

文本生成 Web UI 是适用于大型语言模型的 Gradio Web UI，提供三种界面模式、多个模型后端和用于快速在不同模型之间切换的下拉菜单。它还具有高效的文本流、多模态管道和扩展框架。该软件易于安装和更新，并提供聊天模式的精确指令模板。

主要特点：

1. 三种界面模式：默认（两列）、笔记本和聊天

2. 多个模型后端：transformers、llama.cpp、ExLlama、ExLlamaV2、AutoGPTQ、GPTQ-for-LLaMa、CTransformers

3. 用于快速在不同模型之间切换的下拉菜单

4. LoRA：即时加载和卸载 LoRA，使用 QLoRA 训练新的 LoRA

5. 聊天模式的精确指令模板，包括 Llama-2-chat、Alpaca、Vicuna、WizardLM、StableLM 等

6. 通过 Transformers 库进行 4 位、8 位和 CPU 推理

7. 使用 Transformers 采样器（llamacpp_HF 加载器）使用 llama.cpp 模型

8. 多模态管道，包括 LLaVA 和 MiniGPT-4

9. 扩展框架

10. 自定义聊天角色

11. 非常高效的文本流

12. 使用 LaTeX 渲染的 Markdown 输出，例如与 GALACTICA 一起使用

13. API，包括用于 WebSocket 流的端点

用例：文本生成 Web UI 可以有效地用于需要大型语言模型进行文本生成的情况，例如聊天机器人、内容创作和语言翻译。对于需要试验不同模型和后端的科研人员和开发人员也很有用。

文本生成 Web UI 是一个功能强大、提供各种特性和功能的文本生成工具。它的易用性和灵活性使其成为任何需要使用大型语言模型的人的理想选择。凭借其针对聊天模式的精确指令模板、多个模型后端和高效的文本流，文本生成 Web UI 是任何从事文本生成领域工作的人的必备工具。