GPT Prompt Engineer

提示工程有点像炼金术。无法明确预测哪种方法效果最好。一切皆在于不断尝试，直至找到合适的提示。gpt-prompt-engineer 是一款将这种实验提升至全新水平的工具。 只需输入任务描述和一些测试用例，系统将生成、测试并对大量提示进行排名，以找到效果最好的提示。 功能 提示生成：利用 GPT-4 和 GPT-3.5-Turbo，gpt-prompt-engineer 可以根据提供的用例和测试用例生成各种可能的提示。 提示测试：真正的魔力发生在生成之后。该系统根据所有测试用例测试每个提示，比较其性能并使用 ELO 评分系统对它们进行排名。 ELO 评分系统：每个提示的初始 ELO 评分均为 1200。随着提示相互竞争为测试用例生成响应，它们的 ELO 评分会根据其性能而发生变化。通过这种方式，您可以轻松了解效果最好的提示。 分类版本：gpt-prompt-engineer -- 分类版本笔记本旨在处理分类任务。它通过将测试用例与预期输出（“true”或“false”）进行匹配来评估测试用例的正确性，并提供一张表格，其中包含每个提示的分数。 权重和偏差日志记录：可选择将配置（例如温度和最大标记）、系统和用户提示（针对每部分）、所用测试用例和每个候选提示的最终排名 ELO 评分记录到权重和偏差中。将 use_wandb 设置为 True 以启用。