GPT Prompt Engineer

Переводчик подсказок — это своего рода алхимия. Невозможно с уверенностью предсказать, что будет работать лучше всего. Нужно экспериментировать, пока не найдете нужную подсказку. gpt-prompt-engineer — это инструмент, который выводит эксперименты на совершенно новый уровень. Просто введите описание своей задачи и несколько тестовых случаев, и система сгенерирует, протестирует и ранжирует множество подсказок, чтобы найти те, которые работают лучше всего. Функции Генерация подсказок: используя GPT-4 и GPT-3.5-Turbo, gpt-prompt-engineer может генерировать множество возможных подсказок на основе предоставленного варианта использования и тестовых случаев. Тестирование подсказок: настоящее волшебство начинается после генерации. Система проверяет каждую подсказку во всех тестовых случаях, сравнивая ее эффективность и ранжируя подсказки по системе оценки ELO. Система оценки ELO: каждой подсказке присваивается начальный рейтинг ELO 1200. По мере того как подсказки конкурируют друг с другом, генерируя ответы на тестовые случаи, их рейтинг ELO меняется в зависимости от их эффективности. Таким образом, вы можете легко увидеть, какие подсказки наиболее эффективны. Версия классификации: блокнот gpt-prompt-engineer -- Classification Version предназначен для решения задач классификации. Он оценивает корректность тестового случая, сопоставляя его с ожидаемым результатом («истина» или «ложь»), и предоставляет таблицу с оценками для каждой подсказки. Регистрация взвешенных и смещенных данных: необязательная регистрация взвешенных и смещенных данных ваших конфигураций, таких как температура и максимальное количество токенов, системные и пользовательские подсказки для каждой части, используемые тестовые случаи и окончательный ранжированный рейтинг ELO для каждой подсказки-кандидата. Чтобы воспользоваться этой возможностью, установите для параметра use_wandb значение True.