GPT Prompt Engineer

L'ingénierie des invites ressemble à l'alchimie. Il n'y a pas de moyen clair de prédire ce qui fonctionnera le mieux. Il s'agit d'expérimenter jusqu'à ce que vous trouviez la bonne invite. gpt-prompt-engineer est un outil qui porte cette expérimentation à un tout autre niveau.

Saisissez simplement une description de votre tâche et quelques cas de test, et le système générera, testera et classera une multitude d'invites pour trouver celles qui fonctionnent le mieux.

Fonctionnalités

Génération d'invites : À l'aide de GPT-4 et de GPT-3.5-Turbo, gpt-prompt-engineer peut générer une variété d'invites possibles en fonction d'un cas d'utilisation et de cas de test fournis.

Test d'invites : La vraie magie opère après la génération. Le système teste chaque invite par rapport à tous les cas de test, en comparant leurs performances et en les classant à l'aide d'un système de classement ELO.

Système de classement ELO : Chaque invite commence avec un classement ELO de 1200. Lorsqu'elles s'affrontent pour générer des réponses aux cas de test, leurs classements ELO changent en fonction de leurs performances. De cette façon, vous pouvez facilement voir quelles invites sont les plus efficaces.

Version de classification : Le notebook gpt-prompt-engineer -- Classification Version est conçu pour gérer les tâches de classification. Il évalue l'exactitude d'un cas de test en le faisant correspondre à la sortie attendue (« vrai » ou « faux ») et fournit un tableau avec les scores pour chaque invite.

Journalisation des pondérations et des biais : Journalisation facultative dans les pondérations et les biais de vos configurations telles que la température et les jetons maximum, le système et les invites utilisateur pour chaque partie, les cas de test utilisés et le classement ELO final pour chaque invite candidate. Définissez use_wandb sur True pour l'utiliser.