GPT Prompt Engineer

La ingeniería de instrucciones es como una especie de alquimia. No hay una forma clara de predecir qué funcionará mejor. Se trata de experimentar hasta encontrar la instrucción correcta. gpt-prompt-engineer es una herramienta que lleva esta experimentación a un nivel completamente nuevo. Simplemente ingresa una descripción de tu tarea y algunos casos de prueba, y el sistema generará, probará y clasificará una multitud de instrucciones para encontrar las que funcionan mejor. Características Generación de instrucciones: Mediante el uso de GPT-4 y GPT-3.5-Turbo, gpt-prompt-engineer puede generar una variedad de posibles instrucciones basadas en un caso de uso y casos de prueba proporcionados. Prueba de instrucciones: La magia real ocurre después de la generación. El sistema prueba cada instrucción con todos los casos de prueba, compara su rendimiento y las clasifica utilizando un sistema de clasificación ELO. Sistema de clasificación ELO: Cada instrucción comienza con una clasificación ELO de 1200. A medida que compiten entre sí en la generación de respuestas a los casos de prueba, sus clasificaciones ELO cambian en función de su rendimiento. De esta manera, puedes ver fácilmente qué instrucciones son las más efectivas. Versión de clasificación: El cuaderno gpt-prompt-engineer -- Versión de clasificación está diseñado para gestionar tareas de clasificación. Evalúa la corrección de un caso de prueba comparándolo con el resultado esperado ('verdadero' o 'falso') y proporciona una tabla con las puntuaciones de cada instrucción. Registro de pesos y sesgos: Registro opcional en pesos y sesgos de tus configuraciones, como temperatura y tokens máximos, el sistema y las instrucciones del usuario para cada parte, los casos de prueba utilizados y la clasificación ELO final para cada instrucción candidata. Establece use_wandb en True para usar.