GPT Prompt Engineer

프롬프트 엔지니어링은 일종의 연금술입니다. 어떤 것이 가장 잘 작동할지 예측할 수 있는 명확한 방법은 없습니다. 적절한 프롬프트를 찾을 때까지 실험을 반복하는 것입니다. gpt-prompt-engineer는 이러한 실험을 완전히 새로운 차원으로 끌어올리는 도구입니다. 작업에 대한 설명과 몇 가지 테스트 케이스를 입력하기만 하면 시스템이 다양한 프롬프트를 생성, 테스트, 순위를 매겨 가장 잘 작동하는 프롬프트를 찾아냅니다. 특징 프롬프트 생성: GPT-4 및 GPT-3.5-Turbo를 사용하는 gpt-prompt-engineer는 제공된 사용 사례와 테스트 케이스를 기반으로 다양한 가능한 프롬프트를 생성할 수 있습니다. 프롬프트 테스트: 진짜 마법은 생성 이후에 발생합니다. 시스템은 각 프롬프트를 모든 테스트 케이스에 대해 테스트하고, 성능을 비교하며 ELO 평가 시스템을 사용하여 순위를 매깁니다. 이런 방식으로 가장 효과적인 프롬프트를 쉽게 확인할 수 있습니다. ELO 평가 시스템: 각 프롬프트는 1200의 ELO 평가로 시작합니다. 테스트 케이스에 대한 응답을 생성하는 과정에서 서로 경쟁함에 따라 성능에 따라 ELO 평가가 변경됩니다. 이런 방식으로 가장 효과적인 프롬프트를 쉽게 확인할 수 있습니다. 분류 버전: gpt-prompt-engineer -- Classification Version 노트북은 분류 작업을 처리하도록 설계되었습니다. 테스트 케이스를 예상 출력('참' 또는 '거짓')과 일치시켜 정확성을 평가하고 각 프롬프트에 대한 점수가 표시된 표를 제공합니다. Weights & Biases 로깅: 온도 및 최대 토큰, 각 부분에 대한 시스템 및 사용자 프롬프트, 사용된 테스트 케이스, 각 후보 프롬프트의 최종 순위 ELO 평가 등의 구성 요소를 Weights & Biases에 선택적으로 로깅합니다. 사용하려면 use_wandb를 True로 설정합니다.