GPT Prompt Engineer

プロンプト工学は、一種の錬金術です。何が最善の結果をもたらすかを予測する明快な方法はありません。適切なプロンプトを見つけるまでは、実験を繰り返すことになります。gpt-promp-engineerは、この実験をまったく新たなレベルにまで高めるツールです。 タスクの説明といくつかのテストケースを入力するだけです。システムは、さまざまなプロンプトを数多く作成、テスト、ランク付けして、最高のパフォーマンスを発揮するものを探し出します。 特長 プロンプトのジェネレーション: gpt-promp-engineerは、GPT-4とGPT-3.5-Turboを使用して、提供されたユースケースとテストケースに基づいてさまざまなプロンプトをジェネレーションできます。 プロンプトのテスト: 本当のマジックは、ジェネレーションの後に起こります。システムは、すべてのテストケースに対して各プロンプトをテストして、パフォーマンスを比較してELOレーティンシステムを使用してランク付けします。 ELOレーティンシステム: 各プロンプトは、ELOレーティン1200からスタートします。テストケースに対する応答をジェネレーションする際に競合するにつれて、パフォーマンスに基づいてELOレーティンが変わります。この方法で、最も有効なプロンプトを簡単に確認できます。 分類バージョン: gpt-promp-engineer -- 分類バージョンノートブックは、分類タスクを処理するように作られています。テストケースが予想される出力（「true」または「false」）と一致しているか照合することでテストケースの正確さを判定し、各プロンプトのスコアを示す表を提供します。 Weights & Biasesのロギング: 温度や最大トークン数、各部分のシステムとユーザープロンプト、使用したテストケース、各候補プロンプトの最終的なELOレーティンなど、Weights & Biasesへのオプションのロギング。使用するには、use_wandbをTrueに設定します。