GPT Prompt Engineer

提示工程有點像是鍊金術。沒人能準確預測哪個方法最有效。重點在於實驗，直到你找到正確的提示。gpt-prompt-engineer 是一款工具，可以將這種實驗提升到全新境界。 只要輸入你的任務說明以及一些測試案例，系統就會產生、測試並排名多種提示，以找出表現最佳的提示。 功能 提示產生：利用 GPT-4 和 GPT-3.5-Turbo，gpt-prompt-engineer 可以根據所提供的使用案例和測試案例產生各種可能的提示。 提示測試：真正的魔法發生在產生提示之後。系統會針對所有測試案例測試每個提示，比較它們的表現並使用 ELO 評分系統對它們進行排名。 ELO 評分系統：每個提示的初始 ELO 評分都是 1200。當它們彼此競爭為測試案例產生回應時，它們的 ELO 評分會根據表現而有所變動。如此一來，你就可以輕鬆看出哪些提示最有效。 分類版本：gpt-prompt-engineer -- 分類版本筆記本專為處理分類任務而設計。它會透過將測試案例與預期輸出（「是」或「否」）進行配對，來評估測試案例的正確性，並提供一張包含每個提示分數的表格。 權重與偏差記錄：選擇性地將你的設定（例如溫度和最大權杖數）、系統和使用者提示（針對每個部分）、所使用的測試案例，以及每個候選提示的最終排名 ELO 評分記錄到「權重與偏差」中。設 use_wandb 為 True 以使用。