What is Weco?
機械学習パイプラインの構築と最適化は、多くの場合、広範囲にわたる手動での反復作業を伴います。最もパフォーマンスの高いコードを見つけるには、実験、調整、評価に多大な時間を費やす必要があります。Wecoは、この複雑なプロセスをAIエージェントを活用して自動化する体系的なアプローチを提供します。AIDE(Agentic Iterative Design Engine)を搭載したWecoは、AI研究エンジニアとして機能し、評価ベンチマークを自己改善型システムに変えます。Wecoは、指定された指標に基づいてコードを改良し、実験を自律的に実行することで、より高性能なソリューションを発見します。
AIDEによる主な機能
🤖 実験の自動化: AIDEは、GPUカーネルの最適化、モデル開発、プロンプトエンジニアリングなどのタスクに対して、多数のコードバリエーションを体系的に生成およびテストし、多くの場合、一晩で数百もの実験を実行します。これにより、手動で介入することなく、広大なソリューション空間を探索できます。
📊 指標駆動型最適化: 精度、速度、コスト、または任意のカスタム指標など、成功の基準を定義します。AIDEは、より良いソリューションが指標によって示されるまで、お客様 固有の評価パイプラインに対するパフォーマンスの向上のみに焦点を当てて、コードを反復的に改良します。この評価主導のループは、OpenAIのMLE-Benchなどのベンチマークで示されているように、ワンショットコード生成よりも明らかに優れており、AIDEは次に優れた自律エージェントよりも4倍多くのメダルを獲得しました。
🧠 広範なコード検索とドメイン理解: 特定のモデルクラスに限定された従来のAutoMLとは異なり、AIDEはLLMを活用してコード空間全体を検索します。NLP、CV、表形式データなど、多様なドメイン全体にメソッドを適用し、金融や生物医学などの特殊分野の背景知識を組み込むことができ、多くの場合、人間が見逃す可能性のある斬新なアプローチを発見します(METRのRE-Benchで検証済み)。
💡 自然言語によるガイダンス: AIDEは自律的に動作しますが、自然言語プロンプトを使用して、ドメインの専門知識または特定の要件を注入し、複雑なハイパーパラメータ調整を必要とせずに、エージェントの検索プロセスをガイドできます。
🛡️ 柔軟で安全な実行: 生成されたコードは、Wecoによって管理される安全なサンドボックス化されたクラウド環境内で実行され、最適なハードウェア(CPU、GPU)を自動的にプロビジョニングします。データ主権のニーズに対応するために、オンプレミス実行オプションも利用でき、完全に制御できます。生成されたすべてのコードに対する完全なIP権を保持します。
⚙️ 言語とフレームワークに依存しない: Python、PyTorch、TensorFlowなど、さまざまな言語およびフレームワークにわたってコードを最適化し、CPU、GPUからTPU、Apple Siliconまで、多様なハードウェアをターゲットにします。
実際のユースケース
既存のモデルパフォーマンスの最適化: オブジェクト検出用のPyTorchモデルは正常に動作していますが、レイテンシが高すぎて本番環境で使用できません。Wecoにモデルコード、評価データセットを提供し、指標(例:レイテンシを50ms未満に抑えながら、mAPを最大化)を指定します。AIDEは、モデルアーキテクチャ、推論コード、および潜在的な量子化手法を反復処理し、パフォーマンス目標を満たす最適化されたコードを提供します。
カスタムコンピューティングカーネルの高速化: チームは、重要な前処理ステップのためにカスタムCUDAまたはTritonカーネルに依存していますが、それがボトルネックになりつつあります。Wecoを使用して、カーネルコードと実行速度を測定するベンチマークを提供します。AIDEは、代替の実装、メモリアクセスパターン、および並列化戦略を調査し、METRのRE-BenchでTritonカーネルの最適化で人間の専門家を上回ったのと同様に、実行時間を大幅に短縮することを目指します。
高性能な表形式モデルの開発: 大規模な表形式データセットを使用して顧客の解約を予測する新しいプロジェクトを開始しますか?AIDEにデータスキーマの説明とターゲット指標(例:F1スコア)を提供します。AIDEは、フィーチャーエンジニアリング(ガイドされた場合はドメイン固有の指標を作成する可能性あり)、モデル選択、トレーニング、および評価コードを含むエンドツーエンドのパイプラインを生成し、自律的に反復して、多くの場合、数分以内に初期バージョンを提供し、最高のパフォーマンスを発揮するソリューションを見つけます。
Wecoを選ぶ理由
Wecoは、不可欠でありながら、しばしば面倒な最適化サイクルを自動化することにより、ML開発に対する独自のアプローチを提供します。その強みは次のとおりです。
ユーザー中心の指標: 最適化は、お客様 のデータ、お客様 の評価パイプライン、およびお客様 の成功の定義によって完全に駆動されます。
実績のある有効性: AIDEの機能は、主要なベンチマーク(OpenAI MLE-Bench、METR RE-Bench)と、最先端のAIラボや研究出版物(例:Sakana AIのAI Scientist-v2)による採用を通じて検証されています。コンピューティングリソースを優れたコード品質に交換することが明らかに示されています。
柔軟性: さまざまなプログラミング言語、MLフレームワーク、およびハードウェアターゲットに適応できます。
スケーラビリティ: 複雑な最適化タスクを長期間にわたって処理し、ソリューションを継続的に改良するように設計されています。
Wecoを使用すると、お客様とお客様のチームは、より高度な戦略と問題解決に集中でき、AIDEはMLパイプラインの限界を押し広げるために必要な集中的な指標駆動型実験を処理します。





