What is ONNX Runtime?
機械学習モデルの研究開発から本番環境への移行、あるいはトレーニングのスケールアップには、ハードウェア、ソフトウェア、パフォーマンスのボトルネックという複雑な迷路を進むことが伴います。ONNX Runtime は、この過程を簡素化するために設計されており、大規模なクラウドクラスターからエッジデバイス、ブラウザまで、必要な場所でモデルを実行およびトレーニングするための、統一された高性能エンジンを提供します。既存のワークフローにシームレスに統合できるため、スタックを大幅に見直すことなく、AIワークロードを加速できます。
パフォーマンスと柔軟性を促進する主な機能
ONNX Runtime は、機械学習の運用を最適化し、効率化するために設計された、堅牢な機能セットを提供します。
🚀 推論とトレーニングの加速: 組み込みの最適化機能とハードウェアアクセラレーション(CPU、GPU、NPU)を活用して、モデルの実行を大幅に高速化します。ONNX Runtime は、グラフの最適化などの手法を自動的に適用し、推論タスクと大規模モデルのトレーニングの両方でパフォーマンスを向上させ、レイテンシーと計算コストを削減します。
💻 どこでも実行: 好みの言語(Python、C++、C#、Java、JavaScript、Rustなど)を使用して開発し、Linux、Windows、macOS、iOS、Androidなどの多様なプラットフォーム全体で一貫してデプロイできます。ONNX Runtime Web を介してWebブラウザで直接実行することも可能です。
🧩 シームレスな統合: PyTorch や TensorFlow/Keras などの一般的な深層学習フレームワーク、および scikit-learn、LightGBM、XGBoost などの従来のMLライブラリのモデルを操作できます。既存のモデルを ONNX 形式に変換し、ランタイムを使用して効率的に実行します。
💡 生成AIの強化: 最先端の生成AIおよび大規模言語モデル(LLM)(Llama-2など)をアプリケーションに統合します。ONNX Runtime は、さまざまなプラットフォームでの画像合成やテキスト生成などの要求の厳しいタスクに必要なパフォーマンスを提供します。
📈 トレーニングワークロードの最適化: 一般的な Hugging Face transformers を含む、大規模なモデルのトレーニングに関連する時間とコストを削減します。PyTorch ユーザーの場合、トレーニングの高速化は、1行のコードを追加するだけで実現できます。また、よりパーソナライズされた、プライバシーを保護するユーザーエクスペリエンスのために、オンデバイスでのトレーニングも可能にします。
ONNX Runtime の開発者による活用事例
コンピュータビジョンモデルのデプロイ: PyTorch で物体検出モデルをトレーニングしました。Linux サーバー上で実行されている Web API 経由で効率的に提供し、オフラインで使用するために Android アプリケーションに直接埋め込むために、モデルを ONNX 形式に変換します。次に、バックエンドサーバーで ONNX Runtime を使用して低レイテンシーの推論を行い、Android アプリ内で ONNX Runtime Mobile を使用して、コアロジックを書き換えることなく、両方のプラットフォームで一貫した動作と最適化されたパフォーマンスを保証します。
NLP推論の高速化: 顧客サポートチャットボットは、インテント認識にトランスフォーマーモデルを使用しています。ユーザートラフィックの増加に伴い、推論レイテンシーが問題になります。利用可能な GPU リソースを利用するように構成された ONNX Runtime でモデルをデプロイすることにより、応答時間を大幅に短縮し、ユーザーエクスペリエンスを向上させ、クエリごとの計算負荷を軽減します。
大規模モデルのトレーニングの加速: チームは、マルチ GPU クラスターで Llama-2 のような大規模言語モデルを微調整する必要があります。複雑な手動最適化の代わりに、ONNX Runtime Training を既存の PyTorch トレーニングスクリプトと統合します。これにより、トレーニングプロセスが大幅に加速され、反復が高速化され、計算コストが削減されます。
少ない労力で最適化されたパフォーマンスを実現
ONNX Runtime は、機械学習ワークロードの汎用アクセラレーターとして機能します。一貫性のある高性能な実行レイヤーを提供することにより、多様な環境全体でのモデルのデプロイとトレーニングの課題に取り組みます。既存のツールをサポートし、幅広いハードウェアとプラットフォームをターゲットにすることで、イノベーションを起こすAI搭載アプリケーションの構築に集中できるようになり、最適化とデプロイの複雑さに費やす時間を削減できます。Microsoft、Adobe、SAS、NVIDIA などの企業に信頼されており、要求の厳しい AI タスクに対応できる、本番環境に対応したソリューションです。
More information on ONNX Runtime
Top 5 Countries
Traffic Sources
ONNX Runtime 代替ソフト
もっと見る 代替ソフト-

-

Phi-3 Miniは、Phi-2で使用されているデータセット(合成データとフィルタされたウェブサイト)に基づいて構築された、軽量で最先端のオープンモデルです。このモデルは、非常に高品質で、推論が密なデータに重点が置かれています。
-

LLMコストを削減し、プライバシーを強化。 RunAnywhereのハイブリッドAIは、最適なパフォーマンスとセキュリティを実現するため、リクエストをオンデバイスまたはクラウドにインテリジェントにルーティングします。
-

-

高速で手軽なAPIで、高品質なメディアを生成。1秒未満の画像生成から、高度な動画推論まで、そのすべてをカスタムハードウェアと再生可能エネルギーで実現します。インフラやMLの専門知識は一切不要です。
