What is Arch?
Archは、Envoy Proxyを基盤としたインテリジェントなレイヤー7ゲートウェイです。AIエージェント、アシスタント、コパイロットなど、大規模言語モデル(LLM)アプリケーションのセキュリティ、可観測性、パーソナライゼーションを強化し、APIとのやり取りを管理することで、これらのアプリケーションの機能を向上させます。Archは、ジェイルブレイク検出、ユーザー要求を満たすためのAPI統合、LLMルーティング、集中監視など、プロンプト関連の重要なタスクを処理することで、開発者はコアアプリケーションロジックに集中できます。
主な機能:
Envoy Foundation: ?️ Envoy Proxyを基盤とするArchは、その強力なHTTP管理、フィルタリング、テレメトリ機能を活用して、プロンプトとLLMトラフィックを効率的に処理します。これにより、スケーラビリティと信頼性が確保され、Envoyの広範な採用と実績のあるパフォーマンスから恩恵を受けられます。
高速LLM処理: ? Archは、速度とコスト効率を重視して最適化された、より小さな特殊なLLMを、プロンプト関連の重要なタスクに使用します。これには、関数/API呼び出しやユーザープロンプトからのパラメータ抽出などの重要な機能が含まれ、迅速かつ効率的なアプリケーションレスポンスを実現します。
プロンプトガード: ?️ Archは、中央集中的なプロンプトガードレールを提供し、セキュリティレイヤーとして機能して、悪意のある試み(ジェイルブレイクなど)を阻止し、安全なユーザーインタラクションを保証します。これにより、開発者は潜在的な脅威ごとにカスタムコードを書く必要がなくなり、開発が簡素化され、セキュリティが強化されます。
トラフィック管理: ? Archは、エラー処理のためのスマートな再試行、継続的な可用性のためのLLM間の自動切り替え、回復力のあるアップストリーム接続など、機能を組み込んだ、LLM呼び出しを効率的に管理します。これにより、スムーズな運用が確保され、個々のLLMの問題が発生した場合でも、中断が最小限に抑えられます。
包括的な可観測性: ? Archは、W3C Trace Context標準を活用して、アプリケーション全体で包括的なリクエストトレーシングを実現し、さまざまな可観測性ツールとの互換性を提供します。また、レイテンシー、トークン使用量、エラー率に関する詳細なメトリクスも提供し、開発者はAIアプリケーションのパフォーマンスを効果的に監視および最適化できます。
ユースケース:
請求APIと連携して請求書に関する質問に答える、安全なカスタマーサービスチャットボットを構築します。
プロンプトを使用してフライトとホテルのAPIをクエリし、ユーザーの好みに基づいて旅程を提案する、パーソナライズされた旅行代理店を作成します。
自然言語のプロンプトを使用して、さまざまな学術データベースから情報にアクセスして要約できる、AI搭載の研究アシスタントを開発します。
結論:
Archは、プロンプト処理とLLMとのやり取りに関連する、重要ながらも差別化されていないタスクをオフロードすることで、開発者がより高速で安全な、高度にパーソナライズされたLLMアプリケーションを構築できるようにします。Archを活用することで、開発者はコアアプリケーションロジックに集中でき、開発サイクルの短縮とユーザーエクスペリエンスの向上につながります。GenAIアプリケーションのパフォーマンス、セキュリティ、パーソナライゼーションを強化したい場合は、Archが最適なソリューションです。





