What is Arch?
Arch 是一个基于 Envoy Proxy 构建的智能 Layer 7 网关。它旨在通过管理与 API 的交互来增强大型语言模型 (LLM) 应用程序（如 AI 代理、助手和副驾驶）的安全性、可观察性和个性化。Arch 处理与提示相关的关键任务，例如越狱检测、用于满足用户请求的 API 集成、LLM 路由和集中式可观察性，使开发人员能够专注于核心应用程序逻辑。
关键特性：
Envoy 基础: ?️ Arch 基于 Envoy Proxy 构建，利用其强大的 HTTP 管理、过滤和遥测功能来高效处理提示和 LLM 流量。这确保了可扩展性和可靠性，得益于 Envoy 的广泛采用和经过验证的性能。
快速 LLM 处理: ? Arch 利用专门的、更小的 LLM，这些 LLM 针对速度和成本效益进行了优化，用于处理核心提示相关任务。这些任务包括关键功能，如函数/API 调用和从用户提示中提取参数，从而实现快速高效的应用程序响应。
提示防护: ?️ Arch 提供集中式的提示防护，作为安全层来防止恶意企图（如越狱）并确保安全的用户交互。这消除了开发人员为每个潜在威胁编写自定义代码的需求，简化了开发并增强了安全性。
流量管理: ? Arch 有效地管理 LLM 调用，包括智能重试以处理错误、LLM 之间的自动切换以确保持续可用性以及弹性上游连接。这确保了平稳运行，并在单个 LLM 出现问题时最大程度地减少中断。
全面可观察性: ? Arch 利用 W3C Trace Context 标准对应用程序进行全面的请求跟踪，提供与各种可观察性工具的兼容性。它还提供有关延迟、令牌使用和错误率的详细指标，使开发人员能够有效地监控和优化 AI 应用程序性能。
用例：
构建一个安全的客户服务聊天机器人，该聊天机器人与计费 API 交互以回答有关发票的问题。
创建一个个性化的旅行代理，它使用提示查询航班和酒店 API，并根据用户偏好推荐行程。
开发一个 AI 驱动的研究助手，它可以使用自然语言提示访问和汇总来自各种学术数据库的信息。
结论：
Arch 通过卸载与提示处理和 LLM 交互相关的关键但非差异化任务，使开发人员能够构建更快、更安全、高度个性化的 LLM 应用程序。通过利用 Arch，开发人员可以专注于核心应用程序逻辑，从而缩短开发周期并改善用户体验。如果您希望增强 GenAI 应用程序的性能、安全性和个性化，Arch 是您需要的解决方案。
More information on Arch
Launched
2024-09
Pricing Model
Free
Starting Price
Global Rank
6049236
Follow
Month Visit
<5k
Tech used
Google Cloud Platform,HTTP/3,Google Cloud Storage
Top 5 Countries
77.91%
22.09%
United States
France
Traffic Sources
13.6%
6.83%
0.17%
8.53%
24.95%
45.55%
social
paidReferrals
mail
referrals
search
direct
Source: Similarweb (Sep 24, 2025)
Arch was manually vetted by our editorial team and was first featured on 2024-10-21.
