What is Arch?
Arch는 Envoy Proxy 기반의 지능형 Layer 7 게이트웨이입니다. AI 에이전트, 어시스턴트, 코파일럿과 같은 대규모 언어 모델(LLM) 애플리케이션의 보안, 관찰성, 개인화를 향상시키기 위해 API와의 상호 작용을 관리하도록 설계되었습니다. Arch는 탈옥 감지, 사용자 요청 충족을 위한 API 통합, LLM 라우팅, 중앙 집중식 관찰성과 같은 필수적인 프롬프트 관련 작업을 처리하여 개발자가 핵심 애플리케이션 로직에 집중할 수 있도록 합니다.
주요 기능:
Envoy 기반: ?️ Envoy Proxy 기반으로 구축된 Arch는 프롬프트 및 LLM 트래픽을 효율적으로 처리하기 위해 강력한 HTTP 관리, 필터링 및 원격 측정 기능을 활용합니다. 이는 Envoy의 광범위한 채택 및 검증된 성능으로 인해 확장성과 안정성을 보장합니다.
빠른 LLM 처리: ? Arch는 핵심 프롬프트 관련 작업에서 속도와 비용 효율성을 위해 최적화된 특수한 소규모 LLM을 사용합니다. 여기에는 함수/API 호출 및 사용자 프롬프트에서 매개변수 추출과 같은 중요한 기능이 포함되어 있어 빠르고 효율적인 애플리케이션 응답을 가능하게 합니다.
프롬프트 가드: ?️ Arch는 중앙 집중식 프롬프트 가드레일을 제공하여 악의적인 시도(탈옥과 같은)를 방지하고 안전한 사용자 상호 작용을 보장하는 보안 계층 역할을 합니다. 이를 통해 개발자는 각 잠재적 위협에 대한 사용자 지정 코드를 작성할 필요가 없어 개발이 간소화되고 보안이 강화됩니다.
트래픽 관리: ? Arch는 오류 처리를 위한 스마트 재시도, 지속적인 가용성을 위한 LLM 간 자동 전환, 복원력 있는 업스트림 연결과 같은 기능을 통합하여 LLM 호출을 효율적으로 관리합니다. 이는 개별 LLM 문제 발생 시 원활한 운영을 보장하고 중단을 최소화합니다.
포괄적인 관찰성: ? Arch는 다양한 관찰성 도구와의 호환성을 제공하는 애플리케이션 전반의 포괄적인 요청 추적을 위해 W3C Trace Context 표준을 활용합니다. 또한 대기 시간, 토큰 사용량, 오류율에 대한 자세한 지표를 제공하여 개발자가 AI 애플리케이션 성능을 효과적으로 모니터링하고 최적화할 수 있도록 지원합니다.
사용 사례:
청구 API와 상호 작용하여 송장에 대한 질문에 답하는 안전한 고객 서비스 챗봇 구축.
프롬프트를 사용하여 항공편 및 호텔 API를 쿼리하고 사용자 선호도에 따라 여정을 제안하는 맞춤형 여행사 생성.
자연어 프롬프트를 사용하여 다양한 학술 데이터베이스에서 정보에 액세스하고 요약할 수 있는 AI 기반 연구 조교 개발.
결론:
Arch는 프롬프트 처리 및 LLM 상호 작용과 관련된 중요하지만 차별화되지 않은 작업을 오프로드하여 개발자가 더 빠르고 안전하며 고도로 개인화된 LLM 애플리케이션을 구축할 수 있도록 지원합니다. 개발자는 Arch를 활용하여 핵심 애플리케이션 로직에 집중하여 더 빠른 개발 주기와 향상된 사용자 경험을 제공할 수 있습니다. GenAI 애플리케이션의 성능, 보안 및 개인화를 향상시키려는 경우 Arch가 필요한 솔루션입니다.
More information on Arch
Launched
2024-09
Pricing Model
Free
Starting Price
Global Rank
6049236
Follow
Month Visit
<5k
Tech used
Google Cloud Platform,HTTP/3,Google Cloud Storage
Top 5 Countries
77.91%
22.09%
United States
France
Traffic Sources
13.6%
6.83%
0.17%
8.53%
24.95%
45.55%
social
paidReferrals
mail
referrals
search
direct
Source: Similarweb (Sep 24, 2025)
Arch was manually vetted by our editorial team and was first featured on 2024-10-21.
