What is Magentic-UI ?
Magentic-UI는 AI 에이전트의 인간 개입형(human-in-the-loop) 접근 방식 연구를 발전시키기 위해 설계된 오픈 소스 연구 프로토타입입니다. 이 실험적인 인간 중심 웹 에이전트는 웹 기반 작업을 수행하는 동안 사용자(여러분)와 실시간으로 협력하여 투명하고 제어 가능한 플랫폼을 제공합니다. 이는 효과적인 인간-AI 협업 솔루션을 모색하는 연구자, 개발자, 스타트업 및 기업에게 귀중한 도구입니다.
주요 기능
🤝 협력적 계획 수립 (Co-planning): Magentic-UI는 실행에 앞서 에이전트의 접근 방식에 직접 영향을 미칠 수 있도록 합니다. 직관적인 계획 편집기를 활용하거나 텍스트 피드백을 제공하여 단계별 작업 계획을 공동으로 수립하고 승인함으로써 에이전트가 여러분의 정확한 의도에 부합하도록 할 수 있습니다.
⚙️ 협력적 실행 (Co-tasking): 작업 실행 전반에 걸쳐 제어권을 유지하세요. 언제든지 Magentic-UI를 일시 정지하여 자연어로 피드백을 제공하거나, 브라우저를 직접 제어하여 동작을 시연하거나, 에이전트가 명확화를 요청할 때 안내하는 등 작업이 정확히 필요한 대로 진행되도록 할 수 있습니다.
🛡️ 안전을 위한 작업 가드 (Action Guards): Magentic-UI는 돌이킬 수 없는 작업(irreversible actions)을 실행하기 전에 여러분의 명시적인 승인을 요청함으로써 안전을 최우선으로 합니다. 승인 빈도를 구성할 수 있으며, 시스템은 샌드박스형 Docker 환경 내에서 작동하여 브라우저 및 코드 실행자와의 상호 작용이 안전하게 이루어지도록 보장합니다.
🧠 경험을 통한 학습 (Plan Learning): Magentic-UI는 과거 상호 작용을 지능적으로 학습하여 성공적인 계획을 갤러리에 저장합니다. 이를 통해 에이전트가 학습된 전략을 자동으로 또는 수동으로 검색하고 적용할 수 있어 향후 시나리오에서 작업 완료율을 향상시킬 수 있습니다.
🚀 병렬 작업 실행: 여러 작업을 동시에 실행하여 생산성을 높이세요. 세션 상태 표시기는 Magentic-UI가 입력을 필요로 할 때나 작업이 성공적으로 완료되었을 때 정보를 알려주어 작업 흐름을 간소화합니다.
사용 사례
복잡한 웹 자동화: 상세한 양식 작성, 복잡한 온라인 주문 맞춤화, 검색 엔진으로 쉽게 색인되지 않는 다단계 웹사이트 탐색(예: 특정 항공사 포털에서 항공편 필터링)과 같은 복잡한 웹 작업을 효율적으로 수행합니다.
데이터 분석 및 생성: 웹 브라우징과 코드 실행을 결합하여 정교한 결과를 달성합니다. 예를 들어, 온라인 데이터를 추출하거나, Python 스크립트를 실행하여 차트를 생성하거나, UI를 통해 직접 업로드된 파일을 분석을 위해 수정할 수 있습니다.
연구 및 개발: 연구자들은 Magentic-UI의 투명하고 제어 가능한 프레임워크를 활용하여 새로운 인간 개입형 전략을 연구하고, AI 에이전트의 감독 메커니즘을 평가하며, 고급 인간-AI 협업 워크플로우를 프로토타입으로 제작할 수 있습니다.
고유한 장점
Magentic-UI는 에이전트 기반 작업에서 인간의 제어와 투명성을 우선시함으로써, 완전 자율 시스템과 차별화됩니다.
투명하고 제어 가능한 경험: 완전한 자율성을 목표로 하는 다른 컴퓨터 사용 에이전트와 달리, Magentic-UI는 의사 결정 과정에 대한 명확한 통찰력을 제공합니다. 이 인간 중심 설계는 단순한 웹 검색을 넘어선 행동 지향적 작업에 대한 제어권을 여러분이 유지하도록 보장하여 신뢰와 효율성을 증진시킵니다.
효율적인 인간 개입형(Human-in-the-Loop) 참여: 직관적인 인터페이스와 협업 기능은 인간의 개입이 쉽고 효과적일 수 있도록 특별히 설계되었습니다. 이러한 설계 철학은 효율적인 감독을 촉진하여 필요할 때 정확하게 에이전트를 안내할 수 있도록 합니다.
인적 비용 절감과 함께 향상된 성능: 인간 지능을 원활하게 통합함으로써 Magentic-UI는 작업 완료율을 크게 향상시킬 수 있습니다. 모의 사용자를 활용한 GAIA benchmark의 예비 평가에서는 자율 모드 대비 작업 완료율이 71% 향상(30.3%에서 51.9%로)되었음을 입증하여, 인간 협업이 전반적인 노력을 최적화하면서 더 나은 결과를 가져온다는 것을 보여주었습니다.
결론
Magentic-UI는 AI 에이전트 협업에 대한 강력하고 인간 중심적인 접근 방식을 제공하여, 효과적인 인간 개입형 시스템을 탐색하고 구현하는 데 귀중한 도구입니다. AI 기능을 발전시키는 연구자든 지능형 솔루션을 구축하는 개발자든, Magentic-UI는 복잡한 웹 기반 작업을 자신감 있게 달성하는 데 필요한 투명성, 제어 및 협업 기능을 제공합니다. 오늘 Magentic-UI를 탐색하고 인간-AI 협업의 미래에 기여하십시오.
FAQ
Magentic-UI의 핵심 목적은 무엇인가요? Magentic-UI는 AI 에이전트의 인간 개입형 접근 방식을 연구하고 발전시키는 데 중점을 둔 오픈 소스 연구 프로토타입입니다. 주요 목표는 인간과 AI가 웹 기반 작업에서 효과적으로 협력할 수 있는 플랫폼을 제공하여 다양한 사용자에게 투명하고 제어 가능한 경험을 제공하는 것입니다.
Magentic-UI는 사용자 안전과 제어를 어떻게 보장하나요? Magentic-UI는 안전을 최우선으로 합니다. 돌이킬 수 없는 작업에 대해 사용자 승인을 요구하는 "Action Guards" 기능이 있으며, 승인 빈도를 사용자 정의할 수 있습니다. 또한 샌드박스형 Docker 환경에서 작동하여 무단 접근이나 악의적인 활동을 방지하기 위해 브라우저 및 코드 실행을 격리합니다. 레드팀 평가를 통해 다양한 공격 유형에 대한 복원력이 확인되었습니다.
Magentic-UI는 진정한 오픈 소스인가요? 네, Magentic-UI는 MIT license에 따라 완전한 오픈 소스로 제공됩니다. GitHub 저장소(https://github.com/microsoft/Magentic-UI)를 통해 코드, 문서에 접근하고 개발에 기여할 수 있습니다. 또한 Azure AI Foundry Labs에서도 이용 가능합니다.





