What is Anubis?
robots.txt 지시를 무시하고 서버 리소스에 부담을 주는 끊임없이 몰려드는 AI 크롤러에 직면하고 계신가요? 특히 검색 엔진에 색인되지 않기를 원하는 웹사이트에 대한 강력한 방어가 필요하다면, Anubis가 직접적인 해결책을 제시합니다. TecharoHQ에서 개발한 이 오픈 소스 도구는 HTTP 요청 내에 SHA256 작업 증명(PoW) 챌린지를 구현하여 규정을 준수하지 않는 자동화된 봇에 대한 효과적인 문지기 역할을 수행합니다. 표준 방법이 부족하거나 원하지 않을 때 특정 보호 요구 사항을 위해 설계된 집중적이지만 강력한("핵무기"라고 개발자가 언급함) 접근 방식입니다.
주요 기능
🛡️ 작업 증명 방어 구현: 수신 연결에 대해 작은 계산 작업(SHA256 PoW)을 수행하도록 요구합니다. 이 간단한 계산은 리소스를 많이 사용하는 봇이 완료하지 못하게 하거나 완료할 수 없도록 방지하는 동시에 합법적인 사용자 브라우저에 대해서는 관리가 용이합니다.
⚙️ 업스트림 리소스 보호: 원치 않는 자동화된 트래픽이 실제 웹 애플리케이션 또는 콘텐츠 서버를 압도하지 못하도록 방지하여 대역폭과 성능을 보존하는 방패 역할을 합니다.
📦 Docker를 사용한 간편한 배포: 제공된 Docker 지원을 사용하여 기존 인프라 내에서 Anubis를 빠르게 가동하여 간단하게 통합할 수 있습니다.
🔓 오픈 소스 투명성 활용: Go로 빌드되고 GitHub에서 사용할 수 있으므로 코드베이스를 검사, 수정 및 기여하여 정확한 보안 상태 및 운영 요구 사항에 맞게 조정할 수 있습니다.
📉 검색 엔진 색인화 방지: 표준 검색 엔진 크롤러가 사이트를 색인화하기 어렵게 의도적으로 만듭니다. 이는 검색을 통해 공개적으로 검색할 수 없는 개인 콘텐츠, 내부 도구 또는 리소스를 보호하기 위한기능입니다.
⚡ 경량 및 효율적으로 실행: 최대한 작게 설계된 Anubis는 낮은 리소스 소비로 작동하면서 트래픽을 효과적으로 필터링합니다.
🔄 다중 스레드 검사 활용: PoW 검증을 위해 여러 스레드를 사용하여 병목 현상이 발생하지 않고 동시 사용자 요청을 효율적으로 처리합니다.
사용 사례
내부 회사 도구 보안: 내부 위키, 대시보드 또는 개발 리소스를 호스팅한다고 가정해 보겠습니다. Anubis는 브라우저(또는 특별히 구성된 도구)를 통해 액세스하는 사람 팀원만 쉽게 액세스할 수 있도록 보장합니다. 검색 엔진에 의한 우발적인 색인 생성을 방지하고 이 보호 계층에 대한 복잡한 VPN 설정이 반드시 필요하지는 않으면서 성가신 봇을 차단합니다.
개인 콘텐츠 또는 API 보호: 회원 사이트를 운영하거나 독점적인 디지털 다운로드를 제공하거나 공개 스크래핑을 위한 것이 아닌 API를 노출할 수 있습니다. Anubis는 자동화된 콘텐츠 리퍼 또는 API 남용 봇에 대한 중요한 장벽을 추가하여 무단 복제 또는 과부하로부터 귀중한 자산을 보호하는 데 도움이 됩니다. 봇에 대한 고유한 어려움은 콘텐츠가 검색 결과에 표시되지 않도록 유지합니다.
민감한 연구 데이터 포털 보호: 선택된 청중을 대상으로 하고 광범위한 공개 색인 생성 또는 대량 수집을 위한 것이 아닌 특정 데이터 세트 또는 연구 결과를 제공하는 웹 포털을 관리하는 경우 Anubis는 효과적인 첫 번째 방어선 역할을 합니다. 자동화된 스크래핑 시도를 필터링하여 합법적인 연구 액세스를 위한 서버 리소스를 보존합니다.
Anubis를 선택해야 하는 이유
Anubis는 공격적이고 규정을 준수하지 않는 AI 크롤러의 부담으로부터 웹 리소스를 보호하는 직접적이고 강력한 방법을 제공합니다. 보편적인 검색 엔진 가시성보다 강력한 보호 및 리소스 보존이 우선 순위라면 작업 증명 메커니즘은 효과적이고 가벼우며 투명한 오픈 소스 솔루션을 제공합니다. 원치 않는 자동화된 액세스에 대해 명확한 선을 그어야 하는 웹사이트 관리자를 위해 설계된 의도적으로 강력한 도구입니다.





