What is Anubis?
robots.txtの指示を無視し、サーバーリソースを圧迫する容赦ないAIクローラーにお困りですか? 特に、検索エンジンにインデックスされたくないウェブサイトをお持ちの場合、堅牢な防御策が必要です。Anubisは、そのようなニーズに直接的なソリューションを提供します。TecharoHQによって開発されたこのオープンソースツールは、HTTPリクエスト内でSHA256 Proof-of-Work (PoW)チャレンジを実装し、非準拠の自動ボットに対するゲートキーパーとして効果的に機能します。これは、標準的な方法では不十分な場合や、標準的な方法を望まない場合に、特定の保護ニーズに合わせて設計された、焦点を絞った、強力な(開発者が言うように「核兵器級」の)アプローチです。
主な機能
🛡️ Proof-of-Workによる防御の実装: 受信接続に対して、わずかな計算タスク(SHA256 PoW)の実行を要求します。この単純な計算は、それを実行しない、または実行できないリソースを大量に消費するボットを阻止する一方で、正当なユーザーブラウザにとっては管理しやすいものです。
⚙️ 上流リソースの保護: 不要な自動化されたトラフィックが、実際のウェブアプリケーションやコンテンツサーバーを圧倒するのを防ぎ、帯域幅とパフォーマンスを維持するシールドとして機能します。
📦 Dockerによる簡単なデプロイ: 提供されているDockerサポートを使用して、既存のインフラストラクチャ内でAnubisを迅速に起動し、簡単な統合を実現します。
🔓 オープンソースの透明性の活用: Goで構築され、GitHubで公開されているため、コードベースを検査、変更、および貢献することができ、セキュリティ体制と運用ニーズに正確に適合させることができます。
📉 検索エンジンのインデックス登録の抑制: 標準的な検索エンジンのクローラーがサイトをインデックス登録することを意図的に困難にします。これは、検索による公開を意図しないプライベートコンテンツ、内部ツール、またはリソースを保護するための機能です。
⚡ 軽量かつ効率的な実行: Anubisは可能な限り最小限になるように設計されており、トラフィックを効果的にフィルタリングしながら、低いリソース消費で動作します。
🔄 マルチスレッドチェックの利用: PoW検証に複数のスレッドを使用し、それ自体がボトルネックになることなく、同時ユーザーリクエストを効率的に処理します。
ユースケース
社内ツールの保護: 社内Wiki、ダッシュボード、または開発リソースをホストしているとします。Anubisは、ブラウザ(または特別に構成されたツール)を介してアクセスする人間のチームメンバーのみが簡単にアクセスできるようにします。検索エンジンによる偶発的なインデックス登録を防ぎ、迷惑なボットをブロックします。この保護レイヤーのために、必ずしも複雑なVPNセットアップを必要としません。
プライベートコンテンツまたはAPIの保護: メンバーシップサイトを運営したり、排他的なデジタルダウンロードを提供したり、一般公開を意図していないAPIを公開したりする場合があります。Anubisは、自動化されたコンテンツリッパーやAPI悪用ボットに対する大きな障壁を追加し、不正な複製や過負荷から貴重な資産を保護するのに役立ちます。ボットにとって本質的に困難であるため、コンテンツが検索結果に表示されないようにすることもできます。
機密性の高い研究データポータルの保護: 特定のデータセットまたは研究結果を、幅広い公開インデックス作成または一括収集ではなく、選択された対象者向けに提示するWebポータルを管理している場合、Anubisは効果的な最初の防御線として機能します。自動化されたスクレイピング試行をフィルタリングし、正当な研究アクセス用のサーバーリソースを保持します。
Anubisを選ぶ理由
Anubisは、攻撃的で非準拠のAIクローラーの負担からウェブサイトリソースを保護するための直接的かつ強力な方法を提供します。普遍的な検索エンジンの可視性よりも堅牢な保護とリソースの保全が優先される場合、そのProof-of-Workメカニズムは、効果的で軽量、かつ透過的なオープンソースソリューションを提供します。これは、不要な自動アクセスに対して明確な線を引く必要のあるウェブサイト管理者のために設計された、意図的に強力なツールです。





