Robots.txtテスターを使うと、サイト上の特定のURLが各クローラーに対してアクセス可能か、ブロックされているかを検証できます。重要なページを検索エンジンにクロールさせつつ、非公開の領域を守るために欠かせない確認です。
robots.txtの内容を貼り付け、テストしたいURLパスを入力します。Googlebot、GPTBot、Bingbot、その他のAIクローラーなど、よく使われるユーザーエージェントから選択できます。ツールはそのURLが許可されているかブロックされているかを即座に表示し、一致した具体的なルールをハイライトします。
robots.txtの構文は分かりにくいことがあります。ワイルドカード、複数のuser-agentブロック、ルールの順序が予期しない結果を生むこともあります。このテスターは、クローラーがルールをどう解釈するかを正確に示し、推測を不要にします。
クロールの問題のデバッグ、robots.txtの変更を反映前に検証する作業、AI検索での可視性のためにAIクローラーがコンテンツにアクセスできるかの確認に最適です。
簡単なステップですぐに結果が得られます
robots.txtの内容をテキストエリアに貼り付けます
テストしたいURLパスを入力します（例：/blog/article）
ユーザーエージェント（Googlebot、GPTBotなど）を選択します
テストをクリックして、URLが許可されているかブロックされているかを確認します
テストに一致した具体的なルールを確認します
必要に応じてrobots.txtを調整し、再テストします
よくあるミスを避けましょう
user-agentの大文字・小文字を誤ってテストしている（robots.txtは大文字と小文字を区別します）
より具体的なルールが一般的なルールより優先されることを忘れている
パスにおけるワイルドカード（*）の挙動を理解していない
Disallow: /（すべてをブロック）とDisallow:（何もブロックしない）を混同している
絶対パスのつもりで相対パスをテストしている
はい、robots.txtのuser-agent名は大文字と小文字を区別します。「Googlebot」と「googlebot」は別物です。一方、URLパスが大文字と小文字を区別するかは、通常サーバーの設定によります。クローラーが使う表記に常に正確に合わせましょう。
Disallowは指定したパスへのクローラーのアクセスをブロックします。Allowはアクセスを明示的に許可するもので、より広いDisallowルールを上書きするのに便利です。たとえば、Disallow: /admin/としつつ、Allow: /admin/public/とすることができます。
アスタリスク（*）は任意の文字列に一致します。たとえば、Disallow: /*.pdfはすべてのPDFファイルをブロックします。ドル記号（$）はURLの末尾に一致します。Disallow: /*.php$は.phpで終わるURLをブロックしますが、/page.php?id=1はブロックしません。
GPTBotやPerplexityBotなどのAIクローラーは、範囲の広すぎるrobots.txtのルールによって誤ってブロックされていることがよくあります。テストすることで、トラフィックと可視性にとってますます重要になっているAI検索エンジンにコンテンツが発見されるようにできます。
充実したガイドとテンプレートで、これらのトピックをさらに深く学べます。
Rankwiseは、AI検索エンジンと従来のSEOの両方に向けたコンテンツ最適化を支援します。