Mit dem Robots.txt-Tester prüfen Sie, ob bestimmte URLs Ihrer Website für verschiedene Crawler zugänglich oder blockiert sind. Das ist entscheidend, damit Suchmaschinen Ihre wichtigen Seiten crawlen können, während private Bereiche geschützt bleiben.
Fügen Sie den Inhalt Ihrer robots.txt ein und geben Sie den URL-Pfad ein, den Sie testen möchten. Wählen Sie aus gängigen User-Agents wie Googlebot, GPTBot, Bingbot und anderen KI-Crawlern. Das Tool zeigt sofort, ob die URL erlaubt oder blockiert ist, und hebt die konkrete Regel hervor, die gegriffen hat.
Die Syntax der robots.txt kann tückisch sein: Wildcards, mehrere User-Agent-Blöcke und die Reihenfolge der Regeln können zu unerwarteten Ergebnissen führen. Unser Tester beseitigt das Rätselraten, indem er genau zeigt, wie Crawler Ihre Regeln auslegen.
Ideal, um Crawling-Probleme zu beheben, neue robots.txt-Änderungen vor dem Deployment zu prüfen und sicherzustellen, dass KI-Crawler für Ihre Sichtbarkeit in der KI-Suche auf Ihre Inhalte zugreifen können.
In wenigen einfachen Schritten zum Ergebnis
Fügen Sie den Inhalt Ihrer robots.txt in das Textfeld ein
Geben Sie den URL-Pfad ein, den Sie testen möchten (z. B. /blog/article)
Wählen Sie einen User-Agent (Googlebot, GPTBot usw.)
Klicken Sie auf Testen, um zu sehen, ob die URL erlaubt oder blockiert ist
Sehen Sie sich die konkrete Regel an, die bei Ihrem Test gegriffen hat
Passen Sie Ihre robots.txt bei Bedarf an und testen Sie erneut
Machen Sie diese verbreiteten Fehler nicht
Mit falscher Groß- und Kleinschreibung des User-Agents testen (robots.txt unterscheidet sie)
Vergessen, dass spezifischere Regeln allgemeinere überschreiben
Das Verhalten der Wildcard (*) in Pfaden nicht verstehen
Disallow: / (blockiert alles) mit Disallow: (blockiert nichts) verwechseln
Relative Pfade testen, obwohl absolute Pfade gemeint waren
Ja, User-Agent-Namen in der robots.txt unterscheiden zwischen Groß- und Kleinschreibung. 'Googlebot' ist etwas anderes als 'googlebot'. URL-Pfade unterscheiden je nach Serverkonfiguration in der Regel ebenfalls zwischen Groß- und Kleinschreibung. Verwenden Sie immer genau die Schreibweise, die die Crawler nutzen.
Disallow verhindert, dass Crawler auf die angegebenen Pfade zugreifen. Allow erlaubt den Zugriff ausdrücklich und ist nützlich, um umfassendere Disallow-Regeln zu überschreiben. Sie könnten zum Beispiel Disallow: /admin/ setzen, aber Allow: /admin/public/.
Das Sternchen (*) steht für eine beliebige Zeichenfolge. Disallow: /*.pdf blockiert zum Beispiel alle PDF-Dateien. Das Dollarzeichen ($) steht für das Ende einer URL. Disallow: /*.php$ blockiert URLs, die auf .php enden, aber nicht /page.php?id=1.
KI-Crawler wie GPTBot und PerplexityBot werden oft versehentlich durch zu weit gefasste robots.txt-Regeln blockiert. Ein Test stellt sicher, dass Ihre Inhalte von KI-Suchmaschinen gefunden werden können, was für Traffic und Sichtbarkeit immer wichtiger wird.
Vertiefen Sie diese Themen mit unseren ausführlichen Leitfäden und Vorlagen (auf Englisch).
Rankwise hilft Ihnen, Ihre Inhalte für KI-Suchmaschinen und klassisches SEO zu optimieren.