Met de robots.txt-tester controleer je of specifieke URL's op je website toegankelijk of geblokkeerd zijn voor verschillende crawlers. Dat is essentieel om ervoor te zorgen dat zoekmachines je belangrijke pagina's kunnen crawlen terwijl privégedeelten beschermd blijven.
Plak de inhoud van je robots.txt en vul het URL-pad in dat je wilt testen. Kies uit populaire user-agents zoals Googlebot, GPTBot, Bingbot en andere AI-crawlers. De tool laat direct zien of die URL is toegestaan of geblokkeerd, en markeert de specifieke regel die van toepassing was.
De syntax van robots.txt kan lastig zijn: wildcards, meerdere user-agentblokken en de volgorde van regels kunnen onverwachte resultaten opleveren. Onze tester maakt een einde aan het giswerk door precies te laten zien hoe crawlers je regels interpreteren.
Ideaal om crawlproblemen op te sporen, nieuwe wijzigingen in je robots.txt vóór livegang te controleren en ervoor te zorgen dat AI-crawlers je content kunnen bereiken voor zichtbaarheid in AI-zoekresultaten.
Resultaat in een paar eenvoudige stappen
Plak de inhoud van je robots.txt in het tekstvak
Vul het URL-pad in dat je wilt testen (bijv. /blog/article)
Kies een user-agent (Googlebot, GPTBot, enz.)
Klik op testen om te zien of de URL is toegestaan of geblokkeerd
Bekijk de specifieke regel die bij je test van toepassing was
Pas je robots.txt zo nodig aan en test opnieuw
Maak deze veelvoorkomende fouten niet
Testen met verkeerde hoofdletters in de user-agent (robots.txt is hoofdlettergevoelig)
Vergeten dat specifiekere regels voorrang hebben op algemene regels
Het gedrag van de wildcard (*) in paden niet begrijpen
Disallow: / (blokkeert alles) verwarren met Disallow: (blokkeert niets)
Relatieve paden testen terwijl je absolute paden bedoelde
Ja, user-agentnamen in robots.txt zijn hoofdlettergevoelig. 'Googlebot' is iets anders dan 'googlebot'. URL-paden zijn afhankelijk van je serverconfiguratie doorgaans ook hoofdlettergevoelig. Gebruik altijd precies dezelfde schrijfwijze als de crawlers.
Disallow verhindert dat crawlers de opgegeven paden bezoeken. Allow staat toegang expliciet toe en is handig om bredere Disallow-regels te overschrijven. Je kunt bijvoorbeeld Disallow: /admin/ instellen, maar Allow: /admin/public/.
Het sterretje (*) staat voor elke willekeurige reeks tekens. Disallow: /*.pdf blokkeert bijvoorbeeld alle pdf-bestanden. Het dollarteken ($) staat voor het einde van een URL. Disallow: /*.php$ blokkeert URL's die eindigen op .php, maar niet /page.php?id=1.
AI-crawlers zoals GPTBot en PerplexityBot worden vaak per ongeluk geblokkeerd door te ruime robots.txt-regels. Door te testen weet je zeker dat je content gevonden kan worden door AI-zoekmachines, wat steeds belangrijker wordt voor verkeer en zichtbaarheid.
Verdiep je in deze onderwerpen met onze uitgebreide gidsen en templates (in het Engels).
Rankwise helpt je je content te optimaliseren voor AI-zoekmachines en klassieke SEO.