De GPTBot Allowlist Tester controleert specifiek of GPTBot en ChatGPT-User van OpenAI toegang hebben tot verschillende paden op je website. Nu ChatGPT een belangrijke bron van informatie en doorverwijzingen wordt, is de juiste toegang voor deze bots cruciaal voor je zichtbaarheid in AI-zoeken.
Deze gespecialiseerde tool gaat verder dan een basischeck van robots.txt en test specifieke URL-paden tegen je regels. De tool laat zien hoe GPTBot je allow- en disallow-directives interpreteert, spoort conflicten tussen regels op en levert het exacte robots.txt-fragment voor optimale toegang voor ChatGPT.
Ideaal voor sites die GPTBot toegang willen geven tot de meeste content, maar gevoelige delen willen afschermen, zoals adminpanelen, gebruikersgegevens of betaalde content. De tool helpt je precieze regels op te stellen die je AI-zichtbaarheid maximaliseren zonder in te leveren op beveiliging.
We bouwen deze tool en willen dat hij echt nauwkeurig is voordat we hem lanceren. Probeer intussen onze beschikbare tools hieronder.
Resultaat in een paar eenvoudige stappen
Voer je domein in om te analyseren
We halen je huidige robots.txt op
Parsing van de regels voor GPTBot en ChatGPT-User
Test van verschillende URL-paden tegen de regels
Overzicht van welke paden zijn toegestaan/geblokkeerd
Opsporing van conflicten of problemen in regels
Een geoptimaliseerd robots.txt-fragment genereren
Maak deze veelvoorkomende fouten niet
GPTBot verwarren met ChatGPT-User (dat zijn verschillende bots)
Wildcards verkeerd gebruiken in allow-/disallow-paden
Niet beseffen dat specifiekere regels algemene regels overschrijven
/api/* blokkeren terwijl ChatGPT mogelijk API-toegang nodig heeft voor een integratie
Vergeten zowel de root als diepere paden te testen
GPTBot is de webcrawler van OpenAI die de kennisbank van ChatGPT opbouwt. ChatGPT-User is de bot die wordt gebruikt wanneer ChatGPT-gebruikers in realtime websites bezoeken. Voor maximale zichtbaarheid in ChatGPT moet je doorgaans beide toelaten.
Laat GPTBot toe op alle openbare contentpagina's, maar blokkeer gevoelige delen zoals /admin, /api/private of gebruikersspecifieke pagina's. Gebruik specifieke padregels om gevoelige content af te schermen en de zichtbaarheid van openbare content te maximaliseren.
Begin met algemene regels en voeg daarna specifieke uitzonderingen toe. Bijvoorbeeld 'Allow: /' als standaard en dan 'Disallow: /admin' voor afgeschermde delen. Te specifieke regels kunnen per ongeluk content blokkeren die je juist geïndexeerd wilt hebben.
Ja. Als je ChatGPT-plugins bouwt of wilt dat ChatGPT je API gebruikt, zorg dan dat die paden zijn toegestaan voor ChatGPT-User. Als je API-routes blokkeert, kan ChatGPT je dienst mogelijk niet goed gebruiken.
Verdiep je in deze onderwerpen met onze uitgebreide gidsen en templates (in het Engels).
Rankwise helpt je je content te optimaliseren voor AI-zoekmachines en klassieke SEO.