Tester robots.txt pozwala sprawdzić, czy konkretne adresy URL w twojej witrynie są dostępne czy zablokowane dla różnych crawlerów. To kluczowe, by wyszukiwarki mogły indeksować ważne strony, a prywatne obszary pozostały chronione.
Wklej zawartość swojego robots.txt i wpisz ścieżkę URL, którą chcesz przetestować. Wybierz jeden z popularnych user-agentów, w tym Googlebot, GPTBot, Bingbot i inne crawlery AI. Narzędzie od razu pokazuje, czy adres URL jest dopuszczony czy zablokowany, i wskazuje konkretną regułę, która zadziałała.
Składnia robots.txt bywa podchwytliwa: symbole wieloznaczne, wiele bloków user-agent i kolejność reguł mogą dawać nieoczekiwane wyniki. Nasz tester eliminuje zgadywanie, pokazując dokładnie, jak crawlery interpretują twoje reguły.
Idealny do diagnozowania problemów z indeksowaniem, weryfikowania zmian w robots.txt przed wdrożeniem i upewniania się, że crawlery AI mają dostęp do twoich treści, co przekłada się na widoczność w wyszukiwaniu AI.
Wyniki w kilku prostych krokach
Wklej zawartość robots.txt w pole tekstowe
Wpisz ścieżkę URL do przetestowania (np. /blog/article)
Wybierz user-agenta (Googlebot, GPTBot itp.)
Kliknij „Testuj”, aby sprawdzić, czy URL jest dopuszczony czy zablokowany
Zobacz konkretną regułę, która pasuje do twojego testu
W razie potrzeby popraw robots.txt i przetestuj ponownie
Nie popełniaj tych powszechnych błędów
Testowanie z niewłaściwą wielkością liter w user-agencie (robots.txt rozróżnia wielkość liter)
Zapominanie, że bardziej szczegółowe reguły mają pierwszeństwo przed ogólnymi
Niezrozumienie działania symbolu wieloznacznego (*) w ścieżkach
Mylenie Disallow: / (blokuje wszystko) z Disallow: (nie blokuje niczego)
Testowanie ścieżek względnych, gdy chodziło o ścieżki bezwzględne
Tak, nazwy user-agentów w robots.txt rozróżniają wielkość liter. 'Googlebot' to nie to samo co 'googlebot'. Ścieżki URL również zwykle rozróżniają wielkość liter, zależnie od konfiguracji serwera. Zawsze stosuj dokładnie taką pisownię, jakiej używają crawlery.
Disallow blokuje crawlerom dostęp do wskazanych ścieżek. Allow wprost zezwala na dostęp i przydaje się do nadpisywania szerszych reguł Disallow. Możesz na przykład ustawić Disallow: /admin/, ale Allow: /admin/public/.
Gwiazdka (*) pasuje do dowolnego ciągu znaków. Na przykład Disallow: /*.pdf blokuje wszystkie pliki PDF. Znak dolara ($) oznacza koniec adresu URL. Disallow: /*.php$ blokuje adresy kończące się na .php, ale nie /page.php?id=1.
Crawlery AI, takie jak GPTBot i PerplexityBot, często zostają przypadkiem zablokowane przez zbyt szerokie reguły robots.txt. Test daje pewność, że twoje treści mogą odnaleźć wyszukiwarki AI, co ma coraz większe znaczenie dla ruchu i widoczności.
Zgłęb te tematy dzięki naszym obszernym przewodnikom i szablonom.
Przewodnik
Poznaj podstawy
Szablon
Gotowe do użycia szablony
Przykład zastosowania
Zastosowania w praktyce
Rankwise pomaga optymalizować treści pod wyszukiwarki AI i klasyczne SEO.