Technika
Crawl budget w dużym e-commerce
Crawl budget staje się problemem dopiero przy dużych serwisach - zwykle powyżej 50 tysięcy adresów. W sklepach ucieka głównie na 3 rzeczy: filtry generujące kombinacje parametrów, paginację bez kontroli i wyszukiwarkę wewnętrzną. Efekt to nowe produkty czekające tygodniami na indeksację.
Kiedy crawl budget w ogóle jest problemem?
Rzadziej, niż się o nim mówi. Przy stronie firmowej z setką podstron to temat teoretyczny - Google zaindeksuje wszystko bez wysiłku. Problem zaczyna się przy dziesiątkach tysięcy adresów, zwłaszcza gdy serwis generuje je dynamicznie.
Objaw, po którym go poznasz: nowe produkty lub kategorie wchodzą do indeksu z opóźnieniem liczonym w tygodniach, a w logach widać, że robot odwiedza w kółko te same, nieistotne adresy.
Gdzie ucieka najwięcej?
Filtry i parametry. Największy pożeracz. Sklep z pięcioma filtrami po dziesięć wartości każdy generuje teoretycznie setki tysięcy kombinacji adresów - wszystkie prowadzące do niemal identycznych list produktów.
Paginacja bez kontroli. Kategoria z dwustoma stronami paginacji to dwieście adresów o niemal zerowej wartości wyszukiwawczej, przez które robot musi przejść.
Wyszukiwarka wewnętrzna. Jeśli wyniki wyszukiwania mają własne adresy i są linkowane, robot zaindeksuje losowe zapytania użytkowników.
Warianty produktowe. Ten sam produkt w pięciu kolorach jako pięć osobnych adresów bez kanonikalizacji.
Jak to zdiagnozować?
Najwiarygodniejszym źródłem są logi serwera, nie narzędzia. Pokazują, co robot naprawdę robił, a nie co powinien robić.
Trzy liczby, które wyciągam z logów w pierwszej kolejności:
| Wskaźnik | Co oznacza | Sygnał ostrzegawczy |
|---|---|---|
| Odsetek trafień w adresy z parametrami | Ile budżetu idzie na filtry | Powyżej 30% |
| Trafienia w strony zwracające 404 lub przekierowania | Marnowanie na błędy | Powyżej 10% |
| Czas od publikacji do pierwszej wizyty robota | Realna szybkość odkrywania | Powyżej tygodnia |
Uwaga metodyczna: Google Analytics do tego nie służy, bo domyślnie odfiltrowuje ruch botów. Potrzebne są logi serwera albo narzędzie na poziomie CDN.
Co naprawiać najpierw?
Kolejność wynika ze stosunku efektu do ryzyka. Blokowanie parametrów w robots.txt jest tanie i odwracalne, więc idzie pierwsze. Przebudowa architektury kategorii jest droga i ryzykowna, więc na końcu - i tylko jeśli poprzednie kroki nie wystarczyły.
Jedno ostrzeżenie z praktyki: zanim zablokujesz parametry, sprawdź w Search Console, czy któreś z tych adresów nie generują ruchu. Zdarza się, że filtr typu „buty damskie czarne" ma realne zapytania i własną wartość - wtedy nie blokuje się go, tylko robi z niego pełnoprawną stronę kategorii.
Co to zmienia dla widoczności w AI?
Mniej, niż mogłoby się wydawać, ale nie zero. Crawl budget dotyczy głównie Googlebota - modele AI korzystają z własnych crawlerów i z indeksu Bing, gdzie sytuacja bywa inna.
Warto natomiast wiedzieć, że dla botów AI często krytyczniejszy od budżetu jest rate limiting. Limit dziesięciu zapytań na sekundę potrafi uniemożliwić zindeksowanie dużego serwisu przez crawler, który nie ponawia prób tak uporczywie jak Googlebot.
Czego nie robić
Nie blokuj wszystkiego, co ma parametr. Część adresów parametrycznych ma realną wartość wyszukiwawczą i własny ruch.
Nie licz na to, że rel=canonical rozwiąże problem crawl budgetu. Canonical mówi, co indeksować, ale robot i tak musi stronę odwiedzić, żeby go zobaczyć.
Nie usuwaj paginacji bez planu. Bez niej głębokie produkty tracą jedyną ścieżkę linkowania wewnętrznego.
Jak sprawdzić swój budżet w Search Console?
Google daje surowe dane wprost, tylko głęboko schowane: Ustawienia → Statystyki indeksowania (Crawl stats). Trzy rzeczy, na które patrzę w pierwszej kolejności:
| Wskaźnik w raporcie | Co mówi | Sygnał problemu |
|---|---|---|
| Żądania wg odpowiedzi | Ile trafień idzie w 200, ile w 3xx/4xx | Dwucyfrowy procent nie-200 |
| Żądania wg przeznaczenia | Odświeżanie znanych stron vs odkrywanie nowych | Prawie zero „odkrywania" przy rosnącym sklepie |
| Żądania wg typu pliku | HTML vs obrazy/JS/CSS | Robot mieli zasoby zamiast stron |
Ten raport to najtańsza diagnoza przed sięganiem po logi: jeśli wszystko wygląda zdrowo, a indeksacja nowych stron działa w dniach - crawl budget nie jest Twoim problemem i możesz przestać czytać.
Kiedy crawl budget NIE jest problemem?
Uczciwie, bo to pojęcie bywa straszakiem sprzedażowym: jeśli serwis ma mniej niż kilkadziesiąt tysięcy adresów, a nowe strony wchodzą do indeksu w ciągu dni - nie masz problemu z crawl budget. Masz najwyżej problem z higieną, którą i tak warto zrobić.
Objawy fałszywego alarmu: „narzędzie pokazało 200 błędów crawlowania" (spójrz, czym są - często to celowe blokady), „Google nie indeksuje mojej nowej strony od wczoraj" (indeksacja to nie tykający zegar), „konkurencja ma lepszy crawl budget" (nie zmierzysz tego i oni też nie).
Realny problem poznasz po parze objawów naraz: opóźnienia indeksacji liczone w tygodniach + logi pokazujące robota mielącego śmieciowe adresy. Jedno bez drugiego to zwykle co innego.
Checklist naprawczy dla sklepu - od najtańszego
1. Zablokuj wyszukiwarkę wewnętrzną w robots.txt. Parametr wyszukiwania to nieskończony generator adresów; blokada to jedna linijka.
2. Wytnij z sitemapy wszystko, co nie jest 200 + indexable. Sitemapa to lista rekomendacji - rekomendowanie przekierowań psuje jej wiarygodność.
3. Ustal politykę parametrów filtrów. Kombinacje bez wartości wyszukiwawczej - noindex lub blokada; filtry z realnym popytem - awans do pełnoprawnych kategorii z własnym adresem i treścią.
4. Spłaszcz paginację. Linki do pierwszych stron paginacji z poziomu kategorii, sensowny rozmiar strony listingu; głębokie strony paginacji nie muszą być indeksowane.
5. Kanonizuj warianty produktów. Jeden produkt = jeden kanoniczny adres; warianty wskazują na niego.
6. Dopiero teraz architektura. Jeśli po punktach 1-5 problem trwa, czas na przebudowę struktury - z pełną świadomością kosztów i migracji.
Częste pytania
Od jakiej wielkości serwisu crawl budget jest problemem?
Zwykle powyżej kilkudziesięciu tysięcy adresów, szczególnie gdy serwis generuje je dynamicznie przez filtry. Przy stronie firmowej ze setką podstron to temat teoretyczny.
Jak sprawdzić, na co robot marnuje czas?
Z logów serwera - pokazują, co robot faktycznie odwiedził. Google Analytics się nie nadaje, bo domyślnie odfiltrowuje ruch botów.
Czy blokowanie parametrów w robots.txt jest bezpieczne?
Jest tanie i odwracalne, ale najpierw sprawdź w Search Console, czy któreś adresy parametryczne nie generują ruchu. Filtr z realnymi zapytaniami lepiej przekształcić w pełnoprawną kategorię niż zablokować.
Czy crawl budget wpływa na widoczność w ChatGPT?
Pośrednio i słabiej niż na widoczność w Google. Dla crawlerów AI istotniejszy bywa rate limiting - zbyt niski limit zapytań potrafi uniemożliwić zindeksowanie dużego serwisu.
Sklep rośnie, a nowe produkty nie wchodzą do indeksu?
W audycie sprawdzam logi, indeksację i realną ścieżkę robota po serwisie, a wnioski układam w kolejność napraw od najtańszej. Przy dużych sklepach to zwykle 3–4 tygodnie pracy.
Zamów audyt SEOPowiązane materiały
- Google Search Central, dokumentacja crawl budget, 2026
- Obserwacje z audytów sklepów powyżej 10 tys. adresów
Autor
Adrian Grabski
Konsultant SEO i AI search. W wyszukiwarkach od 2002 roku - przez wszystkie aktualizacje Google i teraz przez wyniki generowane przez AI. Robię audyty, prowadzę konsultacje i szkolę zespoły marketingowe.