Crawl budget w dużym sklepie – jak pomóc Google odwiedzać ważne podstrony
Mateusz Piotrowicz
Mateusz Piotrowicz
Technical & Logistics Expert
Crawl budget w dużym sklepie – jak pomóc Google odwiedzać ważne podstrony
Crawl budget, czyli budżet indeksowania, to temat, który w dużych sklepach potrafi przesądzić o tym, czy nowe produkty pojawią się w Google po kilku dniach, czy po kilku tygodniach. Gdy sklep ma dziesiątki tysięcy kart produktów, rozbudowane filtry i codziennie zmieniające się stany magazynowe, Googlebot musi wybierać, które adresy odwiedzić. Jeśli większość czasu spędza na kombinacjach filtrów, sortowaniu i przekierowaniach, na ważne podstrony po prostu brakuje mu czasu.
W tym artykule wyjaśniamy, czym jest crawl budget według dokumentacji Google, kogo naprawdę dotyczy, jak sprawdzić, na co Googlebot zużywa czas w twoim sklepie, i co zrobić, żeby skupił się na kategoriach oraz produktach, które mają zarabiać. Na końcu znajdziesz listę kontrolną i odpowiedzi na najczęstsze pytania.
Czym jest crawl budget według Google
Google opisuje to pojęcie w przewodniku o zarządzaniu budżetem indeksowania. Zasoby, które wyszukiwarka może poświęcić na skanowanie jednej witryny, są ograniczone, a ich przydział nazywa się właśnie crawl budget. Ważny szczegół: za witrynę Google uznaje tu unikalną nazwę hosta, więc np. sklep w domenie głównej i blog w subdomenie mają osobne budżety.
Budżet indeksowania wynika z dwóch elementów. Pierwszy to limit wydajności skanowania (crawl capacity limit), czyli to, ile połączeń i przez jaki czas Google może utrzymywać z twoim serwerem bez jego przeciążenia. Drugi to zapotrzebowanie na skanowanie (crawl demand), czyli to, jak bardzo Google chce odwiedzać twoje adresy. W skrócie: crawl budget to zbiór adresów, które Google może i chce przeskanować.
Element | Od czego zależy | Na co masz wpływ w sklepie |
Limit wydajności skanowania | Stabilność i czas odpowiedzi serwera, błędy 5xx i kody 429 | Wydajność hostingu, cache, brak przeciążeń w godzinach szczytu |
Zapotrzebowanie na skanowanie | Liczba znanych adresów, popularność stron, częstotliwość zmian | Liczba zbędnych adresów, linkowanie wewnętrzne, aktualna mapa witryny |
Ocena po skanowaniu | Jakość i unikalność treści | Opisy produktów, porządek w duplikatach i wariantach |
Dokumentacja podkreśla, że limit wydajności rośnie, gdy serwer odpowiada stabilnie i szybko, a spada, gdy strona zwalnia albo zwraca błędy serwera lub sygnały ograniczania ruchu. Po stronie zapotrzebowania Google wymienia trzy czynniki: postrzegany zasób adresów (ile URL-i zna z twojej witryny), popularność stron i ich nieaktualność, czyli potrzebę ponownego odwiedzenia po zmianach. Pierwszy z nich jest, według Google, tym, który właściciel strony kontroluje najbardziej.
Każdy robot Google ma przy tym własne zapotrzebowanie. Dokumentacja podaje przykład Google Shopping, które częściej odwiedza produkty obecne w pliku produktowym w Merchant Center, dlatego aktualny feed produktowy też ma znaczenie. Limit wydajności jest natomiast wspólny dla wszystkich robotów, więc duży ruch jednego z nich może ograniczyć możliwości pozostałych.
[#wazne] Przeskanowanie strony nie oznacza jej zaindeksowania. Po skanowaniu Google ocenia każdą stronę, grupuje duplikaty i dopiero wtedy decyduje, czy trafi do indeksu. Dlatego optymalizacja crawl budget nie zastąpi dobrych treści, a jedynie sprawia, że Google szybciej dociera do stron, które na to zasługują.
Czy crawl budget dotyczy twojego sklepu
Większość sklepów internetowych nie musi się tym tematem martwić. Google pisze wprost, że jeśli twoje strony są skanowane w dniu publikacji, wystarczy aktualna mapa witryny i regularne sprawdzanie raportu indeksowania stron. Przewodnik o budżecie indeksowania jest przeznaczony przede wszystkim dla trzech typów witryn, a podane liczby Google określa jako orientacyjne, a nie sztywne progi.
Duże witryny – ponad milion unikalnych stron, których treść zmienia się umiarkowanie często, np. raz w tygodniu.
Średnie i większe witryny – ponad 10 tysięcy unikalnych stron z treścią zmieniającą się bardzo szybko, np. codziennie.
Witryny z dużą częścią adresów oznaczonych w Search Console jako wykryte, ale obecnie niezindeksowane, czyli takich, które Google zna, ale jeszcze nie odwiedził.
W e-commerce drugi przypadek jest częstszy, niż się wydaje. Sklep z 15 tysiącami produktów, w którym codziennie zmieniają się ceny i dostępność, a filtry generują setki tysięcy adresów, spełnia te kryteria, choć sam właściciel nie uważa go za duży serwis. Z kolei pomoc Search Console przy raporcie statystyk indeksowania zaznacza, że przy witrynie mającej mniej niż tysiąc stron nie trzeba w ogóle zajmować się tym poziomem szczegółów.
Typ sklepu | Czy crawl budget jest problemem | Na czym się skupić |
Do kilkuset produktów, proste filtry | Zwykle nie | Mapa witryny, linkowanie, jakość treści |
Kilka tysięcy produktów, filtry w adresach URL | Czasem, gdy filtry są indeksowalne | Kontrola filtrów i parametrów |
Kilkanaście tysięcy produktów i więcej, codzienne zmiany | Często tak | Zasób adresów, wydajność serwera, logi |
Hurtownia lub marketplace z setkami tysięcy adresów | Prawie zawsze | Pełna strategia skanowania i monitoring |
Najprostszy sygnał ostrzegawczy to sytuacja, w której nowe produkty przez długi czas mają status strony wykrytej, ale niezindeksowanej, a jednocześnie w raporcie statystyk indeksowania widać tysiące żądań do adresów z parametrami. Jeśli twoje produkty w ogóle nie trafiają do indeksu, zacznij od sprawdzenia blokad, np. reguł opisanych w artykule o pliku robots.txt w sklepie, bo przyczyną częściej jest blokada niż brak budżetu.
Crawl budget, czyli budżet indeksowania, to temat, który w dużych sklepach potrafi przesądzić o tym, czy nowe produkty pojawią się w Google po kilku dniach, czy po kilku tygodniach. Gdy sklep ma dziesiątki tysięcy kart produktów, rozbudowane filtry i codziennie zmieniające się stany magazynowe, Googlebot musi wybierać, które adresy odwiedzić. Jeśli większość czasu spędza na kombinacjach filtrów, sortowaniu i przekierowaniach, na ważne podstrony po prostu brakuje mu czasu.
W tym artykule wyjaśniamy, czym jest crawl budget według dokumentacji Google, kogo naprawdę dotyczy, jak sprawdzić, na co Googlebot zużywa czas w twoim sklepie, i co zrobić, żeby skupił się na kategoriach oraz produktach, które mają zarabiać. Na końcu znajdziesz listę kontrolną i odpowiedzi na najczęstsze pytania.
Czym jest crawl budget według Google
Google opisuje to pojęcie w przewodniku o zarządzaniu budżetem indeksowania. Zasoby, które wyszukiwarka może poświęcić na skanowanie jednej witryny, są ograniczone, a ich przydział nazywa się właśnie crawl budget. Ważny szczegół: za witrynę Google uznaje tu unikalną nazwę hosta, więc np. sklep w domenie głównej i blog w subdomenie mają osobne budżety.
Budżet indeksowania wynika z dwóch elementów. Pierwszy to limit wydajności skanowania (crawl capacity limit), czyli to, ile połączeń i przez jaki czas Google może utrzymywać z twoim serwerem bez jego przeciążenia. Drugi to zapotrzebowanie na skanowanie (crawl demand), czyli to, jak bardzo Google chce odwiedzać twoje adresy. W skrócie: crawl budget to zbiór adresów, które Google może i chce przeskanować.
Element | Od czego zależy | Na co masz wpływ w sklepie |
Limit wydajności skanowania | Stabilność i czas odpowiedzi serwera, błędy 5xx i kody 429 | Wydajność hostingu, cache, brak przeciążeń w godzinach szczytu |
Zapotrzebowanie na skanowanie | Liczba znanych adresów, popularność stron, częstotliwość zmian | Liczba zbędnych adresów, linkowanie wewnętrzne, aktualna mapa witryny |
Ocena po skanowaniu | Jakość i unikalność treści | Opisy produktów, porządek w duplikatach i wariantach |
Dokumentacja podkreśla, że limit wydajności rośnie, gdy serwer odpowiada stabilnie i szybko, a spada, gdy strona zwalnia albo zwraca błędy serwera lub sygnały ograniczania ruchu. Po stronie zapotrzebowania Google wymienia trzy czynniki: postrzegany zasób adresów (ile URL-i zna z twojej witryny), popularność stron i ich nieaktualność, czyli potrzebę ponownego odwiedzenia po zmianach. Pierwszy z nich jest, według Google, tym, który właściciel strony kontroluje najbardziej.
Każdy robot Google ma przy tym własne zapotrzebowanie. Dokumentacja podaje przykład Google Shopping, które częściej odwiedza produkty obecne w pliku produktowym w Merchant Center, dlatego aktualny feed produktowy też ma znaczenie. Limit wydajności jest natomiast wspólny dla wszystkich robotów, więc duży ruch jednego z nich może ograniczyć możliwości pozostałych.
[#wazne] Przeskanowanie strony nie oznacza jej zaindeksowania. Po skanowaniu Google ocenia każdą stronę, grupuje duplikaty i dopiero wtedy decyduje, czy trafi do indeksu. Dlatego optymalizacja crawl budget nie zastąpi dobrych treści, a jedynie sprawia, że Google szybciej dociera do stron, które na to zasługują.
Czy crawl budget dotyczy twojego sklepu
Większość sklepów internetowych nie musi się tym tematem martwić. Google pisze wprost, że jeśli twoje strony są skanowane w dniu publikacji, wystarczy aktualna mapa witryny i regularne sprawdzanie raportu indeksowania stron. Przewodnik o budżecie indeksowania jest przeznaczony przede wszystkim dla trzech typów witryn, a podane liczby Google określa jako orientacyjne, a nie sztywne progi.
Duże witryny – ponad milion unikalnych stron, których treść zmienia się umiarkowanie często, np. raz w tygodniu.
Średnie i większe witryny – ponad 10 tysięcy unikalnych stron z treścią zmieniającą się bardzo szybko, np. codziennie.
Witryny z dużą częścią adresów oznaczonych w Search Console jako wykryte, ale obecnie niezindeksowane, czyli takich, które Google zna, ale jeszcze nie odwiedził.
W e-commerce drugi przypadek jest częstszy, niż się wydaje. Sklep z 15 tysiącami produktów, w którym codziennie zmieniają się ceny i dostępność, a filtry generują setki tysięcy adresów, spełnia te kryteria, choć sam właściciel nie uważa go za duży serwis. Z kolei pomoc Search Console przy raporcie statystyk indeksowania zaznacza, że przy witrynie mającej mniej niż tysiąc stron nie trzeba w ogóle zajmować się tym poziomem szczegółów.
Typ sklepu | Czy crawl budget jest problemem | Na czym się skupić |
Do kilkuset produktów, proste filtry | Zwykle nie | Mapa witryny, linkowanie, jakość treści |
Kilka tysięcy produktów, filtry w adresach URL | Czasem, gdy filtry są indeksowalne | Kontrola filtrów i parametrów |
Kilkanaście tysięcy produktów i więcej, codzienne zmiany | Często tak | Zasób adresów, wydajność serwera, logi |
Hurtownia lub marketplace z setkami tysięcy adresów | Prawie zawsze | Pełna strategia skanowania i monitoring |
Najprostszy sygnał ostrzegawczy to sytuacja, w której nowe produkty przez długi czas mają status strony wykrytej, ale niezindeksowanej, a jednocześnie w raporcie statystyk indeksowania widać tysiące żądań do adresów z parametrami. Jeśli twoje produkty w ogóle nie trafiają do indeksu, zacznij od sprawdzenia blokad, np. reguł opisanych w artykule o pliku robots.txt w sklepie, bo przyczyną częściej jest blokada niż brak budżetu.
- Audyt techniczny i indeksacja
- Analiza fraz i konkurencji
- Plan działań na najbliższe miesiące
Jak sprawdzić, na co Googlebot zużywa crawl budget
Podstawowym narzędziem jest raport Statystyki indeksowania w Search Console, dostępny w ustawieniach usługi. Według pomocy Google pokazuje on łączną liczbę żądań, łączny rozmiar pobranych danych, średni czas odpowiedzi, stan hosta oraz podział żądań według kodu odpowiedzi, typu pliku, celu skanowania i rodzaju Googlebota. Raport działa tylko dla usług na poziomie domeny lub głównego prefiksu adresu.
Stan hosta – informuje, czy w ostatnich 90 dniach Google napotkał poważne problemy z dostępnością: z pobieraniem pliku robots.txt, z rozpoznawaniem DNS lub z połączeniem z serwerem.
Odpowiedzi – w normalnej sytuacji zdecydowana większość powinna mieć kod 200. Duży udział przekierowań, błędów 404 czy 5xx to sygnał do sprawdzenia.
Cel skanowania – podział na odkrywanie nowych adresów i odświeżanie znanych. Gdy nowe produkty nie są odkrywane, warto sprawdzić linkowanie i mapę witryny.
Typ pliku – pokazuje, ile żądań dotyczy HTML, a ile obrazów, skryptów i stylów.
Raport ma ograniczenia: pokazuje przykładowe adresy, a nie pełną listę, i według Google może nie obejmować wszystkich żądań. Dlatego w dużych sklepach warto uzupełnić go analizą logów serwera. Logi pokazują każde żądanie Googlebota z adresem, kodem odpowiedzi i czasem, więc można policzyć, jaki odsetek wizyt dotyczy produktów, kategorii, filtrów czy przekierowań. Przy analizie logów sprawdź, czy żądania faktycznie pochodzą od Google, bo nazwę Googlebota łatwo podszyć.
Wykres – przykładowy podział żądań Googlebota w dużym sklepie według typu adresu. [#chart:se26]
[#przyklad] Sklep z wyposażeniem domu ma około 40 tysięcy produktów. Analiza logów z 30 dni pokazuje, że blisko połowa żądań Googlebota dotyczy adresów z parametrami filtrów i sortowania, a karty produktów to mniej niż jedna czwarta. Jednocześnie w raporcie indeksowania stron rośnie liczba produktów wykrytych, ale niezindeksowanych. To typowy obraz sklepu, w którym crawl budget rozchodzi się na adresy bez wartości. Liczby w tym przykładzie są ilustracyjne, ale układ problemu widzimy w audytach regularnie.
Co marnuje crawl budget w sklepie internetowym
W sklepach źródła problemów są powtarzalne. Google w przewodniku wymienia duplikaty, strony, których nie chcesz skanować, miękkie błędy 404, długie łańcuchy przekierowań i wolne ładowanie. Przełożone na realia e-commerce wygląda to tak:
Źródło | Jak powstaje | Rozwiązanie |
Filtry i ich kombinacje | Każde połączenie koloru, rozmiaru, ceny i marki tworzy nowy adres | Świadoma strategia filtrów, blokada zbędnych kombinacji w robots.txt |
Sortowanie i liczba produktów na stronie | Ta sama lista w wielu wersjach | Blokada parametrów sortowania, link do wersji podstawowej |
Parametry sesji i śledzenia | Identyfikatory sesji, tagi kampanii w linkach wewnętrznych | Czyste linki wewnętrzne, sesje bez parametrów w URL |
Wyszukiwarka wewnętrzna | Każde zapytanie to osobny adres | Blokada ścieżki wyników wyszukiwania |
Łańcuchy przekierowań | Kolejne migracje i zmiany adresów | Przekierowanie od razu na adres docelowy, aktualizacja linków |
Miękkie 404 | Puste kategorie i produkty wycofane z kodem 200 | Kod 404 lub 410 albo przekierowanie na odpowiednik |
Najwięcej zwykle kosztują filtry. Nawigacja fasetowa potrafi wygenerować praktycznie nieskończoną liczbę adresów, a Google zna każdy z nich z linków w szablonie kategorii. Jak podejść do tego problemu, opisujemy szczegółowo w artykule o filtrach w sklepie a SEO. Pokrewny problem to paginacja – ważne, żeby kolejne strony list były dostępne przez zwykłe linki i miały własne adresy, bo roboty nie klikają przycisków typu „pokaż więcej”.
Osobna kategoria to produkty wycofane. Jeśli strona produktu, którego już nie ma, zwraca kod 200 z komunikatem „brak produktu” albo pustą treścią, Google może uznać ją za miękki błąd 404 i nadal ją odwiedzać. Dokumentacja Google wskazuje, że trwale usunięte strony powinny zwracać kod 404 lub 410, bo to silny sygnał, by nie skanować ich ponownie. Kiedy lepiej przekierować, a kiedy zostawić stronę, wyjaśniamy w artykule o produktach niedostępnych i wycofanych.
[#uwaga] Tag noindex nie oszczędza crawl budget. Google pisze wprost, że strona z noindex i tak jest pobierana, a dopiero potem odrzucana. Jeśli celem jest ograniczenie skanowania zbędnych adresów, właściwym narzędziem jest robots.txt albo usunięcie samych adresów, a nie noindex. Jednocześnie pamiętaj, że strony zablokowanej w robots.txt Google nie przeskanuje, więc nie zobaczy na niej ani noindex, ani tagu kanonicznego.
Jak zoptymalizować crawl budget krok po kroku
Wykres – kolejność działań przy optymalizacji budżetu indeksowania. [#chart:se26b]
1. Uporządkuj zasób adresów
To krok o największym znaczeniu. Zrób listę typów adresów w sklepie (kategorie, produkty, filtry, sortowanie, wyszukiwarka, paginacja, strony informacyjne) i dla każdego zdecyduj, czy ma być skanowany i indeksowany. Duplikaty konsoliduj tagiem kanonicznym lub przekierowaniem, a adresy, których Google nie powinien w ogóle odwiedzać, blokuj w pliku robots.txt. Przewodnik Google wymienia jako przykład właśnie różnie posortowane wersje tej samej strony.
2. Usuń przekierowania i błędy z linkowania wewnętrznego
Linki w menu, stopce, filtrach i opisach powinny prowadzić bezpośrednio do adresów docelowych z kodem 200. Każdy link do przekierowania to dodatkowe żądanie, a w raporcie statystyk indeksowania każdy element łańcucha liczy się osobno. Po migracjach i zmianach struktury przejrzyj linki wewnętrzne i zaktualizuj je zgodnie z zasadami opisanymi w artykule o przekierowaniach 301 w sklepie.
3. Wzmocnij sygnały dla ważnych stron
Google odwiedza częściej adresy, które uważa za ważne i popularne. Kategorie i najlepiej sprzedające się produkty powinny mieć dużo linków wewnętrznych z menu, kategorii nadrzędnych, poradników i bloków z produktami powiązanymi. Mapa witryny powinna zawierać tylko adresy kanoniczne z kodem 200, a pole lastmod powinno odpowiadać realnym zmianom treści. Jak zbudować taką mapę, opisujemy w poradniku o mapie witryny XML w sklepie.
4. Przyspiesz odpowiedzi serwera
Im szybciej i stabilniej serwer odpowiada, tym więcej Google może pobrać w tym samym czasie. Dokumentacja wymienia optymalizację czasu odpowiedzi i zasobów oraz obsługę kodu 304, który informuje Google, że strona nie zmieniła się od ostatniej wizyty. W sklepach abonamentowych wpływ na serwer jest ograniczony, ale nadal możesz zmniejszyć wagę szablonu, liczbę skryptów i rozmiar zdjęć. Praktyczne wskazówki dla jednej z popularnych platform znajdziesz w artykule o szybkości sklepu na Shoperze.
5. Monitoruj efekty
Po zmianach obserwuj co miesiąc te same wskaźniki: odsetek odpowiedzi 200, liczbę żądań do adresów z parametrami, średni czas odpowiedzi, stan hosta oraz liczbę produktów wykrytych, ale niezindeksowanych. Efekty nie są natychmiastowe, bo Google pamięta znane adresy i dopiero z czasem rzadziej je odwiedza.
Najczęstsze błędy przy optymalizacji crawl budget
Blokowanie w robots.txt stron, które mają noindex lub canonical – Google nie przeskanuje strony, więc nie zobaczy tych sygnałów, a adres może nadal pojawiać się w wynikach bez opisu.
Blokowanie plików CSS i JavaScript – Google potrzebuje ich do wyrenderowania strony, a zablokowane zasoby utrudniają ocenę jej treści.
Tymczasowe blokady w nadziei na przesunięcie budżetu – Google zaznacza, że nie przeniesie zwolnionego budżetu na inne strony, jeśli witryna nie dochodzi do limitu wydajności.
Zmniejszanie tempa skanowania „na wszelki wypadek” – ograniczanie Googlebota ma sens tylko wtedy, gdy realnie przeciąża serwer.
Mapa witryny z adresami przekierowanymi, z noindex lub z filtrami – wysyła sprzeczne sygnały i rozmywa informację o tym, co jest ważne.
Zanim zablokujesz jakąkolwiek ścieżkę w robots.txt, sprawdź w Search Console, czy adresy z tego wzorca nie mają kliknięć i wyświetleń. Zdarza się, że wybrane strony filtrów, np. marka w dużej kategorii, zbierają ruch z wyszukiwarki. Takie adresy warto zostawić otwarte i rozwijać świadomie, a blokować tylko kombinacje bez wartości.
[#checklista] Raport Statystyki indeksowania sprawdzony za ostatnie 90 dni; większość odpowiedzi to kod 200; brak łańcuchów przekierowań w linkach wewnętrznych; sortowanie, sesje i wyszukiwarka wewnętrzna zablokowane lub wyeliminowane; strategia dla filtrów spisana; produkty wycofane zwracają 404, 410 lub przekierowanie; mapa witryny zawiera tylko adresy kanoniczne; serwer odpowiada stabilnie w szczycie ruchu; przegląd powtarzany co miesiąc.
Kontrola skanowania to jeden z obszarów, które sprawdzamy w ramach audytu SEO sklepu. W małych sklepach zajmuje kilka minut, w dużych bywa najważniejszą częścią całej analizy technicznej.
Najczęściej zadawane pytania
Czy crawl budget ma wpływ na pozycje w Google?
Nie bezpośrednio. Budżet indeksowania decyduje o tym, jak szybko i jak często Google odwiedza strony, a nie o ich pozycji. Pośrednio ma jednak znaczenie, bo produkt, który nie został przeskanowany i zaindeksowany, nie może pojawić się w wynikach.
Od ilu podstron trzeba zajmować się crawl budget?
Google podaje orientacyjnie ponad milion stron zmieniających się co tydzień albo ponad 10 tysięcy stron zmieniających się codziennie. W sklepach liczy się jednak nie liczba produktów, ale liczba adresów, które generują filtry i parametry. Mały katalog z niekontrolowanymi filtrami może mieć setki tysięcy URL-i.
Czy noindex oszczędza budżet indeksowania?
Nie. Google pobiera stronę z noindex i dopiero po jej odczytaniu rezygnuje z indeksowania, więc czas na skanowanie i tak jest zużywany. Do ograniczania skanowania służy robots.txt lub usunięcie zbędnych adresów.
Jak zwiększyć crawl budget sklepu?
Google wskazuje dwie drogi: zwiększenie zasobów serwera, jeśli to on jest ograniczeniem, oraz poprawę jakości treści, bo w wyszukiwarce liczą się m.in. popularność, wartość dla użytkownika i unikalność stron. W praktyce najszybsze efekty daje zwykle ograniczenie liczby zbędnych adresów.
Gdzie w Search Console sprawdzić statystyki skanowania?
Raport Statystyki indeksowania znajdziesz w ustawieniach usługi w Search Console. Jest dostępny dla usług domenowych i usług z prefiksem adresu na poziomie głównym. Pokazuje m.in. liczbę żądań, czas odpowiedzi, kody odpowiedzi i stan hosta.
Czy szybkość strony wpływa na crawl budget?
Tak. Według dokumentacji Google limit wydajności skanowania rośnie, gdy serwer odpowiada szybko i stabilnie, a maleje, gdy zwalnia lub zwraca błędy 5xx albo kod 429. Szybsze strony pozwalają też Google pobrać więcej treści w tym samym czasie.
Podsumowanie
Crawl budget to zbiór adresów, które Google może i chce przeskanować w twojej witrynie. Dla większości małych sklepów nie jest problemem, ale w dużych katalogach z filtrami i codziennymi zmianami decyduje o tym, jak szybko nowe produkty i zmiany cen trafiają do Google. Najwięcej zyskasz, porządkując zasób adresów: zamykając pułapki filtrów i sortowania, usuwając łańcuchy przekierowań i miękkie 404, wzmacniając linkowanie do ważnych stron i dbając o stabilny serwer.
Jeśli chcesz sprawdzić, na co Googlebot zużywa czas w twoim sklepie, i uporządkować skanowanie bez ryzyka dla ruchu, zobacz, jak prowadzimy SEO dla sklepów internetowych.
Jak sprawdzić, na co Googlebot zużywa crawl budget
Podstawowym narzędziem jest raport Statystyki indeksowania w Search Console, dostępny w ustawieniach usługi. Według pomocy Google pokazuje on łączną liczbę żądań, łączny rozmiar pobranych danych, średni czas odpowiedzi, stan hosta oraz podział żądań według kodu odpowiedzi, typu pliku, celu skanowania i rodzaju Googlebota. Raport działa tylko dla usług na poziomie domeny lub głównego prefiksu adresu.
Stan hosta – informuje, czy w ostatnich 90 dniach Google napotkał poważne problemy z dostępnością: z pobieraniem pliku robots.txt, z rozpoznawaniem DNS lub z połączeniem z serwerem.
Odpowiedzi – w normalnej sytuacji zdecydowana większość powinna mieć kod 200. Duży udział przekierowań, błędów 404 czy 5xx to sygnał do sprawdzenia.
Cel skanowania – podział na odkrywanie nowych adresów i odświeżanie znanych. Gdy nowe produkty nie są odkrywane, warto sprawdzić linkowanie i mapę witryny.
Typ pliku – pokazuje, ile żądań dotyczy HTML, a ile obrazów, skryptów i stylów.
Raport ma ograniczenia: pokazuje przykładowe adresy, a nie pełną listę, i według Google może nie obejmować wszystkich żądań. Dlatego w dużych sklepach warto uzupełnić go analizą logów serwera. Logi pokazują każde żądanie Googlebota z adresem, kodem odpowiedzi i czasem, więc można policzyć, jaki odsetek wizyt dotyczy produktów, kategorii, filtrów czy przekierowań. Przy analizie logów sprawdź, czy żądania faktycznie pochodzą od Google, bo nazwę Googlebota łatwo podszyć.
Wykres – przykładowy podział żądań Googlebota w dużym sklepie według typu adresu. [#chart:se26]
[#przyklad] Sklep z wyposażeniem domu ma około 40 tysięcy produktów. Analiza logów z 30 dni pokazuje, że blisko połowa żądań Googlebota dotyczy adresów z parametrami filtrów i sortowania, a karty produktów to mniej niż jedna czwarta. Jednocześnie w raporcie indeksowania stron rośnie liczba produktów wykrytych, ale niezindeksowanych. To typowy obraz sklepu, w którym crawl budget rozchodzi się na adresy bez wartości. Liczby w tym przykładzie są ilustracyjne, ale układ problemu widzimy w audytach regularnie.
Co marnuje crawl budget w sklepie internetowym
W sklepach źródła problemów są powtarzalne. Google w przewodniku wymienia duplikaty, strony, których nie chcesz skanować, miękkie błędy 404, długie łańcuchy przekierowań i wolne ładowanie. Przełożone na realia e-commerce wygląda to tak:
Źródło | Jak powstaje | Rozwiązanie |
Filtry i ich kombinacje | Każde połączenie koloru, rozmiaru, ceny i marki tworzy nowy adres | Świadoma strategia filtrów, blokada zbędnych kombinacji w robots.txt |
Sortowanie i liczba produktów na stronie | Ta sama lista w wielu wersjach | Blokada parametrów sortowania, link do wersji podstawowej |
Parametry sesji i śledzenia | Identyfikatory sesji, tagi kampanii w linkach wewnętrznych | Czyste linki wewnętrzne, sesje bez parametrów w URL |
Wyszukiwarka wewnętrzna | Każde zapytanie to osobny adres | Blokada ścieżki wyników wyszukiwania |
Łańcuchy przekierowań | Kolejne migracje i zmiany adresów | Przekierowanie od razu na adres docelowy, aktualizacja linków |
Miękkie 404 | Puste kategorie i produkty wycofane z kodem 200 | Kod 404 lub 410 albo przekierowanie na odpowiednik |
Najwięcej zwykle kosztują filtry. Nawigacja fasetowa potrafi wygenerować praktycznie nieskończoną liczbę adresów, a Google zna każdy z nich z linków w szablonie kategorii. Jak podejść do tego problemu, opisujemy szczegółowo w artykule o filtrach w sklepie a SEO. Pokrewny problem to paginacja – ważne, żeby kolejne strony list były dostępne przez zwykłe linki i miały własne adresy, bo roboty nie klikają przycisków typu „pokaż więcej”.
Osobna kategoria to produkty wycofane. Jeśli strona produktu, którego już nie ma, zwraca kod 200 z komunikatem „brak produktu” albo pustą treścią, Google może uznać ją za miękki błąd 404 i nadal ją odwiedzać. Dokumentacja Google wskazuje, że trwale usunięte strony powinny zwracać kod 404 lub 410, bo to silny sygnał, by nie skanować ich ponownie. Kiedy lepiej przekierować, a kiedy zostawić stronę, wyjaśniamy w artykule o produktach niedostępnych i wycofanych.
[#uwaga] Tag noindex nie oszczędza crawl budget. Google pisze wprost, że strona z noindex i tak jest pobierana, a dopiero potem odrzucana. Jeśli celem jest ograniczenie skanowania zbędnych adresów, właściwym narzędziem jest robots.txt albo usunięcie samych adresów, a nie noindex. Jednocześnie pamiętaj, że strony zablokowanej w robots.txt Google nie przeskanuje, więc nie zobaczy na niej ani noindex, ani tagu kanonicznego.
Jak zoptymalizować crawl budget krok po kroku
Wykres – kolejność działań przy optymalizacji budżetu indeksowania. [#chart:se26b]
1. Uporządkuj zasób adresów
To krok o największym znaczeniu. Zrób listę typów adresów w sklepie (kategorie, produkty, filtry, sortowanie, wyszukiwarka, paginacja, strony informacyjne) i dla każdego zdecyduj, czy ma być skanowany i indeksowany. Duplikaty konsoliduj tagiem kanonicznym lub przekierowaniem, a adresy, których Google nie powinien w ogóle odwiedzać, blokuj w pliku robots.txt. Przewodnik Google wymienia jako przykład właśnie różnie posortowane wersje tej samej strony.
2. Usuń przekierowania i błędy z linkowania wewnętrznego
Linki w menu, stopce, filtrach i opisach powinny prowadzić bezpośrednio do adresów docelowych z kodem 200. Każdy link do przekierowania to dodatkowe żądanie, a w raporcie statystyk indeksowania każdy element łańcucha liczy się osobno. Po migracjach i zmianach struktury przejrzyj linki wewnętrzne i zaktualizuj je zgodnie z zasadami opisanymi w artykule o przekierowaniach 301 w sklepie.
3. Wzmocnij sygnały dla ważnych stron
Google odwiedza częściej adresy, które uważa za ważne i popularne. Kategorie i najlepiej sprzedające się produkty powinny mieć dużo linków wewnętrznych z menu, kategorii nadrzędnych, poradników i bloków z produktami powiązanymi. Mapa witryny powinna zawierać tylko adresy kanoniczne z kodem 200, a pole lastmod powinno odpowiadać realnym zmianom treści. Jak zbudować taką mapę, opisujemy w poradniku o mapie witryny XML w sklepie.
4. Przyspiesz odpowiedzi serwera
Im szybciej i stabilniej serwer odpowiada, tym więcej Google może pobrać w tym samym czasie. Dokumentacja wymienia optymalizację czasu odpowiedzi i zasobów oraz obsługę kodu 304, który informuje Google, że strona nie zmieniła się od ostatniej wizyty. W sklepach abonamentowych wpływ na serwer jest ograniczony, ale nadal możesz zmniejszyć wagę szablonu, liczbę skryptów i rozmiar zdjęć. Praktyczne wskazówki dla jednej z popularnych platform znajdziesz w artykule o szybkości sklepu na Shoperze.
5. Monitoruj efekty
Po zmianach obserwuj co miesiąc te same wskaźniki: odsetek odpowiedzi 200, liczbę żądań do adresów z parametrami, średni czas odpowiedzi, stan hosta oraz liczbę produktów wykrytych, ale niezindeksowanych. Efekty nie są natychmiastowe, bo Google pamięta znane adresy i dopiero z czasem rzadziej je odwiedza.
Najczęstsze błędy przy optymalizacji crawl budget
Blokowanie w robots.txt stron, które mają noindex lub canonical – Google nie przeskanuje strony, więc nie zobaczy tych sygnałów, a adres może nadal pojawiać się w wynikach bez opisu.
Blokowanie plików CSS i JavaScript – Google potrzebuje ich do wyrenderowania strony, a zablokowane zasoby utrudniają ocenę jej treści.
Tymczasowe blokady w nadziei na przesunięcie budżetu – Google zaznacza, że nie przeniesie zwolnionego budżetu na inne strony, jeśli witryna nie dochodzi do limitu wydajności.
Zmniejszanie tempa skanowania „na wszelki wypadek” – ograniczanie Googlebota ma sens tylko wtedy, gdy realnie przeciąża serwer.
Mapa witryny z adresami przekierowanymi, z noindex lub z filtrami – wysyła sprzeczne sygnały i rozmywa informację o tym, co jest ważne.
Zanim zablokujesz jakąkolwiek ścieżkę w robots.txt, sprawdź w Search Console, czy adresy z tego wzorca nie mają kliknięć i wyświetleń. Zdarza się, że wybrane strony filtrów, np. marka w dużej kategorii, zbierają ruch z wyszukiwarki. Takie adresy warto zostawić otwarte i rozwijać świadomie, a blokować tylko kombinacje bez wartości.
[#checklista] Raport Statystyki indeksowania sprawdzony za ostatnie 90 dni; większość odpowiedzi to kod 200; brak łańcuchów przekierowań w linkach wewnętrznych; sortowanie, sesje i wyszukiwarka wewnętrzna zablokowane lub wyeliminowane; strategia dla filtrów spisana; produkty wycofane zwracają 404, 410 lub przekierowanie; mapa witryny zawiera tylko adresy kanoniczne; serwer odpowiada stabilnie w szczycie ruchu; przegląd powtarzany co miesiąc.
Kontrola skanowania to jeden z obszarów, które sprawdzamy w ramach audytu SEO sklepu. W małych sklepach zajmuje kilka minut, w dużych bywa najważniejszą częścią całej analizy technicznej.
Najczęściej zadawane pytania
Czy crawl budget ma wpływ na pozycje w Google?
Nie bezpośrednio. Budżet indeksowania decyduje o tym, jak szybko i jak często Google odwiedza strony, a nie o ich pozycji. Pośrednio ma jednak znaczenie, bo produkt, który nie został przeskanowany i zaindeksowany, nie może pojawić się w wynikach.
Od ilu podstron trzeba zajmować się crawl budget?
Google podaje orientacyjnie ponad milion stron zmieniających się co tydzień albo ponad 10 tysięcy stron zmieniających się codziennie. W sklepach liczy się jednak nie liczba produktów, ale liczba adresów, które generują filtry i parametry. Mały katalog z niekontrolowanymi filtrami może mieć setki tysięcy URL-i.
Czy noindex oszczędza budżet indeksowania?
Nie. Google pobiera stronę z noindex i dopiero po jej odczytaniu rezygnuje z indeksowania, więc czas na skanowanie i tak jest zużywany. Do ograniczania skanowania służy robots.txt lub usunięcie zbędnych adresów.
Jak zwiększyć crawl budget sklepu?
Google wskazuje dwie drogi: zwiększenie zasobów serwera, jeśli to on jest ograniczeniem, oraz poprawę jakości treści, bo w wyszukiwarce liczą się m.in. popularność, wartość dla użytkownika i unikalność stron. W praktyce najszybsze efekty daje zwykle ograniczenie liczby zbędnych adresów.
Gdzie w Search Console sprawdzić statystyki skanowania?
Raport Statystyki indeksowania znajdziesz w ustawieniach usługi w Search Console. Jest dostępny dla usług domenowych i usług z prefiksem adresu na poziomie głównym. Pokazuje m.in. liczbę żądań, czas odpowiedzi, kody odpowiedzi i stan hosta.
Czy szybkość strony wpływa na crawl budget?
Tak. Według dokumentacji Google limit wydajności skanowania rośnie, gdy serwer odpowiada szybko i stabilnie, a maleje, gdy zwalnia lub zwraca błędy 5xx albo kod 429. Szybsze strony pozwalają też Google pobrać więcej treści w tym samym czasie.
Podsumowanie
Crawl budget to zbiór adresów, które Google może i chce przeskanować w twojej witrynie. Dla większości małych sklepów nie jest problemem, ale w dużych katalogach z filtrami i codziennymi zmianami decyduje o tym, jak szybko nowe produkty i zmiany cen trafiają do Google. Najwięcej zyskasz, porządkując zasób adresów: zamykając pułapki filtrów i sortowania, usuwając łańcuchy przekierowań i miękkie 404, wzmacniając linkowanie do ważnych stron i dbając o stabilny serwer.
Jeśli chcesz sprawdzić, na co Googlebot zużywa czas w twoim sklepie, i uporządkować skanowanie bez ryzyka dla ruchu, zobacz, jak prowadzimy SEO dla sklepów internetowych.
Mateusz Piotrowicz
Technical & Logistics Expert
Optymalizuje logistykę, magazyn i wysyłki sprzedawców. Skupia się na kosztach i terminowości dostaw.
Optymalizuje logistykę, magazyn i wysyłki sprzedawców. Skupia się na kosztach i terminowości dostaw.
SEO dla sklepów internetowych
Mateusz i nasz zespół pomogą Ci wdrożyć to na Twoim koncie – bez zobowiązań.
- Analiza Twojego konta i obecnych działań
- Konkretny plan poprawek do wdrożenia
- Bezpłatna konsultacja – bez zobowiązań
Przeczytaj także
Więcej porad z naszej bazy wiedzy – przesuń, aby zobaczyć kolejne artykuły.
Masz pytania? Chętnie porozmawiamy!
Masz pytania? Chętnie porozmawiamy!
Masz pytania? Chętnie porozmawiamy!
Bartłomiej Stokłosa
CEO & Founder
"Jeżeli czegoś nie da się zrobić, potrzebny jest ktoś, kto o tym nie wie – przyjdzie i to zrobi."
Bartłomiej Stokłosa
CEO & Founder
"Jeżeli czegoś nie da się zrobić, potrzebny jest ktoś, kto o tym nie wie – przyjdzie i to zrobi."