Screaming Frog dla e-commerce – jak przeprowadzić crawl sklepu krok po kroku

Krok 1: przygotowanie przed pierwszym crawlem

Zanim klikniesz „Start”, warto ustalić, co dokładnie chcesz sprawdzić i jak duży jest sklep. Kilka minut przygotowania oszczędza godziny crawlowania niepotrzebnych adresów.

• Właściwa wersja domeny – zacznij od adresu, pod którym sklep faktycznie działa (zwykle https i wersja z www albo bez). Crawl od złej wersji pokaże głównie przekierowania.

• Szacunkowa liczba adresów – liczba produktów, kategorii, wpisów blogowych i stron informacyjnych. Jeśli crawl pokazuje kilka razy więcej adresów, prawdopodobnie robot wpadł w filtry lub parametry.

• Tryb zapisu danych – przy dużych sklepach przełącz program na zapis w bazie danych na dysku zamiast w pamięci. Producent zaznacza, że maksymalna liczba adresów zależy od przydzielonej pamięci i miejsca na dysku.

• Zgoda i godziny crawla – poinformuj osobę od serwera lub platformę, że będzie crawl. Intensywne skanowanie w szczycie sprzedaży może obciążyć słabszy serwer.

[#tip] Jeśli sklep jest duży, zacznij od crawla jednej sekcji – np. jednej kategorii głównej z podkategoriami. Szybciej zobaczysz typowe problemy szablonów i dopracujesz konfigurację, zanim uruchomisz pełny crawl całego sklepu.

Krok 2: konfiguracja crawla dla sklepu internetowego

Domyślne ustawienia Screaming Frog są dobre dla typowej strony firmowej. W sklepie warto je dostosować, bo filtry, sortowanie i parametry potrafią wygenerować ogromną liczbę adresów, które nie wnoszą nic do analizy.

Szczególną uwagę zwróć na plik robots.txt. Screaming Frog domyślnie go respektuje, tak jak Googlebot. Jeśli sklep blokuje w nim filtry czy wyszukiwarkę wewnętrzną, crawl ich nie odwiedzi – i dobrze, o ile tak ma być. Zasady działania pliku opisuje dokumentacja Google o robots.txt.

Renderowanie JavaScript jest wolniejsze i bardziej obciąża komputer, ale w sklepach headless lub z rozbudowanymi skryptami bywa niezbędne – bez niego crawl może nie zobaczyć części linków, opisów czy cen. Porównanie crawla z renderowaniem i bez niego to szybki test, czy sklep nie ukrywa treści przed robotami. Więcej o tym piszemy w artykule o JavaScript a SEO w sklepie.

Krok 3: podłączenie danych z Google i mapy witryny

Crawl pokazuje strukturę sklepu, ale nie mówi, które strony są ważne dla sprzedaży. W wersji płatnej możesz połączyć program z Search Console, Google Analytics i PageSpeed Insights – producent opisuje, że pobiera wtedy dane o użytkownikach i wydajności dla wszystkich adresów z crawla. Dzięki temu przy każdym adresie widzisz np. kliknięcia z Google i sesje.

Warto też dodać mapę witryny w ustawieniach crawla. Po zakończeniu skanowania i uruchomieniu analizy crawla (Crawl Analysis) program pokaże adresy z mapy, do których nie prowadzi żaden link wewnętrzny, oraz adresy znalezione w sklepie, których nie ma w mapie. W sklepach to częsty sygnał problemów z linkowaniem – produkty dostępne tylko z wyszukiwarki wewnętrznej albo stare kategorie, które zniknęły z menu, ale nadal są w mapie.

Krok 4: analiza najważniejszych raportów

Po zakończeniu crawla program pokaże dziesiątki zakładek i filtrów. Nie trzeba przeglądać wszystkich. W sklepie zacznij od tych, które najczęściej kryją problemy wpływające na indeksowanie i ruch.

Kody odpowiedzi i przekierowania

Zakładka kodów odpowiedzi pokazuje strony 404, przekierowania i błędy serwera. Najważniejsze są linki wewnętrzne prowadzące do stron 404 i do przekierowań – w dolnym panelu (Inlinks) widać, z których stron pochodzą. Jeśli błędny link siedzi w szablonie menu lub stopki, poprawka w jednym miejscu usuwa tysiące martwych odnośników. Jak potem obsłużyć znalezione adresy, opisaliśmy w poradniku o błędach 404 w sklepie.

Canonicale i dyrektywy

Sprawdź, czy strony kanoniczne nie wskazują na adresy 404, przekierowania albo zupełnie inne strony, oraz czy żadna ważna kategoria nie ma przypadkowego noindex. W sklepach częste są też odwrotne sytuacje: filtry i sortowania bez canonicala ani noindex, które mnożą indeksowalne adresy. Tu przydaje się porównanie z raportem indeksowania w Search Console.

Tytuły, opisy meta i nagłówki

Filtry duplikatów i braków w zakładkach tytułów, opisów meta i nagłówków H1 szybko pokazują problemy szablonów – np. wszystkie strony paginacji z tym samym tytułem albo karty produktów bez H1. W sklepie to zwykle jedna poprawka w szablonie, a nie setki ręcznych zmian.

Duplikaty treści

Program wykrywa strony identyczne i bardzo podobne (near duplicates). W sklepach to najczęściej warianty produktów na osobnych adresach, karty z opisem od producenta albo kategorie różniące się jednym słowem. Przyczyny i rozwiązania opisaliśmy w artykule o duplicate content w sklepie.

Linkowanie wewnętrzne i głębokość

Kolumna głębokości (Crawl Depth) pokazuje, ile kliknięć od strony głównej dzieli dany adres, a liczba linków przychodzących – które strony są wzmacniane, a które pomijane. Bestsellery na piątym poziomie kliknięć albo kategorie z jednym linkiem to sygnał do poprawy struktury. Jak ją zaplanować, piszemy w tekście o linkowaniu wewnętrznym w sklepie.

Obrazy i dane strukturalne

Zakładka obrazów pokazuje grafiki bez tekstu alternatywnego i pliki o dużej wadze, które spowalniają karty produktów i kategorie. W wersji płatnej możesz też włączyć walidację danych strukturalnych – program wskaże karty, na których brakuje wymaganych właściwości oznaczenia produktu, albo strony z błędami w kodzie. To szybki sposób, żeby sprawdzić cały katalog naraz, a nie pojedyncze adresy w narzędziach Google. Wyniki warto potem potwierdzić w Search Console, bo to Google decyduje, które dane wykorzysta w wynikach wyszukiwania.

Wykres – raporty Screaming Frog, od których warto zacząć analizę sklepu. [#chart:se89b]

Krok 5: własna ekstrakcja danych z kart produktów

Jedna z najbardziej przydatnych funkcji dla sklepów to własna ekstrakcja (Custom Extraction). Pozwala pobrać z każdej strony konkretny element kodu – za pomocą XPath, selektora CSS lub wyrażenia regularnego. Przykłady zastosowań w sklepie:

• Status dostępności – lista kart z komunikatem „produkt niedostępny” lub „wycofany”.

• Cena i kod EAN – kontrola, czy dane widoczne na stronie zgadzają się z feedem.

• Długość opisu – karty z pustym lub bardzo krótkim opisem.

• Liczba opinii – produkty bez recenzji, które warto wesprzeć prośbami o opinię.

• Breadcrumbs – sprawdzenie, czy ścieżka okruszków jest zgodna z kategorią.

Do tego dochodzi wyszukiwanie w kodzie źródłowym (Custom Search) – np. strony, które nadal zawierają starą nazwę marki, nieaktualny kod promocyjny albo stary skrypt analityczny. Ekstrakcja wymaga podstawowej znajomości struktury kodu strony, ale raz przygotowaną konfigurację można zapisać i używać przy kolejnych crawlach.

Krok 6: eksport wyników i lista zadań

Surowe dane z crawla nie są jeszcze audytem. Trzeba je przełożyć na zadania z priorytetami i informacją, kto je wykona – Ty w panelu, platforma sklepowa czy programista. Program pozwala wyeksportować każdą zakładkę i raporty zbiorcze do arkusza.

Problemy z mieszaną treścią często pojawiają się po zmianie domeny lub certyfikatu – co wtedy sprawdzić, opisaliśmy w tekście o certyfikacie SSL w Shoperze. Wiele poprawek szablonowych w sklepach na gotowych platformach wykonasz w ustawieniach – przegląd najważniejszych opcji znajdziesz w przewodniku po panelu Shoper.

[#przyklad] Sklep z wyposażeniem łazienek miał około 4 000 produktów, a pierwszy crawl zatrzymał się po kilkuset tysiącach adresów. Okazało się, że filtry koloru, materiału i ceny dało się łączyć dowolnie, a każda kombinacja miała własny, linkowany adres bez canonicala. Po wykluczeniu parametrów w konfiguracji crawl skończył się na kilku tysiącach adresów i pokazał właściwe problemy: brak H1 na części kategorii i kilkaset linków do usuniętych produktów. Równolegle sklep ograniczył indeksowanie kombinacji filtrów.

Najczęstsze błędy przy crawlowaniu sklepu

• Crawl bez wykluczeń – robot wpada w filtry i sortowania, a analiza trwa godzinami i niczego nie wnosi.

• Zbyt duża prędkość – serwer zwraca błędy 5xx lub spowalnia, co zafałszowuje wyniki i może przeszkadzać klientom.

• Wyciąganie wniosków bez danych z Google – nie każdy problem z crawla ma znaczenie; priorytet mają strony z ruchem i sprzedażą.

• Ignorowanie wersji mobilnej – Google indeksuje głównie wersję mobilną, więc warto crawlować z user agentem smartfona.

• Jednorazowy crawl – bez porównania kolejnych skanów trudno ocenić, czy zmiany w sklepie pomogły.

[#uwaga] Nie zmieniaj ustawień indeksowania (robots.txt, noindex, canonicale) na podstawie samego crawla. Najpierw porównaj wyniki z raportem indeksowania w Search Console i danymi o ruchu. Pochopna blokada filtrów lub kategorii może odciąć strony, które przynoszą sprzedaż.

Jak często crawlować sklep

W większości sklepów wystarczy pełny crawl raz w miesiącu oraz dodatkowo po każdej większej zmianie: nowym szablonie, przebudowie kategorii, migracji, masowym imporcie lub usunięciu produktów. Licencja pozwala zaplanować crawl cyklicznie i porównywać kolejne skany – program pokazuje wtedy, co się zmieniło, np. przybyło stron 404 albo zniknęły canonicale.

Przy migracjach platformy crawl wykonuje się co najmniej dwa razy: przed zmianą (lista starych adresów do mapy przekierowań) i zaraz po niej (kontrola, czy przekierowania działają i nie ma martwych linków). Dobrym zwyczajem jest też crawl wersji testowej przed publikacją – producent opisuje możliwość porównania środowiska testowego z produkcyjnym.

[#checklista] Crawl sklepu w Screaming Frog: właściwa wersja domeny; tryb zapisu w bazie danych przy dużym sklepie; wykluczenia parametrów sortowania i filtrów; rozsądna prędkość; user agent smartfona; renderowanie JavaScript, jeśli potrzebne; podłączona Search Console i mapa witryny; analiza kodów odpowiedzi, canonicali, dyrektyw, tytułów i duplikatów; lista zadań z priorytetami; porównanie z poprzednim crawlem.

Najczęściej zadawane pytania

Czy darmowa wersja Screaming Frog wystarczy dla sklepu?

Tylko dla bardzo małych sklepów lub szybkiego testu szablonów. Wersja bezpłatna ma limit 500 adresów i nie obsługuje m.in. renderowania JavaScript, własnej ekstrakcji i integracji z Search Console.

Ile kosztuje licencja Screaming Frog?

Według strony producenta licencja kosztuje 199 £ rocznie za użytkownika, z rabatami przy zakupie kilku licencji naraz (stan na październik 2026). Przed zakupem sprawdź aktualny cennik.

Czy crawl może zaszkodzić sklepowi?

Przy zbyt dużej prędkości crawl może obciążyć słabszy serwer i spowolnić sklep dla klientów. Dlatego warto ograniczyć liczbę wątków i crawlować poza szczytem sprzedaży.

Dlaczego crawl znajduje więcej adresów, niż mam produktów?

Zwykle przez filtry, sortowania, paginację i parametry w adresach. To sygnał, żeby sprawdzić, czy te adresy nie są indeksowalne, i wykluczyć je z kolejnych crawli.

Czy Screaming Frog pokazuje, które strony są w indeksie Google?

Nie bezpośrednio. Crawl pokazuje, co robot może znaleźć w sklepie. Stan indeksowania sprawdzisz w Search Console – po połączeniu przez API część danych można pobrać do programu.

Jak często powtarzać crawl?

W większości sklepów raz w miesiącu oraz po każdej większej zmianie, np. migracji, nowym szablonie czy przebudowie kategorii.

Podsumowanie

Screaming Frog pozwala zobaczyć sklep oczami robota i szybko znaleźć problemy, których nie widać w panelu: martwe linki, łańcuchy przekierowań, błędne canonicale, przypadkowy noindex, duplikaty i słabo linkowane produkty. Kluczem jest dobra konfiguracja – wykluczenie filtrów i parametrów, rozsądna prędkość, właściwy user agent – oraz połączenie wyników z danymi z Google, by naprawiać najpierw to, co wpływa na ruch i sprzedaż.

Jeśli prowadzisz sklep na Shoperze i chcesz uporządkować jego technikę razem z wdrożeniowcami, zobacz, jak pracujemy przy sklepach na Shoperze. A jeśli potrzebujesz pełnego audytu i planu poprawek, sprawdź nasze SEO dla sklepów internetowych.