Temat problemu związanego z niezaindeksowanymi podstronami wewnętrznymi na stronach internetowych, czy z niezaindeksowanymi produktami i kategoriami w sklepie internetowym to bardzo popularny problem, z którym spotykam się podczas współpracy z moimi klientami. Szósty praktyczny odcinek SEO Podcastu poświęcimy na analizę odpowiedniej konfiguracji narzędzia Google Search Console w zakresie zgłoszenia mapy witryny i weryfikacji indeksacji wszystkich wewnętrznych adresów URL. Pokażę Ci, w jaki sposób zebrać listę wszystkich adresów URL do podstron, które znajdują się w pliku mapy witryny za pomocą narzędzia Screaming Frog, a następnie zweryfikujemy, czy mapa linków wewnętrznych składa się z listy adresów URL, które zwracają kod nagłówka HTTP o wartości „200”. Wyjaśnię Ci także, dlaczego mapa witryny nie powinna zawierać adresów URL, które zwracają status „301” (przekierowany) oraz „404” (usunięty). Za pomocą narzędzia ZipTie zweryfikujemy, które adresy URL są zaindeksowane w wyszukiwarce, a które wymagają od nas działań zmierzających do przyspieszenia ich indeksacji w Google.
Spis treści:
Wideo
Transkrypcja
Hej, w tym praktycznym odcinku SEO Podcastu chciałbym rozwiązać raz na zawsze problem z indeksacją stron i sklepów internetowych, dlatego jeśli ten problem dotyczy Ciebie, to obowiązkowo obejrzyj ten odcinek.
Na początku pokażę Ci, jak zweryfikować postępy indeksacji Twojego serwisu w wyszukiwarce Google za pomocą narzędzia Google Search Console. Następnie pokażę Ci, gdzie powinieneś przechowywać plik z mapą witryny w GSC oraz w jaki sposób wykorzystać go do analizy i wyodrębnienia listy wszystkich niezaindeksowanych adresów URL, które są w nim zawarte.
Niezaindeksowanych adresów URL w wyszukiwarce Google nie da się pozycjonować i nie pozyskają żadnego ruchu organicznego do Twojego serwisu, dlatego wszystkie z nich zgłosimy do szybszej indeksacji za pomocą dwóch odpowiednich do tego narzędzi, które wykorzystuję na co dzień w swojej pracy.
Jesteś gotowy? No to do dzieła!
Rozpoczynając proces weryfikacji indeksacji serwisu i wyszukiwania problemów z indeksacją, zacznij zawsze od narzędzia Google Search Console, w którym znajdziesz listę błędów, jakie na swojej drodze spotkały roboty indeksujące wyszukiwarki Google.
To właśnie one próbowały zaindeksować wszystkie podstrony Twojego serwisu, wykorzystując swój limit analizy i indeksacji podstron (tzw. crawl budget), który przede wszystkim nie powinien być marnowany przez Ciebie przez posiadanie linków wewnętrznych do usuniętych podstron wewnętrznych (np. kategorii i produktów w sklepie internetowym czy podstron w witrynie).
Jest to jeden z powodów, dla których algorytmy wyszukiwarki Google mogą częściej lub rzadziej indeksować Twój serwis, gdyż praca robotów indeksujących jest kosztowna i wykorzystuje zasoby Google. Nie ma nic za darmo.
Weryfikacja poprawności odczytu mapy witryny w Google Search Console
Przejdź do zakładki „Mapy witryn” w sekcji „Indeksowanie” i sprawdź, czy umieściłeś w niej link bezpośredni do pliku z mapą linków wewnętrznych. Najczęściej taki plik posiada nazwę „sitemap” i jest w formacie „XML”. Jeśli wykorzystujesz popularne systemy typu „SaaS”, czyli sklep internetowy, którego nie instalowałeś bezpośrednio na swoim serwerze, to taki plik może mieć zupełnie inne nazewnictwo. Poszukaj go w ustawieniach, w zakładkach typu „SEO” w swoim oprogramowaniu lub skontaktuj się z pomocą techniczną.
Najważniejsze, aby po wgraniu adresu do mapy witryny w panelu Google Search Console otrzymać zielony komunikat o treści „Sukces”. W kolumnie obok znajdziesz datę ostatniego odczytu Twojego pliku z listą linków wewnętrznych.
Weryfikacja indeksacji w Google Search Console
Jeśli plik z mapą witryny został wgrany do panelu GSC i minął pewien okres, który wystarczył na jego wczytanie i indeksację podstron, sprawdź jak wyglądają postępy z indeksacją. W tym celu przejdź do zakładki „Strony” w sekcji „Indeksowanie”. Znajdziesz tutaj dwie listy: niezaindeksowane i zaindeksowane podstrony, a pod spodem wykres, który przedstawia postępy z indeksacji w porównaniu z okresem historycznym.
Pod spodem znajdziesz listę problemów, błędów lub zwykłych informacji, które będziesz mógł spokojnie zignorować. Najważniejsze jest to, abyś zweryfikował błąd, który informuje o problemie z indeksacją, np. z powodu blokowania konkretnych podstron za pomocą komendy „noindex”. Sprawdź, czy zostały zablokowane do indeksacji odpowiednie adresy URL, które nie powinny znaleźć się w indeksie wyszukiwarki Google.
Jeśli wśród tych adresów znajdziesz podstrony, produkty i kategorie, które powinny zostać zaindeksowane w wyszukiwarce, to jak najszybciej usuń znacznik blokujący indeksację i zgłoś te adresy do ponownej indeksacji, wklejając adres URL do poprawionej podstrony w pole obok logo Google Search Console. Po wklejeniu adresu URL kliknij enter, aby wprowadzić adres i przejść przez proces zgłaszania do indeksacji. Jest to oczywiście bardzo podstawowy i ograniczony sposób zgłaszania podstron do indeksacji, gdyż GSC pozwala na ograniczoną ilość użyć tego narzędzia. Dużo lepszy sposób na przyspieszenie indeksacji zarówno pojedynczych, jak i wielu adresów URL przedstawię Ci w dalszej części tego odcinka SEO Podcastu.
Analizując zgłoszone błędy przez GSC, zwróć proszę także uwagę na informacje zgłaszane przez to narzędzie odnoszące się do wykrytych przekierowań. Jeśli robot indeksujący wykrył przekierowanie na swojej drodze, to oczywiste jest to, że nie mógł zaindeksować przekierowanego adresu URL. Zweryfikuj proszę aktualną listę przekierowanych adresów URL na swojej stronie lub w sklepie internetowym, aby mieć pewność, że nie posiadasz ustawionych przekierowań z adresów URL, które nie powinny kierować robotów indeksujących i użytkowników na inny adres URL.
Kolejną informację, na którą chciałbym, abyś zwrócił uwagę na liście błędów i uwag jest komunikat o adresach URL, których nie odnalazł (czyli status nagłówka HTTP o wartości „404” – symbolizujący usunięty adres URL). Zweryfikuj, jakie adresy były niedostępne w momencie indeksacji i czy w dalszym ciągu są usunięte. W przypadku, jeśli mogłeś przywrócić daną podstronę, produkt czy kategorię, zgłoś ten adres do ponownej indeksacji w wyszukiwarce Google. Warto także przemyśleć, czy powinieneś utworzyć stałe przekierowanie z usuniętego adresu URL na aktualny i dostępny. Zwracam na to uwagę, gdyż wykrywanie usuniętych zasobów podczas procesu indeksacji wpływa negatywnie na limit indeksacji, czyli wcześniej wspominany tzw. crawl budget. Nie warto go marnować na poruszanie się robotów indeksujących po usuniętych adresach URL.
Weryfikacja indeksacji na podstawie pliku mapy witryny (sitemap.xml)
Teraz chciałbym pokazać Ci mój sposób na to, jak w sposób automatyczny weryfikuję wszystkie adresy URL serwisu, którym się opiekuję. Pokażę Ci w praktyce, w jaki sposób zweryfikować poziom indeksacji serwisu, a następnie w jaki sposób przyspieszam indeksację niezaindeksowanych podstron wewnętrznych.
Nie ważne, czy jest to strona internetowa, większy serwis czy sklep internetowy – różnica polega jedynie na tym, że nad zasobnym serwisem pracuje się jedynie dłużej, w celu zarówno jego weryfikacji, jak i w celu zaindeksowania w wyszukiwarce.
Zacznijmy więc od pobrania adresu URL do pliku z mapą witryny. W tym celu użyj Google Search Console, a następnie wejdź do zakładki „Mapy witryn” w sekcji „Indeksowanie”. W tym miejscu powinna zostać dodana przez Ciebie mapa witryny. Kliknij w nią.
Po kliknięciu możesz zauważyć, że moja mapa witryny (czyli główny plik sitemap.xml) została podzielona na mniejsze, według tematyki podstron w nich zawartych. Są to kategorie, podstrony i tak dalej. Moim zadaniem będzie sprawdzenie indeksacji całej mapy witryny, a nie tylko wybranych podstron, dlatego kliknę w link „Otwórz mapę witryny”. Teraz wystarczy już tylko skopiować główny adres URL do mapy witryny, który wykorzystamy już za chwilę, w programie „Screaming Frog SEO Spider”. Otwórzmy go.
Program „Screaming Frog” posłuży nam do tego, aby wyodrębnić wszystkie adresy URL do podstron wewnętrznych. Aby to zrobić, należy zmienić jego tryb pracy. W tym celu klikamy w menu głównym na „Mode” i wybieramy tryb „List”, aby używać Screaming Fraga do pracy nad listą z adresami URL, które będzie musiał pobrać i przeanalizować. Zauważ, że w tym trybie program nie połączy się z adresem głównym, aby jako crawler przejść po wszystkich linkach wewnętrznych i pobrać listę wszystkich wewnętrznych adresów URL. W trybie „List” uprościmy mu to zadanie i zaoszczędzimy sobie sporo czasu, gdyż wskażemy mu adres do mapy witryny, która już zawiera listę wszystkich linków wewnętrznych (pobraliśmy ją z GSC).
Wykorzystując pobrany wcześniej adres URL do mapy witryny, wklejmy go do programu, wybierając odpowiednią metodę przekazania danych. Kliknij w przycisk „Upload”, a następnie z menu rozwijanego wybierz „Download XML Sitemap”. Wystarczy już tylko wkleić adres URL do naszej sitemapy.
Klikając w przycisk „OK” program połączy się ze wskazanym przez nas adresem i wczyta wszystkie adresy URL, które odczyta z pliku. Teraz, jeśli bezbłędnie wczyta wszystkie adresy URL do podstron wewnętrznych, wystarczy już rozpocząć procedurę wczytywania adresów do programu. Kliknij w przycisk „OK” i cierpliwie zaczekaj na wczytanie danych. O postępach pracy zostaniesz poinformowany w prawym, dolnym rogu ekranu, gdzie zauważysz ilość wczytanych adresów URL na ilość wykrytych adresów URL w sitemapie.
W trakcie pobierania danych przefiltruj widok w lewym, górnym rogu i z menu rozwijanego przełącz z „All” na „HTML”. Dzięki temu na liście wyników zobaczysz adresy do podstron, które będą nam potrzebne do dalszej pracy nad weryfikacją indeksacji w wyszukiwarce Google. Teraz uzbrój się w cierpliwość i zaczekaj na zakończenie pracy.
Okej, po zakończeniu pracy (o czym informuje status „Completed” w prawym, dolnym rogu ekranu) możemy już skopiować listę wszystkich podstron wewnętrznych.
Możemy to zrobić na dwa sposoby:
- kliknąć w przycisk „Export” znajdujący się obok menu z filtrami, które przed chwilą wykorzystaliśmy, a następnie wybrać jako plik wynikowy arkusz programu Excel;
- lub mój ulubiony sposób, zaznaczyć od pierwszego do ostatniego adresu URL z wciśniętym przyciskiem „Shift” na klawiaturze, a następnie kliknąć prawym przyciskiem myszy i z menu wybrać polecenie „Copy”, aby skopiować całą zaznaczoną listę adresów URL.
Tak o to gotową listę wszystkich adresów URL do wewnętrznych podstron musimy jeszcze przefiltrować, aby posiadać listę adresów URL, które nie są przekierowaniami oraz nie prowadzą do usuniętych zasobów, tylko zwracają finalnie kod statusu nagłówka „HTTP” o wartości „200”, czyli zasób istnieje i jest dostępny. Do tego zadania użyjemy kolejnego narzędzia dostępnego pod adresem: httpstatus.io
httpstatus.io to darmowe narzędzie, które pomoże nam w analizie statusów nagłówków HTTP i za jego pomocą przefiltrujemy listę adresów URL, pozostawiając tylko te, ze statusem „200”. Przy okazji wspomnę, że w pliku mapy witryny warto posiadać listę adresów, które nie są przekierowaniami lub adresami do usuniętych podstron, aby nie marnować tzw. crawl budgetu, o czym wspominałem w jednym z filmów na kanale SEO Podcastu. Jeśli roboty indeksujące wyszukiwarki Google trafią na wiele przekierowań (czyli adresów zwracających kod „301”) lub na listę usuniętych podstron (czyli adresów URL zwracających kod „404”), to roboty indeksujące w pewnym momencie przerwą swoją pracę. Niestety, ich praca to koszty dla firmy Google, a więc i oni je ograniczają.
Okej, posługując się tym narzędziem warto jeszcze zaznaczyć, że jego praca jest ograniczona do zweryfikowania za jednym razem do 100 adresów URL, dlatego, jeśli zobaczysz komunikat o tym, że wkleiłeś zbyt dużą listę adresów, to za pomocą np. notatnika podziel je na mniejsze paczki.
Pozostawię tylko kilka adresów URL, aby dla testów dokonać analizy zwracanych przez nich kodów nagłówków HTTP, a następnie kliknę w przycisk „Check status”.
W ten oto sposób program przeanalizował nam zgłoszone adresy URL. Jeśli wśród nich znajdzie adresy URL ze statusem innym niż „200”, to nad listą wyników uaktywnią się filtry, aby pokazać nam listy adresów z konkretnie zwracanymi wartościami nagłówków HTTP, np. 200, 301, 404, 500 i tak dalej. Naszym celem jest pozyskanie wszystkich adresów URL ze statusem „200”. Wszystkie wybrane przez Ciebie listy adresów możesz wyeksportować, klikając w przycisk „Export to Sheets” (czyli dla aplikacji internetowej Google Sheets) lub „Download CSV” (czyli eksport do pliku CSV z danymi oddzielonymi przecinkami).
Pozostaje nam ostatni etap weryfikacji adresów URL ze statusem „200”, a dokładniej weryfikacja ich indeksacji w wyszukiwarce Google, czyli jeden z dwóch głównych punktów tego praktycznego odcinka SEO Podcastu. Zbierz je wszystkie jeden pod drugim, aby wykorzystać w następnej aplikacji internetowej, pod adresem: ziptie.dev – jest to narzędzie, którego autorami są Tomasz Rudzki i Bartosz Góralewicz z agencji Onely, których serdecznie pozdrawiam. Ich narzędzie bardzo mi pomaga w pracy i nie jest to odcinek sponsorowany, dlatego tym bardziej zachęcam Cię do sprawdzenia jego możliwości.
Po zarejestrowaniu i zalogowaniu przejdź do zakładki „Projects”, aby utworzyć projekt, w którym to następnie zlecisz wykonanie audytu Twoich podstron wewnętrznych. Po utworzeniu projektu kliknij w link „Create audit”, aby otworzyć kreator audytu.
W sekcji „URLs Source” wybierz zakładkę „URLs List”, a następnie wklej wcześniej przygotowaną i zweryfikowaną listę wszystkich adresów URL ze statusem nagłówka „200”. Sugeruję odklikać opcję „Inspection mode”, aby narzędzie ZipTie nie sprawdzało dodatkowych metryk dla zgłaszanych adresów URL, dzięki temu zaoszczędzisz ilość kredytów o połowę. Pamiętaj, że każdy pojedynczy adres do sprawdzenia odpowiada jednemu kredytowi. Po wklejeniu listy adresów URL do sprawdzenia klikamy w przycisk „Validate URLs”, aby zweryfikować poprawność wklejonych adresów, a dopiero potem przechodzimy do ostatniego kroku po kliknięciu w przycisk „Next step”.
W efekcie przejścia do następnego kroku narzędzie ZipTie wyświetli okienko z podsumowaniem ilości zgłoszonych adresów URL i ilością kredytów, która zostanie wykorzystana do ich weryfikacji. Kliknij w przycisk „Create audit”, aby zlecić wykonanie audytu indeksacji zgłoszonych adresów URL. Teraz musisz uzbroić się w cierpliwość. Po zakończeniu audytu, narzędzie ZipTie wyśle powiadomienie na Twój e-mail, który użyłeś podczas rejestracji konta.
Po otrzymaniu powiadomienia o zakończeniu audytu wejdź ponownie do swojego projektu w narzędziu ZipTie, a następnie otwórz gotowy raport.
Dostępny w nim widok również warto przefiltrować, jeśli ilość zweryfikowanych adresów URL jest większa niż kilkanaście. W tym celu kliknij przycisk „Set filter”, aby wyświetlić listę niezaindeksowanych adresów URL w wyszukiwarce Google. Utwórz filtr, wybierając opcję „Indexed” i wartość „no”. Po kliknięciu w przycisk „Apply filters” narzędzie ZipTie wyświetli tylko te adresy URL, które trzeba będzie zgłosić do indeksacji w Google.
Listę wszystkich niezaindeksowanych adresów URL możesz w łatwy sposób wyeksportować, klikając w przycisk „Export”. W nowym okienku wybierz jedynie format pliku wynikowego, a następnie kliknij w przycisk „Export”. Po wyeksportowaniu danych musimy kliknąć w link o nazwie „Download”, za pomocą którego pobierzesz plik na swój komputer.
W dalszej części tego filmu pokażę Ci, w jaki sposób przyspieszyć indeksację i nie będzie to sposób na wklejenie adresów URL do narzędzia GSC.
Przyspieszenie indeksacji podstron
Jesteśmy już na finalnym etapie, czyli pozyskaliśmy listę wszystkich adresów do podstron wewnętrznych naszego serwisu, które nie są zaindeksowane w Google, a więc nie mogą generować ruchu z organicznych wyników wyszukiwania, co nie powinno mieć miejsca, dlatego w końcowym etapie tego praktycznego odcinka SEO Podcastu wymusimy niejako ich indeksację, za pomocą dwóch płatnych, polskich narzędzi, z których korzystam do przyspieszania indeksacji, które dostępne są pod adresem: indeksowanie.i4a.pl oraz addurl.i4a.pl
Po zarejestrowaniu konta i wykupieniu kredytów otrzymamy możliwość zgłaszania adresów URL do indeksacji. Technicznie rzecz biorąc, autorzy tych narzędzi wykonują przekierowania 301 z wielu różnych domen na adresy URL, które zgłaszasz do indeksacji. Efektem tego Google szybciej indeksuje zgłaszane przez Ciebie podstrony, ale w profilu linków będziesz mógł niestety znaleźć listę dosyć nietypowych adresów domen, ale oczywiście niezwiązane z erotyką czy innymi dosyć nietypowymi źródłami.
Narzędzia te są przeze mnie sprawdzone i od lat z nich korzystam, natomiast zawsze możesz wykorzystać alternatywny sposób na przyspieszenie indeksacji, jak chociażby podlinkowanie niezaindeksowanych adresów URL na forach dyskusyjnych. Aby to wykonać, możesz wejść do mojego sklepu SEO pod adresem sklep-seo.com.pl, a następnie zakupić pakiet wpisów na forach dyskusyjnych. Jest to również drugi sposób, który wykorzystuję i który polecam.
Natomiast, jeśli zdecydujesz się na wykorzystanie dwóch narzędzi, które przedstawiłem Ci w tej części filmu, to przejdź do sekcji „Dodaj linki” lub „Dodaj URLe” (w zależności od narzędzia) i po prostu wklej listę wszystkich adresów URL, które ZipTie wykrył jako niezaindeksowane w wyszukiwarce Google. Po zgłoszeniu obydwa narzędzia będą Cię informować o postępie prac. Uzbrój się w cierpliwość i co jakiś czas weryfikuj postępy.
Podczas przyspieszania indeksacji, zarówno za pomocą dwóch narzędzi, jak i realizacją linkowania na forach dyskusyjnych, pozostanie Ci weryfikacja indeksacji. W tym celu są dwa sposoby: automatyczny i ręczny.
Aby automatycznie zweryfikować, czy Twoje podstrony zostały zaindeksowane, użyj ponownie narzędzia ZipTie dokładnie w ten sam sposób, który wcześniej przedstawiłem Ci w tym filmie. Natomiast, aby ręcznie zweryfikować każdy pojedynczy adres URL, użyj do tego wyszukiwarki Google i komendy „site” z dwukropkiem. W tym celu wprowadź komendę „site” w polu wyszukiwarki Google jako przedrostek, następnie użyj znaku dwukropka i wprowadź adres URL do podstrony, którą chcesz sprawdzić, czyli przykładowo „site:” i tutaj Twój adres URL. Pozostaje tylko kliknąć przycisk „enter”, aby sprawdzić, czy Google wyświetli Ci w wynikach wyszukiwania adres URL, który sprawdzasz. To wszystko.
Mam nadzieję, że wszystkie wymienione przeze mnie narzędzia w tym odcinku SEO Podcastu pomogą Ci w pracy nad weryfikacją i przyspieszeniem indeksacji Twojego serwisu w wyszukiwarce Google. Jeśli znasz inne sposoby, które wykorzystujesz w swojej pracy, to podziel się nimi w komentarzu pod tym filmem.
Jeśli masz jakieś pytania, na które chciałbyś poznać odpowiedź, to również kieruję Cię do sekcji komentarzy.
Kliknij też łapkę w górę i zasubskrybuj ten kanał, abyś otrzymywał powiadomienia o nowych filmach na tym kanale.
Zapraszam Cię również do sprawdzenia moich dwóch książek o pozycjonowaniu oraz mojego kursu SEO. Link do kursu SEO znajdziesz w opisie pod tym filmem.
Trzymaj się, cześć!
Poszukujesz agencji SEO w celu wypozycjonowania swojego serwisu? Skontaktujmy się!
