Indexace a crawl budget

Klient mi psal, že má na webu 48 stránek, ale v Google jich najde jen jedenáct. Neměl chybu v obsahu, měl problém s tím, jak jeho web vypadá zvenčí pro robota.

Rozdíl mezi projitím a zaindexováním

Jsou to dvě různé věci a lidé je pravidelně pletou. Projití znamená, že robot stránku stáhl a přečetl. Zaindexování znamená, že ji Google uložil do svého katalogu a je schopný ji zobrazit ve výsledcích. Mezi tím je rozhodnutí, jestli ta stránka stojí za místo v indexu.

Google prochází mnohem víc stránek, než kolik jich indexuje. Je to jeho vědomé rozhodnutí, ne chyba. Pokud stránku projde a vyhodnotí, že nepřináší nic, co by v indexu už nebylo, prostě ji nezařadí. V Search Console se to zobrazí jako Prohledáno, ale zatím nezaindexováno.

Praktický důsledek: nemá smysl bojovat za zaindexování stránky, která nemá vlastní obsah. Má smysl buď jí obsah dodat, nebo ji z indexu vědomě vyloučit a nechat robota věnovat čas stránkám, které vydělávají.

Nejčastější důvody, proč stránka není v indexu

Prvním krokem je vždycky Search Console, ne dohady. V sekci Indexování a Stránky uvidíte přesný důvod u každé nezaindexované adresy. Ty důvody jsou konkrétní a mají různou vážnost. Některé jsou v pořádku a nemáte co řešit, jiné znamenají, že vám nefunguje web.

Nejtvrdší případ je noindex, který tam někdo nechal z vývoje. Stává se to překvapivě často, hlavně u webů, které se stavěly na testovací adrese a pak se přesunuly na ostrou doménu. Web je hotový, vypadá skvěle, a Google ho ignoruje, protože mu to sami říkáte.

Druhý častý případ jsou stránky, na které nevede ani jeden vnitřní odkaz. Google se o nich dozví jen z mapy webu, což je slabý signál. Stránka, ke které se nedá proklikat z menu ani z jiné stránky, vypadá jako něco, co ani vy nepovažujete za důležité.

• Značka noindex zapomenutá z testovacího prostředí
• Blokace v robots.txt, která brání robotovi stránku vůbec stáhnout
• Stránka bez jediného vnitřního odkazu, takzvaná sirotčí stránka
• Kanonická značka směřující jinam, takže se stránka počítá jako kopie jiné
• Tenký obsah pod 300 slov bez vlastní hodnoty
• Přesměrování v řetězci, kde se robot ztratí
• Chyba serveru v okamžiku, kdy robot přišel

Crawl budget u malého webu, kde ho skoro neřešíte

Crawl budget je zjednodušeně čas a počet požadavků, které Google vašemu webu denně věnuje. U firemního webu s 30 až 80 stránkami je to prakticky neomezené. Google zvládne projít celý váš web několikrát denně, aniž by to pro něj byla zátěž. Řešit tady crawl budget je zbytečné.

U malého webu je mnohem důležitější rychlost odpovědi a struktura odkazů. Když server odpovídá do 300 milisekund, robot projde víc stránek za stejný čas. Když odpovídá dvě sekundy, robot zpomalí. Tohle je jediná varianta, kdy crawl budget u malého webu opravdu hraje roli.

Konkrétní čísla z praxe: firemní web s 42 stránkami na rychlém hostingu má typicky celý obsah zaindexovaný do deseti dnů od spuštění. Ten samý obsah na pomalém sdíleném hostingu s odezvou přes sekundu se dostává do indexu tři až šest týdnů.

Kdy crawl budget začne bolet doopravdy

Hranice, od které to začne být téma, leží zhruba u pěti tisíc adres. To zní jako hodně, dokud si neuvědomíte, že e-shop s 300 produkty a filtrováním podle barvy, velikosti a značky vygeneruje desítky tisíc kombinací adres. Každá je pro robota samostatná stránka.

Tady se stane, že robot stráví osmdesát procent svého času na filtrovaných adresách, které nikdo nehledá, a na nové produkty se dostane až za týdny. Řešení není zrychlit server, ale ubrat robotovi zbytečnou práci. Filtrované kombinace vyloučit, stránkování zjednodušit, parametry ošetřit.

U klientského e-shopu s 640 produkty jsme takhle snížili počet procházených adres z 31 000 na 2 800. Frekvence návštěv nových produktů se zkrátila z jedenácti dní na dva. Žádný nový obsah, jen odklizení nepořádku, na který robot narážel.

• Filtrované adresy s parametry vyloučit z procházení
• Stránkování omezit nebo nahradit dostatečně velkými výpisy
• Vyhledávací stránky uvnitř webu nikdy nenechávat indexovat
• Mapa webu jen s adresami, které skutečně chcete v indexu
• Vnitřní odkazy z hlavních stránek na to, co má být zaindexováno prioritně
• Zrychlit odpověď serveru pod 400 milisekund

Search Console prakticky, ne jako manuál

Search Console je zdarma a je to jediné místo, kde se dozvíte, co si o vašem webu Google skutečně myslí. Nastavení trvá deset minut a bez něj děláte SEO poslepu. Většina firem ji má zřízenou, ale nikdo se do ní nedívá.

Pro rychlou orientaci stačí tři obrazovky. Sekce Stránky vám ukáže poměr zaindexovaných a nezaindexovaných s důvody. Kontrola URL vám u konkrétní adresy řekne, kdy tam robot naposledy byl a co viděl. Statistiky procházení vám ukážou, kolik požadavků denně Google odesílá a s jakým výsledkem.

Nástroj Požádat o indexování má smysl u jednotlivých důležitých stránek, ne jako hromadná zbraň. Když ho použijete na padesát adres najednou, nic to neurychlí. Když ho použijete na jednu novou stránku, kterou chcete v indexu rychle, dostane se tam typicky do jednoho až tří dnů.

Kolik stojí uvést indexaci do pořádku

Rozsah práce se liší podle velikosti webu a podle toho, jak hluboko problém sedí. U malého webu jde často o jednu zapomenutou značku a opravu stihnu za hodinu. U e-shopu s filtrováním je to systémový zásah do struktury adres a jde to na dny.

Vždycky začínám auditem, protože bez něj bych jen hádal. Audit obsahuje seznam adres, které nejsou v indexu, důvod u každé a návrh řešení seřazený podle dopadu. Až podle něj se domluvíme, co se bude opravovat a za kolik.

Web, který stavím od nuly, jde do provozu s čistou indexací. Kontrola robots.txt, mapy webu, kanonických značek a testovacích značek je součástí dodávky od 19 990. Není to nadstavba, je to podmínka toho, aby web vůbec dával smysl.

Časté otázky

Jak dlouho trvá, než se nová stránka dostane do Google?

U zavedeného webu s pravidelnými návštěvami robota jeden až pět dnů. U zbrusu nového webu bez historie počítejte dva až šest týdnů, než se rozjede pravidelné procházení. Požádání o indexování v Search Console to u jednotlivé stránky zkrátí, ale nefunguje jako hromadné tlačítko na padesát adres najednou.

Mám 200 stránek a Google jich indexuje 120. Je to problém?

Nemusí být. Nejdřív se podívejte, co je v těch osmdesáti. Pokud jsou to filtry, stránkování, tagy a duplicitní výpisy, je to naprosto v pořádku a Google se chová správně. Pokud tam jsou vaše hlavní služby nebo produkty, je to vážné a je potřeba zjistit důvod v Search Console.

Pomůže mi zaplatit za rychlejší indexaci nebo za nějakou službu, která to zařídí?

Ne. Neexistuje způsob, jak si u Google zaplatit rychlejší zařazení do organických výsledků. Kdo to nabízí, prodává vám něco, co nemá pod kontrolou. Fungují jen tři věci: odstranit technické překážky, mít obsah, který stojí za index, a mít odkazy, které na stránku vedou.