Så optimerar du din crawlbudget

Vad är crawlbudget och hur optimerar man den?

Google spindlar inte alltid varje enskild sida eller webbadress på en hemsida direkt. Faktum är att ibland kan det ta veckor eller månader för Google att spindla samtliga sidor, och detta kan sätta käppar i hjulet för dina SEO-strategier.

Kanske du märker att den nya landningssidan du har arbetat med i flera veckor inte indexeras. Det kan kännas ganska frustrerande, men detta kan vara ett ypperligt tillfälle att se över och optimera din hemsidas crawlbudget, även kallat genomsökningsbudget. I denna artikeln kommer vi att förklara vad crawlbudget är för någonting och vad du kan göra för att optimera den.

Vad är crawlbudget för någonting?

Crawlbudget avser antalet sidor som Google genomsöker på din hemsida på daglig basis. Detta antal varierar från dag till dag, men totalt sett är det relativt stabilt. Google kan crawla/genomsöka allt från 5 till 10 000 000 sidor varje dag. Faktum är att det finns ingen riktig gräns på antalet sidor Google kan genomsöka utan det som bestämmer just din hemsidas crawlbudget är i allmänhet hur pass omfattande din hemsida är storleksmässigt (antalet sidor mm), din hemsidas site health (antalet fel som Google stöter på) och antalet externa länkar som pekar till din hemsida.

Vad är skillnaden på crawling och indexering?

Crawling/genomsökning och indexering är närbesläktade termer men innebär faktiskt olika saker.

Låt oss förklara skillnaden:

Crawling

Crawling är den process där sökmotorer sänder ut sökrobotar (även kallat crawlers och spindlar) som sedan genomsöker och följer de länkar som finns på din hemsida i syfte att upptäcka nytt innehåll.

Indexering

Indexering är den process som lagrar nya sidor och webbadresser som har upptäckts (med hjälp av crawling) i en databas (även kallat index) och som sedan kommer att kunna visas i sökmotorernas sökresultat vid relevanta sökningar.

Vill du göra en djupdykning kring vad skillnaden är mellan crawling och indexering? Då kan du läsa denna artikeln

Hur fungerar en crawler/sökrobot?

En crawler/sökrobot som Googlebot får en lista med nya urler/webbadresser att genomsöka på en hemsida. Den går igenom den listan systematiskt och med hjälp av din hemsidas robots.txt-fil som den också hämtar titt som tätt ser den till att den fortfarande är tillåten att genomsöka varje webbadress och genomsöker de sedan en efter en. När en spindel har genomsökt en webbadress och har analyserat innehållet på sidan lägger den till nya webbadresser som den har hittat och lägger till de i to-do-listan av webbadresser den måste genomsöka på nytt.

Flera olika händelser kan få Google att känna att en eller flera webbadresser måste genomsökas. Google kan ha hittat nya interna eller externa länkar som pekar till en sida, personer kan ha tweetat eller postat inlägg på Facebook med länkar till din hemsida, eller så kan hemsidans sitemap (webbplatsklarta på svenska) ha uppdaterats, och listan fortsätter..

Hur vet jag när det är problem med min crawlbudget?

Genomsökningsbudget kommer inte vara ett problem om du har ett stort antal sidor som behöver genomsökas och om Google har tilldelat din hemsida ett stort antal dagliga genomsökningar/crawls. Däremot, om din hemsida har låt oss säga 25,000 sidor och Google endast genomsöker 500 sidor per dag i genomsnitt, då har du problem eftersom många sidor då riskerar att inte genomsökas på väldigt länge. Helst ska det genomsnittliga antalet sidor som genomsökes vara ungefär densamma som antalet sidor på hemsidan, men om du har låt oss säga 25,000 sidor och dagliga genomsökningsbudgeten ligger på 10,000 så är det också fullt godkänt eftersom det innebär att samtliga sidor genomsökes på en 3-dagarsperiod.

Följ stegen här nedan för att snabbt avgöra om din hemsida har ett problem med genomsökningsbudgeten.

  1. Undersök antalet sidor som du har på din hemsida (gäller samtliga sidor dvs inte endast startsidan och dess undersidor utan även taggsidor, författarsidor, arkivsidor och mer)
  2. Besök Google Search Console
  3. Gå till “Inställningar” -> “Statistik för genomsökning” och notera det genomsnittliga antalet genomsökta sidor per dag
  4. Dividera antalet sidor med talet som visas bredvid “Totalt antal förfrågningar om genomsökning”.
  5. Om du hamnar på en siffra som är högre än ~10 (vilket betyder att du har 10 gånger fler sidor än vad Google genomsöker varje dag), är det förmodligen dags att optimera din genomsökningsbudget. Om du däremot hamnar på en siffra lägre än 3 så ligger du bra till.
Statistik för genomsökning i Google Search console

“Statistik för genomsökning” i Google Search Console

Så ökar du din hemsidas crawlbudget

Låt oss gå igenom vilka åtgärder som faktiskt kan hjälpa till att öka din hemsidas crawlbudget.

Åtgärda brutna länkar/sidor med felmeddelanden

Först och främst bör du säkerställa att de sidor som spindlas utav Google är fullt fungerande och resulterar i rätt svarskoder, dvs “200” alternativt “301”. Sidor med andra svarskoder än dessa bör tas bort/exkluderas. Du kan använda verktyg som Screaming Frog eller SEMrush för att analysera antalet sidor som finns och dess svarskoder.

Blockera utvalda sidor från indexering

Det finns sidor på hemsidan som nödvändigtvis inte behöver indexeras eller spindlas.

 

Några exempel på sidor som oftast kan exkluderas är:

  • Integritetspolicy
  • Cookie-policy
  • Onödiga tagg-sidor
  • Onödiga arkiv-sidor
  • Författarsidor
  • Query-strängar (skapas ofta utav produktfilter exempelvis)

Undvik eller minska ner på antalet redirect chains

Redirect chains, kallat ompekningskedjor på svenska, inträffar när det används flera redirects/omdirigeringar från url/webbadress till en annan.

Exempel: URL A omdirigerar till URL B vilket i sin tur omdirigerar till URL C. Denna omdirigeringskedja innebär att det tar betydligt längre tid för URL C att laddas för både besökare och sökmotorer, och något som bör ses över och undvikas för att säkerställa att samtliga sidor du vill ska indexeras ska kunna göra just det. Omdirigeringskedjor kan i värsta fall resultera i att målsidorna inte indexeras överhuvudtaget.

Öka antalet externa länkar till din hemsida

När det gäller att få Google att öka det genomsnittliga antalet webbadresser som genomsökes på daglig basis för just din hemsida så kan antalet externa länkar och refererade domäner till din hemsida spela roll. Att få andra hemsidor att länka till din hemsida kan vara svårt och inte minst ta väldigt lång tid, men om innehållet på din hemsida är av hög kvalitet och intressant för besökaren att ta del av, och om du dessutom uppmuntrar till delning på olika sätt, så kan detta uppnås helt naturligt.

Vill du ta din digitala marknadsföring till en ny nivå?

Hos Frankly Media jobbar SEO, SEM & SoMe-specialister som alla är experter på deras olika arbetsområden. Fyll i formuläret nedanför så berättar vi mer om hur vi kan öka er digitala närvaro. Du kan även maila oss på info@franklymedia.nu.