Semalt: Hur vet Google när (och varför) att sluta genomsöka din webbplats?

Googles spindlar är lika viktiga som själva SEO-kampanjen när du marknadsför en webbplats. De genomsöker webbplatser och indexerar innehåll från alla sidor den kan hitta. Den utför också omindexering på uppdaterade sidor på webbplatsen. Det gör det regelbundet, baserat på flera faktorer. De inkluderar, men inte begränsat till, PageRank, genomsökningsbegränsningar och länkar som finns på sidan. Hur många gånger Google-spindlarna kryper en webbplats beror på en eller flera av dessa faktorer.

En webbplats ska enkelt kunna navigeras av besökarna såväl som av Google-krypspindlarna. Det är anledningen till att en crawlvänlig webbplats är en extra fördel för sin SEO-kampanj. Annars kommer Google inte att kunna få tillgång till innehållet och därmed minska webbplatsens ranking på sökmotorens rankningssida.

Ross Barber, kundframgångschef för Semalt , definierar att två av de viktigaste indexeringsfaktorerna som Google förlitar sig för att påverka sitt beslut att antingen sakta eller sluta genomsöka din webbplats är anslutningstid och HTTP-statuskod. Andra inkluderar disavow-kommandot, "no-follow" -taggar och robots.txt.

Anslut tid och HTTP-statuskoder

Anslutningsfaktorn hänför sig till den tid som Google Crawl Bot tar för att nå webbplatsservern och webbsidorna. Hastighet uppskattas mycket av Google eftersom det mycket tyder på god användarupplevelse. Om webbsidan inte är hastighetsoptimerad, kommer webbplatsen att rangordnas dåligt. Googles spindlar kommer att göra försök att nå webbplatsen, och om det tar tid att skapa en anslutning är de tillbaka och kryper den mindre ofta. Dessutom, om Google pressar på att indexera webbplatsen med den nuvarande hastigheten, kan det avbryta användarupplevelsen eftersom det kan bromsa sin server avsevärt.

Den andra indexeringsfaktorn är HTTP-statuskoder som hänvisar till hur väl servern svarar på en begäran om att genomsöka webbplatsen. Om statuskoderna ligger inom 5xx-intervallet tar Google på sig att stoppa eller fördröja hastigheten som de genomsöker den aktuella webbplatsen. Allt inom 5xx-serien är en indikator på möjliga problem med servern och att det kan vara problematiskt att svara på förfrågan. På grund av risken för att orsaka ytterligare problem kommer Google-bots att stiga åt sidan och göra indexering när servern är mer tillgänglig.

När återupptar Google genomsökning av webbplatsen?

Google tror på att ge användare den bästa upplevelsen och kommer att rangordna webbplatser som optimerar deras SEO-element mot dessa mål högt. Men om webbplatsen för närvarande visar problemen som nämns ovan kommer den att beordra sin Googlebot att försöka genomsöka den vid ett senare tillfälle. Om problemen kvarstår kommer ägaren att förlora på en stor möjlighet att få Google att gå igenom dess innehåll och tilldela det en välförtjänt rang i sökresultaten. Utöver dessa problem kommer alla tecken på skräppost att webbplatsen blockeras från att någonsin visas i sökresultaten.

Liksom alla andra algoritmer som Google använder, är dess spindlar också automatiska. De är utvecklade för att hitta, genomsöka och indexera innehåll baserat på vissa parametrar. Om webbplatsen inte överensstämmer med vissa bästa metoder kommer indexering inte att ske. Det finns många andra faktorer, men kom alltid ihåg att vara noga med att ansluta tid och HTTP-statuskoder på din webbplats.