Slår du på beskyttelse mot roboter? Pass på at du ikke stenger Google ute
Google advarer mot at bred robotbeskyttelse kan stenge ute Googles egen robot – og da kan sidene dine forsvinne fra søket. Slik unngår du det.
Onsdag 11. november publiserte Google et blogginnlegg og en kort video om noe som kan gå galt når en nettside flyttes over på et såkalt CDN. Et CDN (content delivery network) er et nettverk av servere som lagrer kopier av nettsiden din nærmere de besøkende, slik at den lastes raskere. Mange bruker det også fordi det gir beskyttelse mot angrep og uønskede roboter.
Google peker på to problemer. Det første er teknisk: Når nettsiden plutselig svarer mye raskere, tolker Googles robot (Googlebot) det som at serveren har fått kraftigere maskinvare, og begynner å hente flere sider. Men et nytt CDN har ennå ikke lagret kopier av sidene, så alle forespørslene går rett videre til den egentlige serveren din. Den kan da bli overbelastet.
Det andre problemet er ifølge Search Engine Roundtable det største for synligheten i søk: at man svarer på pågangen ved å slå på bred robotbeskyttelse, og dermed også stenger ute Google.
Hva betyr det for en liten bedrift?
Du trenger ikke ha flyttet til et CDN for at dette skal gjelde deg. Mange småbedrifter har nettsiden bak en tjeneste med en bryter for «blokker roboter», «bot-beskyttelse» eller en «er du et menneske?»-sjekk. Etter all omtalen av AI-tjenester som henter innhold fra nettsider, er det fristende å skru alt på.
Problemet er at Googlebot også er en robot. Ifølge Google kan en beskyttelse uten unntak for godkjente søkemotorer gjøre at roboten blir stående fast på en feilside. Da trekker Google seg tilbake, og sidene dine begynner å falle ut av søket. Ifølge PPC Lands gjennomgang av videoen sier Google at også produkter kan forsvinne fra Google Shopping. Google har ikke sagt hvor raskt det skjer.
Det kan være lett å overse. Du og kundene dine kan se nettsiden som normalt, mens det er Google som blir stoppet i døren.
Hva bør du gjøre?
- Finn ut hva nettsiden din står bak. Spør den som drifter nettsiden: Bruker vi et CDN eller en brannmur for nettsider, og hvilke regler for roboter er slått på?
- Sørg for at godkjente søkemotorer slipper inn. Ifølge Google har de fleste store CDN- og brannmurtjenester en egen innstilling for å slippe inn kjente, verifiserte roboter. Den bør være på.
- Blokker heller bestemte roboter enn alle. Vil du holde ute enkelte AI-tjenester, anbefaler Google å gjøre det med regler rettet mot akkurat dem, for eksempel i filen robots.txt, i stedet for å blokkere all automatisk trafikk. Vi skrev nylig om den nye felles regelen for å si nei til AI-trening.
- Bremse, ikke stenge. Blir serveren overbelastet av Googles robot, anbefaler Google å svare med en midlertidig feilkode (429 eller 503, som betyr «for mange forespørsler» og «midlertidig utilgjengelig») i en kort periode – noen timer, eller én til to dager på det meste. Varer det lenger, kan sidene falle ut av søket. En hard sperre («403 Forbidden») eller en «du er blokkert»-side er ikke veien å gå.
- Varm opp før du flytter. Skal du flytte til et CDN, anbefaler Google å hente de viktigste sidene gjennom CDN-et i rolig tempo på forhånd, slik at kopiene ligger klare. Det gjelder særlig sidene som får mest trafikk og sider du skal bruke i en kampanje.
- Følg med i Google Search Console. Det gratis verktøyet fra Google viser om antall sider i søket plutselig synker, og du kan teste om Google får hentet en bestemt side. Se Finner Google bare forsiden din? for hvordan du gjør det.
Kort oppsummert
Beskyttelse mot uønskede roboter er fornuftig, men den må skille mellom roboter du vil ha og roboter du ikke vil ha. Har du nylig slått på noe slikt, eller byttet leverandør, er det verdt å spørre den som drifter nettsiden om Google fortsatt slipper inn – og sjekke Search Console de neste ukene.
Kilder
- Google Search Central: Moving to a CDN without overwhelming your origin (or blocking Googlebot) (11. november 2026)
- Search Engine Roundtable: Google On How Moving to a CDN Can Accidentally Overwhelm Your Website (11. november 2026)
- PPC Land: Google says CDN bot blocks can drop products from Shopping and ads (12. november 2026)
Mer fra Aktuelt
Ny felles regel lar deg si nei til AI-trening. Bør bedriften din bruke den?
Google, Microsoft, OpenAI og Anthropic vil støtte én felles linje i nettsiden som sier nei til AI-trening. For de fleste småbedrifter er det likevel lurt å tenke seg om før man bruker den.
Les artikkelenEUs tilgjengelighetsdirektiv gjelder ikke i Norge ennå – men nettsiden din har krav allerede
Mange tror de har god tid fordi EUs nye regler er forsinket i Norge. Men norske regler om universell utforming gjelder alle bedrifter med nettside – uansett størrelse.
Les artikkelen