SEONotícia13 de novembro de 2026

Googlebot bloqueado pela CDN: o que verificar no site da empresa

A Google voltou a avisar a 2026-11-11: a CDN e a firewall podem travar o Googlebot. Veja quem tem de mudar regras e a checklist para verificar o seu site.

Dappio

TL;DR

A CDN ou a firewall do site podem deixar o Googlebot bloqueado: se a proteção anti-bot o desafiar sem exceção, as páginas começam a sair da Pesquisa, lembrou a Google a 2026-11-11.

  • É orientação da Google, não uma regra nova, e não tem prazo.
  • Na Vercel, a proteção contra bots vem desligada e exclui os bots verificados; na Cloudflare, os bots verificados ficam por norma fora das regras de bots por defeito. Quem não mexeu nessas regras só tem de verificar.
  • Regras próprias, listas de bloqueio de IP ou uma migração para CDN à vista obrigam a rever as regras.
  • Verifica-se com o teste em direto do URL publicado, na Inspeção de URL do Search Console.

Googlebot bloqueado: o que a Google repetiu e o que acrescentou

A 2026-11-11, o Google Search Central voltou a avisar quem põe o site atrás de uma CDN (rede de distribuição de conteúdos, que serve cópias das páginas a partir de servidores próximos do visitante): a proteção anti-bot generalizada trava os crawlers da Google, que falham os desafios do tipo CAPTCHA, e as páginas começam a sair da Pesquisa. O aviso parte de um efeito conhecido: logo a seguir a pôr o site atrás de uma CDN, o rastreio que chega ao servidor de origem pode disparar. É orientação de Cherry Prommawin e Gary Illyes, não uma regra nova, e boa parte já vinha de 2024. O aviso não traz prazo nem data de entrada em vigor.

O que já estava na orientação de 2024

O post de 2024-12-24 já dizia que uma CDN nova arranca com a cache fria, pelo que o primeiro pedido de cada URL vai ao servidor de origem, e que, ao lançar muitos URL de uma vez num site com CDN, o rastreio deve ficar alto durante alguns dias. Já avisava contra a proteção excessiva e recomendava rever, de vez em quando, as listas de bloqueio de IP, e já indicava a Inspeção de URL do Search Console para ver se a página chega ao Googlebot. A documentação da Google sobre verificação de crawlers, códigos HTTP e redução da taxa de rastreio já existia (atualizada a 2026-03-20, 2026-02-04 e 2026-10-06, respetivamente).

O que o post de 2026 acrescenta

  • Não reagir ao pico de rastreio ligando a proteção anti-bot para todo o tráfego automático.
  • Isentar os bots verificados (crawlers que se identificam de forma comprovável, como o Googlebot) com o interruptor ou a regra gerida que a própria CDN ou WAF oferece.
  • Pré-aquecer a cache antes da mudança.
  • Pôr um teto aos códigos de resposta 429 (demasiados pedidos) ou 503 (serviço indisponível), que a Google já recomendava em 2024: o limite de 1 a 2 dias passa a ser um máximo.

A quem se aplica o aviso e quem só tem de verificar

Para quem usa a Cloudflare ou a Vercel sem regras próprias, o aviso de 2026-11-11 pede uma verificação e não uma mudança. Têm de rever regras quatro casos: quem mudou as regras da CDN ou da firewall de aplicação (WAF, o filtro que analisa cada pedido antes de chegar ao site e trava o que parece abusivo), quem tem IP da Google numa lista de bloqueio, quem vai migrar para uma CDN e quem precisa de travar o rastreio com limitação de taxa. O aviso vale para qualquer site que dependa da pesquisa da Google, seja qual for o setor.

Na Cloudflare, a documentação atualizada a 2026-11-12 diz que, historicamente, as configurações de bots por defeito excluem os bots verificados, em todos os planos. Na Vercel, a de 2026-09-10 diz que a proteção contra bots vem desligada e que, quando ligada, os exclui.

SituaçãoO que fazer
Vercel com as definições por defeito, ou Cloudflare sem regras nem políticas própriasSó verificar
Outra CDN ou WAF, ou não sabe qualConfirmar com quem gere o site se os bots verificados estão isentos
Regras próprias de bloqueio ou desafio na CDN ou na WAFIsentar os bots verificados
IP da Google numa lista de bloqueioRever a lista
Migração para uma CDN à vistaPré-aquecer a cache
Precisa de travar o rastreio429 ou 503 durante pouco tempo

O que muda na gestão de um site atrás de uma CDN

Em cada regra de segurança de um site atrás de uma CDN, a pergunta que o aviso de 2026-11-11 recupera é esta: o Googlebot continua a passar?

Regras de WAF e proteção anti-bot

O risco é uma regra que trata o Googlebot como qualquer outro cliente automático. Segundo a Google, a maioria das grandes CDN e WAF tem uma regra gerida que o evita, e a alternativa é visar só os bots indesejados. Na Vercel, a proteção já isenta os bots verificados, mas o dono pode bloqueá-los com regras próprias.

AspetoRegra que desafia tudoRegra com bots verificados isentos
O que o Googlebot vêUm desafio do tipo CAPTCHA, que falhaA página
Efeito na PesquisaPáginas começam a sairRastreio normal

Na prática, o erro nasce quase sempre numa regra própria: um bloqueio por país, por user-agent ou por desafio, criada para travar abuso, que não tem exceção para os bots verificados. Se essa regra responder ao Googlebot com 403, a página sai do índice. O que fazer: em cada regra própria que desafia ou bloqueia, confirmar que há uma exceção para os bots verificados.

Listas de bloqueio de IP

Um IP da Google pode entrar numa lista de bloqueio sem o dono saber. O que fazer: revê-la de vez em quando. Para rever uma lista longa, basta procurar os primeiros segmentos das gamas de IP que a Google publica, em vez de cada endereço.

Migração para uma CDN: pré-aquecer a cache

O risco é a origem não aguentar enquanto a cache está fria, porque os crawlers percorrem todos os URL e os visitantes ficam por poucas páginas. Muitas CDN dosam as ligações, mas até a cache aquecer é a origem que faz o trabalho. Pré-aquecer é pedir, através da CDN e antes de encaminhar o tráfego, as páginas com mais visitas, as de picos previstos e os URL mais rastreados. Faz-se a ritmo controlado e antes de mudar o DNS (a configuração que diz à internet onde está o site). Um pico de rastreio nos registos assusta, mas é a cache a aquecer.

Limitação de taxa: 429 e 503 por pouco tempo

Para aliviar a origem, pode travar-se o rastreio com 429 ou 503 durante algumas horas, no máximo um ou dois dias, segundo o post. A documentação dá o mesmo intervalo só como exemplo e aceita também o 500. O risco é deixar o travão ligado. Estes erros abrandam o rastreio em todo o domínio ou subdomínio (por exemplo, www.exemplo.pt), incluindo as páginas que respondem bem. Se continuarem, os URL indexados acabam por sair do índice. O que fazer: juntar o cabeçalho Retry-After, que diz quando voltar, e decidir à partida quando a regra se desliga.

O que fazer agora: checklist para confirmar que o Googlebot passa

Confirmar que o Googlebot passa é começar pelo teste em direto, que mostra se a página chega inteira, e depois rever as regras da CDN e da firewall. Por esta ordem:

  • Fazer o teste em direto do URL publicado, na Inspeção de URL do Search Console, a duas ou três páginas importantes e ver a captura de ecrã da página testada.
  • Se a captura de ecrã mostrar uma página vazia, um erro ou um desafio, falar com quem gere a CDN.
  • Perguntar a quem gere o site: que CDN ou firewall usamos? Temos regras próprias de bloqueio ou de desafio? Os bots verificados estão isentos?
  • Rever as listas de bloqueio de IP.
  • Antes de uma migração, planear o pré-aquecimento da cache.
  • Se tiver de travar o rastreio, confirmar que a regra devolve 429 ou 503 e que é desligada ao fim de horas, ou de 1 a 2 dias no máximo.

Fontes desta análise

Perguntas frequentes sobre CDN, firewall e rastreio

Como confirmar que um pedido vem mesmo do Googlebot?

Pelo DNS inverso: o IP do pedido tem de resolver para um domínio googlebot.com, google.com ou googleusercontent.com, e o DNS direto desse domínio tem de devolver o mesmo IP. Em alternativa, compara-se o IP com as gamas que a Google publica.

Uma página que devolve 403 ao Googlebot sai do índice?

Sim. A documentação da Google trata os códigos 4xx, exceto o 429, como conteúdo inexistente, e um URL indexado que passa a devolver 403 sai do índice.

Servir a página de erro com código 200 evita o problema?

Não. Uma página de erro com código 200 é o que a Google chama um erro suave (soft error): uma página de erro que o servidor apresenta como normal. O URL pode sair da Pesquisa ou ser eliminado como duplicado e, nesse caso, a recuperação pode demorar mais.

A proteção anti-bot da Vercel funciona com a Cloudflare à frente?

Não. A documentação da Vercel, atualizada a 2026-09-10, diz que a proteção contra bots não funciona com um proxy inverso à frente do site alojado na Vercel, seja a Cloudflare ou outra CDN.