Em outubro, uma loja que atendemos começou a cair no Google. Em poucos dias, categorias que estavam na primeira página sumiram das buscas. O site estava no ar, rápido e sem erro para quem visitava. O problema estava numa opção de segurança ligada semanas antes.

O que aconteceu

O Cloudflare oferece uma configuração para bloquear robôs que coletam conteúdo para treinar inteligência artificial. Na loja, ela estava no modo "Bloquear" e, junto com os robôs de IA, passou a barrar o Googlebot e o Bingbot, que são os robôs que leem o site para montar o resultado das buscas.

Para o visitante, nada mudou. Para o Google, as páginas da loja passaram a responder com erro de acesso. Sem conseguir ler as páginas, o buscador começou a tirá-las do índice.

Como perceber antes do estrago

O Search Console mostra o problema antes das vendas caírem. Três sinais aparecem juntos quando o robô do Google é barrado:

  • o relatório de Páginas registra um aumento de páginas com erro ou bloqueadas, sem mudança no site;
  • o relatório de Estatísticas de rastreamento mostra muitas respostas com código 403;
  • a ferramenta Inspeção de URL, no teste ao vivo, não consegue buscar a página.

Se os três aparecem logo depois de uma mudança de segurança, a causa quase sempre está na regra nova.

Como corrigimos

Mantivemos o bloqueio de robôs de treinamento e criamos uma regra de exceção no WAF do Cloudflare que libera os bots verificados antes de qualquer outra regra de bloqueio. O Cloudflare mantém uma lista de robôs conhecidos, como Googlebot, Bingbot e o robô do Merchant Center, e confere se o acesso vem mesmo dessas empresas. Assim, um robô qualquer que se apresenta como Googlebot continua barrado.

Depois da exceção, testamos com a Inspeção de URL do Search Console até o teste ao vivo voltar a funcionar e pedimos a reindexação das páginas principais: início, categorias com mais vendas e produtos campeões.

Passo a passo para conferir o seu site

  • No Cloudflare, abra Segurança e procure as configurações de bots e de robôs de IA.
  • Se o bloqueio de treinamento de IA estiver ligado, confira em Regras de segurança se existe uma regra que libera bots verificados e se ela vem antes das regras de bloqueio.
  • No Search Console, rode a Inspeção de URL na página inicial e numa categoria, sempre com o teste ao vivo.
  • Acompanhe o relatório de Páginas por duas semanas depois de qualquer mudança de segurança.

Dica: Toda regra nova de bloqueio deve passar por um teste com o Googlebot antes de ficar ativa. Na Leshi, esse teste faz parte do roteiro de segurança de todo site.

Quanto tempo leva para voltar

Depois da correção, as páginas voltam ao índice conforme o Google rastreia o site de novo. Pedir a reindexação das páginas principais acelera o retorno delas. As posições costumam voltar junto, porque o conteúdo e os links continuam os mesmos.

Proteger a loja contra robôs é necessário. O cuidado é deixar a porta aberta para os robôs que trazem cliente.