Como usar o Verificador de Robôs de IA: lógica, benefícios e tutorial completo

Esta página é o manual completo do Verificador de Robôs de IA: a lógica do que ele testa, por que essa verificação virou necessária, o que você ganha ao corrigir o que ele aponta — e o tutorial de interpretação e correção, resultado por resultado. Para o contexto conceitual dos robôs em si, o guia dos robôs de IA é a leitura complementar.

A lógica da ferramenta

A pergunta que o verificador responde é uma só: quando um robô de IA tenta ler o seu site, o que acontece? A resposta tem três camadas, e a ferramenta testa as três:

1. O que o seu robots.txt declara. A ferramenta lê o arquivo e resolve, para cada um dos 13 robôs de IA relevantes, se a raiz do site está liberada ou bloqueada — usando as mesmas regras de precedência do Google (vence a regra de caminho mais longo; em empate, Allow ganha). Não é um grep pelo nome do bot: um Disallow: / num grupo User-agent: * bloqueia robôs que nem aparecem no arquivo.
2. O que o seu servidor faz na prática. Aqui está o diferencial: a ferramenta faz requisições reais à sua home usando o User-Agent do GPTBot e do PerplexityBot. Se o servidor devolve 403 ou não responde, existe um bloqueio de firewall/WAF que o robots.txt não mostra — e esse é o problema mais grave, porque é invisível.
3. Se o llms.txt existe — o índice opcional do site para modelos de IA.

Dessas três camadas sai um score de 0 a 100, ponderado por um princípio: robôs de busca (os que citam sua marca em respostas) pesam mais que robôs de treino (os que coletam conteúdo para treinar modelos). Estar fora do treino é uma escolha legítima; estar fora da busca é sumir das respostas.

Por que essa verificação virou necessária

Três coisas aconteceram ao mesmo tempo nos últimos dois anos:

Primeiro, apareceu tráfego novo. Uma fatia crescente das decisões de compra começa numa pergunta ao ChatGPT, ao Perplexity ou ao Gemini — e essas respostas citam fontes, com link. Quem os robôs não conseguem ler, não é citado.

Segundo, apareceram bloqueios acidentais. A reação inicial ao boom da IA foi uma onda de tutoriais de “proteja seu conteúdo”, e muita empresa copiou blocos de robots.txt sem entender a diferença entre robô de treino e robô de busca. No nosso estudo com os maiores sites do Brasil, 69% dos sites que bloqueiam robôs de treino derrubaram junto os de busca — quase nunca de propósito. Some a isso firewalls e proteções anti-bot de hospedagem que barram robôs por padrão, sem ninguém ter escolhido, e o resultado é uma quantidade enorme de site invisível para IA por acidente.

Terceiro, ninguém verifica. O bloqueio não dá erro, não aparece no Analytics, não quebra nada visível. O site funciona perfeitamente para pessoas e está fechado para os robôs que decidiriam citá-lo. Sem uma verificação ativa, o problema fica anos sem ser descoberto — foi o que os dados do estudo mostraram.

Benefícios de aplicar

• Descobrir em 30 segundos um problema que pode estar custando citações há meses. É o diagnóstico de melhor custo-benefício de toda a disciplina de GEO.
• Decidir com consciência, seja qual for a decisão. A ferramenta não prega “libere tudo”: ela separa busca de treino justamente para você poder bloquear treino (decisão legítima de direitos de conteúdo) sem sair das respostas. O que ela elimina é o bloqueio acidental.
• Correção pronta para colar. Quando há bloqueio no robots.txt, a ferramenta gera o bloco exato que libera apenas os robôs bloqueados — copiar, colar, pronto.
• Detectar a camada invisível. O teste de acesso real pega bloqueio de WAF que nenhuma leitura de robots.txt no mundo detectaria.
• Evidência para convencer terceiros. O resumo compartilhável (“site X tirou 40/100”) é o argumento pronto para levar ao dev, à agência ou ao chefe.

Tutorial de uso, passo a passo

Passo 1 — Rode a verificação

Abra o verificador, digite o domínio e clique em Verificar site. Leva de 5 a 20 segundos. O resultado vira um link compartilhável (?site=seudominio) — dá para mandar direto para quem vai corrigir.

Passo 2 — Leia o score e o veredito

• 80–100: liberado para o que importa. O que falta costuma ser o llms.txt.
• 50–79: há bloqueios seletivos — confira se foram intencionais.
• 0–49: ou os robôs de busca estão bloqueados, ou o teste real falhou. Nos dois casos, você está fora das respostas de IA e há trabalho a fazer.

O veredito em texto ao lado do score já aponta qual dos cenários é o seu.

Passo 3 — Interprete o teste de acesso real (a seção mais importante)

Duas linhas, GPTBot e PerplexityBot, cada uma com o resultado da requisição de verdade:

• ✅ respondeu normalmente: o servidor não barra o robô por User-Agent. Bom sinal.
• 🚫 devolveu HTTP 403 / não respondeu: existe bloqueio antes do seu site — WAF, CDN ou proteção anti-bot da hospedagem. Este problema não se corrige no robots.txt; a correção é no painel (passo 5).

Leia com a limitação declarada na própria página: a ferramenta falsifica o User-Agent, não o IP de origem. Um firewall que valida a faixa de IP oficial do robô pode se comportar diferente com o robô verdadeiro. Na prática: um bloqueio aqui é sinal forte de problema; um “ok” é bom indício, não garantia.

Passo 4 — Percorra a tabela de robôs

Os 13 robôs aparecem em dois grupos, e a leitura certa é diferente para cada um:

Robôs de busca e resposta (OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-User, Claude-SearchBot, Google-Extended): aqui a meta é ✅ em tudo, salvo decisão muito consciente. Cada 🚫 neste grupo significa “minha marca não pode ser citada por essa engine”. Ao lado de cada bloqueio aparece a regra exata do seu robots.txt que causou (ex.: Disallow: /) — é ela que você vai corrigir.

Robôs de treino (GPTBot, ClaudeBot, Applebot-Extended, CCBot, meta-externalagent, Bytespider): aqui 🚫 pode ser escolha legítima. Se você vive de conteúdo (jornalismo, cursos, banco de imagens), bloquear treino mantendo busca liberada é exatamente a configuração recomendada. Se você vive de ser encontrado, liberar tudo costuma ser o melhor custo-benefício.

O símbolo ☑️ (“liberado pela regra geral”) merece atenção: significa que o robô está liberado por omissão — nenhuma regra o menciona. Funciona, mas é o estado “nunca decidi” que encontramos em 79,8% dos maiores sites do Brasil. Decidir explicitamente é melhor.

Passo 5 — Corrija

Bloqueio no robots.txt: clique em Copiar correção. A ferramenta gera blocos User-agent/Allow apenas para os robôs hoje bloqueados. Cole no final do seu robots.txt (em WordPress: pelo plugin de SEO, em Yoast/Rank Math há editor de robots.txt embutido; em site estático, edite o arquivo). Importante: se você bloqueou os de treino de propósito, apague esses blocos da correção antes de aplicar.

Bloqueio no teste real (403/timeout): o caminho depende de onde está o bloqueio:

• Cloudflare: Security → Bots. O “Bot Fight Mode” e regras de “definitely automated” barram robôs de IA. A partir de 2024-25 existe também o painel dedicado (AI Crawl Control / AI bots) com liberação por robô — configure lá a sua política.
• Wordfence / Sucuri (WordPress): procure a lista de bloqueio de crawlers nas opções de firewall.
• Hospedagem compartilhada: algumas ligam “proteção anti-bot” por padrão; abra chamado pedindo a liberação dos user-agents específicos (GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot).

Sem robots.txt nenhum: por convenção está tudo liberado, mas crie o arquivo mesmo assim — é ele que te dá controle no dia em que você quiser diferenciar treino de busca.

Passo 6 — Reverifique e monitore

Correções de robots.txt valem na hora (o cache da ferramenta é de 30 minutos — se verificar de novo em seguida, aguarde ou acrescente um subdomínio de teste). Depois do ajuste, rode de novo e confirme o score.

Recomendo repetir a verificação uma vez por mês e depois de qualquer mudança de hospedagem, CDN, plugin de segurança ou tema. É o tipo de configuração que “alguém” reverte sem avisar — uma migração de servidor ou um plugin atualizado restauram bloqueios silenciosamente.

Erros comuns

1. Corrigir só o robots.txt quando o problema é o firewall. Se o teste real deu 403, editar o arquivo não muda nada. As duas camadas são independentes.
2. Liberar tudo sem pensar no treino. Se o seu produto é o conteúdo, a configuração fina (busca sim, treino não) existe exatamente para você — use-a.
3. Bloquear Google-Extended “para proteger o SEO”. Ele não afeta o ranking da busca tradicional; bloqueá-lo só tira você das AI Overviews e do Gemini. Foi o robô de busca mais bloqueado do nosso estudo, provavelmente por esse mal-entendido.
4. Verificar uma vez e nunca mais. Configuração de robô regride. Verificação mensal custa 30 segundos.

Depois de liberar

Acesso é o degrau um. A sequência completa:

1. Robôs liberados — você está aqui
2. Meça se a IA já cita a sua marca
3. Publique o índice do seu site (llms.txt)
4. Construa presença nas fontes que as engines consultam