Ferramenta grátis

Verificador de robots.txt

Atualizado a · Rankly (TechsOn)

Escreve um site (ou o endereço de uma página) e vê se o Googlebot, o Bingbot e os robots de IA — GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended — podem ler essa página segundo o teu robots.txt. Aplicamos a regra da Google: o grupo do robot (ou o "*"), a regra mais longa ganha e, em empate, ganha o Allow.

Grátis e sem registo. Lemos só o endereço público que indicares, como faria um robot de pesquisa, e não guardamos o resultado.

O que verifica

  • Se existe e como responde: sem robots.txt (404) está tudo permitido; um erro 5xx persistente faz a Google parar de rastrear.
  • Se é mesmo texto: muitos sites de uma só página devolvem o HTML da página inicial em /robots.txt.
  • Grupos e regras: linhas fora de um grupo, campos desconhecidos e diretivas que a Google ignora (Crawl-delay, Noindex, Host).
  • Sitemap: se está declarado e com endereço absoluto.
  • Por robot: uma tabela com o resultado para cada robot e a regra que decidiu.

Bloquear robots de IA: o que muda

GPTBot e Google-Extended controlam o uso do conteúdo para treino e para o Gemini; não afetam a pesquisa normal. OAI-SearchBot e PerplexityBot são os que buscam páginas para citar nas respostas: bloqueá-los tira o site dessas respostas. O robots.txt é um pedido, não uma barreira: os robots bem comportados respeitam-no.

Não confundas com noindex

O robots.txt impede o rastreio, não a indexação: uma página bloqueada pode aparecer na Google sem descrição se outros sites ligarem para ela. Para tirar uma página do índice usa noindex e deixa-a rastrear — o verificador de SEO mostra-o.

Outras ferramentas