Gerador de robots.txt

O gerador de robots.txt monta o arquivo certo para o seu site em segundos. Escolha permitir tudo, bloquear tudo ou criar regras personalizadas, copie o resultado e publique na raiz do domínio. Abaixo você encontra um guia completo da sintaxe, dos erros que derrubam o SEO e de como lidar com os bots de IA.

O que é o robots.txt e onde ele fica

O robots.txt é um arquivo de texto simples que diz aos robôs de busca quais partes do site eles podem rastrear. Ele é a primeira coisa que o Googlebot lê quando chega no seu domínio. As regras dele orientam o rastreamento, mas não dispensam senha: conteúdo sensível deve sempre ficar protegido por autenticação.

O arquivo precisa ficar na raiz do domínio e abrir em https://seusite.com/robots.txt. O nome é sempre robots.txt, tudo em letras minúsculas. Cada subdomínio e cada protocolo tem o seu próprio arquivo, então blog.seusite.com usa um robots.txt separado de seusite.com.

Sintaxe e diretivas do robots.txt

Um robots.txt é formado por blocos. Cada bloco começa com a diretiva User-agent, que define a qual robô as regras valem, seguida de uma ou mais linhas Disallow e Allow que fecham ou abrem caminhos. A linha Sitemap pode aparecer em qualquer ponto e aponta para o seu mapa do site.

Os curingas * e $

O asterisco (*) representa qualquer sequência de caracteres, então Disallow: /*.pdf$ bloqueia todos os arquivos PDF do site. O cifrão ($) marca o fim da URL e evita que você bloqueie endereços parecidos por engano. Os dois funcionam no Google e no Bing, mas nem todo robô entende curingas, então use com cuidado.

Onde colocar o arquivo

Salve o resultado com o nome robots.txt e envie para a pasta principal do servidor, de modo que ele abra em https://seusite.com/robots.txt. Para testar, basta digitar esse endereço no navegador. O Google também tem um relatório de robots.txt no Search Console que mostra a última versão lida e avisa sobre erros.

Bloquear rastreamento x bloquear indexação

Esse é o erro de SEO mais comum com robots.txt. Bloquear uma página no robots.txt impede o rastreamento, mas não a tira do índice do Google. Se outros sites apontam links para ela, o endereço pode aparecer na busca sem título nem descrição. Para tirar uma página dos resultados, deixe que ela seja rastreada e use a meta tag <meta name='robots' content='noindex'> no HTML. O robots.txt controla quem entra; o noindex controla o que fica no índice.

Erros comuns que derrubam o SEO

• Bloquear o site inteiro sem querer: uma linha Disallow: / esquecida do ambiente de testes impede o Google de rastrear qualquer página.
• Bloquear CSS e JavaScript: o Google precisa desses arquivos para renderizar a página. Fechar /assets/ ou /js/ pode fazer ele enxergar um layout quebrado.
• Usar o robots.txt para esconder conteúdo: páginas bloqueadas ainda aparecem na busca se tiverem links. Para isso existe a tag noindex.
• Errar maiúsculas e minúsculas: os caminhos diferenciam capitalização, então /Admin e /admin são tratados como endereços distintos.
• Esquecer a linha Sitemap: incluir o Sitemap ajuda os robôs a encontrar todas as URLs que você quer indexar.

Como controlar os bots de IA

Os robôs de IA também respeitam o robots.txt. Você decide se quer que o seu conteúdo alimente modelos como o ChatGPT, o Claude e o Gemini ou apareça nas respostas dessas ferramentas. Cada empresa usa um User-agent próprio, e você bloqueia ou libera cada um igual a qualquer outro robô.

Para bloquear qualquer um deles, monte um bloco com o User-agent do robô e a linha Disallow: /. Por exemplo, User-agent: GPTBot seguido de Disallow: / pede ao robô da OpenAI que não colete nenhuma página. Lembre que isso é um pedido: robôs bem comportados obedecem, mas o bloqueio não funciona como barreira técnica.