Verificador de robots.txt
Cole a URL do site e veja o robots.txt analisado: grupos de User-agent, regras de bloqueio, Sitemaps e alertas. Direto no navegador, sem cadastro.
Como ler e verificar o robots.txt
O robots.txt é um arquivo de texto na raiz do site, em seusite.com/robots.txt, que diz aos robôs de busca quais partes do site eles podem rastrear. Um erro simples nesse arquivo derruba o rastreamento do site inteiro, então vale verificar de tempos em tempos.
Como ler o robots.txt linha a linha
O arquivo é organizado em grupos. Cada grupo começa com um User-agent (o robô a quem as regras se aplicam) e lista as diretivas abaixo dele. As mais usadas são Disallow (caminho que o robô não deve rastrear) e Allow (exceção que libera um caminho dentro de um bloqueio).
- User-agent: * aplica as regras a todos os robôs. Você também pode mirar um robô específico, como
Googlebot. - Disallow: /admin/ pede para não rastrear tudo dentro de
/admin/. - Disallow: em branco libera o site todo para aquele grupo.
- Sitemap: aponta a URL completa do seu sitemap para ajudar o buscador a achar suas páginas.
Principais diretivas e o que fazem
| Diretiva | Exemplo | O que faz |
|---|---|---|
| User-agent | User-agent: * | Define a qual robô o grupo de regras se aplica |
| Disallow | Disallow: /carrinho/ | Pede para o robô não rastrear esse caminho |
| Allow | Allow: /blog/ | Libera um caminho dentro de uma área bloqueada |
| Sitemap | Sitemap: https://seusite.com/sitemap.xml | Indica onde está o sitemap do site |
Erros comuns no robots.txt
| Erro | Efeito |
|---|---|
| Disallow: / para User-agent: * | Bloqueia o site inteiro para os buscadores |
| robots.txt ausente | O Google rastreia tudo por padrão, sem orientação sua |
| Sem linha Sitemap | Você perde uma dica fácil que acelera a descoberta de páginas |
| Bloquear CSS e JS | O Google pode renderizar a página de forma incompleta |
| Sitemap com URL relativa | A linha Sitemap exige a URL completa para ser lida |
Bloquear rastreamento e bloquear indexação
São coisas diferentes. O Disallow no robots.txt pede para o robô não rastrear a página. Para tirar uma página do índice do Google, use a meta tag noindex no <head> da própria página. Detalhe importante: uma página bloqueada no robots.txt pode até continuar aparecendo na busca, porque o Google não chega a ler o noindex dela. Para remover do índice, libere o rastreamento e use o noindex.
Perguntas sobre robots.txt
O verificador é grátis?
Sim, é grátis e sem cadastro. Você cola a URL do site e recebe a análise do robots.txt na hora.
Onde fica o robots.txt de um site?
Sempre na raiz do domínio, em seusite.com/robots.txt. A ferramenta deriva a origem da URL que você colar e busca esse arquivo automaticamente.
O que significa Disallow: / ?
É a regra que bloqueia o site inteiro para o robô daquele grupo. Quando aparece para o User-agent: *, ninguém da busca rastreia o site, então a ferramenta destaca isso em vermelho.
O robots.txt impede a indexação no Google?
Não diretamente. Ele controla o rastreamento. Para tirar uma página do índice, use a meta tag noindex na página e mantenha o rastreamento liberado para o Google conseguir lê-la.
Preciso declarar o Sitemap no robots.txt?
Não é obrigatório, mas ajuda bastante. A linha Sitemap indica ao buscador onde estão suas páginas e acelera a descoberta. A ferramenta avisa quando ela está faltando.
Meus dados ficam salvos?
A verificação roda sob demanda e o conteúdo do robots.txt não é armazenado.
Quer um blog que já nasce com o SEO técnico certo?
A Automarticles cria seu blog completo, com robots.txt, sitemap, canonical e conteúdo otimizados para o Google e para ser citado por IAs como o ChatGPT. Sem esforço manual.