O que é o robots.txt e como ele afeta o Google

Q: O que é o arquivo robots.txt?

O robots.txt é um arquivo de texto simples na raiz do site que diz aos robôs de busca (como o Googlebot) quais páginas ou seções podem ou não ser rastreadas. Funciona como um porteiro: o Googlebot chega, lê as instruções do robots.txt e segue as regras definidas antes de começar a explorar o site.

Q: Bloquear uma página no robots.txt impede que ela apareça no Google?

Não necessariamente. Bloquear no robots.txt impede o rastreamento (o Google não lê o conteúdo da página), mas a URL ainda pode aparecer nos resultados se outros sites linkarem para ela. Para remover completamente uma página do índice, o método correto é usar a meta tag noindex — não o robots.txt.

Q: O Google é obrigado a obedecer o robots.txt?

O Googlebot respeita o robots.txt voluntariamente, por convenção. Tecnicamente, qualquer robô pode ignorar o arquivo. Para impedir o acesso real a conteúdo sensível, use autenticação por senha — o robots.txt não oferece segurança real.

⚠️ Erro comum e fatal

Em 2020, o Google revelou que encontrou sites populares com Disallow: / no robots.txt — bloqueando o rastreamento de todo o site. Esse erro é surpreendentemente comum e pode deixar um site invisível no Google por semanas antes de ser detectado.

O que é o robots.txt

O robots.txt é um arquivo de texto simples, sempre localizado na raiz do domínio: seusite.com.br/robots.txt.

Quando o Googlebot chega para rastrear seu site, a primeira coisa que ele faz é ler o robots.txt. As instruções nesse arquivo dizem quais partes do site ele pode e não pode visitar.

A sintaxe básica

# Permite que todos os robôs acessem tudo
User-agent: *
Allow: /

# Bloqueia uma pasta específica para todos
User-agent: *
Disallow: /admin/

# Bloqueia um robô específico completamente
User-agent: AhrefsBot
Disallow: /

# Informa onde está o sitemap
Sitemap: https://seusite.com.br/sitemap.xml

User-agent

Qual robô a regra se aplica. Use * para todos os robôs ou o nome específico (Googlebot, Bingbot, AhrefsBot).

Disallow

Pasta ou URL que o robô NÃO deve rastrear. Disallow: /admin/ bloqueia tudo dentro de /admin/.

Allow

Usado para criar exceções dentro de uma pasta bloqueada. Exemplo: Disallow: /private/ com Allow: /private/public.html

Sitemap

Informa ao Google onde está o arquivo sitemap.xml — facilita a descoberta de todas as páginas.

#

Comentário — o robô ignora a linha. Use para documentar o propósito de cada regra.

O que bloquear (e o que nunca bloquear)

✅ Bloquear

/admin/

Área administrativa nunca deve ser indexada — não agrega SEO e pode expor informações sensíveis.

✅ Bloquear

/wp-admin/

Painel administrativo do WordPress — mesma lógica acima.

✅ Bloquear

/checkout/

Páginas de checkout não devem ser indexadas — evita problemas de conteúdo duplicado e SEO desnecessário.

✅ Bloquear

/cart/

Carrinho de compras — não deve aparecer nos resultados do Google.

❌ Não bloquear

/ (raiz do site)

NUNCA bloqueie a raiz. Disallow: / impede que o Google rastreie qualquer página do site.

❌ Não bloquear

/blog/

Conteúdo de blog é ouro para SEO. Nunca bloqueie pastas de conteúdo que devem ranquear.

❌ Não bloquear

/produtos/

Páginas de produto precisam ser indexadas para aparecer nas buscas.

❌ Não bloquear

/servicos/

Páginas de serviço são as principais candidatas a ranquear para buscas com intenção comercial.

Como verificar o robots.txt com o Google

O Google Search Console tem uma ferramenta específica: acesse Configurações > Rastreador robots.txt. Ela permite testar se URLs específicas estão bloqueadas ou liberadas para o Googlebot.

Você também pode simplesmente acessar seudominio.com.br/robots.txt no navegador para ler o arquivo atual.

FAQ

O que é o arquivo robots.txt?

Arquivo de texto na raiz do site que instrui os robôs de busca sobre quais páginas podem ou não ser rastreadas. O Googlebot o lê antes de rastrear o site.

Bloquear uma página no robots.txt impede que ela apareça no Google?

Não necessariamente. Bloqueia o rastreamento (o Google não lê o conteúdo), mas a URL ainda pode aparecer se outros sites linkarem para ela. Para remover do índice, use a meta tag noindex.

O Google é obrigado a obedecer o robots.txt?

O Googlebot respeita por convenção, não por obrigação técnica. Para proteger conteúdo sensível de verdade, use autenticação por senha.

Quer garantir que o Google consegue rastrear seu site corretamente?

A BeaverBit configura robots.txt, sitemap e toda a estrutura técnica de rastreamento para que o Google encontre e indexe exatamente o que deve.

Falar com um especialista