Htmly
SEO & Indexação

Gerador de robots.txt

Crie o arquivo robots.txt perfeito para seu site. Controle quais páginas os buscadores podem acessar.

2 usos

Use * para todos os bots, ou especifique: Googlebot, Bingbot, etc.

User-agent: *
Disallow: /admin/
Allow: /

Como usar o Gerador de robots.txt

  1. 1

    Configure as regras

    Defina o User-Agent e adicione regras de Allow/Disallow para controlar quais páginas os crawlers podem acessar.

  2. 2

    Adicione sitemaps

    Informe a URL do seu sitemap XML para facilitar a indexação do seu site pelos buscadores.

  3. 3

    Copie o arquivo

    Copie o conteúdo gerado ou baixe o arquivo robots.txt e coloque na raiz do seu site.

O que é o robots.txt?

O robots.txt é um arquivo de texto colocado na raiz do seu site que instrui os crawlers dos mecanismos de busca sobre quais páginas podem ou não ser acessadas. Ele é essencial para SEO, pois permite controlar a indexação do seu conteúdo, evitar que páginas irrelevantes consumam o orçamento de rastreamento (crawl budget) e proteger áreas administrativas ou privadas da indexação. Todos os principais buscadores, como Google, Bing e Yahoo, respeitam as diretivas do robots.txt.

Perguntas frequentes

Onde devo colocar o arquivo robots.txt?
O robots.txt deve ser colocado na raiz do seu domínio, acessível em seusite.com/robots.txt. Ele não funciona em subdiretórios.
O robots.txt bloqueia a indexação de páginas?
Não necessariamente. O robots.txt impede o rastreamento (crawling), mas uma página ainda pode aparecer nos resultados de busca se outros sites linkarem para ela. Para bloquear a indexação, use a meta tag noindex.
O que acontece se eu não tiver um robots.txt?
Sem robots.txt, os crawlers assumem que podem acessar todas as páginas do seu site. Isso pode desperdiçar crawl budget em páginas irrelevantes como painéis administrativos.
Posso usar regras diferentes para bots diferentes?
Sim! Você pode criar blocos separados com User-agent específicos (como Googlebot ou Bingbot) para aplicar regras diferentes para cada crawler.

Seu site com meta tags perfeitas — publique agora

Publicar agora