Categorias
Marketing Digital

Como alterar o robots.txt no WordPress

Nesse artigo vamos mostrar um passo a passo para você que gostaria de saber como alterar seu arquivo robots.txt no WordPress.

No texto vamos falar sobre:

  1. O que é robots.txt
  2. Como identificar seu arquivo
  3. Plugins para configuração do arquivo no seu site
  4. Como alterar seu robots.txt com regras avançadas

O que é robots.txt?

Esse é um arquivo que você cria para seu site na intenção de facilitar a leitura de suas páginas pelos motores de busca, como Google, Bing, Yahoo.

Os motores de busca tem robôs que fazem o reconhecimento de seu site. É assim que os sites começam a aparecer nas ferramentas de busca. 

Os bots de reconhecimento, depois de rastrear seu site vão saber quais as páginas mostrar nos resultados de pesquisas para determinadas palavras-chave.

Porém, nem tudo do seu site você quer que apareça nas buscas de usuários, não é mesmo?

Por exemplo, sua área de acesso como admin deve ser reservada só para você e quem mais você confie para ser administrador no seu domínio.

É nesse momento que o arquivo robots.txt vai fazer a diferença. Ele vai cumprir o papel de orientar os robôs de reconhecimento a não ler alguns diretórios e áreas reservadas para administradores.

Como identificar o robots.txt do meu site?

Você deve estar se perguntando: Mas onde que fica esse tal arquivo? Como eu encontro ele no meu domínio?

Bom, se você acessou esse conteúdo é muito provável que você utilize o WordPress. Isso já facilita seu trabalho porque o WordPress cria automaticamente o robots.txt para seu site.

Quer conferir?

É fácil: 

  1. Digite no seu navegador: seudominio.com/robots.txt
  2. Pronto rs, você já deve ter encontrado!
Como identificar seu robots.txt

Você deve estar olhando para uma página muito parecida com essa do exemplo acima. 

Mas é claro que não é só aí que você quer localizar seu arquivo. 

Eu diria para você conferir dentro do diretório raiz (roots) do seu site. Atenção: esse mesmo diretório pode estar com a nomenclatura public_html ou ainda www.

O problema é que o robots criado automaticamente pelo WordPress não fica acessível em diretório algum.

Alterar robots.txt via plugin

Mas então, se eu quiser alterar meu robots.txt como será possível?

Nesse conteúdo nós vamos optar pelo caminho mais fácil: via plugin, mais especificamente, o Yoast SEO.

Certo. Então, vamos pro nosso passo a passo:

Primeiro é necessário que você esteja logado como wp-admin no seu site. Clique em Plugins no menu ao lado esquerdo da sua tela e depois em Adicionar novo.

Passo a Passo: configurar plugin yoast SEO

No campo para buscar, procure por Yoast SEO. Instale e Ative o Plugin.

Baixar e instalar Yoast SEO no seu WordPress

Depois de instalado e ativado ele aparecerá no seu menu esquerdo. Clique para abrir as opções e vá para Ferramentas.

Abrir ferramentas para alterar o robots.txt

Em Ferramentas – Yoast SEO, clique em Editor de arquivo.

Ferramentas - Yoast SEO : clicar em editor de arquivo

No primeiro campo você pode editar seu arquivo robots.txt.

Como alterar robost.txt pelo editor de texto do plugin

Não esqueça de Salvar as alterações clicando no botão logo abaixo do editor.

Você deve ter reparado na imagem anterior que nosso robots.txt coloca mais regras para leitura dos bots de reconhecimento. 

Nós decidimos remover alguns diretórios que estavam causando duplicação de conteúdos no nosso site.

Essa é uma técnica de SEO (Search Engine Optimization), uma conhecida estratégia de marketing digital.

Quando criamos tags para conteúdos de blog, por exemplo, essas tags podem duplicar o conteúdo de outros diretórios, como das categorias do seu blog.

Por isso, optamos por retirar do rastreio desses robôs as páginas de tag. Vamos deixar aqui para você copiar e colar, caso queira remover esse tipo de diretório também:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# remova os diretorios
Disallow: /tag/
Disallow: /author/

#Sitemap
Sitemap: https://seusiteaqui.com.br/sitemap_index.xml

Lembrando que tudo que vem depois de uma hashtag (#) não é lido pelos bots. Então essa é uma forma de ordenar sua escrita, como no exemplo acima.

Atenção! 

Se você instalou o Yoast SEO ele cria um Sitemap para seu site. Primeiro é preciso deixar esta opção como ligado.

Sitemap XML ligado

Depois, clique na interrogação ao lado de Sitemaps XML para acessar seu site map.

Sitemap XML no Yoast SEO

Lá você acessa seu Sitemap e encontra a URL para alterar no seu arquivo robots.txt como no exemplo acima.

No próximo conteúdo vamos ensinar você a submeter seu Sitemap e seu arquivo robots.txt ao Google Search Console.

Esperamos ter ajudado com esse conteúdo. Nossa intenção aqui era oferecer a saída mais rápida e simples para quem não é desenvolvedor e ainda está acostumando com esse tipo de linguagem.

Caso tenha gostado, classifique o conteúdo e deixe sua review. Esse tipo de feedback é bem vindo para que possamos aprimorar nossos conteúdos e ajudar ainda mais nossos usuários.

Leave a Review

O seu endereço de e-mail não será publicado.