Arquivo Robots.txt Perfeito e profissional para blogger "2019".

Olá caros leitores e amigos. É com muito amor e prazer que trago para alguns blogueiros as novas configurações profissionais de um arquivo robots.txt. 

Quando falamos de arquivo "Robots.txt" estamos à falar de uma configuração que irá instruir aos motores de buscas quais páginas devem ser rastreadas ou não. Visto que, este arquivo é a base principal do SEO  de um blogue ou site.

A mal configuração de um arquivo robots.txt pode fazer com que seu blog tenha muitas páginas bloqueadas, erros de coberturas e  páginas não encontradas, após várias pesquisas feitas, cheguei a concluir que só podemos bloquear páginas de nossos sites, caso estas sejam totalmente do nosso interesse e que não queremos partilhar as mesmas com mais ninguém. 

Comandos principais de um arquivo. 

User-agent : * (informa à todos os motores de buscas que podem rastrear seu site) 

Disallow : (diz quais páginas de nosso site poderão ser apresentadas nos motores de buscas) 

Allow : / (Diz que todas nossas páginas podem ser enviadas à todos motores de buscas). 

Como bloquear um página? 

Caso você pretende bloquear sua página de seu site siga esta linha... 

" exemplo" Disallow : /NET 

Disallow : /NET (diz que os motores de buscas não podem apresentar nenhuma de minhas páginas que começa com Net) 

Arquivo robots.txt sem bloqueio de páginas 

User-agent: *

Allow: /

Sitemap: https://www.walcyr-news.com/sitemap.xml

Arquivo com bloqueio 

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.walcyr-news.com/sitemap.xml

Arquivo para quem ganha com o Google AdSense 

User-agent: Mediapartners-Google

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.walcyr-news.com/sitemap.xml

Arquivo pra quem quer ganhar dinheiro com várias empresas 

User-agent: *

Disallow: /search 

Allow: /

Sitemap: https://www.walcyr-news.com/sitemap.xml

NOTA : Você pode usar qualquer arquivo e fazer a edição, caso não pretenda bloquear páginas ou mesmo bloquear suas páginas. Na configuração do Sitemap, você só precisa remover o link do nosso site e substituir pelo seu link. Recomendo à não bloquear nenhuma página para que os motores de buscas rastreiam seu site na totalidade. Se gostou deixe seu comentário abaixo 👇...