Arquivo Robots.txt Perfeito e profissional para blogger "2019".
Olá caros leitores e amigos. É com muito amor e prazer que trago para alguns blogueiros as novas configurações profissionais de um arquivo robots.txt.
Quando falamos de arquivo "Robots.txt" estamos à falar de uma configuração que irá instruir aos motores de buscas quais páginas devem ser rastreadas ou não. Visto que, este arquivo é a base principal do SEO de um blogue ou site.
A mal configuração de um arquivo robots.txt pode fazer com que seu blog tenha muitas páginas bloqueadas, erros de coberturas e páginas não encontradas, após várias pesquisas feitas, cheguei a concluir que só podemos bloquear páginas de nossos sites, caso estas sejam totalmente do nosso interesse e que não queremos partilhar as mesmas com mais ninguém.
Comandos principais de um arquivo.
User-agent : * (informa à todos os motores de buscas que podem rastrear seu site)
Disallow : (diz quais páginas de nosso site poderão ser apresentadas nos motores de buscas)
Allow : / (Diz que todas nossas páginas podem ser enviadas à todos motores de buscas).
Como bloquear um página?
Caso você pretende bloquear sua página de seu site siga esta linha...
" exemplo" Disallow : /NET
Disallow : /NET (diz que os motores de buscas não podem apresentar nenhuma de minhas páginas que começa com Net)
Arquivo robots.txt sem bloqueio de páginas
User-agent: *
Allow: /
Sitemap: https://www.walcyr-news.com/sitemap.xml
Arquivo com bloqueio
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.walcyr-news.com/sitemap.xml
Arquivo para quem ganha com o Google AdSense
User-agent: Mediapartners-Google
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.walcyr-news.com/sitemap.xml
Arquivo pra quem quer ganhar dinheiro com várias empresas
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.walcyr-news.com/sitemap.xml
NOTA : Você pode usar qualquer arquivo e fazer a edição, caso não pretenda bloquear páginas ou mesmo bloquear suas páginas. Na configuração do Sitemap, você só precisa remover o link do nosso site e substituir pelo seu link. Recomendo à não bloquear nenhuma página para que os motores de buscas rastreiam seu site na totalidade. Se gostou deixe seu comentário abaixo 👇...
gostei...
ResponderEliminarmas eu ja sabia isso tudo e no meu blog depois de alguns dias bloquea denovo...
mas obrigado por tempo que despensaste pra ajudar blogs com esse problema