Olá leitores do blog da MestreSeo, na semana passada estivemos no SMX Brasil realizado na cidade de São Paulo, queria deixar aqui um abraço a todos que eu encontrei por lá que estão lendo este artigo, seguindo um pouco a linha do evento, hoje daremos 4 dicas BÁSICAS, ou 4 coisas que você deve saber a respeito do robots.txt.

O uso do robots.txt se tornou amplamente utilizado para um método de controle e rastreamento do seu site. Assim tornou-se uma das primeiras coisas que você deve verificar para diagnosticar problemas de indexação ou algum outro problema no seu site. Embora quase todos os webmasters já utilizem esse arquivo, ainda há algumas coisas que causam mal entendidos, vamos a elas:

1-) Robots.txt pode evitar que os bots entrem em uma determinada página ou diretório, mas se a url já foi indexada anteriormente a partir de fontes externas, ela usará essas informações para fazer o julgamento da página e formular os snippet (título e descrição que aparecerá nos players de busca).

2-) Se você usa uma definição geral para todos os bots (ou seja: user-agent: *) e uma definição para um bot específico (por exemplo: User-agent: googlebot) nas seções de User-agent, tenha em mente que o Google (e outros indexadores) só seguirá as seções mais específicas e irá ignorar todas as outras seções (incluindo a geral). Ex:

3-) Dentro do arquivo robots.txt os bots lêem uma instrução em uma url a partir da esquerda para a direita, o que significa que eles bloqueiam ou permitem tudo após o “/” em uma url, por exemplo se você colocar: “Disallow: /a” tudo que começa com “a” será descartado pelos bots, neste caso a página www.seudominio.com.br/about.html será descartada pelo user-agent.

4-) Pensando no lado da segurança e SEO, seu site DEVE ter esse arquivo robots.txt mesmo que você não queira deixar nenhuma direção para o bot, neste caso faça o arquivo e deixe o padrão:

User-agent: *

Disallow:

Por isto, tenha a certeza de que:

• Todos os indexadores buscam entender o que você quer dizer corretamente.

• Os indexadores sempre consigam acessar o seu robots.txt, por isso, sempre olhe o log do Google Webmaster Tools para ver se o Google bot encontrou seu arquivo corretamente.

• Bots não irão esperar para indexar seu site em caso de não poderem atingir seu Robots.txt (um caso muito improvável, mas pode acontecer assim mesmo).

Bom é isso, um abraço a todos.

• Otimizando o Site com o Google Webmaster Tools
• Glossário SEO e SEM
• Encontre Conteúdo Duplicado Com o Google
• SEO: Dê Mais Importância as Keywords
• Google Sitelinks - O Bom, O Ruim e o Feio
• Fórum de SEO e Ferramentas de SEO
• Troque A Ordem De Suas Keywords
• SEO: Como os Search Engines Trabalham com os Inbound Links
• Tutorial de robots.txt
• Resultado da Promoção SMX São Paulo

Otimização de Sites e Links Patrocinados

Procurando uma empresa séria, experiente e com conhecimento em Otimização de Sites ou Links Patrocinados?
Entre em contato e solicite um orçamento.

Robots.txt: 4 Coisas Que Você Deve Saber

Fonte: Mestre SEO