Tutorial de robots.txt

Videos

Usando anúncios de imagem no seu site

Category:

Google Adsense

Visitantes Online

Temos 36 visitantes em linha

Tutorial de robots.txt

Terça, 29 Julho 2008 02:00

Olá pessoal. Hoje disponibilizarei um tutorial sobre o robots.txt para ajudá-los na otimização de sites.

Como Criar um Arquivo robots.txt

Você pode criar um robots.txt em qualquer editor de texto, mas existem vários geradores que você pode encontrar na web.O google oferece esta ferramenta no Google Webmasters Tools.

Analisando o robots.txt

No Google Webmaster Central, existe uma ferramenta de análise muito eficiente, que mostra os erros que o crawler encontrou durante a anáise do seu site. Mais detalhes podem ser encontrados no meu artigo de otimização de sites usando o google webmaster tools.

Exemplos de Formatação do robots.txt

Permite que todos os arquivos sejam indexados

User-agent: *

Disallow:

Não permite que nenhum arquivo seja indexado

User-agent: *

Disallow: /

Não permite que uma pasta seja indexada, com aexceção do arquivo myfile.html que está dentro da pasta

User-agent: Googlebot

Disallow: /folder1/

Allow: /folder1/myfile.html

Informação Contida no robots.txt

Os search engines são vorazes por padrão. Eles querem indexar o máximo de informação de qualidade que conseguirem, e eles presumem que podem indexar tudo, a menos que alguém diga para eles pararem.

Se você especificar dados para todos os bots (*) e dados para bots específicos (como o Googlebot), então os comandos específicos para bots serão seguidos enquanto o bot especificado (no nosso exemplo o Googlebot) irá ignorar os comandos globais. Logo, se você fizer um comando global que queira aplicar para um bot específico, então você deverá colocar o comando para o bot específico também.

Quando você bloqueia URLs para que elas não sejam indexadas no Google pelo robots.txt, ele (o Google) pode ainda mostrar estas URLs nos resultados das pesquisas. Uma solução completa é bloquear usando as meta tags:

<meta name=”robots” content=”noindex”>
<meta name=”robots” content=”noindex,nofollow”>

Se você não tem um arquivo robots.txt, os logs dos servidores irão retornar erros 404 sempre que um bot tentar acessar o arquivo. Você pode fazer upload do arquivo em branco com o nome robots.txt na pasta raiz do seu site.

Alguns search engines tambeém permitem que você especifique o endereço de um sitemap XML no arquivo robots.txt.

Caracteres Especiais

Google, Yahoo! e MSN permitem o uso de caracteres especiais no arquivo robots.txt.

Para bloquear acesso para todas as URLs que incluem uma interrogação (? - URLs com paâmetros via GET), você deve usar o seguinte código:

User-agent: *

Disallow: /*?

Você pode também especificar arquivos com determinadas extensões usando o cifrão ($). Por exemplo: se você quer bloquear todas as páginas com extensão .asp, coloque no robots.txt :

User-agent: Googlebot

Disallow: /*.asp$

Excentricidades

Sabemos que o Google vem “preenchendo” formulários de pesquisa e indexando as páginas geradas. Para evitar que tais páginas sejam indexadas, bloqueie pelo robots.txt. Suponha que a variável de pesquisa na URL seja “search”. Então você poderia por: