Ferramentas de SEO (Robots.txt)

Este ficheiro serve para gerar um arquivo " robots.txt" que se utiliza normalmente para esconder ficheiros ou directórios do seu web site dos motores de busca.

Estes existem de forma a retirar áreas do site ou ate mesmo para definir que robots dos motores de busca aceitamos e ate poder definir qual o intervalo de tempo de crawl entre a captação de cada Link.

Deixo aqui alguns exemplos do que se pode fazer e em baixo tem um Link sobre o mesmo que explica como fazer, como utilizar, enfim todas as dicas e truques utilizados.

Link robots.txt

Exemplos do que se pode conseguir com o robots.txt

Exemplo: "http://www.seudominio.com/teste/" (Exclui /testes/ directoria)
Exemplo: "http://www.seudominio.com/imagens/" (Exclui /imagens/ directoria)
Exemplo: "http://www.seudominio.com/inicial.html" (Exclui /inicial.html pagina web)