A IMPORTÂNCIA DE UM ARQUIVO ROBOTS TXT

A Agência Ilumina possui diversas soluções para você atingir os melhores resultados com a melhor precisão, utilizando estratégias personalizadas para diversos segmentos, de modo que você possa alcançar o seus objetivos aumentando seu faturamento e projetando sua empresa tornando-se referência em seu segmento..

Uma das ferramentas essenciais para uma interação de resultados entre sua empresa e o mercado virtual é nossa metodologia atualizada de SEO. Ganhe relevância através de nossas soluções personalizadas. Cada negócio possui uma necessidade específica e trabalhar a individualidade do seu “produto” é um fator determinante para o sucesso, haja vista que não são todos os ramos que funcionam do mesmo modo na internet. Por isso faremos uma análise minuciosa, analisando todo funcionamento sistemático do seu segmento, de modo há atingir um público-alvo segmentado e gerar resultados mais efetivos.

Através de um departamento de criação e programação onde será analisado e criado o arquivo robots.txt direcionado atender a su necessidade em específico, informando aos webcrawlers (robôs dos mecanismos de busca) a estrutura que deve ou não indexar facilitando e otimizando o sistema de busca.

Para indexar todos os arquivos do seu site crie um arquivo robots.txt com o seguinte conteúdo:

User-agent: *

Disallow:

Para que nenhum arquivo seja indexado:

User-agent: *

Disallow: /

Para que uma pasta específica não seja indexada:

User-agent: *

Disallow: /Pasta1/

No caso de haver um único arquivo dentro desta mesma pasta a ser encontrado pelo webcrawler, utilize:

User-agent: *

Disallow: /Pasta1/

Allow: /Pasta1/MeuArquivo.html

Vale salientar que existe a possibilidade de criar regras específicas para cada mecanismo de busca. Segue exemplo em parte com regras gerais para todos os webcrawlers e em parte regras específicas para o Googlebot:

User-agent: *

Disallow: /Pasta1/

Allow: /Pasta1/MeuArquivo.html

User-agent: Googlebot

Disallow: /Adm/

Assim o Googlebot desconsidera o primeiro bloco de regras e o Google só não indexaria a pasta Adm conforme comando de restrição acima.

Ainda que bloqueie as URLs para que não sejam indexadas no Google pelo robots.txt, o Google pode mostrá-las nos resultados das pesquisas. Para que isso não ocorra utilizaremo a Meta Tag abaixo:

Pode-se criar regras utilizando caracteres especiais, assim é possível criar uma regra abrangente que englobe diversas páginas. Se desejar que os arquivos .php não sejam indexados pode-se criar uma regra a partir deste padrão:

User-agent: *

Disallow: /*.php$

Se a pesquisa gera parâmetros indesejados para e não deseja que os mecanismos de busca indexem, crie uma regra igual ao exemplo abaixo:

User-agent: *

Disallow: /?busca=

Qual a maneira correta de criar um arquivos deste?

Inicialmente deve-se abrir o bloco de notas e criar o arquivo manualmente. Posteriormente deve-se utilizar uma ferramenta para facilitar a consecução desta ferramenta.

Caso utilize as Ferramentas para Webmasters (Webmaster Tools) pode ainda utilizar o seu assistente para gerar arquivos robots.txt.

Acesso facilitado:

· Clique em Configuração do site

· Depois clique em Acesso do rastreador

· Na página que abrir clique em Gerar robots.txt

Quando terminar de criar suas regras você poderá fazer o download do arquivo robots.txt.

Com o arquivo em mãos é só subir na raiz do seu site.

Maiores informação nossa sugestão:

http://www.robotstxt.org/

Agência Ilumina de Publicidade e Propaganda

“Desenvolvendo Tecnologia em Comunicação”

Rua Mandu 150 – Penha/SP