skip to Main Content

Como usar o arquivo robots.txt

O arquivo robots.txt diz o que deve ou não ser indexado nos motores de busca, isto é, o que será, ou não será, salvo e disponibilizado como resultado de pesquisa para o público

Localização do arquivo robots.txt

O arquivo robots.txt precisa estar sempre na pasta raiz do documento.

Você pode criar um arquivo em branco e nomeá-lo robots.txt. Isso reduzirá os erros do site e permitirá que todos os mecanismos de pesquisa classifiquem o que quiserem.

 

Comandos

User-agent

O comando User-agent determina qual robô de busca você está se referindo. Para conhecer o nome de cada User-agent, acesse o Web Robots Database

Disallow

O comando Disallow descreve quais páginas, diretórios ou sites não devem ser incluídos nos resultados de busca.

Allow

O comando Allow informa para os robôs de busca quais as páginas e diretórios do site você deseja que sejam indexadas.

O uso desse comando é recomendado quando você bloqueia uma pasta ou diretório através do Disallow e deseja indexar apenas um arquivo ou pasta específico que está dentro da pasta/diretório bloqueado.

 

Como bloquear robôs e motores de busca de rastreamento

Se você deseja desativar a visita dos bots no site e impedir a indexação, use o código:

User-agent: *
Disallow: /

 

Como bloquear acesso de robôs em pasta e diretórios específicos

Você também pode evitar que robôs rastreiem partes do seu site, permitindo que eles rastreiem outras seções.

O exemplo a seguir solicitará aos motores de busca e aos robôs que não rastreiem a pasta cgi-bin e outras pastas do site:

User-agent: *
Disallow: /cgi-bin/
Disallow: /nome-da-pasta/
Disallow: /nome-da-pasta-2/

 

Back To Top