Em paralelo com este artigo, gostaria de lhe sugerir outros dois artigos também para principiantes, entre eles as 12 técnicas de SEO básicas para blogs e também os erros de SEO geralmente cometidos por blogueiros. Penso que em conjunto com este artigo, são seguramente uma aposta válida na sua formação imediata.

Entretanto e se ainda não entende muito sobre optimização para motores de busca, deixe-me recordar-lhe que alguns estudos referem que os visitantes dos motores de busca geralmente não pesquisam mais do 3 páginas de resultados, o que significa que se o seu blog estiver mal posicionado, será seguramente penalizado por isso em termos de tráfego e potencial orgânico.
Vamos então analisar 15 ferramentas que podem ajudá-lo a melhorar o seu rankeamento nos motores de busca.

PESQUISA COM PAGERANK
A ferramenta PageRank Search é bastante interessante, uma vez que emula uma pesquisa orgânica do Google, tal e qual você faz no endereço da Google, mas oferece-lhe os resultados juntamente com uma barra de medição do pagerank das páginas apresentadas. Dessa forma você poderá analisar qual o pagerank e autoridade das páginas que aparecem nos primeiros resultados de determinadas pesquisas.

VERIFICADOR DE PAGERANK INTERNO
A ferramenta Internal Pages PR Checker permite-lhe entre outras coisas, verificar o nível de pagerank das suas páginas internas. Ele permite-lhe fazer uma filtração de todas as suas páginas, apresentando o pagerank de cada uma delas. Esta ferramenta pode ter interesse para melhorar o pagerank de determinadas páginas, bem como pesquisar por melhorias após uma actualização do PR.

VERIFICADOR DE POPULARIDADE EM LINKS
O Link Popularity Checker é uma ferramenta muito interessante que faz uma pesquisa global na procura de resultados que contenham links para o seu website ou blog, incluindo as suas própias páginas. Como provavelmente saberá, na optimização para motores de busca, os links são uma peça extremamente importante da sua equação.
A popularidade do seu website é uma forma importante de medir também a autoridade que você tem nos resultados das pesquisas nos motores de busca.

ANALISADOR DE BACKLINKS E TEXTOS ÂNCORA
O Backlink Anchor Text Analyzer é uma ferramenta que lhe permite analisar a web à procura de páginas que enviem links para si, citando também o texto âncora utilizado nesses mesmos links. Como já referi inúmeras vezes aqui no blog, O Link Building é uma das mais importantes estratégias de optimização para motores de busca, e tem um papel muito importante na construção de um site/blog equilibrado e autoritário.
A verdade no entanto, é que sempre melhor ter poucos links mas de sites autoritários, do que muitos links de sites sem relevância ou autoridade perante os motores de busca.

VERIFICAR DE LINKS PARCEIRO
Quando se faz troca de links ou se encontram parceiros interessados em trocar links como modelo de negócio, é importante manter os olhos bem abertos e verificar se esses mesmos parceiros continuam a cumprir a sua promessa e palavra. O Reciprocal Link Checker é uma ferramenta que o ajuda a tentar perceber precisamente isso.
Aproveito também para o alertar que o Google não considera tão importante a troca reciproca de links como considerava aqui há algum tempo, preferindo provavelmente uma estratégia do tipo: site A ? site C, site C ? site B e site B ? site A.

DENSIDADE DE PALAVRAS-CHAVE
Uma das regras da optimização para motores de busca, é ter nos seus artigos uma densidade de palavras-chave a rondar os 3/5%. Se por ventura utilizar uma densidade muito superior, poderá ser considerado um spammer, enquanto que se utilizar uma densidade muito inferior, não irá sentir os resultados a aparecer, especialmente ao nível de pesquisas orgânicas.
A ferramenta Keyword Density ajuda-o a analisar de uma forma eficiente e automática o nível de palavras-chave e densidade presente nas suas páginas e/ou artigos, pelo que poderá ser uma excelente ajuda, inclusivamente na optimização de artigos mais antigos e populares.

ANÁLISE DE LINKS INTERNOS E EXTERNOS
A análise de links internos e externos é seguramente uma das formas mais importantes de aplicar o conceito de Link Building referido em cima. A ferramenta Link Analysis of External and Internal Links é uma grande ajuda para quem procura equilibrar o seu site ou blog, mapeando todos os links internos e externos, juntamente com os seus textos âncora, colocando-os automaticamente numa tabela sumarizada.

VERIFICADOR DE SINTAXE NO ROBOTS.TXT
Já ensinei aqui no blog como criar um ficheiro robots.txt para o seu blog. No entanto e por vezes aquilo que criamos pode ficar longe daquilo que é o ideal aos olhos dos motores de busca. Para isso existe a ferramenta Robots.txt Syntax Checker que o ajuda a analisar o conteúdo dos seus robots.txt contra os standard ideais dos motores de busca, incluindo possíves erros de sintaxe.

VERIFICADOR DE PLAGIARISMO
O Copyscape é uma ferramenta interessante que o ajuda a encontrar artigos que tenham sido literalmente copiados do seu blog, através da verificação automatica de textos e frases chave. Ele ajuda-o a proteger-se inclusivamente de citações que possam ter sido feitas noutros blogs. É sem dúvida uma das melhores ferramentas na caça ao plagiarismo directo ou roubo de artigos.

VERIFICADOR DE POSICIONAMENTO NAS PESQUISAS
A ferramenta Search Engine Placement Check ajuda-o a analisar directamente o seu posicionamento nos motores de busca para determinadas pesquisas, analisando apenas os resultados presentes nas primeiras 4 páginas de resultados de pesquisa. Como referi em cima, estar presente nas 3 primeiras páginas é muito importante.

VERIFICADOR DE LINKS QUEBRADOS OU MALICIOSOS
Enviar links para sites e blogs pode parecer muito engraçado, mas a verdade é que após algum tempo existe a tendência de ficar com uma grande quantidade de links quebrados, ou porque a fonte encerrou, ou porque mudou de domínio, ou porque eliminou a página, entre outras coisas.
No entanto a ferramenta Bad Neighborhood Check ajuda-o a analisar o conteúdo todo do seu site ou blog, na procura de links que possam estar a penalizá-lo ao nível da autoridade e credibilidade. A sua utilização é seguramente uma das formas mais eficientes de melhorar o SEO do seu blog.

ANÁLISE COMPLETA DE SITE OU BLOG
Já havia referido noutros artigos a ferramenta Website Grader, que considero extremamente interessante enquanto ajuda a blogueiros e webmasters. Esta ferramenta ajuda-o a analisar por completo o SEO do seu blog, apresentando resultados, problemas, factores e também um valor correspondente à eficiência do seu blog.

Estas são apenas algumas das milhentas opções disponíveis no mercado. Considero-as muito importantes numa abordagem inicial, mas também para todos aqueles que pretendem manter-se em cima do estado actual dos seus blogs. A optimização para motores de busca é um processo a longo prazo, pelo que é imprescindível a utilização de ferramentas como estas.

Até já e bom SEO!

1. CAPACIDADE DO REP

O protocólo de exclusão de Robots (REP) providencia controlos que podem ser aplicados ao nível do seu blog (robots.txt), ao nível da página (META tag, ou X-Robots-Tag), ou ao nível dos elementos HTML para controlar tanto a intensidade de “scan” do seu blog bem como a forma como o seu blog é listado nas páginas de resultados dos motores de busca (SERPs). 2. DECIDIR O QUE DEVE SER PRIVADO vs. PÚBLICO
Um dos primeiros passos em gerir os robots é decidir e perceber qual o conteúdo que deve ser Priva vs. Público. Comece por determinar que por defeito, todo o conteúdo é público, e posteriormente considere percepcionar quais os conteúdos que gostaria ou deveriam ser privados.

Se pretende que os motores de busca acessem a todo o conteúdo seu blog, você não irá necessitar de um ficheiro robots.txt de todo. Quando um motor de busca tenta aceder a um ficheiro robots.txt no seu blog e o servidor não tem nenhum disponível (geralmente retornando um código 404 HTTP), o motor de busca passa a ter noção de que todo o conteúdo do seu blog deve ser “scannado” e encontrado.

Todos os websites e blogs têm diferentes necessidades, pelo que não existe uma regra para definir o que colocar privado, mas existem alguns elementos comuns que podem ser postos em causa.

• Informação Privada – Você deverá ou poderá ter conteúdo no seu blog que não pretende que seja indexável pelos motores de busca. Por instantes, você poderá ter informação privada de utilizadores (como endereços) que você não pretende que fiquem disponibilizados gratuitamente na internet e nos motores de busca. Para este tipo de conteúdo, você poderá querer utilizar uma abordagem mais segura para manter os utilizadores de todas as páginas (como protecção com password por ex.). No entanto, alguns tipos de conteúdo são bons de ser acedidos pelos utilizadores, mas não o devem ser pelos motores de busca. Por instantes, você poderá querer criar um fórum de discussão que esteja disponível publicamente, mas pode desejar ao mesmo tempo que os posts individuais não fiquem disponíveis nos resultados dos motores de busca.
• Conteúdo não-conteúdo – Algum conteúdo, como por exemplo imagens utilizadas para navegação no seu blog, providenciam pouco interesse para os utilizadores dos e para os motores de busca. Não é problemático incluir estes elementos nos resultados de pesquisas dos motores de busca, mas uma vez que os motores de busca limitam a largura de banda para o crawl de cada site/blog e limitam também o espaço para armazenamento de cada site/blog, faz todo o sentido bloquear estes elementos para ajudar os robots a indexar o conteúdo que realmente vale a pena no seu blog.
• Páginas amigas da impressão – Se você tiver páginas específicas (URLs) que estão formatadas para impressão provavelmente deveria bloqueá-las para evitar duplicação de conteúdo. O grande problema prende-se com o facto de as páginas para impressão poderem aparecer nos resultados dos motores de pesquisa ao invés das páginas originais de conteúdo, o que poderá não providenciar uma experiência de qualidade aos utilizadores que o encontram nos resultados de pesquisas.
• Link de afiliado e Publicidade – Se incluir publicidade no seu site ou blog, poderá evitar que os robots sigam os links enviando-os para uma página bloqueada, ao invés de para a página de destino. (Existem outros métodos alternativos também, especialmente o NoFollow.)
• Páginas de Aterragem – O seu blog poderá incluir uma grande variação de páginas de entrada utilizadas essencialmente para propósitos de publicidade. Por instantes, poderá correr campanhas no Google AdWords que linkam para a página de aterragem onde se encontra a publicidade, ou poderá imprimir diferentes endereços URL para diferentes campanhas (para testes de tracking ou para relacionar o link com o anúncio). Uma vez que estas páginas são uma extensão dos anúncios, e são provavelmente duplicações da página original, poderá desejar bloquear estas páginas para evitar indexação de conteúdo duplicado.
• Páginas Experimentais – À medida que for experimentando novas ideias nos seus websites/blogs (utilizando testes A/B por ex.), poderá querer bloquear todas as página excepto a original de ser indexadas durante as suas experimentações.

3. IMPLEMENTANDO O REP
O REP é flexível e pode ser implementado de variadas formas. Esta flexibilidade permite-lhe facilmente especificar algumas políticas para todo o seu website/blog (ou subdomínio) e posteriormente utilizá-las de uma forma mais granular em cada página ou ao nível de links sempre que necessário.

4. IMPLEMENTAÇÃO AO NÍVEL DE SITE/BLOG (ROBOTS.TXT)
As directivas panorâmicas para sites/blogs estão alojadas no ficheiro robots.txt, que deverá estar sempre localizado na raíz do seu servidor/diretorio para cada um dos seus domínios e sub-domínios. Note que os ficheiros robots.txt apenas se aplicam ao hostname onde são colocados, e não são aplicáveis por defeito aos subdomínos. Portanto, um ficheiro robots.txt localizado na raíz do seu blog, não se irá aplicar a um outro subdomínio que você utilize no mesmo blog, ainda que utilize o mesmo endereço URL. No entanto, o ficheiro robots.txt aplica-se a todas as pastas e subpastas e páginas dentro do mesmo hostname.

Um ficheiro robots.txt é um ficheiro codificado em formato UTF-8 que contem entradas que consistem em linhas de “user-agent” (que diz ao robot do motor de busca se a entrada é direccionada a ele) e uma ou mais directivas que especificam conteúdo para o robot dos motores de busca para efectuar o crawling e a indexação regularmente. Um simples ficheiro robots.txt é mostrado a seguir.

User-agent: *
Disallow: /private

O User-Agent especifica a qual robot a entrada se aplica.

• Pode definir o valor para * para especificar que a entrada se aplica a todos os robots dos motores de busca.
• Pode definir o valor para um nome especifico de um robot para providenciar apenas instruções a esse robot. Pode encontrar uma listagem completa dos nomes dos robots em robotstxt.org.

A maior dos motores de busca tem múltiplos robots que efectuam o crawl da web para diferentes tipos de conteúdos (imagens, mobile, etc). Geralmente o início do nome dos robots é idêntico em todos, pelo que se você bloquear o “major robot”, todos os robots desse motor de busca serão bloqueados. No entanto, se você pretender bloquear apenas e especificamente um dado robot, poderá bloqueá-lo directamente e ainda assim permitir o acesso dos outros ao seu conteúdo.

• Google – O robot primário é o Googlebot.
• Yahoo! – O robot primário é o Slurp.

Disallow: - Especifica qual o conteúdo a bloquear

• Deverá começar sempre com uma barra (/).
• Bloqueia o acesso a quaisqueres URLs que comecem depois da barra /. Por momentos, Disallow: /images bloqueia o acesso à pasta /images/, /images/image1.jpg, e também à /images10.

Poderá especificar outras regras pra os robots dos motores de busca em adição às instruções por defeito que bloqueiam o acesso a conteúdo.

Algumas coisas a notar na implementação dos robots.txt:

• A maioria dos motores de busca suporta o chamado “pattern matching” utilizando o asterisco (*) como o cartão de acesso e o sinal de dólar ($) para o fim da sequência de matching.
• O ficheiro robots.txt é case sensitive (sensível a minúsculas e maiúsculas), portanto Disallow: /images irá bloquear o acesso ao diretorio http://www.examplo.com/images mas não ao diretorio http://www.examplo.com/Images.
• Se continuar conflictos no ficheiro, o robot irá obedecer à linha maior (e geralmente a mais especifica).

5. EXEMPLOS BÁSICOS

Block all robots – Ideal quando o seu website/blog ainda está em fase de pré-lançamento e não está pronto para receber tráfego orgânico.

# This keeps out all well-behaved robots.
# Disallow: * is not valid.
User-agent: *
Disallow: /

Keep out all bots by default – Bloqueia todas as páginas excepto aqueles que são especificadas. Não é recomendado pela sua dificuldade de gestão e diagnóstico.

# Stay out unless otherwise stated
User-agent: *
Disallow: /
Allow: /Public/
Allow: /articles/
Allow: /images/

Block specific content – O método mais comum de utilização do robots.txt.

# Block access to the images folder
User-agent: *
Disallow: /images/

Allow specific content – Bloquear uma pasta, mas permitir o acesso a páginas dentro dessa pasta.

# Block everything in the images folder
# Except allow images/image1.jpg
User-agent: *
Disallow: /images/
Allow: /images/image1.jpg

Allow specific robot – Bloqueie uma classe de robots (por instante, Googlebot), mas permita uma robot específico nessa classe (por instantes, Googlebot-Mobile).

# Block Googlebot access
# Allow Googlebot-Mobile access
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Allow: /

6. EXEMPLOS DE CORRESPONDÊNCIA DE PADRÕES

A maioria dos motores de busca suporta dois tipos de pattern matching.

• * corresponde a qualquer sequência de caracteres
• $ corresponde ao final do endereço URL.

Block access to URLs that contain a set of characters – Utilize o asterisco (*) para especificar um cartão de acesso.

# Block access to all URLs that include an ampersand
User-agent: *
Disallow: /*&

Esta directiva irá impedir os motores de busca de efectuarem o crawling em http://www.examplo.com/page1.asp?id=5&sessionid=xyz.

Block access to URLs that end with a set of characters – Utilize o sinal de dólar ($) para especificar o final da linha.

# Block access to all URLs that end in .cgi
User-agent: *
Disallow: /*.cgi$

Esta directiva irá impedir os motores de busca de efectuarem o crawling http://www.examplo.com/script1.cgi mas não de efectuar o crawling em http://www.examplo.com/script1.cgi?value=1.

Selectively allow access to a URL that matches a blocked pattern – Utilize a directiva Allow em conjunção com o pattern matching para implementações mais complexas.

# Block access to URLs that contain ?
# Allow access to URLs that end in ?
User-agent: *
Disallow: /*?
Allow: /*?$

Esta directiva irá bloquear todos os endereços URL que contenham ? excepto aqueles que terminam em ?. Neste exemplo, a versão por defeito da página será indexável:

• http://www.examplo.com/productlisting.aspx?

As variações da página serão bloqueadas:

• http://www.examplo.com/productlisting.aspx?nav=price
• http://www.examplo.com/productlisting.aspx?sort=alpha

7. OUTRAS INSTRUÇÕES PARA ROBOTS
Especifique um Sitemap ou ficheiro de Sitemap index – se gostar de providenciar aos motores de busca uma lista compreensiva dos seus melhores endereços URLs, poderá providenciar um ou mais directivas de auto-descobrimento ao seu Sitemap. De notar, que o “user-agent” não é aplicável a esta diretoria pelo que não poderá utilizá-lo para especificar um Sitemap para apenas um motor de busca e não para todos.

# Please take my sitemap and index everything!
Sitemap: http://janeandrobot.com/sitemap.axd

Reduce the crawling load – Este só trabalha com a Microsoft e Yahoo. Para a Google terá de especificar uma velocidade de crawling inferior através da consola Webmaster Tools. Tenha cuidado quando implementar isto se por ventura colocar o crawling demasiado lento, os robots não conseguiram “scannar” todo o seu conteúdo a tempo e poderá perder páginas para o index.

# MSNBot, please wait 5 seconds in between visits
User-agent: msnbot
Crawl-delay: 5
# Yahoo's Slurp, please wait 12 seconds in between visits
User-agent: slurp
Crawl-delay: 12

8. IMPLEMENTAÇÕES AO NÍVEL DA PÁGINA (META TAGS)

As directivas ao nível de página do REP permitem-lhe redefinir as políticas do seu blog numa básica de página-por-página.

Placing a meta tag on the page – Coloque a meta tag na head tag. Cada directiva deve ser delimitada com uma vírgula dentro da tag. E.x. <meta name=”ROBOTS” content=”Directiva1, Directiva2>.

<html>
<head>
<title>Your title here</title>
<meta name="ROBOTS" content="NOINDEX">
</head>
<body>Your page here</body>
</html>

Targeting a specific search engine – Entre a meta tag você poderá especificar qual o motor de busca que gostaria que fosse o seu alvo, ou então atirar em todos os alvos em simultâneo.

<!-- Applies to All Robots -->
<meta name="ROBOTS" content="NOINDEX">
<!-- ONLY GoogleBot -->
<meta name="Googlebot" content="NOINDEX">
<!-- ONLY Slurp (Yahoo) -->
<meta name="Slurp" content="NOINDEX">
<!-- ONLY MSNBot (Microsoft) -->
<meta name="MSNBot" content="NOINDEX">

Control how your listings – Existem uma série de opções que podem ser configuradas para determinar como o seu blog aparece nos SERP. Você pode exercer controlo sobre a descrição e também removero link de “Cached page”.

<!-- Do not show a description for this page -->
<meta name="ROBOTS" content="NOSNIPPET">
<!-- Do not use http://dmoz.org to create a description -->
<meta name="ROBOTS" content="NOODP">
<!-- Do not present a cached version of the document in a search result -->
<meta name="ROBOTS" content="NOARCHIVE">

Using other directives – Outras directivas para robots encontram-se de seguida.

<!-- Do not trust links on this page, could be user generated content (UCG) -->
<meta name="ROBOTS" content="NOFOLLOW">
<!-- Do not index this page -->
<meta name="ROBOTS" content="NOINDEX">
<!-- Do not index any images on this page (will still index the if they are linked 
     elsewhere) Better to use Robots.txt if you really want them safe. This is a Google Only tag. -->
<meta name="GOOGLEBOT" content="NOIMAGEINDEX">
<!-- Do not translate this page into other languages-->
<meta name="ROBOTS" content="NOTRANSLATE">
<!-- NOT RECOMMENDED, there really isn't much point in using these -->
<meta name="ROBOTS" content="FOLLOW">
<meta name="ROBOTS" content="UNAVAILABLE_AFTER">

9. IMPLEMENTAÇÃO NO HEADER HTTP (X-ROBOTS-TAG)
Esta tag permite a programadores e desenvolvedores especificar directiva ao nível de página com o REP para conteúdo que não seja texto/html do tipo PDF, DOC, PPT, ou dinamicamente gerando imagens.

Using the X-Robots-Tag – Para usar a tag X-Robots-Tag, simplesmente adicione-a ao header do seu blog como especificado em baixo. Para especificar múltiplas directivas poderá limitá-las com vírgula, ou adicioná-las como items separados no header.

HTTP/1.x 200 OK
Cache-Control: private
Content-Length: 2199552
Content-Type: application/octet-stream
Server: Microsoft-IIS/7.0
content-disposition: inline; filename=01 - The truth about SEO.ppt
X-Robots-Tag: noindex, nosnippet
X-Powered-By: ASP.NET
Date: Sun, 01 Jun 2008 19:25:47 GMT

A directiva da X-Robots-Tag suporta praticamente as mesmas directivas da meta tag. A única limitação com este método sobre a implementação da meta tag é que não existe forma de atingir um robot específico – pensando nisso, provavelmente não será uma grande oportunidade na maioria dos casos.

• X-Robots-Tag: noindex
• X-Robots-Tag: nosnippet
• X-Robots-Tag: notranslate
• X-Robots-Tag: noarchive
• X-Robots-Tag: unavailable_after: 7 Jul 2007 16:30:00 GMT

10. IMPLEMENTAÇÃO AO NÍVEL DO CONTEÚDO
Poderá ainda afinar as directivas ao nível de página e site/blog com variadas “content tags”, ou seja, tags de conteúdo.

A tag de texto âncora (link) poderá ser modificada para dizer aos motores de busca que você não confia no endereço de destino desse URL. Esta utilização é feita quando não se pretende passar pagerank ou peso em links, e também em sites de conteúdo gerado pelos utilizadores, como por exemplo wikis, comentários de blogs, reviews, entre outros exemplos.

<a href="#" rel="NOFOLLOW">Hyperlink</a>

Ainda, no Yahoo Search poderá especificar qual os elementos da <div> numa página que não gostaria de ver indexados utilizando o atributo class=robots-nocontent. No entanto, não recomendamos a utilização desta tag por não ser suportada por outros motores de pesquisa, tornado-a dispensável.

<div>

Sem conteúdo para si! (ou pelo menos para o Yahoo!)

</div>

CONCLUSÃO
Trabalhar com robots.txt e outras formas de indexação e bloqueio de informação pode parecer complexo, mas na verdade é muito simples e segue uma lógica padrão. Se por ventura tiver dúvidas na utilização de algum dos exemplos apresentados, dispare um comentário! Aproveite também para deixar a sua opinião sobre o artigo!

Até Já!