O que é o orçamento de rastreamento e como otimizá-lo

Um orçamento de rastreamento pode parecer um conceito estranho quando você está aprendendo sobre como os bots de mecanismos de pesquisa funcionam. Embora não seja o conceito de SEO mais fácil, eles são menos complicados do que parecem. Depois de começar a entender o que é um orçamento de rastreamento e como o rastreamento do mecanismo de pesquisa funciona, você pode começar a otimizar seu site para otimizar a rastreabilidade. Esse processo ajudará seu site a atingir seu maior potencial de classificação nos resultados de pesquisa do Google.

O que é um orçamento de rastreamento?

Um orçamento de rastreamento é o número de URLs de um site que os robôs do mecanismo de pesquisa podem indexar em uma sessão de indexação. O “orçamento” de uma sessão de rastreamento difere de site para site com base no tamanho de cada site individual, nas métricas de tráfego e na velocidade de carregamento da página.

Se você chegou até aqui e os termos de SEO não são familiares para você, use nosso glossário de SEO para se familiarizar mais com as definições .

Quais fatores afetam o orçamento de rastreamento de um site?

O Google não dedica a mesma quantidade de tempo ou número de rastreamentos para cada site na internet. Os webcrawlers também determinam quais páginas eles rastreiam e com que frequência com base em vários fatores. Eles determinam com que frequência e por quanto tempo cada site deve ser rastreado com base em:

• Popularidade: quanto mais um site ou página é visitado, mais frequentemente ele deve ser analisado para atualizações. Além disso, páginas mais populares acumularão mais links de entrada mais rapidamente.
• Tamanho: sites e páginas grandes com mais elementos de dados intensos demoram mais para serem rastreados.
• Saúde/Problemas: Quando um webcrawler chega a um beco sem saída por meio de links internos, leva tempo para encontrar um novo ponto de partida – ou abandona o rastreamento. Erros 404, redirecionamentos e tempos de carregamento lentos tornam os webcrawlers mais lentos e frustrados.

Como seu orçamento de rastreamento afeta o SEO?

O processo de indexação do webcrawler torna a pesquisa possível. Se o seu conteúdo não puder ser encontrado e indexado pelos webcrawlers do Google, suas páginas da web e seu site não poderão ser descobertos pelos pesquisadores. Isso levaria seu site a perder muito tráfego de pesquisa.

Por que o Google rastreia sites?

Os Googlebots percorrem sistematicamente as páginas de um site para determinar sobre o que é a página e o site geral. Os webcrawlers processam, categorizam e organizam os dados desse site página por página para criar um cache de URLs junto com seu conteúdo, para que o Google possa determinar quais resultados de pesquisa devem aparecer em resposta a uma consulta de pesquisa.

Além disso, o Google usa essas informações para determinar quais resultados de pesquisa melhor se ajustam à consulta de pesquisa para determinar onde cada resultado de pesquisa deve aparecer na lista hierárquica de resultados de pesquisa.

O que acontece durante um rastreamento?

O Google atribui um determinado período de tempo para um Googlebot processar um site. Devido a essa limitação, o bot provavelmente não rastreará um site inteiro durante uma sessão de rastreamento. Em vez disso, ele percorrerá todas as páginas do site com base no arquivo robots.txt e em outros fatores (como a popularidade de uma página).

Durante a sessão de rastreamento, um Googlebot usará uma abordagem sistemática para entender o conteúdo de cada página processada.

Isso inclui indexar atributos específicos, como:

1. Meta tags e uso da PNL para determinar seu significado
2. Links e texto âncora
3. Arquivos rich media para pesquisas de imagens e pesquisas de vídeo
4. Marcação de esquema
5. Marcação HTML

O rastreador da Web também executará uma verificação para determinar se o conteúdo da página é uma duplicata de um canônico. Nesse caso, o Google moverá o URL para um rastreamento de baixa prioridade, para que não perca tempo rastreando a página com tanta frequência.

O que são Taxa de Rastreamento e Demanda de Rastreamento?

Os rastreadores da Web do Google atribuem um determinado período de tempo a cada rastreamento que realizam. Como proprietário de um site, você não tem controle sobre essa quantidade de tempo. No entanto, você pode alterar a rapidez com que eles rastreiam páginas individuais em seu site enquanto estão em seu site. Esse número é chamado de taxa de rastreamento .

A demanda de rastreamento é a frequência com que o Google rastreia seu site. Essa frequência é baseada na demanda do seu site pelos internautas e na frequência com que o conteúdo do seu site precisa ser atualizado na pesquisa. Você pode descobrir com que frequência o Google rastreia seu site usando uma análise de arquivo de log (veja o item 2 abaixo).

Como posso determinar o orçamento de rastreamento do meu site?

Como o Google limita o número de vezes que eles rastreiam seu site e por quanto tempo, você quer saber qual é o seu orçamento de rastreamento. No entanto, o Google não fornece esses dados aos proprietários de sites, especialmente se seu orçamento for tão limitado que o novo conteúdo não chegará aos SERPs em tempo hábil. Isso pode ser desastroso para conteúdo importante e novas páginas, como páginas de produtos, que podem gerar dinheiro.

Para entender se seu site está enfrentando limitações de orçamento de rastreamento (ou para confirmar que seu site está OK), você deve: Obtenha um inventário de quantos URLs estão em seu site. Se você usar o Yoast, seu total será listado na parte superior do URL do mapa do site .

Depois de ter esse número, use a seção "Configurações" > "Estatísticas de rastreamento" do Google Search Console para determinar quantas páginas o Google rastreia em seu site diariamente.

Como você pode otimizar para um orçamento de rastreamento?

Quando chegar o momento em que seu site se tornar muito grande para seu orçamento de rastreamento, você precisará mergulhar na otimização do orçamento de rastreamento. Como você não pode dizer ao Google para rastrear seu site com mais frequência ou por mais tempo, você deve se concentrar no que pode controlar.

A otimização do orçamento de rastreamento requer uma abordagem multifacetada e uma compreensão das práticas recomendadas do Google . Por onde você deve começar quando se trata de aproveitar ao máximo sua taxa de rastreamento? Esta lista abrangente é escrita em ordem hierárquica, então comece no topo.

1. Considere aumentar o limite da taxa de rastreamento do seu site

O Google envia solicitações simultaneamente para várias páginas do seu site. No entanto, o Google tenta ser cortês e não sobrecarregar seu servidor, resultando em um tempo de carregamento mais lento para os visitantes do seu site. Se você perceber que seu site está ficando do nada, esse pode ser o problema.

Para não afetar a experiência de seus usuários, o Google permite que você reduza sua taxa de rastreamento. Isso limitará quantas páginas o Google pode indexar simultaneamente.

Curiosamente, porém, o Google também permite que você aumente seu limite de taxa de rastreamento – o efeito é que eles podem puxar mais páginas de uma vez, resultando em mais URLs sendo rastreados de uma só vez. Embora todos os relatórios sugiram que o Google é lento para responder a um aumento no limite da taxa de rastreamento, e isso não garante que o Google rastreie mais sites simultaneamente.

Como aumentar seu limite de taxa de rastreamento:

1. No Search Console, vá para “Configurações”.
2. A partir daí, você pode ver se sua taxa de rastreamento é ideal ou não.
3. Em seguida, você pode aumentar o limite para uma taxa de rastreamento mais rápida por 90 dias.

2. Execute uma análise do arquivo de log

Uma análise de arquivo de log é um relatório do servidor que reflete todas as solicitações enviadas ao servidor. Este relatório informará exatamente o que os Googlebots fazem em seu site. Embora esse processo seja frequentemente realizado por SEOs técnicos, você pode conversar com o administrador do servidor para obter um.

Usando sua análise de arquivo de log ou arquivo de log do servidor, você aprenderá:

• Com que frequência o Google rastreia seu site
• Quais páginas são mais rastreadas
• Quais páginas têm um código de servidor que não responde ou está ausente

Depois de ter essas informações, você pode usá-las para executar de 3 a 7.

3. Mantenha seu Sitemap XML e Robots.txt atualizados

Se o arquivo de registro mostrar que o Google está gastando muito tempo rastreando páginas que você não deseja que apareçam nos SERPs, você pode solicitar que os rastreadores do Google ignorem essas páginas. Isso libera parte do seu orçamento de rastreamento para páginas mais importantes.

Seu mapa do site (que você pode obter no Google Search Console ou SearchAtlas ) fornece ao Googlebots uma lista de todas as páginas do seu site que você deseja que o Google indexe para que possam aparecer nos resultados de pesquisa. Manter o mapa do site atualizado com todas as páginas da Web que você deseja que os mecanismos de pesquisa encontrem e omitir aquelas que você não deseja que eles encontrem pode maximizar a forma como os rastreadores da Web passam o tempo em seu site.

Seu arquivo robots.txt informa aos rastreadores do mecanismo de pesquisa quais páginas você deseja e não deseja que eles rastreiem. Se você tiver páginas que não são boas páginas de destino ou páginas fechadas, use a tag noindex para seus URLs em seu arquivo robots.txt. O Googlebots provavelmente pulará qualquer página da web com a tag noindex.

4. Reduzir Redirecionamentos e Cadeias de Redirecionamento

Além de liberar o orçamento de rastreamento excluindo páginas desnecessárias dos rastreamentos de mecanismos de pesquisa, você também pode maximizar os rastreamentos reduzindo ou eliminando redirecionamentos. Esses serão quaisquer URLs que resultem em um código de status 3xx.

URLs redirecionados demoram mais para serem recuperados por um Googlebot, pois o servidor precisa responder com o redirecionamento e, em seguida, recuperar a nova página. Enquanto um redirecionamento leva apenas alguns milissegundos, eles podem se somar. E isso pode fazer com que o rastreamento do seu site demore mais em geral. Essa quantidade de tempo é multiplicada quando um Googlebot se depara com uma cadeia de redirecionamentos de URL.

Para reduzir redirecionamentos e cadeias de redirecionamento, fique atento à sua estratégia de criação de conteúdo e selecione cuidadosamente o texto para seus slugs.

5. Corrigir links quebrados

A maneira como o Google costuma explorar um site é navegando pela sua estrutura de links internos. À medida que ele percorre suas páginas, ele notará se um link leva a uma página inexistente (isso geralmente é chamado de erro 404 suave). Em seguida, seguirá em frente, não querendo perder tempo indexando a referida página.

Os links para essas páginas precisam ser atualizados para direcionar o usuário ou o Googlebot a uma página real. OU (embora seja difícil de acreditar) o Googlebot pode ter identificado erroneamente uma página como um erro 4xx ou 404 quando a página realmente existe. Quando isso acontecer, verifique se o URL não contém erros de digitação e envie uma solicitação de rastreamento para esse URL por meio de sua conta do Google Search Console.

Para se manter atualizado com esses erros de rastreamento, você pode usar o relatório Índice > Cobertura da sua conta do Google Search Console. Ou use a ferramenta de auditoria do site do SearchAtlas para encontrar o relatório de erros do seu site para repassar ao seu desenvolvedor web.

Nota: Novos URLs podem não aparecer em sua análise de arquivo de log imediatamente. Dê ao Google algum tempo para encontrá-los antes de solicitar um rastreamento.

6. Trabalhe para melhorar a velocidade de carregamento da página

Os bots de mecanismos de pesquisa podem se mover rapidamente em um site. No entanto, se a velocidade do seu site não estiver à altura, isso pode prejudicar muito seu orçamento de rastreamento. Use sua análise de arquivo de log, SearchAtlas ou PageSpeedInsights para determinar se o tempo de carregamento do seu site está afetando negativamente sua visibilidade de pesquisa.

Para melhorar o tempo de resposta do seu site, use URLs dinâmicos e siga as práticas recomendadas do Core Web Vitals do Google . Isso pode incluir otimização de imagem para mídia acima da dobra.

Se o problema de velocidade do site estiver no lado do servidor, convém investir em outros recursos do servidor, como:

• Um servidor dedicado (especialmente para sites grandes)
• Atualizando para um hardware de servidor mais recente
• Aumentando a RAM

Essas melhorias também aumentarão a experiência do usuário, o que pode ajudar seu site a ter um melhor desempenho na pesquisa do Google, pois a velocidade do site é um sinal para o PageRank.

7. Não se esqueça de usar as tags canônicas

Conteúdo duplicado é desaprovado pelo Google, pelo menos quando você não reconhece que o conteúdo duplicado tem uma página de origem. Por quê? O Googlebot rastreia todas as páginas, a menos que seja inevitável, a menos que seja instruído a fazer o contrário. No entanto, quando encontrar uma página duplicada ou uma cópia de algo com o qual está familiarizado (na sua página ou fora do site), ele interromperá o rastreamento dessa página. E embora isso economize tempo, você deve economizar ainda mais tempo do rastreador usando uma tag canônica que identifica o URL canônico.

Os canônicos dizem ao Googlebot para não se incomodar em usar seu período de rastreamento para indexar esse conteúdo. Isso dá ao bot do mecanismo de pesquisa mais tempo para examinar suas outras páginas.

8. Concentre-se em sua estrutura de links internos

Ter uma prática de links bem estruturada em seu site pode aumentar a eficiência de um rastreamento do Google. Os links internos informam ao Google quais páginas do seu site são as mais importantes, e esses links ajudam os rastreadores a encontrar as páginas com mais facilidade.

As melhores estruturas de links conectam usuários e Googlebots ao conteúdo em todo o seu site. Sempre use texto âncora relevante e coloque seus links naturalmente em todo o seu conteúdo.

Para sites de comércio eletrônico, o Google tem práticas recomendadas para opções de navegação facetada para maximizar os rastreamentos. A navegação facetada permite que os usuários do site filtrem produtos por atributos, tornando a compra uma experiência melhor. Essa atualização ajuda a evitar confusão canônica e problemas duplicados, além do excesso de rastreamentos de URL.

9. Elimine o Conteúdo Desnecessário

Os Googlebots só podem se mover tão rápido e indexar tantas páginas cada vez que rastreiam um site. Se você tem um grande número de páginas que não recebem tráfego ou têm conteúdo desatualizado ou de baixa qualidade, corte-as! O processo de poda permite que você corte o excesso de bagagem do seu site que pode estar pesando.

Ter páginas excessivas em seu site pode desviar os Googlebots para páginas sem importância enquanto ignora as páginas.

Apenas lembre-se de redirecionar quaisquer links para essas páginas, para que você não acabe com erros de rastreamento.

10. Acumule mais backlinks

Assim como os Googlebots chegam ao seu site e começam a indexar páginas com base em links internos, eles também usam links externos no processo de indexação. Se outros sites estiverem vinculados ao seu, o Googlebot acessará seu site e indexará as páginas para entender melhor o conteúdo do link.

Além disso, os backlinks dão ao seu site um pouco mais de popularidade e recência, que o Google usa para determinar com que frequência seu site precisa ser indexado.

11. Elimine as Páginas Órfãs

Como o rastreador do Google pula de página em página por meio de links internos, ele pode encontrar páginas vinculadas sem esforço. No entanto, as páginas que não estão vinculadas a algum lugar do seu site geralmente passam despercebidas pelo Google. Elas são chamadas de “páginas órfãs”.

Quando é uma página órfã apropriada? Se for uma página de destino com um objetivo ou público muito específico. Por exemplo, se você enviar um e-mail para jogadores de golfe que moram em Miami com uma página de destino que se aplica apenas a eles, talvez você não queira vincular a outra página à página.

As melhores ferramentas para otimização de orçamento de rastreamento

O Search Console e o Google Analytics podem ser bastante úteis quando se trata de otimizar seu orçamento de rastreamento. O Search Console permite que você solicite um rastreador para indexar páginas e rastrear suas estatísticas de rastreamento. O Google Analytics ajuda você a acompanhar sua jornada de links internos.

Outras ferramentas de SEO, como o SearchAtlas, permitem que você encontre problemas de rastreamento facilmente por meio de ferramentas de auditoria do site. Com um relatório, você pode ver:

• Relatório de rastreamento de indexabilidade
• Profundidade do Índice
• Velocidade da página
• Conteúdo duplicado
• Mapa do site XML
• Links

Otimize seu orçamento de rastreamento e torne-se um dos melhores mecanismos de pesquisa

Embora você não possa controlar a frequência com que os mecanismos de pesquisa indexam seu site ou por quanto tempo, você pode otimizar seu site para aproveitar ao máximo cada um dos rastreamentos do mecanismo de pesquisa. Comece com os registros do seu servidor e dê uma olhada no seu relatório de rastreamento no Search Console. Em seguida, mergulhe na correção de erros de rastreamento, sua estrutura de links e problemas de velocidade da página.

À medida que você trabalha em sua atividade de rastreamento do GSC, concentre-se no restante de sua estratégia de SEO, incluindo criação de links e adição de conteúdo de qualidade . Com o tempo, você descobrirá que suas páginas de destino subirão nas páginas de resultados dos mecanismos de pesquisa.