En raison de l’immense quantité de données que le robot Ahrefs doit constamment parcourir/récupérer, son algorithme comprend certaines règles de priorité.
En termes simples, notre crawler indexe certaines pages plus rapidement et plus souvent que les autres.
Avant tout, l’ordre de priorité dépend de la Evaluation du domaine (DR) la métrique d’un site web et le nombre de pages qu’il comporte. Vous pouvez en savoir plus sur Ahrefs DR ici : https://ahrefs.com/blog/seo-metrics/.
Par exemple, si un site web avec un faible DR a beaucoup de pages, nous ne pourrons pas indexer toutes ces pages. De plus, la fréquence de réécoute sera comparativement plus faible.
En revanche, si un site web a un score élevé en DR et ne comporte que quelques pages, notre robot les retravaillera toutes aussi souvent que possible.
L’autre partie importante est le nombre de nouveaux backlinks. Lorsque AhrefsBot découvrira chaque nouveau backlink pointant vers une page donnée, il augmentera sa priorité d’exploration. Par conséquent, s’il ne voit pas de nouveaux liens vers une page donnée pendant une longue période, il ne la parcourra pas souvent.
Note : Notre algorithme est bien plus compliqué que cela et comprend des tonnes d’autres règles qui déterminent le niveau de priorité de chaque page particulière.