Chez Ahrefs, nous explorons les pages selon un algorithme spécifique qui garantit une utilisation efficace de nos ressources sans compromettre la qualité des données.
Avec un tel algorithme, il n’est pas possible de soumettre manuellement des liens/URL ou un plan de site XML ou d’envoyer un ping à notre service pour une exploration à la demande.
En général, plus un site est « populaire » (c’est-à-dire qu’il a un classement de domaine (DR) plus élevé, plus les liens de retour sont de qualité), plus il est probable qu’un domaine sera parcouru. Les domaines qui sont moins « populaires » (c’est-à-dire avec un DR plus faible et des liens de qualité moindre) seront partiellement explorés.
La vitesse d’exploration et de mise à jour de certaines pages dépend de leur classement par URL (UR). Les pages ayant une UR élevée ont plus de chances d’être indexées et mises à jour plus souvent que les pages ayant une UR faible.