Ahrefs dirige notre propre chenille webou botqui visite des millions de sites web pour récupérer des informations et les stocker dans nos dossiers. En d’autres termes, c’est ainsi que M. Ahrefs obtient toutes ses données 😉
Veuillez noter :
- Ramper en priorité : En général, plus un site est « populaire » (c’est-à-dire qu’il a un classement de domaine (DR) plus élevé, plus les liens de retour sont de qualité), plus il est probable qu’un domaine sera parcouru. Les domaines qui sont moins « populaires » (c’est-à-dire qui ont une cote de domaine plus basse et des liens de qualité moindre) seront partiellement explorés.
- Vitesse d’exploration/mise à jourCela dépend du classement des URL d’une page (UR). Les pages ayant un UR élevé ont plus de chances d’être indexées et sont mises à jour plus souvent que les pages ayant un UR faible.
Quand nos robots ont encore à ramper le site cible, vous constaterez les erreurs suivantes dans nos rapports :
- Cette page n’est pas dans notre index actuellement
- Nous n’avons actuellement aucune page pour cette cible dans notre index
Comme la page cible n’a pas encore été explorée, les données sur la page telles que le titre du site, le contenu, le code source HTML, etc. ne sont pas disponibles dans notre base de données.
Si le domaine est nouveau, veuillez donner un peu de temps à notre chenille pour récupérer des données (une à deux semaines est généralement un bon pari.)
Note : Des rapports sur les liens de retour seront disponibles si nous avons parcouru d’autres sites qui ont des liens de retour vers le site cible.
Il est également possible que le domaine soit nous empêchant de le ramper. Pour savoir si votre domaine bloque notre crawler, vérifiez le statut de votre robots.txt dans notre robot de contrôle : https://ahrefs.com/robot
Pour remédier à cela, veuillez lire cet article : https://help.ahrefs.com/site-explorer/crawling/how-do-i-enable-ahrefs-bot-to-crawl-my-website-and-index-its-pages