Il y a plusieurs raisons pour lesquelles, lorsque vous consultez votre site avec notre Explorateur de site vous pourriez le voir de façon inattendue :
Tout d’abord, vérifiez le statut de votre robot.txt dans notre vérificateur de robots : https://ahrefs.com/robot
Maintenant, analysons certaines des raisons qui pourraient empêcher AhrefsBot d’explorer les pages de votre site et proposons des solutions possibles.
Le site web cible empêche notre robot de ramper. Veuillez supprimer les deux lignes suivantes du fichier robots.txt sur votre serveur :
User-agent : AhrefsBot
Rejeter : /
L’agent utilisateur AhrefsBot obtient une erreur 404 lorsqu’il essaie de lire le fichier robots.txt d’un site. 404 pour robots.txt signifie que le crawl est autorisé, mais alors toutes les pages sont également 404. Ainsi, les données liées à la page telles que le titre, le contenu et son code source HTML ne sont pas accessibles.
Veuillez ajouter les deux lignes suivantes dans le fichier robots.txt sur votre serveur :
User-agent : AhrefsBot
Permettre : /
Le site web cible bloque l’accès de notre crawler au niveau du serveur. Veuillez ajouter nos IP à la liste blanche du serveur.
Une liste de nos IP : https://help.ahrefs.com/about-ahrefs/what-is-the-list-of-your-current-ip-ranges
Notre bot est actuellement bloqué et ne peut pas atteindre votre site web. Cela peut être dû à de multiples raisons telles que : la configuration de votre serveur web, le pare-feu géré par votre fournisseur d’hébergement, la protection de votre CDN, etc. Voici quelques exemples connus : ModSecurity, Sucuri, Cloudflare.
Il n’y a rien que nous puissions faire pour résoudre ce problème de notre côté ; vous devrez prendre des mesures pour le régler du vôtre.
Si vous ne savez pas comment résoudre le problème, veuillez contacter votre webmaster, votre hébergeur ou votre CDN pour faire débloquer notre bot. Si leur chat de support utilise un système de billetterie, utilisez « Tech Support » ou la catégorie la plus proche.
N’hésitez pas à utiliser le modèle suivant :
—————
Salut,
Je gère le domaine
Merci beaucoup.
—————-