Notre Web Crawler, nommé AhrefsBot explore votre site web en prenant note des liens sortants et en les ajoutant à notre base de données. Il effectue périodiquement un nouveau balayage de votre site web pour vérifier l’état actuel des liens précédemment trouvés.
Le crawler ne génère pas d’URL, il ne fait que suivre les liens trouvés sur Internet et il utilise toujours GET (qui, selon la spécification HTTP, ne doit pas déclencher d’actions destructrices du côté du serveur).
AhrefsBot respecte strictement les règles de robots.txt, qu’il s’agisse d’autoriser ou de refuser.
Pour modifier la fréquence de visite de AhrefsBot sur votre site, vous pouvez spécifier dans votre fichier robots.txt le délai minimum acceptable entre deux demandes consécutives de notre bot :
User-agent : AhrefsBot
Retarder : [value]
Où la valeur de Crawl-Delay est le temps en secondes.
Si, pour une raison quelconque, vous souhaitez empêcher AhrefsBot de visiter votre site, mettez les deux lignes suivantes dans le fichier robots.txt de votre serveur :
User-agent : AhrefsBot
Rejeter : /
Veuillez noter que AhrefsBot peut avoir besoin d’un peu de temps pour sélectionner les changements dans votre fichier robots.txt. Cela sera fait avant chaque prochain crawl programmé.