En termes simples, un crawler (ou araignée) est un programme informatique qui navigue sur le web pas à pas.
Elle commence par l’indexation d’une première liste d’URL (appelées « graines »).
Lorsqu’il trouve tous les hyperliens que contiennent les graines, il les ajoute à la liste des URL qu’il indexera ensuite. Une fois ajouté, le crawler visite ces nouvelles pages et répète tout le processus encore une fois.
Notre AhrefsBot parcourt le web en suivant strictement les règles de robots.txt. Plus de détails ici : https://ahrefs.com/robot