En général, vous pouvez utiliser la fonction « Supprimer les paramètres d’URL » ou utiliser des règles d’exclusion pour éviter de parcourir les URL correspondant à des requêtes ou à des modèles de requête spécifiques.
Pour accéder à ces paramètres, allez dans Audit de site > + Nouveau projet > Paramètres de recherche.
Ne crawler que les URL correspondant au modèle – nous comparons avec l’URL complète des liens du plan du site.
Par exemple, /products – n’inclura que les URL contenant /products.
Ne pas explorer les URL correspondant au modèle – nous comparons avec l’URL complète des liens du plan du site.
Par exemple, /news – exclura les URL contenant /news.
*Note : ces règles acceptent l’expression régulière. Un article d’aide plus détaillé est en cours d’élaboration.
En activant cette fonction, nous supprimons les paramètres d’une URL et nous nous déplaçons sans paramètres.
Exemple :
ahrefs.com/help/?query=A
ahrefs.com/help/?query=B
ahrefs.com/help/?query=C
Seul le site ahrefs.com/help/ sera visité.
Allez sur SiteAudit > + Nouveau projet > Paramètres d’exploration.
À partir de là, vous pouvez activer et désactiver la fonction « Suivre les liens non suivis ».
Comme nos robots ne sont pas capables de dire si une page est réglée sur « noindex » avant de la parcourir, il n’est pas possible d’exclure les pages sans index avant de les parcourir.
Veuillez vous référer à ce qui précède pour exclure manuellement les URL.
*Veuillez noter que lorsqu’une page est définie comme non indexée, elle est toujours explorée par Google, mais ne sera pas affichée dans les résultats.
Bien que vous ne puissiez pas exclure les pages sans index dans votre crawl, vous peut exclure les données non indexées de vos rapports d’audit de site.
Veuillez voir : http://help.ahrefs.com/using-ahrefs/how-to-exclude-specific-pages-from-site-audit-reports