le crawler

HumanForwardBot

Le score de findability lit un site comme le ferait un modèle IA, puis dit au propriétaire ce que les modèles peuvent et ne peuvent pas voir. Voici le crawler qui fait la lecture.

Ce qu'il fait

Il récupère la page d'accueil, robots.txt, sitemap.xml, llms.txt, une page produit, et quelques points d'accès machine bien connus (products.json, /.well-known/ucp, /api/mcp). Environ huit requêtes en tout. Il tourne au plus une fois par domaine tous les quatorze jours, uniquement quand quelqu'un demande un score, et il ne soumet jamais de formulaire, ne se connecte jamais et ne parcourt jamais tout le site.

Comment il s'identifie

L'autoriser

La plupart des sites n'ont rien à faire. Si le vôtre est derrière Cloudflare, Akamai, Imperva, DataDome ou une protection anti-bot similaire, ajoutez une règle qui autorise le user agent ci-dessus. Dans robots.txt :

Si vous le bloquez, nous le respectons et n'affichons aucun score. Les modèles par lesquels vous cherchez à être trouvé lisent les sites de la même façon, donc un mur qui nous arrête les arrête généralement aussi.

Le bloquer

Questions : hello@humanforward.io