il crawler

HumanForwardBot

Il punteggio di findability legge un sito come farebbe un modello AI, poi dice al proprietario cosa i modelli riescono e non riescono a vedere. Questo è il crawler che fa la lettura.

Cosa fa

Recupera la homepage, robots.txt, sitemap.xml, llms.txt, una pagina prodotto e alcuni endpoint macchina noti (products.json, /.well-known/ucp, /api/mcp). Circa otto richieste in tutto. Gira al massimo una volta per dominio ogni quattordici giorni, solo quando qualcuno chiede un punteggio, e non invia mai form, non effettua accessi e non scansiona l'intero sito.

Come si identifica

Consentilo

La maggior parte dei siti non deve fare nulla. Se il tuo sta dietro Cloudflare, Akamai, Imperva, DataDome o un muro anti bot simile, aggiungi una regola che consenta lo user agent qui sopra. Nel robots.txt:

Se lo blocchi, lo rispettiamo e non mostriamo alcun punteggio. I modelli da cui vuoi farti trovare leggono i siti allo stesso modo, quindi un muro che ferma noi di solito ferma anche loro.

Bloccalo

Domande: hello@humanforward.io