de crawler

HumanForwardBot

De Findability-score leest een site zoals een AI-model dat doet, en vertelt de eigenaar daarna wat de modellen wel en niet kunnen zien. Dit is de crawler die het lezen doet.

Wat hij doet

Hij haalt de homepage op, robots.txt, sitemap.xml, llms.txt, één productpagina en een paar bekende endpoints voor machines (products.json, /.well-known/ucp, /api/mcp). Ongeveer acht verzoeken in totaal. Hij draait hooguit één keer per domein per veertien dagen, alleen als iemand een score aanvraagt, en hij verstuurt nooit formulieren, logt nooit in en crawlt nooit de hele site.

Hoe hij zich identificeert

Toestaan

De meeste sites hoeven niets te doen. Zit die van jou achter Cloudflare, Akamai, Imperva, DataDome of een vergelijkbare botmuur? Voeg dan een regel toe die de user agent hierboven toestaat. In robots.txt:

Blokkeer je hem, dan respecteren we dat en tonen we geen score. De modellen die jou moeten vinden, lezen sites op dezelfde manier. Een muur die ons tegenhoudt, houdt hen dus meestal ook tegen.

Blokkeren

Vragen: hello@humanforward.io