der crawler

HumanForwardBot

Der Findability Score liest eine Seite so, wie ein KI-Modell es tun würde, und sagt dem Betreiber dann, was die Modelle sehen können und was nicht. Das ist der Crawler, der das Lesen übernimmt.

Was er tut

Er ruft die Startseite, robots.txt, sitemap.xml, llms.txt, eine Produktseite und ein paar bekannte Maschinen-Endpunkte ab (products.json, /.well-known/ucp, /api/mcp). Insgesamt etwa acht Anfragen. Er läuft höchstens einmal pro Domain alle vierzehn Tage, nur wenn jemand einen Score anfordert, und er sendet nie Formulare ab, meldet sich nicht an und crawlt nicht die gesamte Seite.

Wie er sich identifiziert

Zulassen

Die meisten Seiten brauchen nichts. Wenn Ihre hinter Cloudflare, Akamai, Imperva, DataDome oder einer ähnlichen Bot-Wall liegt, fügen Sie eine Regel hinzu, die den obigen User Agent erlaubt. In der robots.txt:

Wenn Sie ihn blockieren, respektieren wir das und zeigen keinen Score. Die Modelle, von denen Sie gefunden werden wollen, lesen Seiten auf dieselbe Weise, eine Wand, die uns aufhält, hält also meist auch sie auf.

Blockieren

Fragen: hello@humanforward.io