الزاحف

HumanForwardBot

تقييم القابلية للاكتشاف يقرأ الموقع كما يقرأه نموذج ذكاء اصطناعي، ثم يخبر المالك بما تستطيع النماذج رؤيته وما لا تستطيع. هذا هو الزاحف الذي يقوم بالقراءة.

ما الذي يفعله

يجلب الصفحة الرئيسية، وrobots.txt، وsitemap.xml، وllms.txt، وصفحة منتج واحدة، وبضع نقاط نهاية آلية معروفة (products.json و/.well-known/ucp و/api/mcp). نحو ثمانية طلبات في المجمل. يعمل مرة واحدة لكل نطاق كل أربعة عشر يوماً على الأكثر، وفقط حين يطلب أحد تقييماً، ولا يرسل نماذج أبداً، ولا يسجّل الدخول، ولا يزحف على الموقع كاملاً.

كيف يعرّف عن نفسه

السماح له

معظم المواقع لا تحتاج إلى شيء. إن كان موقعكم خلف Cloudflare أو Akamai أو Imperva أو DataDome أو حاجز روبوتات مماثل، فأضيفوا قاعدة تسمح بوكيل المستخدم أعلاه. في robots.txt:

إن حجبتموه، نحترم ذلك ولا نعرض تقييماً. النماذج التي تحاولون أن تجدكم تقرأ المواقع بالطريقة نفسها، فالحاجز الذي يوقفنا يوقفها عادة أيضاً.

حجبه

الأسئلة: hello@humanforward.io