Crawler-Transparenz
KI-Console-Bot
KI-Console-Bot ist der Crawler für einmalige, von Nutzern angeforderte AI-Readiness-Diagnosen.
Was der Bot abruft
- robots.txt, um Crawler-Regeln und Opt-outs zu verstehen.
- sitemap.xml, wenn sie in robots.txt genannt wird oder am Standardort verfügbar ist.
- llms.txt, wenn die Datei im Stammverzeichnis der Website verfügbar ist.
- Die Homepage und höchstens wenige öffentliche Seiten für die eingereichte Diagnose.
Warum wir abrufen
Ein Besucher oder Kontoinhaber reicht eine Domain ein und bittet KI-Console um eine einmalige technische AI-Readiness-Diagnose. Das Ergebnis wird für anonyme öffentliche Scans gecacht, damit dieselbe Website nicht wiederholt abgerufen wird.
Identifikation
Anfragen weisen sich mit diesem User-Agent aus:
KI-Console-Bot/1.0 (+https://ki-console.com/bot)
Limits
Anonyme öffentliche Scans werden pro Website 24 Stunden gecacht. Ein öffentlicher Live-Scan ist zusätzlich durch IP-Kontingent und den bestehenden Gratis-Scan-Cooldown pro Domain begrenzt.
Opt-out
Um öffentliche Drittseiten-Scans durch KI-Console zu blockieren, fügen Sie diese Gruppe in Ihre robots.txt ein. Verifizierte Kontoscans durch Inhaber gelten als durch den Website-Inhaber autorisiert.
robots.txt Snippet
User-agent: KI-Console-Bot
Disallow: /
Kontakt
Fragen zum KI-Console-Bot können gesendet werden an website@ki-console.com