#
llms.txt
llms.txt ist eine Markdown-Datei im Webroot, die KI-Systemen die wichtigsten öffentlichen Inhalte und Hinweise einer Website kompakt erklärt.
Sie kann auf priorisierte Seiten, Richtlinien, Produkte, Dokumentation und verbindliche Quellen verweisen. Sie zwingt Crawler nicht zur Befolgung, liefert ihnen aber eine klarere Übergabe.
#
robots.txt (für KI)
robots.txt legt fest, welche Crawler eine Website oder einzelne Bereiche abrufen dürfen.
Für KI-Systeme ist sie die zentrale technische Datei, um GPTBot, ClaudeBot, Google-Extended oder PerplexityBot zu erlauben, zu begrenzen oder zu blockieren. Sie macht Zugriffsregeln maschinenlesbar, ersetzt aber keine Rechtsberatung.
#
GPTBot
GPTBot ist ein OpenAI-Crawler, der öffentlich erreichbare Webinhalte für KI-Systeme abrufen kann.
Website-Betreiber steuern den Zugriff meist über robots.txt. KI-Console prüft, ob die getestete Website für diesen Bot technisch lesbar ist.
#
ClaudeBot
ClaudeBot ist ein Anthropic-Crawler, der öffentlich erreichbare Webinhalte für Claude-nahe KI-Systeme abrufen kann.
Sein Zugriff kann in robots.txt wie bei anderen benannten Crawlern erlaubt oder blockiert werden. Eine sichtbare Website sollte diese Entscheidung klar treffen, statt auf zufällige Standards zu setzen.
#
Google-Extended
Google-Extended ist eine robots.txt Steuerung von Google für die Nutzung von Inhalten in bestimmten KI-Produkten.
Es unterscheidet sich von Googlebot für klassisches Such-Crawling. Website-Betreiber treffen damit eine technische Entscheidung über bestimmte KI-Nutzungen durch Google.
#
PerplexityBot
PerplexityBot ist ein Perplexity-Crawler, der Webseiten für KI-Antwort- und Discovery-Systeme abrufen kann.
Sein robots.txt Status ist ein Signal dafür, ob eine Website in Perplexity-nahen Erlebnissen entdeckt und zitiert werden kann. Zugriff garantiert keine Erwähnung oder Platzierung.
#
AI-Readiness-Score
Der AI-Readiness-Score fasst technische Signale zusammen, die beeinflussen, ob KI-Crawler eine Website lesen und verstehen können.
Er ist kein Ranking-Versprechen. Er hilft Teams, Crawler-Blockaden, fehlende Discovery-Dateien und Lücken bei strukturierten Daten schnell einzuordnen.
#
GEO (Generative Engine Optimization)
GEO beschreibt die Optimierung von Inhalten und Technik für Antworten in generativen Such- und KI-Systemen.
Dazu gehören crawlbare Inhalte, klare Quellen, strukturierte Daten und präzise Aussagen. GEO ergänzt SEO, ersetzt es aber nicht.
#
IndexNow
IndexNow ist ein Protokoll, mit dem Websites Suchmaschinen aktiv über geänderte URLs informieren können.
Es beschleunigt Hinweise auf neue oder aktualisierte Seiten, garantiert aber keine Indexierung. Für KI-Sichtbarkeit ist es ein ergänzendes Aktualitätssignal.
#
KI-Crawler
Ein KI-Crawler ist ein Bot, der Webinhalte für KI-Suche, Training oder Live-Antworten abruft.
Je nach Anbieter erfüllt er unterschiedliche Aufgaben und nutzt eigene User-Agent-Namen. Sichtbarkeit beginnt damit, diese Bots technisch zu erkennen und sauber zu steuern.
#
sitemap.xml
sitemap.xml ist eine XML-Datei, die wichtige URLs einer Website für Crawler auflistet.
Sie hilft Suchmaschinen und KI-nahen Systemen, relevante Seiten schneller zu entdecken. Eine Sitemap ersetzt keine internen Links, ergänzt aber die technische Auffindbarkeit.