KI-Console-Bot

Що завантажує бот

• robots.txt, щоб зрозуміти правила краулерів та відмови.
• sitemap.xml, коли вона зазначена в robots.txt або доступна за стандартним розташуванням.
• llms.txt, коли файл доступний у кореневому каталозі вебсайту.
• Головну сторінку та щонайбільше кілька публічних сторінок для надісланої діагностики.

Чому ми завантажуємо

Відвідувач або власник облікового запису надсилає домен і просить KI-Console виконати одноразову технічну діагностику готовності до ШІ. Результат кешується для анонімних публічних сканувань, щоб той самий вебсайт не завантажувався повторно.

Ідентифікація

Запити ідентифікують себе за допомогою цього рядка user-agent:

KI-Console-Bot/1.0 (+https://ki-console.com/bot)

Ліміти

Анонімні публічні сканування кешуються протягом 24 годин на кожен вебсайт. Крім того, живе публічне сканування обмежене квотою IP та наявним періодом очікування безкоштовного сканування на кожен домен.

Відмова

Щоб заблокувати публічні сканування сторонніх сайтів через KI-Console, додайте цю групу до вашого robots.txt. Перевірені сканування облікового запису власником вважаються авторизованими власником вебсайту.

Фрагмент robots.txt

User-agent: KI-Console-Bot
Disallow: /

Контакт

Запитання щодо KI-Console-Bot можна надіслати на website@ki-console.com