Рядок User-agent: GPTBot, ClaudeBot виглядає так, ніби блокує два ШІ-краулери, але парсер Google читає лише перше ім'я, а суворіші парсери не збігаються з жодним. Файл llms.txt, у якому перелічено ваші сторінки /docs/*.md, тоді як robots.txt каже всім Disallow: /*.md$, рекламує сторінки, які ШІ-інструментам наказано пропускати, а група, де є лише User-agent: ClaudeBot і Crawl-delay: 1, непомітно відкриває всі шляхи, які закриває ваша група *. Цей навик знаходить такі помилки та інші помилки в llms.txt і правилах для ШІ-краулерів, перелічені нижче, ще до публікації та підказує, як виправити кожну.

Ваш агент запускає сканер для кожного файлу llms.txt, llms-full.txt і robots.txt у вихідних папках проєкту (public/, static/, .well-known/ тощо). Папки з результатами збирання під час сканування проєкту пропускаються, тому якщо llms.txt генерує плагін Docusaurus, VitePress або Astro, агент збирає сайт і сканує також папку збирання. Сканер читає llms.txt так, як його описує формат llms.txt (заголовок H1, короткий опис, розділи з посиланнями вигляду [name](url): notes), пропускаючи блоки коду та front matter, а robots.txt читає так, як описує RFC 9309: одна група на краулер, перемагає найдовше відповідне правило, група * діє лише для краулерів, яких не названо в жодній групі. Якщо llms.txt і robots.txt лежать в одній вебпапці (або app/robots.txt у Next.js поруч із public/), він перевіряє кожне посилання з llms.txt за robots.txt для токенів ШІ-краулерів OpenAI, Anthropic, Google, Perplexity, Common Crawl, Apple, ByteDance і Meta. Він ніколи не звертається до вашого сайту. Результат: BLOCK, REVIEW або NOT FLAGGED із зазначенням файлу, рядка, причини та безпечнішого підходу, а кожне правило посилається на формат llms.txt, RFC 9309 або сторінку оператора краулера, на яких воно ґрунтується. Секрети ніколи не виводяться.

Що перевіряється

BLOCK (виправити до випуску)

• L01: llms.txt без заголовка H1 (файл починається з розділу, звичайного тексту чи HTML-сторінки або порожній)
• L02: посилання у списку файлів на localhost, приватні IP-адреси, імена .local/.test/.internal, staging-хости, попередні перегляди деплоїв Netlify, URL гілок Vercel, тунелі ngrok або Cloudflare чи домени-заглушки
• L03: посилання з llms.txt (або сам llms.txt), які robots.txt забороняє для всіх відомих ШІ-краулерів і збирачів
• L04: кілька імен ШІ-краулерів в одному рядку User-agent або повний рядок user-agent браузера
• L05: посилання в llms.txt з паролем, API-ключем, токеном, JWT або підписом в URL, а також правдоподібні паролі в URL баз даних у прикладах коду

REVIEW (перевірити до релізу)

• L11: ШІ-агенти пошуку та відповідей (OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot, meta-webindexer) заблоковані для всього сайту, хоча llms.txt опубліковано
• L12: імена ШІ-краулерів з помилками, з версіями або застарілі (GPT-Bot, Google-Extend, GPTBot/1.1, ChatGPT, anthropic-ai без ClaudeBot)
• L13: групи ШІ-краулерів, які не повторюють правила Disallow з групи *, через що ці шляхи для них відкриті
• L14: блокування ChatGPT-User, Perplexity-User або meta-externalfetcher, які, за словами їхніх операторів, можуть не дотримуватися robots.txt
• L15: елементи списку без посилання в розділі посилань llms.txt або багато посилань, і жодне не має опису
• L16: одна й та сама URL-адреса вказана в llms.txt двічі
• L17: посилання http:// у llms.txt
• L18: llms.txt довший за 100 000 символів або llms-full.txt більший за 1 МБ

Що входить до комплекту

• Сканер (Python 3.9+, лише стандартна бібліотека)
• Посібник із правил із причиною, безпечнішим підходом і посиланням на офіційне джерело для кожного правила
• Ризикований і безпечний приклади проєктів (магазин і портал документації), а також справжній звіт сканера щодо ризикованого

Обмеження

Сканер читає файли в тому вигляді, в якому їх написано. Папки з результатами збирання (build/, dist/, .next/ тощо) під час сканування проєкту пропускаються; щоб перевірити згенерований llms.txt, скануйте папку збирання безпосередньо. robots.txt, що генерується під час збирання (наприклад, app/robots.ts у Next.js), налаштування CDN чи хостингу та заголовки X-Robots-Tag не читаються, а посилання не відкриваються, тому непрацюючі сторінки не виявляються. Чи дотримується краулер robots.txt, вирішує його оператор, а нові ШІ-краулери з'являються часто. Класичні правила для пошукових систем у robots.txt не розглядаються. NOT FLAGGED не є гарантією.

Вміст

Один ZIP-файл із 15 файлами: SKILL.md, сканер у scripts/ (5 файлів Python), references/rules.md (усі правила з причиною та безпечнішим підходом) і examples/ (7 файлів прикладів плюс report.md, справжній вивід сканера щодо ризикованого прикладу).

Як користуватися: це навик для агента: папка з файлом SKILL.md і скриптами Python, які може запускати ШІ-агент для програмування, наприклад Claude Code, Cursor або Codex CLI. Розпакуйте архів у папку навиків вашого агента (для Claude Code: ~/.claude/skills/), а потім попросіть агента перевірити ваш проєкт. Скрипти також працюють самостійно з Python 3.9 або новішим, нічого встановлювати не потрібно. Вони лише читають ваші файли: без доступу до мережі, і нікуди нічого не надсилається.