Строка User-agent: GPTBot, ClaudeBot выглядит так, будто блокирует двух ИИ-краулеров, но парсер Google читает только первое имя, а более строгие парсеры не совпадают ни с одним. Файл llms.txt, в котором перечислены ваши страницы /docs/*.md, при том что robots.txt говорит всем Disallow: /*.md$, рекламирует страницы, которые ИИ-инструментам велено пропускать, а группа, где есть только User-agent: ClaudeBot и Crawl-delay: 1, незаметно открывает все пути, которые закрывает ваша группа *. Этот навык находит такие ошибки и другие ошибки в llms.txt и правилах для ИИ-краулеров, перечисленные ниже, до публикации и подсказывает, как исправить каждую.

Ваш агент запускает сканер для каждого файла llms.txt, llms-full.txt и robots.txt в исходных папках проекта (public/, static/, .well-known/ и подобных). Папки с результатами сборки при сканировании проекта пропускаются, поэтому если llms.txt генерирует плагин Docusaurus, VitePress или Astro, агент собирает сайт и сканирует также папку сборки. Сканер читает llms.txt так, как его описывает формат llms.txt (заголовок H1, краткое описание, разделы со ссылками вида [name](url): notes), пропуская блоки кода и front matter, а robots.txt читает так, как описывает RFC 9309: одна группа на краулер, побеждает самое длинное совпадающее правило, группа * действует только для краулеров, которые не названы ни в одной группе. Если llms.txt и robots.txt лежат в одной веб-папке (или app/robots.txt в Next.js рядом с public/), он проверяет каждую ссылку из llms.txt по robots.txt для токенов ИИ-краулеров OpenAI, Anthropic, Google, Perplexity, Common Crawl, Apple, ByteDance и Meta. Он никогда не обращается к вашему сайту. Результат: BLOCK, REVIEW или NOT FLAGGED с указанием файла, строки, причины и более безопасного подхода, а каждое правило ссылается на формат llms.txt, RFC 9309 или страницу оператора краулера, на которых оно основано. Секреты никогда не выводятся.

Что проверяется

BLOCK (исправить до выпуска)

• L01: llms.txt без заголовка H1 (файл начинается с раздела, обычного текста или HTML-страницы либо пуст)
• L02: ссылки в списке файлов на localhost, частные IP-адреса, имена .local/.test/.internal, staging-хосты, превью деплоев Netlify, URL веток Vercel, туннели ngrok или Cloudflare либо домены-заглушки
• L03: ссылки из llms.txt (или сам llms.txt), которые robots.txt запрещает для всех известных ИИ-краулеров и сборщиков
• L04: несколько имён ИИ-краулеров в одной строке User-agent или полная строка user-agent браузера
• L05: ссылки в llms.txt с паролем, API-ключом, токеном, JWT или подписью в URL, а также правдоподобные пароли в URL баз данных в примерах кода

REVIEW (проверить до релиза)

• L11: ИИ-агенты поиска и ответов (OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot, meta-webindexer) заблокированы для всего сайта, хотя llms.txt опубликован
• L12: имена ИИ-краулеров с опечатками, версиями или устаревшие (GPT-Bot, Google-Extend, GPTBot/1.1, ChatGPT, anthropic-ai без ClaudeBot)
• L13: группы ИИ-краулеров, которые не повторяют правила Disallow из группы *, из-за чего эти пути для них открыты
• L14: блокировки ChatGPT-User, Perplexity-User или meta-externalfetcher, которые, по словам их операторов, могут не соблюдать robots.txt
• L15: элементы списка без ссылки в разделе ссылок llms.txt или много ссылок, и ни у одной нет описания
• L16: один и тот же URL указан в llms.txt дважды
• L17: ссылки http:// в llms.txt
• L18: llms.txt длиннее 100 000 символов или llms-full.txt больше 1 МБ

Что входит в комплект

• Сканер (Python 3.9+, только стандартная библиотека)
• Руководство по правилам с причиной, более безопасным подходом и ссылкой на официальный источник для каждого правила
• Рискованный и безопасный примеры проектов (магазин и портал документации), а также настоящий отчёт сканера по рискованному

Ограничения

Сканер читает файлы в том виде, в каком они написаны. Папки с результатами сборки (build/, dist/, .next/ и подобные) при сканировании проекта пропускаются; чтобы проверить сгенерированный llms.txt, сканируйте папку сборки напрямую. robots.txt, генерируемый при сборке (например, app/robots.ts в Next.js), настройки CDN или хостинга и заголовки X-Robots-Tag не читаются, а ссылки не открываются, поэтому неработающие страницы не обнаруживаются. Соблюдает ли краулер robots.txt, решает его оператор, а новые ИИ-краулеры появляются часто. Классические правила для поисковых систем в robots.txt не рассматриваются. NOT FLAGGED не является гарантией.

Содержимое

Один ZIP-файл с 15 файлами: SKILL.md, сканер в scripts/ (5 файлов Python), references/rules.md (все правила с причиной и более безопасным подходом) и examples/ (7 файлов примеров плюс report.md, настоящий вывод сканера по рискованному примеру).

Как использовать: это навык для агента: папка с файлом SKILL.md и скриптами Python, которые может запускать ИИ-агент для программирования, например Claude Code, Cursor или Codex CLI. Распакуйте архив в папку навыков вашего агента (для Claude Code: ~/.claude/skills/), затем попросите агента проверить ваш проект. Скрипты также работают самостоятельно с Python 3.9 или новее, ничего устанавливать не нужно. Они только читают ваши файлы: без доступа к сети, и никуда ничего не отправляется.