User-agent: GPTBot, ClaudeBot semble bloquer deux robots d'IA, mais l'analyseur de Google ne lit que le premier nom et les analyseurs plus stricts ne reconnaissent aucun des deux. Un llms.txt qui liste vos pages /docs/*.md alors que robots.txt indique Disallow: /*.md$ à tout le monde met en avant des pages que les outils d'IA ont pour consigne d'ignorer, et un groupe qui ne contient que User-agent: ClaudeBot et Crawl-delay: 1 ouvre discrètement tous les chemins que votre groupe * ferme. Cette skill détecte ces erreurs et les autres erreurs de llms.txt et de règles pour robots d'IA listées ci-dessous avant la publication, et vous indique comment corriger chacune.

Votre agent lance un scanner sur chaque fichier llms.txt, llms-full.txt et robots.txt des dossiers sources de votre projet (public/, static/, .well-known/ et autres). Les dossiers de sortie de build sont ignorés lors de l'analyse d'un projet ; pour un llms.txt généré par un plugin Docusaurus, VitePress ou Astro, votre agent compile donc le site et analyse aussi le dossier de sortie. Il lit llms.txt tel que le décrit le format llms.txt (titre H1, résumé, sections de liens [name](url): notes), en ignorant les blocs de code et le front matter, et lit robots.txt tel que le décrit la RFC 9309 : un groupe par robot, la règle correspondante la plus longue l'emporte, le groupe * ne s'applique qu'aux robots qu'aucun groupe ne nomme. Lorsque llms.txt et robots.txt se trouvent dans le même dossier web (ou app/robots.txt de Next.js à côté de public/), il vérifie chaque lien de llms.txt par rapport à robots.txt pour les jetons des robots d'IA d'OpenAI, Anthropic, Google, Perplexity, Common Crawl, Apple, ByteDance et Meta. Il n'accède jamais à votre site. Il renvoie BLOCK, REVIEW ou NOT FLAGGED, avec le fichier, la ligne, la raison et une approche plus sûre, et chaque règle renvoie vers le format llms.txt, la RFC 9309 ou la page de l'opérateur du robot sur laquelle elle s'appuie. Les secrets ne sont jamais affichés.

Ce qui est vérifié

BLOCK (à corriger avant la mise en ligne)

• L01 : llms.txt sans son titre H1 (il commence par une section, du texte brut ou une page HTML, ou il est vide)
• L02 : liens de la liste de fichiers vers localhost, des adresses IP privées, des noms .local/.test/.internal, des hôtes de staging, des aperçus de déploiement Netlify, des URL de branches Vercel, des tunnels ngrok ou Cloudflare, ou des domaines factices
• L03 : liens de llms.txt (ou llms.txt lui-même) que robots.txt interdit à tous les robots et récupérateurs d'IA connus
• L04 : plusieurs noms de robots d'IA sur une même ligne User-agent, ou une chaîne user-agent complète de navigateur
• L05 : liens dans llms.txt avec un mot de passe, une clé d'API, un jeton, un JWT ou une signature dans l'URL, et mots de passe d'apparence réelle dans des URL de bases de données dans des exemples de code

REVIEW (à vérifier avant la publication)

• L11 : agents de recherche et de réponse d'IA (OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot, meta-webindexer) bloqués sur tout le site alors que llms.txt est publié
• L12 : noms de robots d'IA mal orthographiés, versionnés ou obsolètes (GPT-Bot, Google-Extend, GPTBot/1.1, ChatGPT, anthropic-ai sans ClaudeBot)
• L13 : groupes de robots d'IA qui ne reprennent pas les règles Disallow du groupe *, si bien que ces chemins leur sont ouverts
• L14 : blocages de ChatGPT-User, Perplexity-User ou meta-externalfetcher, dont les opérateurs indiquent qu'ils peuvent ne pas respecter robots.txt
• L15 : éléments de liste sans lien dans une section de liens de llms.txt, ou de nombreux liens dont aucun n'a de description
• L16 : la même URL listée deux fois dans llms.txt
• L17 : liens http:// dans llms.txt
• L18 : llms.txt de plus de 100 000 caractères ou llms-full.txt de plus de 1 Mo

Ce qui est inclus

• Le scanner (Python 3.9+, bibliothèque standard uniquement)
• Un guide des règles avec la raison, l'approche plus sûre et le lien vers la source officielle pour chaque règle
• Un projet d'exemple risqué et un sûr (une boutique et un portail de documentation), ainsi que le vrai rapport produit par le scanner sur le projet risqué

Limites

Il lit les fichiers tels qu'ils sont écrits. Les dossiers de sortie de build (build/, dist/, .next/ et similaires) sont ignorés lors de l'analyse d'un projet ; analysez directement le dossier de sortie pour vérifier un llms.txt généré. Le robots.txt généré au moment du build (comme app/robots.ts de Next.js), les réglages du CDN ou de l'hébergeur et les en-têtes X-Robots-Tag ne sont pas lus, et les liens ne sont pas ouverts, donc les pages cassées ne sont pas détectées. Le respect de robots.txt par un robot dépend de son opérateur, et de nouveaux robots d'IA apparaissent souvent. Les règles classiques pour moteurs de recherche dans robots.txt sont hors du périmètre. NOT FLAGGED n'est pas une garantie.

Contenu

Un fichier ZIP de 15 fichiers : SKILL.md, le scanner dans scripts/ (5 fichiers Python), references/rules.md (chaque règle avec sa raison et une approche plus sûre) et examples/ (7 fichiers d'exemple plus report.md, la vraie sortie du scanner sur l'exemple risqué).

Utilisation : il s'agit d'une skill d'agent : un dossier contenant un fichier SKILL.md et des scripts Python qu'un agent de programmation IA comme Claude Code, Cursor ou Codex CLI peut exécuter. Décompressez-le dans le dossier des skills de votre agent (pour Claude Code : ~/.claude/skills/), puis demandez à votre agent de vérifier votre projet. Les scripts fonctionnent aussi seuls avec Python 3.9 ou plus récent, sans rien à installer. Ils lisent uniquement vos fichiers : aucun accès réseau, et rien n'est envoyé nulle part.