User-agent: GPTBot, ClaudeBot parece bloquear dos rastreadores de IA, pero el analizador de Google solo lee el primer nombre y los analizadores más estrictos no coinciden con ninguno. Un llms.txt que enumera tus páginas /docs/*.md mientras robots.txt indica Disallow: /*.md$ a todos anuncia páginas que las herramientas de IA tienen orden de omitir, y un grupo que solo dice User-agent: ClaudeBot más Crawl-delay: 1 abre sin avisar todas las rutas que cierra tu grupo *. Esta skill encuentra esos errores y los demás errores de llms.txt y de rastreadores de IA que se enumeran abajo antes de publicar, y te dice cómo corregir cada uno.

Tu agente ejecuta un escáner sobre cada llms.txt, llms-full.txt y robots.txt de las carpetas de código fuente de tu proyecto (public/, static/, .well-known/ y similares). Las carpetas de salida de compilación se omiten al escanear un proyecto, así que, para un llms.txt que genera un plugin de Docusaurus, VitePress o Astro, tu agente compila el sitio y escanea también la carpeta de salida. Lee llms.txt tal como lo describe el formato llms.txt (título H1, resumen, secciones de enlaces [name](url): notes), omitiendo bloques de código y front matter, y lee robots.txt tal como lo describe el RFC 9309: un grupo por rastreador, gana la regla coincidente más larga, el grupo * solo se aplica a los rastreadores que ningún grupo nombra. Cuando llms.txt y robots.txt están en la misma carpeta web (o app/robots.txt de Next.js junto a public/), comprueba cada enlace de llms.txt contra robots.txt para los tokens de rastreadores de IA de OpenAI, Anthropic, Google, Perplexity, Common Crawl, Apple, ByteDance y Meta. Nunca accede a tu sitio. Devuelve BLOCK, REVIEW o NOT FLAGGED, con el archivo, la línea, el motivo y un enfoque más seguro, y cada regla enlaza al formato llms.txt, al RFC 9309 o a la página del operador del rastreador en la que se basa. Los secretos nunca se muestran.

Qué comprueba

BLOCK (corregir antes de publicar)

• L01: llms.txt sin su título H1 (empieza con una sección, texto plano o una página HTML, o está vacío)
• L02: enlaces de la lista de archivos a localhost, direcciones IP privadas, nombres .local/.test/.internal, hosts de staging, vistas previas de despliegue de Netlify, URL de ramas de Vercel, túneles de ngrok o Cloudflare, o dominios de ejemplo
• L03: enlaces de llms.txt (o el propio llms.txt) que robots.txt prohíbe a todos los rastreadores y recolectores de IA conocidos
• L04: varios nombres de rastreadores de IA en una misma línea User-agent, o una cadena user-agent completa de navegador
• L05: enlaces en llms.txt con una contraseña, clave de API, token, JWT o firma en la URL, y contraseñas de aspecto real en URL de bases de datos en ejemplos de código

REVIEW (revisar antes del lanzamiento)

• L11: agentes de búsqueda y respuesta de IA (OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot, meta-webindexer) bloqueados en todo el sitio mientras llms.txt está publicado
• L12: nombres de rastreadores de IA mal escritos, con versión u obsoletos (GPT-Bot, Google-Extend, GPTBot/1.1, ChatGPT, anthropic-ai sin ClaudeBot)
• L13: grupos de rastreadores de IA que no repiten las reglas Disallow del grupo *, de modo que esas rutas quedan abiertas para ellos
• L14: bloqueos a ChatGPT-User, Perplexity-User o meta-externalfetcher, que según sus operadores pueden no respetar robots.txt
• L15: elementos de lista sin enlace en una sección de enlaces de llms.txt, o muchos enlaces y ninguno con descripción
• L16: la misma URL listada dos veces en llms.txt
• L17: enlaces http:// en llms.txt
• L18: llms.txt de más de 100 000 caracteres o llms-full.txt de más de 1 MB

Qué incluye

• El escáner (Python 3.9+, solo biblioteca estándar)
• Una guía de reglas con el motivo, el enfoque más seguro y el enlace a la fuente oficial de cada regla
• Un proyecto de ejemplo arriesgado y otro seguro (una tienda y un portal de documentación), y el informe real que el escáner genera sobre el arriesgado

Limitaciones

Lee los archivos tal como están escritos. Las carpetas de salida de compilación (build/, dist/, .next/ y similares) se omiten al escanear un proyecto; escanea directamente la carpeta de salida para comprobar un llms.txt generado. No se leen el robots.txt generado durante la compilación (como app/robots.ts de Next.js), la configuración del CDN o del hosting ni los encabezados X-Robots-Tag, y los enlaces no se abren, por lo que no se detectan páginas rotas. Que un rastreador respete robots.txt depende de su operador, y aparecen nuevos rastreadores de IA con frecuencia. Las reglas clásicas para motores de búsqueda en robots.txt quedan fuera del alcance. NOT FLAGGED no es una garantía.

Contenido

Un archivo ZIP con 15 archivos: SKILL.md, el escáner en scripts/ (5 archivos de Python), references/rules.md (cada regla con su motivo y un enfoque más seguro) y examples/ (7 archivos de ejemplo más report.md, la salida real del escáner sobre el ejemplo arriesgado).

Cómo usarlo: es una skill de agente: una carpeta con un archivo SKILL.md y scripts de Python que puede ejecutar un agente de programación con IA como Claude Code, Cursor o Codex CLI. Descomprímela en la carpeta de skills de tu agente (para Claude Code: ~/.claude/skills/) y luego pide a tu agente que revise tu proyecto. Los scripts también funcionan por sí solos con Python 3.9 o posterior, sin instalar nada. Solo leen tus archivos: sin acceso a la red y sin enviar nada a ninguna parte.