Una apiKey pegada bajo un proveedor en promptfooconfig.yaml acaba en git y en cada evaluación guardada. Un glob de pruebas como file://tests/*.yml, cuando los archivos terminan en .yaml, no añade ninguna prueba, y una suite cuyas pruebas no tienen assert pasa en CI responda lo que responda el modelo. Esta skill encuentra esos y los demás errores de configuración de promptfoo que se indican abajo antes de que hagas commit o ejecutes la evaluación, y te dice cómo corregir cada uno.

Tu agente ejecuta un escáner sobre los archivos promptfooconfig.yaml, .yml y .json, otros archivos YAML o JSON que por su contenido son configuraciones de promptfoo (como un redteam.yaml generado) y los archivos de pruebas, escenarios, proveedores y defaultTest que una configuración carga con file://, incluidos los globs. Resuelve las rutas file:// desde la carpeta de la configuración igual que promptfoo, comprueba que coincidan exactamente las mayúsculas y minúsculas, lee solo la cabecera de los archivos de pruebas CSV en busca de columnas __expected y trata como no secretos las plantillas {{ env.NAME }}, los nombres de apiKeyEnvar, los marcadores de posición de la documentación y las claves de servidores locales. Nunca ejecuta promptfoo, un proveedor, un script ni una evaluación, y nunca contacta con la API de un modelo. Devuelve BLOCK, REVIEW o NOT FLAGGED, con el archivo, la línea, el motivo y una alternativa más segura. Los secretos nunca se muestran.

Qué comprueba

BLOCK (corrígelo antes de publicar)

• P01: claves de API, tokens, contraseñas y claves privadas escritas en una configuración o en un archivo que esta carga: apiKey del proveedor y otros campos secretos, entradas env:, cabeceras con credenciales, bloques auth, claves TLS o de firma, contraseñas en URL y valores con forma de claves reales de proveedor en cualquier lugar, incluidos prompts y variables de prueba
• P02: referencias file:// a prompts, proveedores, archivos o globs de pruebas, archivos de variables, scripts de aserción o transformaciones que no existen, o que solo existen con otras mayúsculas y minúsculas
• P03: proveedores que envían credenciales a un host remoto por http:// o ws:// sin cifrar

REVIEW (revísalo antes del lanzamiento)

• P11: evaluaciones sin ninguna aserción, y pruebas sin aserciones en una lista donde las demás sí las tienen
• P12: comprobaciones que no pueden fallar: threshold 0 en aserciones de puntuación mínima o en assert-sets, un threshold de prueba de 0, weight 0 en todas las aserciones, valores contains vacíos, expresiones regulares que lo aceptan todo, comprobaciones javascript o python que simplemente devuelven true
• P13: aserciones evaluadas por modelo (llm-rubric, factuality, g-eval, similar y otras) sin evaluador fijado, y comprobaciones similar cuyo evaluador no tiene modelo de embeddings
• P14: uso compartido de resultados activado en la configuración (sharing: true, un bloque sharing, commandLineOptions.share), con la corrección que realmente detiene las subidas: sharing: false
• P15: código de proveedores, aserciones, variables o extensiones cargado desde una ruta absoluta o desde fuera del proyecto, y proveedores exec: que ejecutan un programa por ruta absoluta
• P16: variables de prueba con nombre de secreto y valores literales, direcciones de correo electrónico, números de tarjetas de pago y números de la Seguridad Social de EE. UU. en las variables, y claves de proveedor copiadas en env con {{ env.NAME }}
• P17: pruebas con la misma descripción, o con las mismas variables y aserciones, en una misma lista
• P18: tipos de aserción mal escritos (contain, llm_rubric, json) que promptfoo rechaza como desconocidos

Qué incluye

• El escáner (Python 3.9+, solo biblioteca estándar)
• Una guía de reglas con el motivo, la alternativa más segura y la fuente oficial de promptfoo para cada regla
• Un ejemplo de evaluación arriesgado y otro seguro (configuración, archivo de pruebas y prompt), y el informe real que el escáner genera sobre el arriesgado

Limitaciones

Solo lee configuraciones YAML y JSON: no conoce los archivos promptfooconfig.js y .ts, los parámetros de línea de comandos ni los valores que se rellenan desde el entorno en tiempo de ejecución. Los archivos que un script de preparación descarga o que un hook escribe antes de la evaluación se notifican como inexistentes hasta que existan. La detección de datos personales cubre solo direcciones de correo electrónico, números de tarjeta y números de la Seguridad Social de EE. UU. Los ejemplos oficiales sin aserciones o con el evaluador predeterminado reciben P11 o P13 de forma intencionada. NOT FLAGGED no es una garantía.

Contenido

Un archivo ZIP con 17 archivos: SKILL.md, el escáner en scripts/ (7 archivos Python), references/rules.md (cada regla con su motivo y su alternativa más segura) y examples/ (7 archivos de ejemplo más report.md, la salida real del escáner sobre el ejemplo arriesgado).

Cómo usarlo: Esto es una skill de agente: una carpeta con un archivo SKILL.md y scripts de Python que un agente de programación con IA como Claude Code, Cursor o Codex CLI puede ejecutar. Descomprímela en la carpeta de skills de tu agente (para Claude Code: ~/.claude/skills/) y pide a tu agente que revise tu proyecto. Los scripts también funcionan por sí solos con Python 3.9 o posterior, sin instalar nada. Solo leen tus archivos: sin acceso a la red y sin enviar nada a ningún sitio.