apiKey, вставлений під провайдером у promptfooconfig.yaml, потрапляє в git і в кожен збережений eval. Glob тестів на кшталт file://tests/*.yml, коли файли мають розширення .yaml, не додає жодного тесту, а набір, у тестах якого немає assert, проходить у CI незалежно від того, що відповідає модель. Цей навик знаходить такі та інші помилки конфігурації promptfoo, наведені нижче, ще до коміту чи запуску eval і підказує, як виправити кожну з них.

Ваш агент запускає сканер для файлів promptfooconfig.yaml, .yml і .json, інших файлів YAML або JSON, які за вмістом є конфігураціями promptfoo (наприклад, згенерований redteam.yaml), а також файлів тестів, сценаріїв, провайдерів і defaultTest, які конфігурація завантажує через file://, включно з glob-шаблонами. Він розв'язує шляхи file:// від теки конфігурації так само, як promptfoo, перевіряє точний регістр літер, читає лише заголовок тестових CSV-файлів у пошуках стовпців __expected і вважає несекретними шаблони {{ env.NAME }}, імена apiKeyEnvar, заповнювачі з документації та ключі для локальних серверів. Він ніколи не запускає promptfoo, провайдер, скрипт чи eval і ніколи не звертається до API моделі. Результат: BLOCK, REVIEW або NOT FLAGGED із файлом, рядком, причиною та безпечнішим підходом. Секрети ніколи не виводяться.

Що перевіряється

BLOCK (виправте перед випуском)

• P01: API-ключі, токени, паролі та приватні ключі, записані в конфігурацію або у файл, який вона завантажує: apiKey провайдера та інші секретні поля, записи env:, заголовки з обліковими даними, блоки auth, ключі TLS або підпису, паролі в URL, а також значення, схожі на справжні ключі провайдерів, будь-де, включно з промптами та змінними тестів
• P02: посилання file:// на промпти, провайдери, тестові файли чи glob-шаблони, файли змінних, скрипти перевірок або трансформації, яких не існує або які існують лише з іншим регістром літер
• P03: провайдери, що надсилають облікові дані на віддалений хост через звичайний http:// або ws://

REVIEW (перевірте перед релізом)

• P11: eval без жодних перевірок, а також тести без перевірок у списку, де інші тести їх мають
• P12: перевірки, які не можуть провалитися: поріг 0 для перевірок мінімального балу або assert-set, поріг тесту 0, вага 0 для всіх перевірок, порожні значення contains, регулярні вирази, що збігаються з усім, перевірки javascript чи python, які просто повертають true
• P13: перевірки з оцінюванням моделлю (llm-rubric, factuality, g-eval, similar та інші) без зафіксованого оцінювача, а також перевірки similar, оцінювач яких не має моделі ембедингів
• P14: поширення результатів, увімкнене в конфігурації (sharing: true, блок sharing, commandLineOptions.share), з виправленням, яке справді зупиняє вивантаження: sharing: false
• P15: код провайдерів, перевірок, змінних або розширень, завантажений за абсолютним шляхом чи ззовні проєкту, а також провайдери exec:, що запускають програму за абсолютним шляхом
• P16: тестові змінні із секретними назвами та літеральними значеннями, адреси електронної пошти, номери платіжних карток і номери соціального страхування США у змінних, а також ключі провайдерів, скопійовані в env через {{ env.NAME }}
• P17: тести з однаковим описом або однаковими змінними та перевірками в одному списку
• P18: типи перевірок з помилками в написанні (contain, llm_rubric, json), які promptfoo відхиляє як невідомі

Що входить до комплекту

• Сканер (Python 3.9+, лише стандартна бібліотека)
• Посібник із правил із причиною, безпечнішим підходом і офіційним джерелом promptfoo для кожного правила
• Ризикований і безпечний приклади eval (конфігурація, тестовий файл і промпт), а також справжній звіт, який сканер видає для ризикованого прикладу

Обмеження

Він читає лише конфігурації YAML і JSON: файли promptfooconfig.js і .ts, прапорці командного рядка та значення, які підставляються із середовища під час виконання, йому невідомі. Файли, які скрипт налаштування завантажує або хук записує перед eval, позначаються як відсутні, доки вони не з'являться. Виявлення персональних даних охоплює лише адреси електронної пошти, номери карток і номери соціального страхування США. Офіційні приклади без перевірок або з оцінювачем за замовчуванням навмисно отримують P11 або P13. NOT FLAGGED не є гарантією.

Вміст

Один ZIP-файл із 17 файлами: SKILL.md, сканер у scripts/ (7 файлів Python), references/rules.md (кожне правило з причиною та безпечнішим підходом) і examples/ (7 файлів-прикладів плюс report.md, справжній вивід сканера для ризикованого прикладу).

Як користуватися: Це навик для агента: тека з файлом SKILL.md і скриптами Python, які може запускати агент для програмування зі штучним інтелектом, наприклад Claude Code, Cursor або Codex CLI. Розпакуйте її в теку навичок вашого агента (для Claude Code: ~/.claude/skills/), а потім попросіть агента перевірити ваш проєкт. Скрипти також працюють самостійно з Python 3.9 або новішим, нічого не потрібно встановлювати. Вони лише читають ваші файли: без доступу до мережі, і нічого нікуди не надсилається.