CLI-інструменти
AI Crawler Audit Kit – Виявлення AI-ботів, відповідність robots.txt та HTML-звітність
Analyze website traffic, identify AI crawlers, detect robots.txt violations and potentially spoofed bots, and generate detailed HTML, JSON, or terminal reports with this lightweight Python toolkit.
Що ви отримаєте: 2 файли · 163.25 KB · ZIP
Переглянути варіанти купівліПопередній перегляд
Відкрити превʼю (PDF)Опис товару
Контролюйте видимість AI-краулерів на вашому веб-сайті за допомогою AI Crawler Audit Kit.
Цей легкий інструмент на Python допомагає власникам сайтів та розробникам розуміти, як AI-боти взаємодіють із їхніми сайтами. Він аналізує журнали доступу до сервера, ідентифікує різні категорії AI-краулерів, перевіряє відповідність robots.txt та відмічає потенційно підроблених ботів.
Незалежно від того, чи хочете ви моніторити краулерів для навчання AI, розуміти трафік AI-пошуку або виявляти боти, що мають доступ до обмежених URL-адрес, цей інструментарій надає корисні дані через детальні звіти.
Ключові можливості
Виявлення AI-краулерів – Ідентифікуйте ботів для навчання AI, індексатори пошукових систем, користувацькі запити та інших AI-ботів.
Аналіз трафіку – Відстежуйте запити, помилки, використання пропускної здатності, запитані URL-адреси та тенденції денного трафіку.
Відповідність robots.txt – Виявляйте краулерів, що отримують доступ до URL-адрес, заборонених правилами вашого robots.txt.
Виявлення підроблених ботів – Позначайте запити, що стверджують, ніби вони підтримувані краулери, але надходять із IP-адрес за межами наданих діапазонів IP.
Перевірка політики – Оглядайте, як ваша конфігурація robots.txt впливає на різних AI-краулерів.
Генератор robots.txt – Генеруйте правила для блокування обраних категорій AI-краулерів або конкретних ботів.
Велика кількість форматів звітів – Експорт результатів у HTML, JSON або у форматі виводу терміналу.
Що входить
Python-скрипт аудиту (aibot_audit.py)
Приклади access logs
Приклад конфігурації robots.txt
Приклад файлу діапазонів IP GPTBot
Готовий демо-звіт у HTML
Юніт-тести
Документація README
Файл ліцензії
Вимоги
Python 3.8 або новіше
Не потребує зовнішніх залежностей Python
Сумісний із Linux, macOS та Windows
Хто це для?
Власники сайтів
Веб-розробники
Системні адміністратори
SEO-фахівці
Ентузіасти веб-безпеки
Важливі зауваги
Цей інструмент аналізує журнали сервера та виявляє активність краулерів за наявною інформацією User-Agent та наданими діапазонами IP. Перевірка IP доступна лише для ботів із підтримуваними публічними діапазонами IP. robots.txt є добровільним, тому фактичне застосування вимагає правил сервера або CDN.
Отримайте кращу видимість діяльності AI-краулерів на вашому веб-сайті за допомогою AI Crawler Audit Kit.
Що ви отримаєте
2 файли · 163.25 KB
- ai-crawler-audit-kit-v1.0.0.zipZIP · 152.48 KB
- sample-report.htmlHTML · 10.77 KB
CLI-інструменти
AI Crawler Audit Kit – Виявлення AI-ботів, відповідність robots.txt та HTML-звітність
Analyze website traffic, identify AI crawlers, detect robots.txt violations and potentially spoofed bots, and generate detailed HTML, JSON, or terminal reports with this lightweight Python toolkit.
Безкоштовна демоверсія, купувати не потрібно
Входить до Getly ProОтримати Pro
Поширені запитання
Чи отримаю я доступ одразу?
Так. Це цифровий товар: ви можете завантажити його одразу після оплати, просто зі своєї бібліотеки.
Чи можна використовувати його в комерційних проєктах?
Лише для особистого використання. Використовуйте для себе, а не в роботі, яку ви продаєте чи передаєте клієнту, і не перепродавайте та не поширюйте файл.
Яка у вас політика повернення коштів?
Ви можете запросити повернення коштів протягом 30 дн. Якщо щось не так, подайте запит зі свого замовлення, і команда Getly його розгляне.
Які формати та розміри файлів я отримаю?
Ви завантажите 2 файли - ZIP, HTML - загалом 163.25 KB.
Чи отримую я безкоштовні оновлення?
Так: коли продавець випускає нову версію, ви можете повторно завантажити свіжі файли зі своєї бібліотеки безкоштовно. Останні оновлення дивіться в журналі змін.
Ціна
$19.00

