Размеченные датасеты
Корпус качественных технических ссылок - 215 061 проверенная запись о веб-страницах
215 061 запись метаданных URL с arXiv, GitHub, Wikipedia и Stack Overflow, проверенная по цитатам: оценки качества от ИИ, ключевые слова и документированная методология. JSONL.
Что вы получите: 1 файл · 51.49 MB · ZIP
Варианты покупкиОписание товара
# Корпус качественных технических ссылок - 215 061 проверенная запись о веб-страницах
Комплект поставки: ZIP-архив с файлом данных JSONL (сжатым с помощью zstd), LICENSE, руководством для покупателя (README) и методологией оценки (METHODOLOGY.md). Мгновенное скачивание.
## Что вы получите
Метаданные 215 061 англоязычной технической веб-страницы: проверенная по цитатам часть корпуса из 225 852 записей. Каждая запись содержит URL, домен, тип источника, вердикт LLM-оценщика («содержательная страница или заготовка») с кратким письменным обоснованием и 10–15 ключевых слов.
Записи также содержат page_topic_hint - тему страницы, извлечённую по правилам (категории arXiv, например «arxiv: Информатика > Машинное обучение»). Поле заполнено примерно у 22% записей; у остальных указано техническое значение-заглушка. Для тематической фильтрации используйте keywords, которые есть в каждой записи.
Одна запись JSONL (сокращена до основных полей; полные записи содержат 16 полей: pid, slug, theme, url, domain, tap, source, track, worthy, reason, keywords, phrases, entities, brands_products, quotes_verified, page_topic_hint):
```json
{
"pid": "kv_cache_llm_05509c8977",
"url": "https://arxiv.org/abs/2607.20495",
"domain": "arxiv.org",
"tap": "arxiv",
"worthy": true,
"reason": "Содержательная страница статьи на arXiv с полной аннотацией о кэшировании с учётом рабочей нагрузки...",
"keywords": ["KV-кэш", "инференс LLM", "политика вытеснения"],
"page_topic_hint": "arxiv: Информатика > Машинное обучение",
"quotes_verified": true
}
```
## Для чего подходит
- Обучение классификатора качества страниц: 215 тыс. размеченных примеров (содержательная страница или заготовка/шаблонный текст/404/реклама) с обоснованием для каждой записи
- Начальный список для обхода сайтов в RAG и ИИ-поиске: действующие URL содержательных технических страниц, уже прошедшие фильтрацию
- Фильтры отбора перспективных URL для SEO-инструментов
## Источники и состав
- 1 899 уникальных доменов в наборе данных; крупнейшие источники по числу записей: github.com 28.9%, arxiv.org 28.5%, en.wikipedia.org 21.3%, stackoverflow.com 17.7%, datatracker.ietf.org 2.3%, остальные ~1.5% (EUR-Lex, ICLR, Ethresear.ch и различные технические блоги)
- 100% https, 99,98% уникальных URL, срез данных: ноябрь 2026 года
- Проверки качества: каждая запись сверена с текстом страницы (quotes_verified: true во всех 215 061 записи); записи с нарушенной привязкой оценки к странице исключены; выборочная проверка 25 случайных URL: 21 из 25 доступен, все доступные страницы содержательные
## Что намеренно НЕ включено
- Тексты страниц (только метаданные)
- Дословные цитаты со страниц (для соблюдения авторских прав)
- Исходное поле поискового запроса для сбора данных: это отправная точка поиска, а не классификация. Для тематической фильтрации используйте keywords (есть в каждой записи); page_topic_hint добавляет категории arXiv, где они доступны (~22% записей)
## Честно об ограничениях
- Вердикты сформированы моделью (GLM-5.3-flash, температура 0,2, промпт задокументирован); промпт рассчитан на технический корпус, однако оценщик принял и часть содержательных нетехнических страниц (~15–20% записей с worthy=true). Их можно отфильтровать по тексту обоснования; методология повторной классификации включена в комплект
- Входной текст ограничен 12 000 символами на страницу: аннотации описывают начальную часть каждой страницы
- page_topic_hint заполнено примерно у 22% записей (в основном категории arXiv); у остальных указано техническое значение-заглушка
- Ссылки устаревают; срез данных сделан в ноябре 2026 года
## Формат
- clean-verified.jsonl.zst: 215 061 запись, проверенная по цитатам. Это файл данных в данном комплекте (51,5 МБ в сжатом виде); в комплект также входят LICENSE, руководство для покупателя (README) и METHODOLOGY.md
- Полная версия корпуса (225 852 записи, каждая с флагом quotes_verified) доступна по запросу: напишите в чате товара
- JSONL, одна запись на строку, фрейм zstd; открывается с помощью библиотеки zstd для любого языка программирования
- Бесплатная выборка из 4 000 записей на Hugging Face (ссылка в карточке товара)
Что вы получите
1 файл · 51.49 MB
- getly-package.zipZIP · 51.49 MB
Размеченные датасеты
Корпус качественных технических ссылок - 215 061 проверенная запись о веб-страницах
215 061 запись метаданных URL с arXiv, GitHub, Wikipedia и Stack Overflow, проверенная по цитатам: оценки качества от ИИ, ключевые слова и документированная методология. JSONL.
Пробная версия с huggingface.co
Теги
Частые вопросы
Доступ открывается сразу?
Да. Это цифровой товар - скачать его можно сразу после оплаты, прямо из своей библиотеки.
Можно ли использовать в коммерческих проектах?
Только для личного использования. Пользуйтесь сами - не в работе, которую продаёте или сдаёте клиенту, - и не перепродавайте и не распространяйте файл.
Какие условия возврата?
Запросить возврат можно в течение 30 дней. Если что-то не так, оформите заявку в своём заказе - её рассмотрит команда Getly.
Какие форматы и размеры файлов я получу?
Вы скачаете 1 файл - ZIP - всего 51.49 MB.
Обновления бесплатны?
Да - когда продавец выпускает новую версию, вы можете бесплатно скачать актуальные файлы из своей библиотеки. Последние изменения смотрите в истории версий.
Цена
$39.00



