Розмічені датасети
Корпус якісних технічних посилань - 215 061 перевірений запис про вебсторінки
215 061 запис метаданих URL з arXiv, GitHub, Wikipedia та Stack Overflow, перевірений за цитатами: оцінки якості від ШІ, ключові слова та задокументована методологія. JSONL.
Що ви отримаєте: 1 файл · 51.49 MB · ZIP
Переглянути варіанти купівліОпис товару
# Корпус якісних технічних посилань - 215 061 перевірений запис про вебсторінки
Комплект постачання: ZIP-архів із файлом даних JSONL (стисненим за допомогою zstd), LICENSE, посібником для покупця (README) та методологією оцінювання (METHODOLOGY.md). Миттєве завантаження.
## Що ви отримаєте
Метадані 215 061 англомовної технічної вебсторінки: перевірена за цитатами частина корпусу з 225 852 записів. Кожен запис містить URL, домен, тип джерела, висновок LLM-оцінювача («змістовна сторінка чи заготовка») з коротким письмовим обґрунтуванням і 10–15 ключових слів.
Записи також містять page_topic_hint - тему сторінки, визначену за правилами (категорії arXiv, наприклад «arxiv: Інформатика > Машинне навчання»). Поле заповнене приблизно у 22% записів; решта містить технічне значення-заповнювач. Для тематичної фільтрації використовуйте keywords, які є в кожному записі.
Один запис JSONL (скорочений до основних полів; повні записи містять 16 полів: pid, slug, theme, url, domain, tap, source, track, worthy, reason, keywords, phrases, entities, brands_products, quotes_verified, page_topic_hint):
```json
{
"pid": "kv_cache_llm_05509c8977",
"url": "https://arxiv.org/abs/2607.20495",
"domain": "arxiv.org",
"tap": "arxiv",
"worthy": true,
"reason": "Змістовна сторінка статті на arXiv з повною анотацією про кешування з урахуванням робочого навантаження...",
"keywords": ["KV-кеш", "інференс LLM", "політика витіснення"],
"page_topic_hint": "arxiv: Інформатика > Машинне навчання",
"quotes_verified": true
}
```
## Для чого підходить
- Навчання класифікатора якості сторінок: 215 тис. розмічених прикладів (змістовна сторінка чи заготовка/шаблонний текст/404/реклама) з обґрунтуванням для кожного запису
- Початковий список для обходу сайтів у RAG та ШІ-пошуку: чинні URL змістовних технічних сторінок, що вже пройшли фільтрацію
- Фільтри відбору перспективних URL для SEO-інструментів
## Джерела та склад
- 1 899 унікальних доменів у наборі даних; найбільші джерела за кількістю записів: github.com 28.9%, arxiv.org 28.5%, en.wikipedia.org 21.3%, stackoverflow.com 17.7%, datatracker.ietf.org 2.3%, інші ~1.5% (EUR-Lex, ICLR, Ethresear.ch та різні технічні блоги)
- 100% https, 99,98% унікальних URL, зріз даних: листопад 2026 року
- Перевірки якості: кожен запис звірено з текстом сторінки (quotes_verified: true в усіх 215 061 записі); записи з порушеним зв’язком між оцінкою та сторінкою вилучено; вибіркова перевірка 25 випадкових URL: 21 із 25 доступний, усі доступні сторінки змістовні
## Що навмисно НЕ включено
- Тексти сторінок (лише метадані)
- Дослівні цитати зі сторінок (задля дотримання авторських прав)
- Початкове поле пошукового запиту для збору даних: це відправна точка пошуку, а не класифікація. Для тематичної фільтрації використовуйте keywords (є в кожному записі); page_topic_hint додає категорії arXiv, де вони доступні (~22% записів)
## Чесно про обмеження
- Висновки сформовано моделлю (GLM-5.3-flash, температура 0,2, промпт задокументовано); промпт орієнтований на технічний корпус, проте оцінювач прийняв і деякі змістовні нетехнічні сторінки (~15–20% записів із worthy=true). Їх можна відфільтрувати за текстом обґрунтування; методологія повторної класифікації входить до комплекту
- Вхідний текст обмежено 12 000 символами на сторінку: анотації описують початкову частину кожної сторінки
- page_topic_hint заповнене приблизно у 22% записів (переважно категорії arXiv); решта містить технічне значення-заповнювач
- Посилання застарівають; зріз даних зроблено в листопаді 2026 року
## Формат
- clean-verified.jsonl.zst: 215 061 запис, перевірений за цитатами. Це файл даних у цьому комплекті (51,5 МБ у стисненому вигляді); до комплекту також входять LICENSE, посібник для покупця (README) та METHODOLOGY.md
- Повна версія корпусу (225 852 записи, кожен із прапорцем quotes_verified) доступна за запитом: напишіть у чаті товару
- JSONL, один запис на рядок, фрейм zstd; відкривається за допомогою бібліотеки zstd для будь-якої мови програмування
- Безкоштовна вибірка з 4 000 записів на Hugging Face (посилання в картці товару)
Що ви отримаєте
1 файл · 51.49 MB
- getly-package.zipZIP · 51.49 MB
Розмічені датасети
Корпус якісних технічних посилань - 215 061 перевірений запис про вебсторінки
215 061 запис метаданих URL з arXiv, GitHub, Wikipedia та Stack Overflow, перевірений за цитатами: оцінки якості від ШІ, ключові слова та задокументована методологія. JSONL.
Безкоштовна пробна версія від huggingface.co
Теги
Поширені запитання
Чи отримаю я доступ одразу?
Так. Це цифровий товар: ви можете завантажити його одразу після оплати, просто зі своєї бібліотеки.
Чи можна використовувати його в комерційних проєктах?
Лише для особистого використання. Використовуйте для себе, а не в роботі, яку ви продаєте чи передаєте клієнту, і не перепродавайте та не поширюйте файл.
Яка у вас політика повернення коштів?
Ви можете запросити повернення коштів протягом 30 дн. Якщо щось не так, подайте запит зі свого замовлення, і команда Getly його розгляне.
Які формати та розміри файлів я отримаю?
Ви завантажите 1 файл - ZIP - загалом 51.49 MB.
Чи отримую я безкоштовні оновлення?
Так: коли продавець випускає нову версію, ви можете повторно завантажити свіжі файли зі своєї бібліотеки безкоштовно. Останні оновлення дивіться в журналі змін.
Ціна
$39.00



