Saltar al contenido principal

Menú de comandos

Ve a una página o busca en el catálogo

Datasets etiquetados

Corpus de calidad de enlaces técnicos - 215.061 registros verificados de páginas web

215.061 registros de metadatos de URL de arXiv, GitHub, Wikipedia y Stack Overflow, verificados mediante citas, con evaluaciones de calidad por IA, palabras clave y metodología documentada. JSONL.

$39.00

Qué recibes: 1 archivo · 51.49 MB · ZIP

Ver opciones de compra

Descripción del producto

# Corpus de calidad de enlaces técnicos - 215.061 registros verificados de páginas web

Entrega: paquete ZIP con el archivo de datos JSONL (comprimido con zstd), LICENSE, guía para el comprador (README) y metodología de evaluación (METHODOLOGY.md). Descarga inmediata.

## Qué recibes

Metadatos de 215.061 páginas web técnicas en inglés: el subconjunto verificado mediante citas de un corpus de 225.852 registros. Cada registro incluye URL, dominio, tipo de fuente, un dictamen de un evaluador LLM («página con contenido sustancial o esbozo»), una breve justificación escrita y entre 10 y 15 palabras clave.

Los registros también incluyen page_topic_hint - el tema de la página extraído mediante reglas (categorías de arXiv como «arxiv: Informática > Aprendizaje automático»). Este campo está cumplimentado en aproximadamente el 22% de los registros; el resto contiene un marcador técnico. Para filtrar por tema, utiliza keywords, presentes en todos los registros.

Un registro JSONL (reducido a los campos principales; los registros completos tienen 16 campos: pid, slug, theme, url, domain, tap, source, track, worthy, reason, keywords, phrases, entities, brands_products, quotes_verified, page_topic_hint):

```json

{

"pid": "kv_cache_llm_05509c8977",

"url": "https://arxiv.org/abs/2607.20495",

"domain": "arxiv.org",

"tap": "arxiv",

"worthy": true,

"reason": "Una página de artículo de arXiv con contenido sustancial y un resumen completo sobre almacenamiento en caché adaptado a la carga de trabajo...",

"keywords": ["caché KV", "inferencia de LLM", "política de reemplazo"],

"page_topic_hint": "arxiv: Informática > Aprendizaje automático",

"quotes_verified": true

}

```

## Para qué sirve

- Entrenar un clasificador de calidad de páginas: 215.000 ejemplos etiquetados (contenido sustancial frente a esbozo/texto de plantilla/404/anuncio), con una justificación por registro

- Lista inicial para rastreo en RAG y búsquedas con IA: URL activas de páginas técnicas con contenido sustancial, ya filtradas

- Filtros de búsqueda de URL relevantes para herramientas SEO

## Fuentes y composición

- 1.899 dominios distintos en el conjunto de datos; principales fuentes por número de registros: github.com 28.9%, arxiv.org 28.5%, en.wikipedia.org 21.3%, stackoverflow.com 17.7%, datatracker.ietf.org 2.3%, otras ~1.5% (EUR-Lex, ICLR, Ethresear.ch y diversos blogs de tecnología)

- 100% https, 99,98% de URL únicas, datos de noviembre de 2026

- Controles de calidad: cada registro se ha contrastado con el texto de la página (quotes_verified: true en los 215.061 registros); se han excluido los registros con una vinculación incorrecta entre la evaluación y la página; comprobación en vivo de 25 URL aleatorias: 21/25 accesibles, todas con contenido sustancial

## Qué NO se incluye (por diseño)

- Textos de las páginas (solo metadatos)

- Citas textuales de las páginas (por respeto a los derechos de autor)

- El campo original de la consulta utilizada para recopilar datos: es un punto de partida para la búsqueda, no una clasificación. Para filtrar por tema, utiliza keywords (presente en todos los registros); page_topic_hint añade categorías de arXiv cuando están disponibles (~22% de los registros)

## Limitaciones, con transparencia

- Los dictámenes se generan automáticamente (GLM-5.3-flash, temperatura 0,2, prompt documentado); el prompt está orientado a un corpus técnico, pero el evaluador también aceptó algunas páginas no técnicas con contenido sustancial (~15–20% de los registros con worthy=true). Puedes filtrarlas por el texto de la justificación; se incluye la metodología para volver a clasificarlas

- Límite de entrada de 12.000 caracteres por página: las anotaciones describen el principio de cada página

- page_topic_hint está cumplimentado en aproximadamente el 22% de los registros (principalmente categorías de arXiv); el resto contiene un marcador técnico

- Los enlaces pueden quedar obsoletos; los datos son de noviembre de 2026

## Formato

- clean-verified.jsonl.zst: 215.061 registros verificados mediante citas, el archivo de datos de este paquete (51,5 MB comprimido); el paquete también incluye LICENSE, la guía para el comprador (README) y METHODOLOGY.md

- El corpus completo (225.852 registros, cada uno con el indicador quotes_verified) está disponible bajo petición: solicítalo en el chat del producto

- JSONL, un registro por línea, trama zstd; se abre con una biblioteca de zstd para cualquier lenguaje de programación

- Muestra gratuita de 4.000 registros en Hugging Face (enlace en la ficha del producto)

Qué recibes

1 archivo · 51.49 MB

  • getly-package.zipZIP · 51.49 MB
Pruébalo gratis

Prueba gratuita de huggingface.co

LicenciaSolo uso personal
Publicado15 nov 2026
Tamaño del archivo51.49 MB
Formato de archivoZIP
Versiónv1.0

Etiquetas

dataseturl metadataragquality filteringllm judgeweb crawldata curationarxivgithubsearch
D
Defmass Studio

Preguntas frecuentes

¿Tengo acceso al instante?

Sí. Es un producto digital: puedes descargarlo justo después del pago, directamente desde tu biblioteca.

¿Puedo usarlo en proyectos comerciales?

Solo uso personal. Úsalo para ti, no en trabajos que vendas o entregues a un cliente, y no revendas ni redistribuyas el archivo.

¿Cuál es vuestra política de reembolso?

Puedes pedir un reembolso dentro de 30 días. Si algo no va bien, solicítalo desde tu pedido y el equipo de Getly lo revisa.

¿Qué formatos y tamaños de archivo recibiré?

Descargarás 1 archivo - ZIP - 51.49 MB en total.

¿Recibo actualizaciones gratis?

Sí: cuando el vendedor publica una versión nueva, puedes volver a descargar los archivos más recientes desde tu biblioteca sin coste extra. Mira el registro de cambios para ver las últimas actualizaciones.

Precio

$39.00