Datasets etiquetados
Corpus de calidad de enlaces técnicos - 215.061 registros verificados de páginas web
215.061 registros de metadatos de URL de arXiv, GitHub, Wikipedia y Stack Overflow, verificados mediante citas, con evaluaciones de calidad por IA, palabras clave y metodología documentada. JSONL.
Qué recibes: 1 archivo · 51.49 MB · ZIP
Ver opciones de compraDescripción del producto
# Corpus de calidad de enlaces técnicos - 215.061 registros verificados de páginas web
Entrega: paquete ZIP con el archivo de datos JSONL (comprimido con zstd), LICENSE, guía para el comprador (README) y metodología de evaluación (METHODOLOGY.md). Descarga inmediata.
## Qué recibes
Metadatos de 215.061 páginas web técnicas en inglés: el subconjunto verificado mediante citas de un corpus de 225.852 registros. Cada registro incluye URL, dominio, tipo de fuente, un dictamen de un evaluador LLM («página con contenido sustancial o esbozo»), una breve justificación escrita y entre 10 y 15 palabras clave.
Los registros también incluyen page_topic_hint - el tema de la página extraído mediante reglas (categorías de arXiv como «arxiv: Informática > Aprendizaje automático»). Este campo está cumplimentado en aproximadamente el 22% de los registros; el resto contiene un marcador técnico. Para filtrar por tema, utiliza keywords, presentes en todos los registros.
Un registro JSONL (reducido a los campos principales; los registros completos tienen 16 campos: pid, slug, theme, url, domain, tap, source, track, worthy, reason, keywords, phrases, entities, brands_products, quotes_verified, page_topic_hint):
```json
{
"pid": "kv_cache_llm_05509c8977",
"url": "https://arxiv.org/abs/2607.20495",
"domain": "arxiv.org",
"tap": "arxiv",
"worthy": true,
"reason": "Una página de artículo de arXiv con contenido sustancial y un resumen completo sobre almacenamiento en caché adaptado a la carga de trabajo...",
"keywords": ["caché KV", "inferencia de LLM", "política de reemplazo"],
"page_topic_hint": "arxiv: Informática > Aprendizaje automático",
"quotes_verified": true
}
```
## Para qué sirve
- Entrenar un clasificador de calidad de páginas: 215.000 ejemplos etiquetados (contenido sustancial frente a esbozo/texto de plantilla/404/anuncio), con una justificación por registro
- Lista inicial para rastreo en RAG y búsquedas con IA: URL activas de páginas técnicas con contenido sustancial, ya filtradas
- Filtros de búsqueda de URL relevantes para herramientas SEO
## Fuentes y composición
- 1.899 dominios distintos en el conjunto de datos; principales fuentes por número de registros: github.com 28.9%, arxiv.org 28.5%, en.wikipedia.org 21.3%, stackoverflow.com 17.7%, datatracker.ietf.org 2.3%, otras ~1.5% (EUR-Lex, ICLR, Ethresear.ch y diversos blogs de tecnología)
- 100% https, 99,98% de URL únicas, datos de noviembre de 2026
- Controles de calidad: cada registro se ha contrastado con el texto de la página (quotes_verified: true en los 215.061 registros); se han excluido los registros con una vinculación incorrecta entre la evaluación y la página; comprobación en vivo de 25 URL aleatorias: 21/25 accesibles, todas con contenido sustancial
## Qué NO se incluye (por diseño)
- Textos de las páginas (solo metadatos)
- Citas textuales de las páginas (por respeto a los derechos de autor)
- El campo original de la consulta utilizada para recopilar datos: es un punto de partida para la búsqueda, no una clasificación. Para filtrar por tema, utiliza keywords (presente en todos los registros); page_topic_hint añade categorías de arXiv cuando están disponibles (~22% de los registros)
## Limitaciones, con transparencia
- Los dictámenes se generan automáticamente (GLM-5.3-flash, temperatura 0,2, prompt documentado); el prompt está orientado a un corpus técnico, pero el evaluador también aceptó algunas páginas no técnicas con contenido sustancial (~15–20% de los registros con worthy=true). Puedes filtrarlas por el texto de la justificación; se incluye la metodología para volver a clasificarlas
- Límite de entrada de 12.000 caracteres por página: las anotaciones describen el principio de cada página
- page_topic_hint está cumplimentado en aproximadamente el 22% de los registros (principalmente categorías de arXiv); el resto contiene un marcador técnico
- Los enlaces pueden quedar obsoletos; los datos son de noviembre de 2026
## Formato
- clean-verified.jsonl.zst: 215.061 registros verificados mediante citas, el archivo de datos de este paquete (51,5 MB comprimido); el paquete también incluye LICENSE, la guía para el comprador (README) y METHODOLOGY.md
- El corpus completo (225.852 registros, cada uno con el indicador quotes_verified) está disponible bajo petición: solicítalo en el chat del producto
- JSONL, un registro por línea, trama zstd; se abre con una biblioteca de zstd para cualquier lenguaje de programación
- Muestra gratuita de 4.000 registros en Hugging Face (enlace en la ficha del producto)
Qué recibes
1 archivo · 51.49 MB
- getly-package.zipZIP · 51.49 MB
Datasets etiquetados
Corpus de calidad de enlaces técnicos - 215.061 registros verificados de páginas web
215.061 registros de metadatos de URL de arXiv, GitHub, Wikipedia y Stack Overflow, verificados mediante citas, con evaluaciones de calidad por IA, palabras clave y metodología documentada. JSONL.
Prueba gratuita de huggingface.co
Etiquetas
Preguntas frecuentes
¿Tengo acceso al instante?
Sí. Es un producto digital: puedes descargarlo justo después del pago, directamente desde tu biblioteca.
¿Puedo usarlo en proyectos comerciales?
Solo uso personal. Úsalo para ti, no en trabajos que vendas o entregues a un cliente, y no revendas ni redistribuyas el archivo.
¿Cuál es vuestra política de reembolso?
Puedes pedir un reembolso dentro de 30 días. Si algo no va bien, solicítalo desde tu pedido y el equipo de Getly lo revisa.
¿Qué formatos y tamaños de archivo recibiré?
Descargarás 1 archivo - ZIP - 51.49 MB en total.
¿Recibo actualizaciones gratis?
Sí: cuando el vendedor publica una versión nueva, puedes volver a descargar los archivos más recientes desde tu biblioteca sin coste extra. Mira el registro de cambios para ver las últimas actualizaciones.
Precio
$39.00



