Gold Dataset (Ground Truth)

Conjunto de datos de prueba de referencia dorada verificado por expertos humanos para benchmarking.

Ground TruthEvaluationBenchmarkingTest Set

Definición Técnica & Formal

Un Gold Dataset (o Ground Truth) consiste en un par estructurado de (Consulta, Documentos/Respuestas Relevantes Esperadas) curado meticulosamente. Es la vara de medir esencial para evaluar objetivamente si los cambios en algoritmos o prompts mejoran la precisión.

Puntos Clave & Aplicaciones

Esencial para evaluar Hit Rate, MRR, NDCG y Recall.

Puede ser construido manualmente por expertos o sintetizado con LLMs avanzados (Ragas / Synthetic Data).

Evita cambios a ciegas en producción.

Intuición Visual para Mente Gráfica

"La plantilla con las respuestas correctas firmada por el profesor para calificar un examen."

💡 Tip: Puedes presionar el botón "Dibujar / Apuntes" en la barra superior para hacer anotaciones gráficas sobre este diagrama.

Demostración Visual e Interactiva

Interactúa con los controles para simular dinámicamente el funcionamiento de Gold Dataset (Ground Truth).

Visualizador de la Arquitectura "Gold Dataset (Ground Truth)"

La plantilla con las respuestas correctas firmada por el profesor para calificar un examen.

Categoría: Métricas & Evaluación

Ejemplo de Código & Demostración

json

{
  "eval_dataset": [
    {
      "query_id": "q1",
      "query": "¿Cómo funciona HNSW?",
      "expected_relevant_doc_ids": ["doc_402", "doc_891"],
      "gold_answer": "HNSW es un grafo jerárquico..."
    }
  ]
}

💡 Estructura JSON estándar de un Gold Dataset para evaluación de RAG.

Conceptos Relacionados

Benchmark & Rendimiento de Índices

Proceso de evaluación cuantitativa del balance entre latencia (QPS) y precisión (Recall@K) en índices de búsqueda.

Hit Rate @ K

Porcentaje de consultas donde al menos un documento correcto de la referencia está en los primeros K resultados.

MRR (Mean Reciprocal Rank)

Promedio del recíproco de la posición de la PRIMERA respuesta relevante recuperada.