Métricas de Evaluación & Datasets de Calidad
Metodología rigurosa para la evaluación de precisión y ranking en sistemas de recuperación y RAG. Medición con Gold Datasets (Ground Truth), Hit Rate@K y Mean Reciprocal Rank (MRR).
Gold Dataset (Ground Truth)
Conjunto de datos de prueba de referencia dorada verificado por expertos humanos para benchmarking.
"La plantilla con las respuestas correctas firmada por el profesor para calificar un examen."
Hit Rate @ K
Porcentaje de consultas donde al menos un documento correcto de la referencia está en los primeros K resultados.
"Tirar 5 dardos a una diana: basta con que al menos uno clave en el centro para anotar un acierto."
MRR (Mean Reciprocal Rank)
Promedio del recíproco de la posición de la PRIMERA respuesta relevante recuperada.
"Llegar en 1º lugar te da 100 puntos; llegar en 2º lugar te da 50 puntos; en 3º lugar te da 33 puntos. ¡El primer lugar cuenta muchísimo más!"
Recall @ K (Exhaustividad)
Porcentaje de todos los documentos verdaderamente relevantes que el sistema logra recuperar en los primeros K resultados.
"Si en un pajar hay 10 agujas de oro y la búsqueda logra rescatar 8 dentro del primer puñado, tu Recall es de 8/10 (80%)."
Harness (Test Harness / Marco de Evaluación)
Entorno automatizado y seguro para ejecutar, supervisar y evaluar agentes y LLMs bajo casos de prueba estandarizados.
"El túnel de viento o la pista de choque controlada donde los ingenieros prueban un vehículo en condiciones extremas y calculan su seguridad."
Baseline (Modelo de Referencia)
Punto de comparación de referencia estándar para validar experimentalmente mejoras en rendimiento.
"La marca grabada en la pared con la estatura del año pasado para medir exactamente cuántos centímetros has crecido."