Harness (Test Harness / Marco de Evaluación)
Entorno automatizado y seguro para ejecutar, supervisar y evaluar agentes y LLMs bajo casos de prueba estandarizados.
Definición Técnica & Formal
Un Test Harness (o Evaluation Harness) es un arnés de software que aísla la ejecución de un modelo de IA o agente, inyectando casos de prueba, simulando el entorno (sandboxing), interceptando llamadas a herramientas y registrando la puntuación final de manera repetible.
Puntos Clave & Aplicaciones
"El túnel de viento o la pista de choque controlada donde los ingenieros prueban un vehículo en condiciones extremas y calculan su seguridad."
💡 Tip: Puedes presionar el botón "Dibujar / Apuntes" en la barra superior para hacer anotaciones gráficas sobre este diagrama.Demostración Visual e Interactiva
Interactúa con los controles para simular dinámicamente el funcionamiento de Harness (Test Harness / Marco de Evaluación).
Visualizador de la Arquitectura "Harness (Test Harness / Marco de Evaluación)"
El túnel de viento o la pista de choque controlada donde los ingenieros prueban un vehículo en condiciones extremas y calculan su seguridad.
Ejemplo de Código & Demostración
class EvaluationHarness:
def __init__(self, agent, test_suite):
self.agent = agent
self.test_suite = test_suite
def run_eval(self):
results = []
for test in self.test_suite:
output = self.agent.execute(test['input'])
passed = test['evaluator'](output, test['expected'])
results.append(passed)
return f"Score final: {sum(results)/len(results) * 100:.1f}%"