Recuperación Tradicional & Procesamiento de Texto
Estrategias clásicas y probabilísticas de búsqueda léxica como BM25 y TF-IDF, técnicas de fragmentación y solapamiento de ventanas (Chunk Overlapping), y herramientas avanzadas de extracción de documentos como Docling (Docklin).
BM25 (Best Matching 25)
Algoritmo probabilístico estándar para búsqueda léxica basado en TF-IDF con saturación de frecuencia.
"Si la palabra "inteligencia" aparece 1 vez es relevante; si aparece 5 veces es muy relevante; pero si aparece 50 veces en una página corta, ¡ya no aporta 10 veces más relevancia! BM25 aplana ese beneficio."
TF-IDF (Term Frequency - Inverse Document Frequency)
Métrica estadística que mide la importancia de una palabra en un documento en relación con una colección.
"La palabra "virus" en un libro de cocina es extremadamente rara e informativa (alto IDF); en un manual de medicina es muy común (bajo IDF)."
Solapamiento (Chunk Overlapping)
Técnica de fragmentación de texto donde los bloques consecutivos comparten un porcentaje de palabras límite para no perder contexto.
"Con [1..10] y tamaño 4: sin overlap se obtienen 3 partes inconexas. Con overlap=2, el Fragmento 2 [3,4,5,6] repite 3 y 4 del primer fragmento, preservando el puente de sentido entre ambos."
Docling (Docklin)
Herramienta avanzada y biblioteca de código abierto para parsear y estructurar documentos complejos (PDF, tablas, gráficos) para RAG.
"Un traductor experto que recibe una enciclopedia vieja y arrugada con tablas manuscritas y produce un sitio web limpio y perfectly estructurado."