LLM Model Dimensiones & Embeddings

La longitud o número de números flotantes (D) que componen el vector de representación de un modelo de IA.

Embedding DimensionsVector SizeMatryoshkaMemory Footprint

Definición Técnica & Formal

La dimensión de un embedding (D) define la riqueza semántica y la capacidad del modelo para capturar matices finos. Modelos populares varían desde 384D (all-MiniLM-L6-v2), 768D (BERT-base), 1536D (text-embedding-3-small de OpenAI) hasta 4096D+ (LLaMA, GPT-4).

Puntos Clave & Aplicaciones

Mayor dimensión = Mayor precisión semántica, pero mayor costo en memoria y procesamiento.

Matryoshka Embeddings (MRL) permite recortar dimensiones (ej. 1536 -> 256) conservando la mayor parte de la precisión.

Impacta directamente la memoria requerida en la Vector DB (Bytes = N * D * 4 bytes).

Intuición Visual para Mente Gráfica

"Describir un objeto usando solo 3 adjetivos (baja dimensión) vs describirlo usando 1536 atributos detallados (alta dimensión)."

💡 Tip: Puedes presionar el botón "Dibujar / Apuntes" en la barra superior para hacer anotaciones gráficas sobre este diagrama.

Demostración Visual e Interactiva

Interactúa con los controles para simular dinámicamente el funcionamiento de LLM Model Dimensiones & Embeddings.

Visualizador de la Arquitectura "LLM Model Dimensiones & Embeddings"

Describir un objeto usando solo 3 adjetivos (baja dimensión) vs describirlo usando 1536 atributos detallados (alta dimensión).

Categoría: Modelos & Representación

Ejemplo de Código & Demostración

python

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('all-MiniLM-L6-v2')
vector = model.encode("Inteligencia Artificial y Búsqueda Vectorial")

print("Dimensión del embedding:", vector.shape[0]) # Output: 384
print("Memoria por vector (float32):", vector.nbytes, "bytes")

💡 Extracción de embedding y cálculo de memoria consumida por vector.

Conceptos Relacionados

RAG (Retrieval-Augmented Generation)

Arquitectura que combina recuperación de información relevante con la capacidad generativa de un LLM.

Dimensionalidad & Reducción (Curse of Dimensionality)

El comportamiento paradójico de los espacios de alta dimensión y técnicas para proyectarlos (PCA, t-SNE, UMAP).

BERT (Bidirectional Encoder Representations from Transformers)

Modelo fundacional basado en el Encoder de Transformer para generación de representaciones contextuales de texto.