BERT (Bidirectional Encoder Representations from Transformers)

Modelo fundacional basado en el Encoder de Transformer para generación de representaciones contextuales de texto.

Transformer EncoderNLPBi-EncoderSBERT

Definición Técnica & Formal

BERT revolucionó el NLP al procesar el texto en ambas direcciones (izquierda-a-derecha y derecha-a-izquierda simultáneamente) usando la tarea de Masked Language Modeling (MLM). Es la base sobre la cual se construyeron los primeros bi-encoders para búsqueda semántica (SBERT).

Puntos Clave & Aplicaciones

Produce representaciones contextuales profundas (la palabra "banco" en "banco financiero" vs "banco de parque").

Base de Sentence-BERT (SBERT) para embeddings vectoriales densos.

Intuición Visual para Mente Gráfica

"Leer una oración completa antes de deducir el significado de una palabra dudosa, en lugar de leer adivinando palabra por palabra."

💡 Tip: Puedes presionar el botón "Dibujar / Apuntes" en la barra superior para hacer anotaciones gráficas sobre este diagrama.

Demostración Visual e Interactiva

Interactúa con los controles para simular dinámicamente el funcionamiento de BERT (Bidirectional Encoder Representations from Transformers).

Visualizador de la Arquitectura "BERT (Bidirectional Encoder Representations from Transformers)"

Leer una oración completa antes de deducir el significado de una palabra dudosa, en lugar de leer adivinando palabra por palabra.

Categoría: Modelos & Representación

Ejemplo de Código & Demostración

python

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModel.from_pretrained("bert-base-uncased")

inputs = tokenizer("El vector de embedding de BERT", return_tensors="pt")
outputs = model(**inputs)
last_hidden_state = outputs.last_hidden_state
print("Dimensiones salida BERT:", last_hidden_state.shape)

💡 Obtención del estado oculto contextualizado de BERT.

Conceptos Relacionados

Búsqueda Vectorial (Vector Search)

Localización de datos basada en similitud semántica en un espacio multidimensional usando vectores de características.

LLM Model Dimensiones & Embeddings

La longitud o número de números flotantes (D) que componen el vector de representación de un modelo de IA.