Transformer Architecture

Arquitectura fundacional de red neuronal basada en mecanismos de Auto-Atención (Self-Attention) para procesar secuencias en paralelo.

TransformerSelf-AttentionDeep LearningLLM ArchitectureQKV Matrix

Definición Técnica & Formal

Introducida en 2017 ("Attention Is All You Need"), la arquitectura Transformer reemplazó a las redes recurrentes (RNN). Mediante matrices Query (Q), Key (K) y Value (V), calcula el grado de atención entre todas las palabras de una frase simultáneamente, permitiendo contextualización profunda y procesamiento paralelo masivo en GPUs.

Puntos Clave & Aplicaciones

Pilar fundamental de los modelos de lenguaje modernos (GPT-4, Claude, Gemini, BERT, LLaMA).

Mecanismos clave: Multi-Head Self-Attention, Encodings Posicionales, Capas Feed-Forward.

Genera tanto vectores de embedding contextuales como generación autoregresiva de texto.

Intuición Visual para Mente Gráfica

"Una reunión donde cada participante (token) escucha a todos los demás al mismo tiempo y sopesa la relevancia de lo que dice cada persona para entender el tema global."

💡 Tip: Puedes presionar el botón "Dibujar / Apuntes" en la barra superior para hacer anotaciones gráficas sobre este diagrama.

Fórmula Matemática

Attention(Q, K, V) = softmax( (Q · K^T) / sqrt(d_k) ) · V

Demostración Visual e Interactiva

Interactúa con los controles para simular dinámicamente el funcionamiento de Transformer Architecture.

Visualizador de la Arquitectura "Transformer Architecture"

Una reunión donde cada participante (token) escucha a todos los demás al mismo tiempo y sopesa la relevancia de lo que dice cada persona para entender el tema global.

Categoría: Modelos & Representación

Ejemplo de Código & Demostración

python

import torch
import torch.nn as nn

# Demostración del mecanismo de atención escalar escalada (Scaled Dot-Product Attention)
def self_attention(Q, K, V):
    d_k = Q.size(-1)
    scores = torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(d_k, dtype=torch.float32))
    attention_weights = torch.softmax(scores, dim=-1)
    return torch.matmul(attention_weights, V), attention_weights

💡 Implementación básica de las ecuaciones de Self-Attention de la arquitectura Transformer.

Conceptos Relacionados

Producto Punto (Dot Product) N x D

Operación algebraica fundamental entre vectores para medir alineación y magnitud en N consultas de D dimensiones.

LLM Model Dimensiones & Embeddings

La longitud o número de números flotantes (D) que componen el vector de representación de un modelo de IA.

BERT (Bidirectional Encoder Representations from Transformers)

Modelo fundacional basado en el Encoder de Transformer para generación de representaciones contextuales de texto.

Modelos de Frontera (Frontier Models)

Modelos de Inteligencia Artificial altamente capaces que representan el estado del arte (SOTA) en razonamiento y multitarea.