Transformer y mecanismo de atención

Antes de 2017, el enfoque dominante en procesamiento de lenguaje eran redes recurrentes (RNN, LSTM), que leían palabra por palabra en orden y arrastraban un estado interno que se iba degradando cuanto más lejana era la dependencia entre dos palabras. El mecanismo de atención nació antes que el Transformer: Bahdanau, Cho y Bengio (2014/2015) lo propusieron para traducción automática, permitiendo que el modelo, al traducir una palabra, "buscara" y ponderara qué palabras de la oración original eran relevantes en vez de comprimir toda la oración en un único vector fijo.

El salto que cambió el campo fue "Attention Is All You Need" (Vaswani et al., 2017): eliminaron por completo la recurrencia y construyeron una arquitectura —el Transformer— basada únicamente en atención. Su pieza central es la autoatención (self-attention): cada elemento de la secuencia se compara con todos los demás elementos de esa misma secuencia y calcula cuánto "peso" darle a cada uno para construir su propia representación. Al repetir esto en paralelo con varias "cabezas" de atención, el modelo captura a la vez distintos tipos de relación —sintáctica, temática, de referencia— sin procesar la secuencia en orden estricto.

En términos accesibles: cada palabra se traduce a tres vectores —consulta, llave y valor—, y el peso de atención entre dos palabras sale de comparar la consulta de una con la llave de la otra; ese peso decide cuánto del valor de la segunda entra en la representación final de la primera. Como no hay recurrencia, todas las posiciones se procesan al mismo tiempo (mucho más rápido de entrenar en hardware paralelo como GPUs), pero al perder el orden secuencial explícito el Transformer necesita agregar una "codificación posicional" para saber qué palabra vino antes de cuál.

Hoy el Transformer (y variantes de su mecanismo de atención) es la base de prácticamente todos los modelos de lenguaje grandes en uso —GPT, BERT, Claude, Gemini, Llama— y también de modelos de visión (como el Vision Transformer, que aplicó la misma idea a imágenes en vez de texto) y de sistemas multimodales. Casi cualquier avance reciente en IA generativa corre, en el fondo, sobre esta misma arquitectura con ajustes de escala e ingeniería.

Se discute, primero, un límite técnico real: el costo de la autoatención crece de forma cuadrática con el largo de la secuencia (cada token se compara con todos los demás), lo que impulsó años de investigación en variantes más baratas para contextos largos. Segundo, hay debate de interpretabilidad: algunos estudios han cuestionado si los pesos de atención son una buena "explicación" de por qué el modelo llegó a una respuesta, mientras otros matizan esa crítica; conviene no confundir "el modelo le dio peso a esta palabra" con "el modelo entendió esto por esta razón", que es una lectura mucho más fuerte y no demostrada.