Sala 5 · Transformers · 2017
Attention Is All You Need
Attention Is All You Need (Vaswani y otros siete autores · Google, 2017): La arquitectura detrás de los modelos de lenguaje actuales.
Un equipo de Google presentó el Transformer, una arquitectura que reemplaza la lectura palabra por palabra por un mecanismo de atención: cada palabra se compara con todas las demás de la frase y recibe un peso según cuánto importa cada una. Se entrena en paralelo y escala mucho mejor que las redes recurrentes anteriores.
En junio de 2017, ocho investigadores, la mayoría de Google Brain y Google Research, publicaron un artículo con un título de una seguridad poco común: "Attention Is All You Need." Los autores eran Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser e Illia Polosukhin. El artículo los presentaba como contribuyentes en igualdad de condiciones, en orden aleatorio.
En ese momento, los mejores sistemas de traducción, como el que está al final de la Sala 4, leían las oraciones palabra por palabra con redes recurrentes y usaban la atención como apoyo. El Transformer eliminó por completo la recurrencia y dejó solo la atención. En la autoatención (self-attention), cada palabra de una oración calcula qué tan relevante es para ella cada una de las demás, y construye su nueva representación como una mezcla ponderada de todas. En la oración "the trophy didn't fit in the suitcase because it was too big" [el trofeo no cabía en la maleta porque era demasiado grande], la atención es el mecanismo que permite que "it" se conecte con fuerza con "trophy" [trofeo]. El modelo ejecuta en paralelo varios de estos patrones de atención, llamados cabezas (heads), y apila muchas capas de ellos.
Como todas las palabras se procesan al mismo tiempo y no en secuencia, los Transformers aprovechan al máximo las GPU y pueden entrenarse con muchos más datos. En el artículo, el modelo estableció nuevos récords en traducción de inglés a alemán y de inglés a francés, con una fracción del costo de entrenamiento de los sistemas anteriores.
El Transformer se extendió pronto más allá de la traducción: al texto, luego a las imágenes, el audio, las proteínas y el código. La "T" de GPT significa Transformer, y casi todos los grandes modelos de lenguaje actuales se construyen con este diseño.
En los años siguientes, la mayoría de los ocho autores dejó Google para fundar empresas de IA o incorporarse a ellas.
Pregúntale a tu IA: en la oración del trofeo y la maleta, ¿qué cambia si "big" [grande] pasa a ser "small" [pequeño]? Pídele que lo explique usando la atención.
Fuente: arxiv.org/abs/1706.03762
Verla en el museo →BERT y GPT: preentrenar y afinar →
Cómo citar: Nazareno, I. (2026). Attention Is All You Need (2017). New Mind Museum. Consultado el 17 de noviembre de 2026, en https://newmindmuseum.com/es/museo/attention-is-all-you-need-2017/