‘Attention Is All You Need’: el artículo de 2017 detrás de los chatbots de hoy, explicado
"Attention Is All You Need", un artículo de ocho investigadores que trabajaban en Google, presentó el Transformer en junio de 2017, el diseño que está debajo de los chatbots actuales. Su idea central fue abandonar la lectura paso a paso de los sistemas de lenguaje anteriores y dejar que el modelo mire todas las palabras de una oración a la vez, para decidir cuáles son importantes entre sí. Eso hizo el entrenamiento mucho más rápido en los chips modernos.
En una frase
El Transformer es una red neuronal que entiende cada palabra comparándola con todas las demás palabras del texto al mismo tiempo, un proceso llamado autoatención.
¿Cómo lo probaron?
Los autores midieron el Transformer en traducción automática, la prueba estándar para los modelos de lenguaje en 2017. Usaron los benchmarks WMT 2014 de inglés a alemán y de inglés a francés, evaluados con BLEU, una medida de qué tanto se parece una traducción automática a las humanas. El artículo se publicó por primera vez en arXiv el 12 de junio de 2017 y se presentó en la conferencia NIPS 2017, en Long Beach, California.
¿Qué encontraron?
Google afirmó que el Transformer superó a los modelos recurrentes y convolucionales en ambas pruebas. Según el resumen, "achieves 28.4 BLEU on the WMT 2014 English-to-German translation task" [logra 28,4 BLEU en la tarea de traducción de inglés a alemán de WMT 2014], y estableció "a new single-model state-of-the-art BLEU score of 41.8" [un nuevo puntaje BLEU de vanguardia para un solo modelo, de 41,8] en inglés a francés "after training for 3.5 days on eight GPUs" [tras entrenar durante 3,5 días en ocho GPU].
Lo que logró el Transformer en el artículo de 2017
La clave estaba en el título. Los sistemas anteriores, llamados redes neuronales recurrentes, leían una oración una palabra a la vez, así que conectar dos palabras distantes requería muchos pasos. El Transformer está "based solely on attention mechanisms, dispensing with recurrence and convolutions entirely" [basado únicamente en mecanismos de atención, sin recurrencia ni convoluciones]. Como cada palabra se procesa al mismo tiempo, el trabajo se puede repartir entre muchos procesadores. El artículo dice que "allows for significantly more parallelization" [permite una paralelización mucho mayor].
¿Cómo funciona la atención, sin matemáticas?
Toma la palabra "bank" en una oración sobre un río. Para decidir qué significa "bank", el Transformer "compares it to every other word in the sentence" [la compara con todas las demás palabras de la oración], escribió Jakob Uszkoreit, uno de los autores, en una nota del blog de Google Research del 31 de agosto de 2017. El modelo "can learn to immediately attend to the word 'river' and make this decision in a single step" [puede aprender a prestar atención de inmediato a la palabra 'river' y tomar esta decisión en un solo paso]. Cada comparación recibe una puntuación, y las palabras con puntuaciones altas determinan el significado.
Lo que no dice
El artículo trata de traducción. No menciona los chatbots ni predice que el diseño escalaría hasta sistemas como ChatGPT. Los resultados son las puntuaciones de benchmark que los propios autores reportaron en 2017, y la afirmación de la nota del blog de que el entrenamiento es más rápido "by up to an order of magnitude" [hasta en un orden de magnitud] también la reportan ellos mismos.
Contexto
El vínculo con los chatbots llegó un año después. En junio de 2018, OpenAI describió su primer modelo GPT diciendo "first we train a transformer model on a very large amount of data in an unsupervised manner" [primero entrenamos un modelo transformer con una cantidad muy grande de datos, de manera no supervisada], en una publicación titulada Improving language understanding with unsupervised learning.
Los ocho autores fueron Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser e Illia Polosukhin. Una nota al pie indica que el orden de la lista es aleatorio. Todos estaban en Google Brain o Google Research cuando hicieron el trabajo, incluido Gomez, cuya afiliación impresa era la Universidad de Toronto.
Preguntas frecuentes
¿Qué es el artículo 'Attention Is All You Need'?
Un artículo de 2017 de ocho investigadores que trabajaban en Google y que presentó el Transformer, una red neuronal construida solo con atención, la base de los grandes modelos de lenguaje actuales.
¿Qué es la autoatención?
Un método con el que un modelo deduce el significado de cada palabra comparándola a la vez con todas las demás palabras del texto y dando más peso a las más relevantes.
¿Quiénes escribieron 'Attention Is All You Need'?
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser e Illia Polosukhin.
¿Los chatbots están construidos sobre el Transformer?
El primer modelo GPT de OpenAI, descrito en junio de 2018, era un transformer entrenado con una gran cantidad de texto sin etiquetar y luego ajustado para tareas específicas.
Fuentes
- Vaswani et al., Attention Is All You Need (arXiv 1706.03762, NIPS 2017) · copia archivada
- Google Research, Transformer: A Novel Neural Network Architecture for Language Understanding (31 de agosto de 2017) · copia archivada
- OpenAI, Improving language understanding with unsupervised learning (11 de junio de 2018) · copia archivada
Cita esta página
‘Attention Is All You Need’: el artículo de 2017 detrás de los chatbots de hoy, explicado, New Mind Museum, 6 de noviembre de 2026. https://newmindmuseum.com/es/investigacion/2026/11/attention-is-all-you-need-articulo-transformer-explicado/
New Mind Museum. (2026, 6 de noviembre). ‘Attention Is All You Need’: el artículo de 2017 detrás de los chatbots de hoy, explicado. https://newmindmuseum.com/es/investigacion/2026/11/attention-is-all-you-need-articulo-transformer-explicado/
«‘Attention Is All You Need’: el artículo de 2017 detrás de los chatbots de hoy, explicado». New Mind Museum, 6 nov. 2026, https://newmindmuseum.com/es/investigacion/2026/11/attention-is-all-you-need-articulo-transformer-explicado/.
@misc{new-mind-museum-2026-attention-is-all-you-need-el-articulo-de,
author = {{New Mind Museum}},
title = {‘Attention Is All You Need’: el artículo de 2017 detrás de los chatbots de hoy, explicado},
year = {2026},
url = {https://newmindmuseum.com/es/investigacion/2026/11/attention-is-all-you-need-articulo-transformer-explicado/}
}Puedes citarla libremente con un enlace a esta página.