Sala 5 · Transformers · 2018
BERT y GPT: preentrenar y afinar
BERT y GPT: preentrenar y afinar (Google y OpenAI, 2018): Primero entrenar con enormes cantidades de texto, después ajustarse a una tarea.
En 2018 OpenAI presentó GPT y Google presentó BERT. Ambos se entrenan primero con enormes cantidades de texto, y después se ajustan a tareas concretas. BERT aprende rellenando palabras tapadas; GPT, prediciendo la palabra que sigue.
En 2018, dos artículos convirtieron al Transformer en una receta general para el lenguaje. Los dos siguieron el mismo plan: primero preentrenar un modelo grande con una montaña de texto corriente, sin etiquetas humanas, y después ajustarlo (fine-tuning) para una tarea específica con una pequeña cantidad de datos etiquetados.
En junio de 2018, Alec Radford y sus colegas de OpenAI publicaron "Improving Language Understanding by Generative Pre-Training", el modelo que hoy conocemos como GPT. Se entrenó con miles de libros inéditos para predecir la siguiente palabra, leyendo solo de izquierda a derecha. En octubre de 2018, Jacob Devlin y sus colegas de Google publicaron BERT, sigla de Bidirectional Encoder Representations from Transformers. BERT leía el texto en ambas direcciones y aprendía rellenando palabras que habían sido ocultadas, un poco como un ejercicio de completar espacios en blanco en una clase de idiomas.
El efecto fue inmediato. Las versiones de BERT ajustadas para tareas concretas establecieron nuevos récords en una amplia serie de pruebas de lenguaje, entre ellas las de respuesta a preguntas y las de inferencia. En pocos meses, investigadores de todas partes descargaban los modelos publicados y los adaptaban a sus propios problemas, desde documentos legales hasta historiales médicos. Construir un sistema de lenguaje nuevo desde cero para cada tarea pasó de golpe a parecer un desperdicio.
Más tarde, los dos enfoques se separaron. Los modelos como BERT, que leen en ambas direcciones, se volvieron las herramientas de trabajo de la búsqueda, la clasificación y el análisis. Los modelos como GPT, que predicen la siguiente palabra, resultaron escalar hasta convertirse en sistemas capaces de escribir, conversar y seguir instrucciones. Esa segunda rama es la que lleva al resto de esta sala.
En octubre de 2019, Google informó que usaba BERT para entender cerca de una de cada diez búsquedas en inglés en Estados Unidos.
Los nombres no son casualidad: BERT siguió a ELMo, un modelo anterior del Allen Institute, y ambos son personajes de Sesame Street (Plaza Sésamo).
Pregúntale a tu IA: ¿cuál es la diferencia entre rellenar una palabra oculta y predecir la siguiente? ¿Cuál de las dos está haciendo ahora mismo?
Fuente: arxiv.org/abs/1810.04805
Verla en el museo →← Attention Is All You Need · GPT-3 y las leyes de escala →
Cómo citar: Nazareno, I. (2026). BERT y GPT: preentrenar y afinar (2018). New Mind Museum. Consultado el 17 de noviembre de 2026, en https://newmindmuseum.com/es/museo/bert-y-gpt-preentrenar-y-afinar-2018/