Sala 5 · Transformers · 2020

GPT-3 y las leyes de escala

GPT-3 y las leyes de escala (OpenAI, 2020): Más grande, y de pronto, más capaz.

GPT-3 tenía 175.000 millones de parámetros, más de cien veces los de GPT-2 (1.500 millones). Mostró que un modelo grande podía resolver tareas nuevas a partir de unos pocos ejemplos escritos en el mismo texto, sin reentrenarse. Ese año se publicaron también las «leyes de escala»: el rendimiento mejora de forma predecible al crecer el modelo, los datos y el cómputo.

En febrero de 2019, OpenAI presentó GPT-2, un modelo con 1,5 mil millones de parámetros, y lo fue liberando por etapas a lo largo de ese año, por temor a que se usara de forma indebida. En mayo de 2020 describió GPT-3, con 175 mil millones de parámetros, en un artículo titulado "Language Models Are Few-Shot Learners."

El título resume el hallazgo principal. Los modelos anteriores había que ajustarlos con datos etiquetados para cada tarea nueva. GPT-3, en cambio, podía realizar muchas tareas a partir de una descripción y unos pocos ejemplos escritos en el prompt, sin modificar sus pesos. Si le mostrabas unas frases en inglés seguidas de su traducción al francés, continuaba el patrón con una frase nueva. El mismo modelo redactaba artículos cortos, respondía preguntas, resolvía aritmética sencilla y escribía código, con una calidad despareja pero una amplitud sorprendente. Los investigadores llaman a esto aprendizaje en contexto (in-context learning).

En enero de 2020, unos meses antes, un grupo de OpenAI dirigido por Jared Kaplan había publicado "Scaling Laws for Neural Language Models." Allí mostraba que el error de un modelo baja de forma suave y predecible a medida que crecen tres factores: el número de parámetros, la cantidad de datos de entrenamiento y la capacidad de cómputo utilizada. Estas relaciones se mantenían estables a lo largo de muchos órdenes de magnitud. Eso convirtió la escala en algo que se podía planificar y en lo que se podía invertir, y GPT-3 fue su demostración más visible.

En 2022, un estudio de DeepMind conocido como Chinchilla afinó la receta: para un presupuesto de cómputo dado, muchos modelos eran demasiado grandes y se habían entrenado con muy pocos datos.

OpenAI no publicó los pesos de GPT-3. El acceso llegó mediante una API de pago lanzada en junio de 2020, que permitió a miles de desarrolladores crear productos sobre un modelo que nunca llegaron a ver. Esa forma de acceso se volvió habitual en la industria.

Pregúntale a tu IA: dale dos ejemplos de un patrón que te inventes y mira si lo continúa correctamente. Eso es aprendizaje en contexto.

¿Sabías que…? El primer GPT, de 2018, tenía 117 millones de parámetros.

Fuente: arxiv.org/abs/2005.14165

Verla en el museo →

← BERT y GPT: preentrenar y afinar · AlphaFold resuelve el plegado de proteínas →

Toda la Sala 5: Transformers

Cómo citar: Nazareno, I. (2026). GPT-3 y las leyes de escala (2020). New Mind Museum. Consultado el 17 de noviembre de 2026, en https://newmindmuseum.com/es/museo/gpt-3-y-las-leyes-de-escala-2020/