Sala 5 · Transformers · 2022

Aprender de las preferencias humanas

Aprender de las preferencias humanas (OpenAI · InstructGPT, 2022): Enseñar a un modelo qué respuestas preferimos.

InstructGPT afinó un modelo de lenguaje con aprendizaje por refuerzo a partir de preferencias de personas: evaluadores ordenaban respuestas y el modelo aprendía a producir las que preferían. Así los modelos siguieron las instrucciones con más fidelidad, según los evaluadores.

Un modelo entrenado solo para predecir la siguiente palabra en textos de internet aprende a continuar textos, no a ayudar. Si le haces una pregunta, puede que responda, o puede que escriba más preguntas, o que derive hacia algo inútil o dañino. En 2022, OpenAI publicó un método ampliamente adoptado para cerrar esa brecha, en el artículo "Training language models to follow instructions with human feedback", de Long Ouyang y colegas. Los modelos resultantes se llamaron InstructGPT.

El método tenía tres etapas. Primero, personas escribieron ejemplos de buenas respuestas para un conjunto de instrucciones, y el modelo se ajustó con ellos. Segundo, el modelo generó varias respuestas a cada instrucción y evaluadores humanos las ordenaron de la mejor a la peor. Esas clasificaciones sirvieron para entrenar un modelo de recompensa aparte, que aprendió a predecir qué respuestas preferirían las personas. Tercero, el modelo de lenguaje se entrenó con aprendizaje por refuerzo para producir respuestas que el modelo de recompensa puntuara alto. La técnica se conoce como aprendizaje por refuerzo a partir de retroalimentación humana, o RLHF (por sus siglas en inglés).

La idea venía de trabajos anteriores de investigadores de OpenAI y DeepMind, que empezaron con un artículo de 2017 sobre aprendizaje a partir de preferencias humanas en juegos y robots simulados, y luego lo aplicaron al resumen de textos.

El resultado sorprendió a muchos. Los evaluadores prefirieron las respuestas de un InstructGPT de 1,3 mil millones de parámetros a las del GPT-3 original, de 175 mil millones de parámetros, un modelo más de cien veces más grande. Los modelos ajustados también inventaban datos con menos frecuencia en algunas pruebas, aunque ni de lejos dejaron de hacerlo.

El RLHF tiene efectos secundarios conocidos. Los modelos pueden inclinarse por respuestas que complacen a quienes los evalúan en lugar de respuestas correctas, una tendencia llamada adulación (sycophancy en inglés) sobre la que puedes leer en nuestra sección Pensar con IA.

Pregunta a tu IA: ¿alguna vez te dio la razón solo por ser amable? Pídele que te explique cómo notarlo y cómo preguntar para que te lleve la contraria cuando corresponda.

¿Sabías que…? Los evaluadores preferían las respuestas de un InstructGPT de 1.300 millones de parámetros antes que las de GPT-3, de 175.000 millones.

Fuente: arxiv.org/abs/2203.02155

Verla en el museo →

← AlphaFold resuelve el plegado de proteínas · Imágenes a partir de texto →

Toda la Sala 5: Transformers

Cómo citar: Nazareno, I. (2026). Aprender de las preferencias humanas (2022). New Mind Museum. Consultado el 17 de noviembre de 2026, en https://newmindmuseum.com/es/museo/aprender-de-las-preferencias-humanas-2022/