RLHF (aprendizaje por refuerzo con retroalimentación humana)

Un modelo recién preentrenado sabe predecir texto plausible, pero "plausible" no es lo mismo que "útil", "seguro" o "lo que la persona realmente quería". RLHF (Reinforcement Learning from Human Feedback) cierra esa brecha usando retroalimentación humana como señal de entrenamiento: en vez de programar una regla explícita de qué está bien, se les muestran a evaluadores humanos varias respuestas posibles y ellos indican cuál prefieren; esa preferencia entrena un modelo de recompensa que después guía el ajuste del modelo principal.

La idea de aprender de preferencias humanas en vez de una recompensa programada viene de Christiano et al. (2017), que mostraron que un agente de aprendizaje por refuerzo podía aprender tareas de control complejas a partir de comparaciones humanas entre pares de segmentos de comportamiento, usando retroalimentación sobre menos del uno por ciento de las interacciones del agente. La aplicación que la volvió masiva en modelos de lenguaje fue InstructGPT (Ouyang et al., 2022): OpenAI ajustó GPT-3 recolectando rankings humanos de respuestas y usando esos rankings para entrenar un modelo de recompensa, que después guio el ajuste del modelo de lenguaje con un algoritmo de aprendizaje por refuerzo.

En términos accesibles, el proceso tiene tres pasos habituales. Primero, un ajuste supervisado inicial con ejemplos de buenas respuestas escritas por personas. Segundo, se generan varias respuestas a un mismo mensaje y evaluadores humanos las ordenan de mejor a peor; con esos rankings se entrena un modelo de recompensa que aprende a "puntuar" respuestas de forma parecida a como lo haría una persona. Tercero, el modelo de lenguaje se ajusta con aprendizaje por refuerzo para producir más respuestas de las que ese modelo de recompensa calificaría bien.

Hoy es parte estándar del proceso detrás de casi todos los asistentes conversacionales comerciales: es lo que explica, en gran medida, la diferencia entre un modelo recién preentrenado (que completa texto de forma plausible pero desordenada) y un asistente que sigue instrucciones, mantiene un tono consistente y evita ciertas respuestas.

Conviene no confundir RLHF con "alineamiento" en general: RLHF es una técnica concreta, una de varias herramientas hacia ese objetivo más amplio, no una solución completa (ver alineamiento). Se discute el llamado "impuesto de alineamiento" —RLHF puede mejorar la utilidad percibida pero a veces reduce diversidad de respuestas o rinde peor en ciertas métricas—, el sesgo de los propios evaluadores humanos que entrenan el modelo de recompensa (sus preferencias no siempre reflejan lo más correcto o lo más seguro), y variantes más recientes que buscan lograr un efecto similar con menos costo humano, como el uso de retroalimentación generada por otra IA o técnicas que optimizan preferencias sin entrenar un modelo de recompensa separado.