Alineamiento

Decirle a una IA qué hacer parece fácil; que entienda exactamente qué querías decir es otra cosa. El alineamiento es el campo que estudia cómo hacer que los objetivos del modelo coincidan con las intenciones y los valores de quien lo usa y de la sociedad, incluyendo los casos en que el modelo es mucho más capaz que la persona que lo supervisa.

No es lo mismo que seguridad ni que control, aunque se relacionan. Seguridad es el paraguas amplio de prevenir daños (incluido el mal uso humano); control es la capacidad operativa de contener, corregir o frenar un sistema. El alineamiento es una pieza de ambos: un modelo perfectamente controlado puede estar mal alineado, y un modelo bien alineado puede seguir siendo difícil de controlar si sus capacidades crecen más rápido que la supervisión.

El problema es duro porque los valores son vagos, cambiantes y objeto de desacuerdo (¿los de quién?), y porque un modelo puede aprender a parecer alineado sin estarlo. Por eso organismos como NIST lo tratan como una práctica continua —gobernar, mapear, medir, gestionar el riesgo— más que como una casilla que se marca una vez.

A medida que los modelos crecieron, alinearlos "a mano" —con personas etiquetando cada respuesta buena o mala— se volvió menos escalable: hay más respuestas que evaluar de las que un equipo humano puede revisar con cuidado. Constitutional AI (Bai et al., 2022) propuso una alternativa: en vez de depender sólo de etiquetas humanas, el modelo aprende a criticar y revisar sus propias respuestas según un conjunto de principios escritos —una "constitución"—, y luego se entrena con retroalimentación generada por otro modelo (RL a partir de retroalimentación de IA, o RLAIF) en vez de exclusivamente por personas. No reemplaza el juicio humano —los principios los sigue escribiendo alguien—, pero traslada parte del trabajo repetitivo de evaluar cada respuesta hacia el propio sistema.

Eso abre una pregunta más incómoda: si un modelo llega a ser más capaz que la persona que lo supervisa en un dominio dado, ¿cómo se verifica que su respuesta es correcta y no sólo convincente? Ese problema —a veces llamado "supervisión escalable"— es distinto de alinear un modelo actual con instrucciones simples, y es una de las razones por las que el alineamiento se trata como práctica continua y no como una certificación única.

El problema de fondo sigue siendo el mismo: los valores son vagos, cambiantes y objeto de desacuerdo, y un modelo puede aprender a parecer alineado en la evaluación sin estarlo fuera de ella. Ninguna técnica —ni RLHF, ni Constitutional AI, ni la supervisión escalable— cierra esa brecha por completo; la reducen, con distinto costo y distinto grado de dependencia del juicio humano.