Evaluación de riesgo de IA

Evaluar un modelo de IA para riesgo no es lo mismo que medir su desempeño en un benchmark de razonamiento o codificación. Se trata de probar deliberadamente, bajo condiciones adversariales, si el modelo puede ser llevado a producir capacidades peligrosas: instrucciones de armamento, código de intrusión funcional, o comportamiento autónomo que evade la supervisión.

La práctica se formalizó recién a partir de 2023. Anthropic publicó ese año su Política de Escalamiento Responsable, que ata umbrales de capacidad ("niveles de seguridad de IA", ASL) a pruebas obligatorias antes de desplegar un modelo más capaz. En paralelo, gobiernos crearon institutos dedicados: el Reino Unido fundó su AI Security Institute (AISI) y Estados Unidos estableció un instituto equivalente dentro de NIST —hoy renombrado Center for AI Standards and Innovation (CAISI)—, ambos enfocados en evaluar modelos de frontera antes o después de su lanzamiento comercial.

En términos concretos, estas evaluaciones combinan "red-teaming" (expertos humanos, a veces con formación en bioseguridad o ciberseguridad, que intentan provocar respuestas peligrosas bajo presión adversarial) con benchmarks agénticos. Un ejemplo es el trabajo de METR, que mide el "horizonte temporal" de tareas que un agente de IA puede completar de forma autónoma sin supervisión, y ha documentado que esa duración se duplica cada pocos meses a medida que los modelos avanzan.

Hoy estas evaluaciones ocurren de forma rutinaria antes del lanzamiento de un modelo de frontera: el AISI del Reino Unido y el CAISI de NIST han realizado evaluaciones conjuntas de modelos recientes, y METR mantiene relaciones de evaluación con OpenAI, Anthropic, Google DeepMind y Meta, publicando informes de riesgo de frontera.

Lo que se discute con más fuerza es si la autoevaluación voluntaria de los propios laboratorios es suficiente, dado el conflicto de interés evidente, o si se necesitan auditorías externas vinculantes. También hay un giro documentado en el marco estadounidense: el instituto que nació enfocado en "seguridad" ahora se presenta oficialmente como el "punto de contacto principal de la industria" para facilitar pruebas, un cambio de énfasis desde la seguridad hacia la facilitación comercial que genera debate sobre si las evaluaciones siguen siendo un contrapeso independiente o se volvieron parte del aparato de la propia industria que evalúan.