Red teaming de IA

El término viene de la jerga militar y de ciberseguridad, donde un "equipo rojo" simula ser el adversario para poner a prueba las defensas de un sistema antes de que un atacante real lo haga. Aplicado a IA, un equipo de red teaming intenta deliberadamente que un modelo produzca contenido dañino, información peligrosa, respuestas sesgadas o comportamientos no previstos, usando trucos como reformular preguntas prohibidas, simular escenarios ficticios para eludir filtros, o encadenar instrucciones que el modelo no fue entrenado para rechazar.

Uno de los estudios más citados sobre red teaming aplicado a modelos de lenguaje es "Red Teaming Language Models to Reduce Harms" (Ganguli et al., 2022, Anthropic), que documentó a gran escala cómo distintos tamaños y tipos de modelo respondían a intentos adversariales, y qué tan bien distintas técnicas de mitigación (como el ajuste con retroalimentación humana) reducían esas fallas. La práctica se volvió, desde entonces, un paso esperado antes de lanzar un modelo grande, y marcos de gestión de riesgo como el NIST AI RMF (2023) la incluyen entre las prácticas recomendadas para medir el riesgo de un sistema de IA.

En términos accesibles, puede hacerlo un equipo humano —a veces con expertos en dominios específicos, como armas biológicas o ciberseguridad, para probar riesgos especializados—, un modelo de IA entrenado para atacar a otro modelo de forma automatizada, o una combinación de ambos. Cada falla encontrada se documenta, se prioriza según su gravedad, y retroalimenta el entrenamiento o los filtros del modelo antes de su lanzamiento público, y a menudo también después, de forma continua.

Es una etapa estándar en el ciclo de desarrollo de los modelos grandes de los principales laboratorios (OpenAI, Anthropic, Google DeepMind, entre otros), a veces complementada con programas que invitan a investigadores externos a intentar romper el modelo antes del lanzamiento, y con eventos públicos como desafíos de red teaming en conferencias de ciberseguridad.

El red teaming reduce fallas conocidas, pero no puede cubrir el espacio infinito de posibles usos indebidos, por lo que no es una garantía de seguridad sino una capa más dentro de un proceso de gestión de riesgo. También se discute la composición de los equipos —si reflejan la diversidad de formas en que distintos grupos de usuarios podrían intentar hacer mal uso del sistema— y el dilema de publicar o no las técnicas de ataque encontradas: hacerlo ayuda a que otros las corrijan, pero también les enseña a actores maliciosos cómo explotarlas.