Sesgo algorítmico

Un modelo no "decide" ser injusto: aprende patrones estadísticos de los datos que se le dieron, y si esos datos reflejan desigualdades históricas o están mal representados para ciertos grupos, el modelo reproduce —y a veces amplifica— esas desigualdades a escala. El sesgo puede colarse en distintas etapas: qué datos se recolectaron, cómo se etiquetaron, qué variable se usó como aproximación (proxy) de lo que en realidad se quería medir, y cómo se evaluó el sistema antes de lanzarlo.

El caso que más marcó el debate público fue "Gender Shades" (Buolamwini y Gebru, 2018), un estudio que evaluó sistemas comerciales de clasificación de género a partir de rostros y encontró tasas de error muy superiores para mujeres de piel oscura frente a hombres de piel clara, en productos de empresas como IBM, Microsoft y Face++. El estudio no acusaba mala intención: mostraba que los conjuntos de entrenamiento usados por esos sistemas subrepresentaban ciertos grupos, y que nadie lo había medido con ese nivel de detalle hasta entonces.

El organismo NIST, en su publicación especial "Towards a Standard for Identifying and Managing Bias in Artificial Intelligence" (2022), distingue tres fuentes de sesgo que conviene no mezclar: sesgos estadísticos y computacionales (datos no representativos, errores de muestreo), sesgos humanos (decisiones de diseño, etiquetado o interpretación de quienes construyen el sistema) y sesgos sistémicos (desigualdades estructurales de la sociedad que preexisten al sistema y simplemente quedan reflejadas en los datos).

Se encuentra hoy en sistemas de reconocimiento facial con tasas de error desiguales por género o tono de piel, algoritmos de selección de personal que aprenden de historiales de contratación desiguales, modelos de score crediticio, y sistemas usados en el sector público (justicia, salud, beneficios sociales) donde un error sistemático afecta decisiones con consecuencias reales sobre personas.

Hay un resultado matemático incómodo y bien documentado: existen definiciones de "equidad" —por ejemplo, igual tasa de falsos positivos entre grupos versus igual precisión predictiva entre grupos— que, salvo casos triviales, no se pueden satisfacer todas a la vez; elegir cuál priorizar es una decisión de valores, no sólo técnica. También se discute la tensión entre corregir el sesgo y mantener el desempeño general del sistema, y quién es responsable —¿la empresa que entrena el modelo, quien lo despliega, o quien generó los datos originales?— cuando el daño ya ocurrió.