No discriminación algorítmica

Un sistema que decide a quién le dan un crédito, a quién se le muestra un aviso de trabajo o a quién se libera bajo fianza puede discriminar sin que nadie haya escrito una regla explícita para eso. Le basta con haber aprendido, de datos históricos, patrones que reflejan una desigualdad ya existente en el mundo, y reproducirla a escala y con apariencia de objetividad matemática. El principio de no discriminación algorítmica traslada al software una obligación legal que ya existía para decisiones humanas: no tratar peor a alguien por pertenecer a una categoría protegida.

El caso que instaló el tema en el debate público fue la investigación "Machine Bias" de ProPublica (2016), sobre el algoritmo COMPAS, usado en Florida para estimar el riesgo de reincidencia de personas acusadas. ProPublica analizó más de 7.000 casos y encontró que el sistema marcaba a personas afrodescendientes como "alto riesgo" a casi el doble de tasa que a personas blancas, entre quienes de hecho no volvieron a delinquir. La empresa dueña del algoritmo respondió con una métrica distinta —que, entre los marcados como alto riesgo, la proporción de reincidencia real era similar entre razas—, y ambas partes tenían razón según su propia definición de "justo". Trabajos académicos posteriores probaron matemáticamente que, salvo casos especiales, esas dos nociones de equidad no pueden cumplirse a la vez: no existe una sola forma matemáticamente neutra de definir "no discriminar".

Ese hallazgo cambió cómo se audita un sistema. NIST, la agencia de estándares de Estados Unidos, publicó en 2022 un marco (Special Publication 1270) que distingue tres categorías de sesgo que pueden meterse en un sistema de IA: sesgo computacional (en los datos o el algoritmo), sesgo sistémico (en las instituciones y procesos que rodean al sistema) y sesgo humano (en quienes lo diseñan, usan o interpretan sus resultados). La idea de fondo es que auditar un modelo revisando sólo su código es insuficiente: hay que mirar también los datos con que se entrenó y el contexto institucional donde se usa.

En la práctica, esto ya aparece como obligación legal concreta: el Reglamento de IA europeo exige a los sistemas de alto riesgo evaluar y mitigar sesgos discriminatorios antes de salir al mercado, y distintas leyes de protección al consumidor financiero exigen poder explicar por qué un algoritmo rechazó un crédito.

Lo que se discute no es si la discriminación algorítmica existe —hay evidencia documentada de sobra— sino cómo medirla de forma que todos acepten como justa, y quién audita: si el mismo desarrollador que se autoevalúa, un regulador externo, o ambos.