¿Los modelos abiertos aumentan o reducen el riesgo?

Posiciones

1. 1

   La apertura permite auditoría y reduce dependencia

   Liberar los pesos (y no sólo el acceso por API) deja a la comunidad inspeccionar el modelo, replicarlo, afinarlo y desplegarlo localmente. Eso reduce la dependencia de un puñado de laboratorios, democratiza el acceso y permite hallar fallos y sesgos que un modelo cerrado esconde. Los marcos de apertura distinguen grados justamente para no confundir 'pesos' con 'código abierto', pero defienden que más apertura, mejor definida, es neta.

   Contraargumento

   La misma accesibilidad que permite auditar facilita usos dañinos: un modelo descargable no puede ser retirado ni moderado a posteriori.

   Evidencia

   La Open Source Initiative publica una definición de open weights y advierte que no equivalen a open source, para exigir precisión, no para desalentar la apertura.

   Representante: Open Source Initiative

   Open Weights: not quite what you've been told
2. 2

   Algunos modelos son demasiado peligrosos para liberarlos sin restricción

   Cuando un modelo es lo bastante capaz como para generar desinformación a escala, contenido dañino o code para ataques, liberar sus pesos sin restricción multiplica el riesgo de forma irreversible: lo descargado no se puede retirar. El release escalonado —publicar por partes según se evalúa el impacto— es una postura cautelosa que antepone la no proliferación a la transparencia total.

   Contraargumento

   Retener el modelo concentra poder en quien lo tiene y elimina la posibilidad de auditoría independiente; el callejón del 'demasiado peligroso' también puede servir de marketing.

   Evidencia

   En 2019 OpenAI publicó GPT-2 por etapas, argumentando que el modelo completo era 'demasiado peligroso para publicar' de una vez.

   Representante: OpenAI (decisión de release escalonado de GPT-2)

   GPT-2 (artículo)

Preguntas no resueltas

• •¿La auditoría que permite la apertura compensa el riesgo de los usos dañinos que facilita?
• •¿Cómo evitar el 'open-washing' y exigir que 'abierto' declare exactamente qué se libera?
• •¿La apertura reduce de verdad la dependencia o sólo la traslada a quien tiene cómputo para afinar el modelo?

Relacionado

Fuentes esenciales

• Open Weights: not quite what you've been told

  Open Source Initiative · 2024

• GPT-2 (artículo)

  Wikipedia