Filtración de datos de entrenamiento

Un modelo de lenguaje se entrena para generalizar, no para memorizar. Pero a la escala de miles de millones de parámetros y billones de tokens, cierta memorización literal es prácticamente inevitable: si una secuencia de texto aparece varias veces en el corpus, o es lo bastante inusual, el modelo puede terminar guardándola casi tal cual, no como un patrón abstracto sino como una copia recuperable.

Esto se demostró de forma sistemática con Carlini et al. (2021), quienes lograron extraer de GPT-2 —consultándolo de la forma adecuada— cientos de secuencias de texto verbatim, incluyendo información personal identificable, fragmentos de conversaciones y código, pese a que cada una aparecía una sola vez en el conjunto de entrenamiento. El hallazgo más inquietante: los modelos más grandes memorizan más, no menos.

Un trabajo posterior de Carlini et al. (2022) cuantificó esta relación: la memorización crece de forma log-lineal con tres factores —el tamaño del modelo, cuántas veces se repite una secuencia en el corpus, y cuánto contexto se le da al modelo en la consulta—. Y en 2023, Nasr, Carlini y colegas mostraron que incluso un modelo alineado con técnicas como RLHF, como ChatGPT, seguía siendo vulnerable: con un "ataque de divergencia" (pedirle que repitiera una palabra indefinidamente) lograron que el modelo dejara su comportamiento de chat y emitiera datos de entrenamiento memorizados a una tasa 150 veces mayor que en uso normal. La alineación no elimina la memorización: sólo la hace más difícil de provocar en condiciones normales.

En la práctica, este riesgo se manifiesta en dos frentes distintos. Uno es de privacidad: datos personales reales —direcciones, números, conversaciones— que terminan siendo recuperables desde un modelo público. El otro es de derechos de autor: texto o código protegido que el modelo puede reproducir casi textual, lo que ha derivado en demandas de medios y editoriales contra desarrolladores de modelos. Las mitigaciones típicas incluyen deduplicar el corpus de entrenamiento, filtrar las salidas y, en menor medida, entrenar con privacidad diferencial.

Lo que se discute hoy es, primero, si la memorización verbatim de material protegido por derechos de autor constituye infracción o cae bajo un uso transformador —un debate legal activo, no resuelto—; y segundo, si las técnicas actuales de alineamiento reducen el riesgo real de filtración o simplemente lo esconden de un uso casual, tal como sugiere el hallazgo de Nasr et al. sobre el ataque de divergencia.