Modelo fundacional

El nombre, acuñado por Bommasani et al. (2021), describe un cambio de paradigma. Antes se construía un modelo específico para cada tarea: uno para traducir, otro para resumir, otro para clasificar. Un modelo fundacional se entrena una vez sobre datos muy variados y después se adapta —con poco esfuerzo adicional— a decenas de tareas.

GPT-3 (2020) es el ejemplo que hizo visible la idea: un mismo modelo grande capaz de traducir, resumir, programar o responder preguntas sin haber sido entrenado específicamente para cada una. La "fundación" está en que muchas aplicaciones se construyen encima de ese modelo compartido, en lugar de desde cero.

La categoría es técnica, no de capacidad: ser fundacional no implica ser inteligente en sentido general ni estar cerca de una AGI. Y concentra riesgos propios. Como muchos sistemas dependen de pocos modelos base, un sesgo o una falla en el fundacional se propaga a todo lo que se construye encima, y entrenarlo a esa escala tiene un costo ambiental y económico considerable que el propio trabajo fundador ya advirtió.

Adaptar un modelo fundacional a una tarea concreta, sin reentrenarlo entero, suele hacerse por una de tres vías: ajustarlo con ejemplos adicionales de esa tarea (fine-tuning), darle instrucciones detalladas directamente en el prompt, o entregarle documentos externos relevantes en el momento de responder (ver RAG). Cada vía tiene un costo y un nivel de control distinto: reentrenar es caro pero más permanente; instruir en el prompt es barato pero depende de la ventana de contexto disponible cada vez.

Esa dependencia compartida tiene una consecuencia poco visible: cuando distintos productos —un buscador, un asistente de escritura, una herramienta de programación— usan la misma base, un mismo error o sesgo del modelo fundacional puede aparecer replicado en todos ellos, aunque cada producto se presente como un servicio independiente y con marca propia.