Leyes de escalamiento

No es una ley física, sino un patrón estadístico observado repetidas veces: cuando se grafica el error de un modelo contra el tamaño del modelo, la cantidad de datos de entrenamiento o el cómputo usado (en escala logarítmica), la curva resultante es sorprendentemente predecible —una línea recta, lo que en la jerga se llama "ley de potencia". Eso permite anticipar cuánto mejorará un modelo antes de gastar en entrenarlo.

La formulación que popularizó el término es "Scaling Laws for Neural Language Models" (Kaplan et al., 2020, OpenAI), que mostró que el desempeño de modelos de lenguaje mejora de forma predecible al escalar parámetros, datos y cómputo, y que agrandar el modelo rendía más que agrandar proporcionalmente los datos. Dos años después, "Training Compute-Optimal Large Language Models" (Hoffmann et al., 2022, DeepMind), conocido como el paper de Chinchilla, corrigió esa receta: para un presupuesto de cómputo fijo, muchos modelos de la época estaban sobre-parametrizados y sub-entrenados —les convenía ser más chicos y ver muchos más datos—, lo que cambió cómo la industria reparte su presupuesto de entrenamiento.

En términos accesibles: se entrenan versiones pequeñas y baratas de un modelo variando sistemáticamente su tamaño, la cantidad de datos y el cómputo, se mide el error en cada combinación, y se ajusta una curva a esos puntos. Esa curva se extrapola para decidir, antes de gastar millones de dólares en una corrida de entrenamiento gigante, qué combinación de tamaño y datos va a rendir mejor.

Hoy es la base con la que los grandes laboratorios (OpenAI, DeepMind, Anthropic, entre otros) planifican sus modelos insignia: cuánto cómputo destinar, qué tamaño de modelo entrenar y con cuántos datos, antes de comprometer el gasto. También justifica, en parte, la carrera por conseguir más chips y más datos de entrenamiento.

Se discute si estas curvas seguirán rindiendo indefinidamente o si el campo se acerca a un techo, sea por falta de datos de calidad nuevos (el llamado "muro de datos"), por costo energético o económico, o porque el tipo de mejora que entrega más escala —menor error al predecir la siguiente palabra— no equivale automáticamente a mejor razonamiento o menos alucinación. También se discute si "escalar" basta para llegar a sistemas mucho más capaces o si hacen falta cambios de arquitectura o de método de entrenamiento.