Durante casi una década, la industria de la inteligencia artificial ha operado bajo una premisa aparentemente inamovible: para obtener modelos más capaces, hay que invertir más. Más datos, más parámetros, más potencia de cómputo. Esta lógica, formalizada en las llamadas leyes de escala (scaling laws), ha guiado decisiones de inversión que se cuentan en decenas de miles de millones de dólares. Ahora, investigadores del Stanford Human-Centered AI Institute (HAI) proponen que esa lógica podría estar incompleta, y que un nuevo enfoque a dichas leyes podría transformar radicalmente cómo se entrenan los modelos de IA.
¿Qué son las leyes de escala y por qué importan tanto?
Las leyes de escala en IA describen relaciones matemáticas predecibles entre tres variables fundamentales: el tamaño del modelo (número de parámetros), el volumen de datos de entrenamiento y la cantidad de cómputo empleado. Los trabajos pioneros de OpenAI en 2020, conocidos como las leyes de Kaplan, establecieron que el rendimiento de un modelo mejora de forma predecible al aumentar cualquiera de estas tres dimensiones siguiendo curvas de potencia (power laws).
Posteriormente, en 2022, DeepMind refinó este marco con el influyente paper de Chinchilla, que demostró que los modelos de la época estaban sobreentrenados en parámetros y subentrenados en datos. La recomendación resultante —aproximadamente 20 tokens de entrenamiento por parámetro del modelo— se convirtió en la regla de oro del sector. GPT-4, Llama y prácticamente todos los grandes modelos actuales fueron diseñados teniendo en cuenta estas proporciones.
El impacto económico es enorme. Las leyes de escala no son solo teoría académica: determinan directamente cuántos miles de millones invierten empresas como Google, Meta o Microsoft en sus clusters de entrenamiento. Una predicción errónea puede significar cientos de millones desperdiciados.
El nuevo enfoque de Stanford: más allá de la pérdida de entrenamiento
El trabajo reciente de Stanford HAI cuestiona una suposición central en la metodología estándar: que la pérdida de entrenamiento (training loss) es el proxy adecuado para predecir el rendimiento real de un modelo en tareas del mundo real. Los investigadores argumentan que optimizar para reducir esta métrica puede crear una imagen distorsionada de cuán capaz será un modelo cuando se despliegue en aplicaciones concretas.
El nuevo enfoque propone medir las leyes de escala directamente sobre métricas de evaluación específicas de tarea, en lugar de sobre la pérdida agregada. Esto parece un cambio sutil, pero sus implicaciones son profundas. Distintas capacidades —razonamiento matemático, generación de código, comprensión lectora— escalan de manera diferente. Un modelo que parece subóptimo según las leyes de Chinchilla podría ser altamente eficiente para un caso de uso concreto, y viceversa.
En términos prácticos, esto significa que el entrenamiento de IA podría volverse mucho más especializado y eficiente en costos. En lugar de entrenar un modelo monolítico enorme con la esperanza de que emerjan todas las capacidades deseadas, los equipos podrían usar estas nuevas curvas de escala para diseñar runs de entrenamiento optimizados para objetivos específicos, ahorrando cómputo significativo en el proceso.
Implicaciones para la carrera del hardware y la sostenibilidad
Una de las consecuencias más relevantes de este nuevo marco afecta directamente a la industria del hardware. Si las leyes de escala actuales están mal calibradas, es posible que parte de la demanda explosiva de GPUs —que ha disparado las valoraciones de Nvidia y provocado escasez de chips a nivel mundial— esté basada en supuestos subóptimos.
Desde una perspectiva de sostenibilidad, el impacto también es significativo. El entrenamiento de grandes modelos de lenguaje consume cantidades ingentes de energía: se estima que entrenar GPT-4 requirió el equivalente a miles de hogares durante un año. Si un mejor entendimiento de las leyes de escala permite alcanzar capacidades equivalentes con menos cómputo, el beneficio medioambiental sería considerable.
Investigadores como Yi Tay, anteriormente en Google y ahora en Reka, han señalado durante años que las comparaciones entre modelos suelen ser injustas precisamente porque no controlan adecuadamente por estos factores de escala. El trabajo de Stanford HAI podría proporcionar finalmente un marco más riguroso para estas comparaciones.
¿Un cambio de paradigma real o hype académico?
Es importante mantener cierto escepticismo. La historia de la IA está llena de trabajos que prometían reescribir las reglas y cuyo impacto práctico fue más modesto de lo anunciado. Las grandes empresas tecnológicas tienen equipos enteros dedicados a optimizar sus propias leyes de escala internas, y es probable que ya estén explorando enfoques similares de manera no pública.
Sin embargo, el hecho de que esta investigación provenga de Stanford HAI —una institución con vínculos directos con Google, Microsoft y la comunidad investigadora independiente— le otorga una credibilidad considerable. Si sus hallazgos se reproducen y se adoptan en la industria, el efecto sobre cómo se planifican y ejecutan los entrenamientos de los próximos modelos de frontera podría ser sustancial.
En última instancia, el debate sobre las leyes de escala refleja una pregunta más fundamental: ¿seguimos en una era donde tirar más cómputo al problema es la estrategia dominante, o estamos entrando en una fase donde la inteligencia del diseño importa tanto como los recursos brutos? La respuesta a esa pregunta moldeará la próxima década de la IA.
