¿Cuántos parámetros tiene GPT-3?

Cómo acercarse a esta cifra

Ánclate en la comparación biológica a la que recurre la gente. Un cerebro humano tiene decenas de miles de millones de neuronas y muchísimas más conexiones, y los modelos de lenguaje de esa época se comparaban con él sistemáticamente. El modelo está en el mismo orden de magnitud que el recuento de neuronas, de donde salió la comparación, y eso hace fácil situar la cifra aunque no hayas leído el artículo.

Lo llamativo es el salto y no el número absoluto: más de cien veces su predecesor inmediato, en una sola generación. Los escalones de escala así de grandes son raros en cualquier campo de la ingeniería, y el resultado no fue una versión cien veces mejor de lo mismo sino un sistema que hacía cosas cualitativamente distintas, y por eso el artículo importó.

La explicación nombra lo que pasó después, y es la parte que conviene llevarse. El recuento de parámetros dejó de ser el titular casi de inmediato: los modelos nuevos suelen ser más pequeños y entrenados con muchísimos más datos, y la mayoría de laboratorios ya no publica la cifra. Una métrica que definió un campo durante dos años se volvió comercialmente sensible y después obsoleta, lo que recuerda que el número interesante cambia tan rápido como la tecnología.