GPT-3 muestra el poder del escalamiento y del aprendizaje “few-shot”

GPT-3, descrito en “Language Models are Few-Shot Learners”, llevaba a 175.000 millones de parámetros y, con solo unos ejemplos en el prompt, resolvía tareas sin entrenamiento específico. Su tamaño le permitió generar texto, código y razonamientos sorprendentemente coherentes, y de paso convirtió al “escalamiento” en la hipótesis dominante del campo.

Paper publicado el 28-may-2020; la API beta se abrió el 11-jun-2020. Microsoft licenció en exclusiva el modelo el 22-sep-2020.