OpenAI publica GPT-1 y populariza el preentrenamiento generativo

Con GPT-1 y el artículo “Improving Language Understanding by Generative Pre-Training”, OpenAI mostró que preentrenar un modelo Transformer sobre texto no etiquetado y luego afinarlo para tareas concretas mejoraba los resultados en NLP sin necesidad de datos anotados costosos. Era un modelo relativamente chico, pero estableció la receta que escalaría en los años siguientes.