GPT-2, zaprezentowany w 2019 r., był znaczną poprawą w stosunku do swojego poprzednika. Generował bardziej spójny i kontekstowo odpowiedni tekst, nawet w przypadku dłuższych fragmentów. Niemniej jednak obawy dotyczące potencjalnego niewłaściwego użycia skłoniły OpenAI do wstrzymania się początkowo od publicznego udostępnienia pełnej wersji GPT-2.