Sztuczna inteligencja poczyniła znaczne postępy wraz z rozwojem modeli językowych, w szczególności generatywnych wstępnie wytrenowanych transformatorów (GPT). Model GPT-4, najbardziej zaawansowana iteracja, jest najnowszym osiągnięciem tej podróży. Seria GPT, opracowana przez OpenAI, rozpoczęła się od oryginalnego GPT, opartego na transformacyjnej architekturze wprowadzonej przez Vaswaniego i in. w 2017 r. Architektura ta rozwiązała ograniczenia wcześniejszych modeli, takich jak rekurencyjne sieci neuronowe (RNN) i sieci pamięci długoterminowej (LSTM), umożliwiając wydajniejsze przetwarzanie złożonych struktur językowych.