OpenAI wprowadził GPT-3 w 2020 r. Dzięki 175 miliardom parametrów mógł generować imponująco spójny i kontekstowo odpowiedni tekst, pobudzając falę nowych aplikacji i przypadków użycia. Pomimo swoich możliwości, GPT-3 miał swoje ograniczenia, takie jak sporadyczne bezsensowne wyniki i brak możliwości weryfikacji faktów. Ograniczenia te zainspirowały dalsze udoskonalenia, co doprowadziło do opracowania GPT-3.5, który został użyty do stworzenia ChatGPT.