Modelowanie języka to zadanie polegające na przypisaniu prawdopodobieństwa sekwencji słów w tekście w określonym języku. Proste modele językowe mogą patrzeć na słowo i przewidywać następne słowo (lub słowa), które najprawdopodobniej po nim nastąpi, w oparciu o analizę statystyczną istniejących sekwencji tekstowych. Aby utworzyć model języka, który skutecznie przewiduje sekwencje słów, należy go wytrenować na dużych zbiorach danych. Modele językowe są kluczowym elementem aplikacji do przetwarzania języka naturalnego. Można o nich myśleć jak o maszynach do przewidywania statystycznego, w których podajesz tekst jako dane wejściowe i otrzymujesz prognozę jako wynik. Prawdopodobnie znasz to z funkcji automatycznego uzupełniania w swoim smartfonie. Na przykład, jeśli wpiszesz „dobrze”, autouzupełnianie może zasugerować „rano” lub „powodzenie”. Przed GPT-3 nie było ogólnego modelu języka, który dobrze radziłby sobie z szeregiem zadań NLP. Modele językowe zostały zaprojektowane do wykonywania jednego konkretnego zadania NLP, takiego jak generowanie tekstu, podsumowywanie lub klasyfikacja, z wykorzystaniem istniejących algorytmów i architektur. W tej książce omówimy niezwykłe możliwości GPT-3 jako ogólnego modelu językowego. Zaczniemy ten rozdział od omówienia każdej litery „GPT”, aby pokazać, co ona oznacza i jakie elementy zostały wykorzystane do zbudowania tego modelu. Przedstawimy krótki przegląd historii modelu i tego, jak pojawiły się dzisiaj modele sekwencji po sekwencji. Następnie przeprowadzimy Cię przez znaczenie dostępu do API i jego ewolucję w czasie w zależności od wymagań użytkowników. Zalecamy zarejestrowanie konta OpenAI przed przejściem do pozostałych części.