Nazwa GPT-3 oznacza „Generative Pre-trained Transformer 3”. Przejrzyjmy wszystkie te terminy jeden po drugim, aby zrozumieć powstawanie GPT-3.
Modele generatywne
GPT-3 jest modelem generatywnym, ponieważ generuje tekst. Modelowanie generatywne jest gałęzią modelowania statystycznego. Jest to metoda matematycznego przybliżania świata. Otacza nas niesamowita ilość łatwo dostępnych informacji – zarówno w świecie fizycznym, jak i cyfrowym. Najtrudniejszą częścią jest opracowanie inteligentnych modeli i algorytmów, które będą w stanie analizować i rozumieć tę skarbnicę danych. Modele generatywne są jednym z najbardziej obiecujących podejść do osiągnięcia tego celu. Aby wytrenować model, należy przygotować i wstępnie przetworzyć zbiór danych, czyli zbiór przykładów, które pomagają modelowi nauczyć się wykonywać dane zadanie. Zwykle zbiór danych to duża ilość danych w określonej domenie: na przykład miliony zdjęć samochodów w celu nauczenia modelu, czym jest samochód. Zbiory danych mogą mieć także formę zdań lub próbek audio. Po pokazaniu modelowi wielu przykładów należy go wytrenować, aby generował podobne dane.