Silnik wykonawczy określa model języka używany do wykonania. Wybór odpowiedniego silnika jest kluczem do określenia możliwości Twojego modelu, a co za tym idzie, uzyskania właściwej mocy wyjściowej. GPT-3 jest wyposażony w cztery silniki wykonawcze o różnych rozmiarach i możliwościach: Davinci, Ada, Babbage i Curie. Davinci jest najpotężniejszy i domyślny na Placu Zabaw.
Wszystkie te komponenty omówimy bardziej szczegółowo na rysunku w tej części.
Komponent: Funkcja
Silnik wykonawczy Określa model języka używany do wykonywania
Długość odpowiedzi: ustawia limit ilości tekstu, jaki interfejs API uwzględnia podczas jego uzupełniania
Temperatura i górne P: Temperatura kontroluje losowość odpowiedzi, reprezentowaną jako zakres od 0 do 1.
Top P kontroluje, ile losowych wyników model powinien uwzględnić w celu uzupełnienia, zgodnie z sugestią temperatury; określa zakres losowości.
Kara za częstotliwość i kara za obecność: Kara za częstotliwość zmniejsza prawdopodobieństwo, że model dosłownie powtórzy tę samą linię, „karząc” ją.
Kara za obecność zwiększa prawdopodobieństwo, że będzie poruszał nowe tematy.
Najlepsze z: pozwala określić liczbę uzupełnień (n) do wygenerowania po stronie serwera i zwraca najlepsze z „n” uzupełnień
Sekwencja zatrzymania : Określa zestaw znaków sygnalizujący interfejsowi API, aby przestał generować uzupełnienia
Wstrzyknij tekst początkowy i uruchom ponownie: Wstrzyknij tekst początkowy umożliwia wstawienie tekstu na początku zakończenia. Wstrzyknij tekst ponownego uruchomienia umożliwia wstawienie tekstu na końcu uzupełniania.
Pokaż prawdopodobieństwa : Umożliwia debugowanie podpowiedzi tekstowych poprzez pokazanie prawdopodobieństwa wystąpienia tokenów, które model może wygenerować dla danych danych wejściowych
Projektując zachętę szkoleniową, staraj się uzyskać zerową odpowiedź modelu: to znaczy sprawdź, czy możesz uzyskać żądany rodzaj odpowiedzi bez sprawdzania modelu zewnętrznymi przykładami szkoleniowymi. Jeśli nie, przejdź dalej, pokazując kilka przykładów, a nie cały zbiór danych. Standardowy proces projektowania podpowiedzi szkoleniowej polega na próbie najpierw wykonania zerowego strzału, następnie kilku strzałów, a następnie przejścia do dostrajania opartego na korpusie. .
GPT-3 jest pierwszym krokiem w kierunku sztucznej inteligencji ogólnego przeznaczenia i dlatego ma swoje ograniczenia. Nie wie wszystkiego i nie potrafi rozumować na poziomie ludzkim, ale jest bardzo zdolny, jeśli wiesz, jak z nim rozmawiać. I tu właśnie pojawia się sztuka szybkiego projektowania. GPT-3 nie mówi prawdy, ale potrafi opowiedzieć wyjątkową historię. Pobiera wprowadzony tekst i próbuje odpowiedzieć tekstem, który według niego najlepiej uzupełnia wprowadzanie. Jeśli dodasz mu kilka wersów ze swojej ulubionej powieści, będzie próbował kontynuować w tym samym stylu. Działa poprzez poruszanie się po kontekście, a bez odpowiedniego kontekstu może generować niespójne odpowiedzi. Spójrzmy na przykład, aby zrozumieć, w jaki sposób GPT-3 przetwarza zachętę do wprowadzenia danych i generuje dane wyjściowe:
P: Jaka jest średnia długość życia człowieka w Stanach Zjednoczonych?
A: Jeśli podasz taki monit do GPT-3 bez żadnego kontekstu, w zasadzie prosisz go o szukanie ogólnych odpowiedzi w uniwersum danych treningowych. Rezultatem będą uogólnione i niespójne odpowiedzi, ponieważ model nie wie, której części danych uczących użyć do odpowiedzi na pytanie. Z drugiej strony zapewnienie odpowiedniego kontekstu wykładniczo poprawi jakość odpowiedzi. Po prostu ogranicza wszechświat danych szkoleniowych, które model musi zbadać, aby odpowiedzieć na pytanie, co skutkuje bardziej szczegółowymi i rzeczowymi odpowiedziami:
Jestem bardzo inteligentnym botem odpowiadającym na pytania. Jeśli zapytasz mnie A
kwestionuj to
jest zakorzenione w prawdzie, dam ci odpowiedź. Jeśli zapytasz mnie A
kwestionuj to
jest bzdurą, oszustwem lub nie ma jasnej odpowiedzi, odpowiem
“Nieznany”.
P: Jaka jest średnia długość życia człowieka w Stanach Zjednoczonych?
A: Możesz pomyśleć o GPT-3 przetwarzającym dane wejściowe w taki sam sposób, jak ludzki mózg. Kiedy ktoś zadaje nam jakieś pytanie bez odpowiedniego kontekstu, zwykle udzielamy przypadkowych odpowiedzi. Dzieje się tak, ponieważ bez odpowiedniego kierunku i kontekstu trudno jest uzyskać precyzyjną odpowiedź. To samo dotyczy GPT-3; wszechświat danych szkoleniowych jest tak duży, że trudno jest znaleźć właściwą odpowiedź bez zewnętrznego kontekstu i kierunku. LLM, takie jak GPT-3, potrafią kreatywnie pisać i odpowiadać na pytania oparte na faktach, we właściwym kontekście. Oto nasza pięcioetapowa formuła tworzenia wydajnych i skutecznych podpowiedzi szkoleniowych:
załóżmy, że chcesz zbudować asystenta tekstu reklamy, który może generować kreatywne teksty na podstawie nazwy i opisu produktu. Aby ująć ten cel w formacie „tekst, tekst”, możesz zdefiniować dane wejściowe jako nazwę i opis produktu, a dane wyjściowe jako tekst reklamy:
Wkład: Rowery Betty, dla klientów wrażliwych na cenę
Wynik: Niskie ceny i ogromny wybór. Darmowa i szybka dostawa.
Zamów online już dziś!
Te kroki będą działać jako standardowa struktura podczas tworzenia podpowiedzi szkoleniowej od podstaw. Zanim będziesz mógł zbudować kompleksowe rozwiązanie problemów z danymi, musisz poznać jeszcze kilka rzeczy na temat działania interfejsu API. Zagłębmy się w szczegóły, przyglądając się jego składnikom.
Interfejs API OpenAI radykalnie zmienił sposób, w jaki współdziałamy z modelem sztucznej inteligencji, usuwając warstwy skomplikowanych języków i frameworków programowania. Andrej Karpathy, dyrektor ds. sztucznej inteligencji w Tesli, zaraz po wydaniu GPT-3 powiedział żartobliwie, że w programowaniu 3.0 chodzi o szybkie projektowanie (mem, który zamieścił na Twitterze, pokazano na rysunku .
Istnieje bezpośredni związek pomiędzy wskazówką szkoleniową, którą zapewniasz, a jakością jej ukończenia. Struktura i układ słów mają duży wpływ na wynik. Zrozumienie szybkiego projektowania jest kluczem do uwolnienia prawdziwego potencjału GPT-3. Sekretem pisania dobrych podpowiedzi jest zrozumienie, co GPT-3 wie o świecie. Jak zauważa Awan: „Widział tylko tekst. Oznacza to, że nie powinieneś oczekiwać, że wie o świecie fizycznym, nawet jeśli oczywiście tak jest. Mógłby opisać Mona Lisę, [mógłby] powiedzieć ci [o] znaczeniu, znaczeniu i historii prawdopodobnie, ale nigdy nie widział [obrazu], ponieważ był wytrenowany tylko na tekście”. Twoim zadaniem jest sprawić, aby model wykorzystał informacje, które już posiada, do wygenerowania użytecznych wyników. W grze w szarady wykonawca przekazuje pozostałym graczom informacje wystarczające do odgadnięcia sekretnego słowa. Podobnie w przypadku GPT-3 dajemy modelowi wystarczający kontekst (w formie podpowiedzi szkoleniowej), aby wypracować wzorce i wykonać dane zadanie.
Zanim zaczniesz korzystać z Playground, zalecamy przeczytanie przewodnika szybkiego startu OpenAI i dokumentacji dla programistów.
Oto kroki, które należy wykonać, aby rozpocząć korzystanie z placu zabaw:
2. Przyjrzyj się ekranowi Plac zabaw .
Duże pole tekstowe oznaczone cyfrą 1 służy do wprowadzania tekstu (podpowiedzi).
Pole oznaczone numerem 2 po prawej stronie to panel ustawiania parametrów, który umożliwia dostosowywanie parametrów.
Pole oznaczone cyfrą 3 umożliwia wczytanie ustawień wstępnych: przykładowego monitu i ustawień placu zabaw. Podaj własny monit szkoleniowy lub załaduj istniejące ustawienie wstępne.
5. W dolnej części ekranu, po prawej stronie zobaczysz liczbę tokenów, a po lewej stronie znajduje się przycisk Generuj
Oto zachęta widoczna na rysunku
Jestem bardzo inteligentnym botem odpowiadającym na pytania. Jeśli zadacie mi pytanie zakorzenione w prawdzie, dam wam odpowiedź. Jeśli zadasz mi pytanie, które jest nonsensowne, podstępne lub nie ma jasnej odpowiedzi, odpowiem „Nieznane”.
P: Jaka jest średnia długość życia człowieka w Stanach Zjednoczonych?
Odpowiedź: Oczekiwana długość życia człowieka w Stanach Zjednoczonych wynosi 78 lat.
P: Kto był prezydentem Stanów Zjednoczonych w 1955 roku?
Odpowiedź: Dwight D. Eisenhower był prezydentem Stanów Zjednoczonych w
1955.
Pytanie: Do jakiej partii należał?
Odpowiedź: Należał do Partii Republikańskiej.
P: Jaki jest pierwiastek kwadratowy z banana?
O: Nieznane
P: Jak działa teleskop?
Odp.: Teleskopy wykorzystują soczewki lub lustra do skupiania światła i sprawiania, że obiekty wydają się bliższe.
Pytanie: Gdzie odbyły się Igrzyska Olimpijskie w 1992 roku?
A oto uzupełnienie:
Odpowiedź: Igrzyska Olimpijskie w 1992 roku odbyły się w Barcelonie w Hiszpanii.
Teraz, gdy rozumiesz już podstawowy zarys placu zabaw, przejdźmy do sedna szybkiej inżynierii i projektowania.
Twoje konto programisty OpenAI zapewnia dostęp do API i nieskończonych możliwości. Zaczniemy od Playground, internetowego środowiska sandbox, które pozwala eksperymentować z API, dowiedzieć się, jak działają jego komponenty oraz uzyskać dostęp do dokumentacji programistów i społeczności OpenAI. Następnie pokażemy Ci, jak tworzyć solidne podpowiedzi, które generują pozytywne odpowiedzi dla Twojej aplikacji. Zakończymy część przykładami wykonywania przez GPT-3 czterech zadań NLP: klasyfikacji, rozpoznawania nazwanych jednostek (NER), podsumowywania i generowania tekstu. W wywiadzie z Peterem Welinderem, wiceprezesem ds. produktów i partnerstwa w OpenAI, poprosiliśmy o kluczowe porady dotyczące poruszania się po Playground dla początkujących użytkowników. Powiedział nam, że jego rady zależą od osobowości użytkownika. Jeśli użytkownik ma doświadczenie w uczeniu maszynowym, Peter zachęca go, aby „zaczął od zapomnienia rzeczy, które już wie, a potem po prostu poszedł do Playground i spróbował zmusić GPT-3 do zrobienia tego, czego [chcesz], po prostu zadając mu pytanie To.” Sugeruje użytkownikom „wyobraź sobie GPT-3 jako przyjaciela lub współpracownika, którego prosisz o zrobienie czegoś. Jak opisałbyś zadanie, które chcesz, aby wykonali? A potem zobacz, jak reaguje GPT-3. A jeśli nie zareaguje tak, jak chcesz, wykonaj iterację zgodnie z instrukcjami. Jak to ujął YouTuber i wpływowy NLP Bakz Awan: „Osoby nietechniczne pytają: czy potrzebuję dyplomu, aby z tego korzystać? Czy muszę wiedzieć, jak kodować, aby z niego korzystać? Absolutnie nie. Można korzystać z Placu Zabaw. Nie musisz pisać ani jednej linii kodu. Wyniki otrzymasz natychmiast. Każdy może to zrobić.”
Chociaż GPT-3 jest najbardziej wyrafinowanym i złożonym modelem językowym na świecie, jego możliwości ograniczają się do prostego interfejsu „wprowadzanie tekstu, wysyłanie tekstu” dla użytkowników końcowych. W tym rozdziale zaczniesz korzystać z tego interfejsu, Playground, i omówisz techniczne niuanse API OpenAI, ponieważ to zawsze szczegóły odkrywają prawdziwe perełki. Aby przejść przez tą część, musisz założyć konto OpenAI na stronie https://beta.openai.com/signup. Jeśli jeszcze tego nie zrobiłeś, zrób to teraz
Od 2021 roku na rynku pojawiło się już kilka autorskich modeli AI, które mają więcej parametrów niż GPT-3. Jednak dostęp do nich jest ograniczony do kilku osób w obrębie działów badawczo-rozwojowych firmy, co uniemożliwia ocenę ich wyników w rzeczywistych zadaniach NLP. Jednym z czynników zapewniających dostępność GPT-3 jest prosty i intuicyjny interfejs użytkownika typu „wprowadzanie i wysyłanie tekstu”. Nie wymaga skomplikowanego dostrajania gradientu ani aktualizacji i nie musisz być ekspertem, aby z niego korzystać. To połączenie skalowalnych parametrów i stosunkowo otwartego dostępu sprawia, że GPT-3 jest najbardziej ekscytującym i prawdopodobnie najbardziej odpowiednim modelem językowym w historii. Ze względu na niezwykłe możliwości GPT-3 istnieje znaczne ryzyko w zakresie bezpieczeństwa i nadużyć związanych z udostępnieniem go jako otwartego oprogramowania, co omówimy w rozdziale 7. Biorąc to pod uwagę, OpenAI zdecydowało się nie publikować kodu źródłowego GPT-3 publicznie i opracował unikalny model współdzielenia dostępu za pośrednictwem interfejsu API. Firma zdecydowała się początkowo udostępnić dostęp do API w formie ograniczonej listy użytkowników wersji beta. Proces składania wniosków wymagał od osób wypełnienia formularza zawierającego szczegółowe informacje na temat ich pochodzenia i powodów, dla których proszono o dostęp do interfejsu API. Tylko zatwierdzeni użytkownicy otrzymali dostęp do prywatnej wersji beta API z interfejsem o nazwie Playground. Na początku lista oczekujących na dostęp do wersji beta GPT-3 liczyła dziesiątki tysięcy osób. OpenAI szybko zarządzało aplikacjami, które zaczęły napływać, dodając partiami programistów, ale także ściśle monitorując ich aktywność i opinie na temat doświadczeń użytkowników API, aby je stale ulepszać. Dzięki postępom w zakresie zabezpieczeń OpenAI usunęła listę oczekujących w listopadzie 2021 r. GPT-3 jest teraz ogólnodostępny po prostym logowaniu. Jest to wielki kamień milowy w historii GPT-3 i bardzo oczekiwane posunięcie przez społeczność. Aby uzyskać dostęp do API wystarczy wejść na stronę rejestracji, założyć bezpłatne konto i od razu zacząć z nim eksperymentować. Nowi użytkownicy początkowo otrzymują pulę darmowych kredytów, która pozwala im na swobodne eksperymentowanie z API. Liczba napisów odpowiada stworzeniu treści tekstowych o długości trzech powieści średniej długości. Po wykorzystaniu bezpłatnych kredytów użytkownicy zaczynają płacić za użytkowanie lub, jeśli zajdzie taka potrzeba, mogą poprosić o dodatkowe kredyty od obsługi klienta OpenAI API. OpenAI dąży do tego, aby aplikacje oparte na API były budowane w sposób odpowiedzialny. Z tego powodu zapewnia narzędzia, najlepsze praktyki i wskazówki dotyczące użytkowania, które pomagają programistom szybko i bezpiecznie wprowadzać aplikacje do środowiska produkcyjnego. Firma stworzyła także wytyczne dotyczące treści, aby wyjaśnić, jakiego rodzaju treści można generować za pomocą interfejsu API OpenAI. Aby pomóc programistom zapewnić, że ich aplikacje będą wykorzystywane zgodnie z przeznaczeniem, zapobiegać potencjalnym nadużyciom i przestrzegać wytycznych dotyczących treści, OpenAI oferuje bezpłatny filtr treści. Polityka OpenAI zabrania korzystania z API w sposób niezgodny z zasadami opisanymi w jego statucie, w tym w treściach promujących nienawiść, przemoc lub samookaleczenie lub mających na celu nękanie, wpływanie na procesy polityczne, szerzenie dezinformacji, treści spamowe , i tak dalej. Po zarejestrowaniu konta OpenAI możesz przejść dalej.
GPT-3 został stworzony i stanowi kamień milowy dla OpenAI, pioniera badań nad sztuczną inteligencją z siedzibą w San Francisco. Misją OpenAI jest „zapewnienie korzyści całej ludzkości ze sztucznej inteligencji”. Sztuczna inteligencja ogólna to rodzaj sztucznej inteligencji, która nie ogranicza się do wyspecjalizowanych zadań, ale zamiast tego dobrze radzi sobie z różnorodnymi zadaniami, tak jak robią to ludzie.
GPT-1
OpenAI zaprezentowało GPT-1 w czerwcu 2018 r. Kluczowym odkryciem twórców było to, że połączenie architektury transformatora z nienadzorowanym szkoleniem wstępnym dało obiecujące rezultaty. Piszą, że GPT-1 został dostosowany do konkretnych zadań, aby osiągnąć „dobre zrozumienie języka naturalnego”. GPT-1 stanowił ważny krok w kierunku modelu językowego z ogólnymi możliwościami opartymi na języku. Udowodniono, że modele językowe można skutecznie wytrenować, co może pomóc w dobrym uogólnianiu. Architektura może wykonywać różne zadania NLP przy niewielkim dostrajaniu. GPT-1 wykorzystał zbiór danych Book Corpus, który zawiera około siedmiu tysięcy niepublikowanych książek, oraz część dekodera transformatora, która samodzielnie trenowała model. Architektura pozostała w dużej mierze taka sama jak w oryginalnym transformatorze. Model miał 117 milionów parametrów. GPT-1 otworzył możliwości dla przyszłych modeli, które mogłyby lepiej uwolnić ten potencjał dzięki większym zbiorom danych i większej liczbie parametrów. Jednym z jego osiągnięć była przyzwoita wydajność zero-shot w różnych zadaniach NLP, takich jak odpowiadanie na pytania (Q&A) i analiza nastrojów, dzięki przeszkoleniu wstępnemu. Uczenie się „zero-shot” to zdolność modelu do wykonania zadania bez spotykania się z żadnym tego rodzaju przykładem w przeszłości; model ma zrozumieć zadanie bez patrzenia na przykłady. Transfer zadań typu zero-shot to ustawienie, w którym modelowi przedstawia się niewiele przykładów lub nie podaje ich wcale i proszono o zrozumienie zadania na podstawie przykładów i instrukcji.
GPT-2
W lutym 2019 OpenAI wprowadziło GPT-2, który był większy niż GPT-1, ale poza tym bardzo podobny. Główną różnicą było to, że GPT-2 mógł wykonywać wiele zadań jednocześnie. Pomyślnie udowodniono, że model językowy może dobrze wykonywać kilka zadań bez konieczności otrzymywania żadnych przykładów szkoleniowych dla tych zadań. GPT-2 pokazał, że szkolenie na większym zbiorze danych i posiadanie większej liczby parametrów poprawia zdolność modelu językowego do rozumienia zadań i przewyższa najnowocześniejszy stan wielu zadań w ustawieniach zerowych. Wykazało również, że nawet większe modele językowe byłyby jeszcze lepsze w rozumieniu języka naturalnego. Aby stworzyć obszerny zbiór danych wysokiej jakości, autorzy pobrali Reddit i pobrali dane z linków wychodzących do artykułów, które uzyskały pozytywną opinię na platformie. Powstały zbiór danych, WebText, zawierał 40 GB danych tekstowych z ponad ośmiu milionów dokumentów, czyli znacznie więcej niż zbiór danych GPT-1. GPT-2 został przeszkolony na zbiorze danych WebText i miał 1,5 miliarda parametrów, 10 razy więcej niż GPT-1. GPT-2 oceniano na podstawie kilku zbiorów danych dotyczących dalszych zadań, takich jak czytanie ze zrozumieniem, streszczanie, tłumaczenie i odpowiadanie na pytania.
GPT-3
W dążeniu do zbudowania jeszcze solidniejszego i potężniejszego modelu językowego OpenAI zbudowało model GPT-3. Zarówno jego zbiór danych, jak i model są o około dwa rzędy wielkości większe niż te użyte w GPT-2: GPT-3 ma 175 miliardów parametrów i został przeszkolony na mieszance pięciu różnych korpusów tekstowych, co stanowi znacznie większy zbiór danych niż ten użyty do uczenia GPT -2. Architektura GPT-3 jest w dużej mierze taka sama jak GPT-2. Dobrze radzi sobie z dalszymi zadaniami NLP w ustawieniach zerowego i kilku strzałów. GPT-3 ma takie możliwości, jak pisanie artykułów, które są nie do odróżnienia od artykułów pisanych przez człowieka. Może także wykonywać w locie zadania, do których nigdy nie został specjalnie przeszkolony, takie jak sumowanie liczb, pisanie zapytań SQL, a nawet pisanie kodu React i JavaScript, mając prosty angielski opis zadań.
NOTATKA
Ustawienia kilku, jednego i zerowego to wyspecjalizowane przypadki transferu zadań zerowych. W przypadku ustawienia kilkukrotnego model otrzymuje opis zadania i tyle przykładów, ile mieści się w oknie kontekstowym modelu. W ustawieniu jednorazowym model jest dostarczany z dokładnie jednym przykładem, a w ustawieniu zerowym – bez żadnego przykładu.
Misja OpenAI podkreśla demokratyczne i etyczne aspekty sztucznej inteligencji. Wymiar demokratyczny polega na decyzji o udostępnieniu trzeciej wersji modelu, GPT-3, za pośrednictwem publicznego API lub interfejsu programowania aplikacji: pośrednika programowego, który przesyła informacje tam i z powrotem między witryną internetową lub aplikacją a użytkownikiem. Interfejsy API pełnią rolę komunikatorów, umożliwiając programistom tworzenie nowych interakcji programistycznych pomiędzy aplikacjami i użytkownikami. Wydanie GPT-3 poprzez API było rewolucyjnym posunięciem. Do 2020 r. zaawansowane modele sztucznej inteligencji opracowane przez wiodące laboratoria badawcze były dostępne tylko dla nielicznych – badaczy i inżynierów pracujących nad tymi projektami. Interfejs API OpenAI zapewnia użytkownikom na całym świecie bezprecedensowy dostęp do najpotężniejszego na świecie modelu językowego poprzez proste logowanie. (Biznesowym uzasadnieniem tego posunięcia jest stworzenie nowego paradygmatu, który nazywa „modelem jako usługą”, w którym programiści mogą płacić za wywołanie API)
Badacze OpenAI eksperymentowali z różnymi rozmiarami modeli podczas pracy nad GPT-3. Wykorzystali istniejącą architekturę GPT-2 i zwiększyli liczbę parametrów. W wyniku tego eksperymentu powstał model o nowych, niezwykłych możliwościach w postaci GPT-3. Podczas gdy GPT-2 wykazywał pewne możliwości zerowego zasięgu w dalszych zadaniach, GPT-3 może wykonywać jeszcze bardziej nowatorskie zadania, jeśli zostanie przedstawiony w przykładowym kontekście. Badacze OpenAI uznali za niezwykłe, że samo skalowanie parametrów modelu i rozmiaru zbioru danych szkoleniowych doprowadziło do tak niezwykłych postępów. Ogólnie rzecz biorąc, są optymistami, że tendencje te utrzymają się nawet w przypadku modeli znacznie większych niż GPT-3, umożliwiając tworzenie coraz silniejszych modeli uczenia się zdolnych do uczenia się w trybie kilku lub zerowym po prostu poprzez precyzyjne dostrojenie na małej próbce. Czytając tę książkę, eksperci szacują, że prawdopodobnie budowane i wdrażane są modele językowe oparte na bilionach parametrów. Weszliśmy w złotą erę wielkich modeli językowych i teraz nadszedł czas, abyś stał się jej częścią. GPT-3 przyciągnął wiele uwagi opinii publicznej. W czasopiśmie MIT Technology Review uznano GPT-3 za jedną z 10 przełomowych technologii roku 2021. Sama elastyczność w wykonywaniu serii uogólnionych zadań z wydajnością i dokładnością zbliżoną do ludzkiej sprawia, że jest ona tak ekscytująca, jak napisał na Twitterze twórca tej technologii, Arram Sabeti. Wydanie API spowodowało zmianę paradygmatu w NLP i przyciągnęło ogromną liczbę beta testerów. Innowacje i start-upy pojawiały się błyskawicznie, a komentatorzy nazwali GPT-3 „piątą rewolucją przemysłową”. Według OpenAI w ciągu zaledwie dziewięciu miesięcy od uruchomienia API ludzie zbudowali za jego pomocą ponad trzysta firm. Pomimo tej nagłości niektórzy eksperci twierdzą, że podekscytowanie nie jest przesadzone. Bakz Awan to programista, który stał się przedsiębiorcą i wpływowcem, a także jednym z głównych głosów w społeczności programistów OpenAI API. Prowadzi kanał na YouTubie „Bakz T. Future” oraz podcast. Awan twierdzi, że GPT-3 i inne modele są w rzeczywistości „przereklamowane ze względu na ich użyteczność, przyjazność, zabawę i moc. To prawie szokujące.” Daniel Erickson, dyrektor generalny firmy Viable, która ma produkt oparty na GPT-3, chwali zdolność modelu do wydobywania spostrzeżeń z dużych zbiorów danych w drodze, jak to nazywa, szybkiego rozwoju:
Firmy podążające tą ścieżką obejmują przypadki użycia, takie jak generowanie kopii do reklam i stron internetowych. Filozofia projektowania jest stosunkowo prosta: firma pobiera Twoje dane, przesyła je do podpowiedzi i wyświetla wynik wygenerowany przez API. Rozwiązuje zadanie, które można łatwo wykonać za pomocą pojedynczego monitu API i otacza go interfejsem użytkownika, aby dostarczyć go użytkownikom.
Problem, jaki Erickson widzi w tej kategorii przypadków użycia, polega na tym, że jest ona już przepełniona, co przyciąga wielu ambitnych założycieli start-upów konkurujących z podobnymi usługami. Zamiast tego Erickson zaleca przyjrzenie się innej kategorii przypadków użycia, tak jak zrobił to Viable. Przypadki użycia oparte na danych nie są tak zatłoczone jak przypadki użycia szybkiej generacji, ale są bardziej opłacalne i pozwalają łatwo stworzyć „fosę” bezpieczeństwa. Kluczem, mówi Erickson, jest zbudowanie dużego zbioru danych, który można stale dodawać i który może zapewnić potencjalne spostrzeżenia. GPT-3 pomoże Ci wydobyć z niego cenne spostrzeżenia. W Viable był to model, który pozwolił im łatwo zarabiać. „Ludzie płacą znacznie więcej za dane niż za szybkie wyniki” – wyjaśnia Erickson. Należy zaznaczyć, że rewolucje technologiczne niosą ze sobą także kontrowersje i wyzwania. GPT-3 to potężne narzędzie w rękach każdego, kto próbuje stworzyć narrację. Bez szczególnej staranności i życzliwych intencji jednym z takich wyzwań, przed którymi staniemy, będzie powstrzymanie prób wykorzystania algorytmu do szerzenia kampanii dezinformacyjnych. Innym rozwiązaniem byłoby wyeliminowanie jego wykorzystania do generowania masowych ilości treści cyfrowych o niskiej jakości, które następnie zanieczyszczałyby informacje dostępne w Internecie. Jeszcze innym problemem są ograniczenia zbiorów danych, które są wypełnione różnego rodzaju uprzedzeniami, które można wzmocnić dzięki tej technologii.
Architektura transformatorowa została wynaleziona, aby poprawić wydajność sztucznej inteligencji w zadaniach tłumaczenia maszynowego. „Transformatory zaczynały jako modele językowe” – wyjaśnia Kilcher – „nawet nie tak duże, ale potem stały się duże”. Aby pracować z modelami transformatorów, musisz zrozumieć jeszcze jedną koncepcję techniczną: uwagę. Mechanizm uwagi to technika naśladująca uwagę poznawczą: analizuje sekwencję wejściową kawałek po kawałku i na podstawie prawdopodobieństwa na każdym etapie decyduje, które inne części sekwencji są ważne. Spójrz na przykład na zdanie „Kot usiadł na macie, gdy zjadł mysz”. Czy „to” w tym zdaniu odnosi się do „kota” lub „maty”? Model transformatora potrafi mocno połączyć „to” z „kotem”. To jest uwaga. Wracając do naszego przykładu z koderem i dekoderem, wyobraźmy sobie, że koder zapisuje słowa kluczowe ważne dla semantyki zdania i przekazuje je dekoderowi wraz z tłumaczeniem. Te słowa kluczowe znacznie ułatwiają tłumaczenie dekoderowi, który teraz wie, które części zdania są ważne i które terminy nadają kontekst zdaniu. W modelu transformatorowym wyróżnia się dwa rodzaje uwagi: samouważność (połączenie słów w zdaniu) i uwagę kodera-dekodera (połączenie słów ze zdania źródłowego ze słowami ze zdania docelowego). Mechanizm uwagi pomaga transformatorowi odfiltrować szum i skupić się na tym, co istotne: połączeniu dwóch słów w relacji semantycznej, gdy słowa same w sobie nie noszą żadnych wyraźnych znaczników wskazujących na siebie. Modele transformatorów korzystają z większych architektur i większych ilości danych. Szkolenia na dużych zbiorach danych i dostrajanie do konkretnych zadań poprawiają wyniki. Transformatory lepiej rozumieją kontekst słów w zdaniu niż jakikolwiek inny rodzaj sieci neuronowej. GPT to tylko część dekodera transformatora. Teraz, gdy już wiesz, co oznacza GPT, porozmawiajmy o „3” – a także o 1 i 2.