Miesiąc: listopad 2023

https://aie24.pl/

Klasyfikacja tekstu to proces kategoryzowania tekstu w zorganizowane grupy. Dzięki zastosowaniu NLP klasyfikacja tekstu może automatycznie analizować tekst, a następnie przypisywać zestaw predefiniowanych tagów lub kategorii na podstawie jego kontekstu. Klasyfikacja tekstu polega na analizie tekstu dostarczonego jako dane wejściowe i przypisaniu mu etykiety, wyniku lub innego atrybutu, który go charakteryzuje. Typowymi przykładami klasyfikacji tekstu są analiza tonacji, etykietowanie tematów i wykrywanie intencji. Możesz zastosować wiele podejść, aby GTP-3 klasyfikował tekst, ponownie począwszy od klasyfikacji zerowej (gdzie nie podajesz modelowi żadnych przykładów) do klasyfikacji jednostkowej i kilkustopniowej (gdzie pokazujesz kilka przykłady do modelu).

https://aie24.pl/

GPT-3 jest wysoce zaawansowanym i wyrafinowanym następcą dziedziny NLP, zbudowanym i trenowanym przy użyciu podstawowych podejść NLP i głębokich sieci neuronowych. W przypadku każdego podejścia do modelowania opartego na sztucznej inteligencji wydajność modelu ocenia się w następujący sposób: najpierw trenujesz model pod kątem określonego zadania (takiego jak klasyfikacja, pytanie i odpowiedź, generowanie tekstu itp.) na danych szkoleniowych; następnie weryfikujesz wydajność modelu, korzystając z danych testowych (nowych, wcześniej niewidzianych danych). W podobny sposób istnieje standardowy zestaw testów porównawczych NLP służących do oceny wydajności modeli NLP i tworzenia względnego rankingu lub porównania modeli. To porównanie lub ranking względny pozwala wybrać najlepszy model dla konkretnego zadania NLP (problemu biznesowego). W tej sekcji omówimy wydajność GPT-3 w niektórych standardowych zadaniach NLP, jak pokazano na rysunku, i porównamy ją z wydajnością podobnych modeli w odpowiednich zadaniach NLP.

https://aie24.pl/

Rodzina modeli GPT przetwarza tekst przy użyciu tokenów, które są typową sekwencją znaków występującą w tekście. Modele rozumieją zależności statystyczne między tymi tokenami i doskonale radzą sobie z tworzeniem kolejnego tokena w sekwencji tokenów. Możesz skorzystać z poniższego narzędzia, aby dowiedzieć się, w jaki sposób fragment tekstu będzie tokenizowany przez interfejs API oraz całkowitą liczbę tokenów w tym fragmencie tekstu. Do integracji metryki liczby tokenów w wywołaniach API do różnych punktów końcowych, możesz załatać atrybuty logprobs i echo wraz z żądaniem API, aby uzyskać pełną listę zużytych tokenów. W następnej sekcji omówimy sposób wyceny tokenów w oparciu o różne silniki wykonawcze. Firma pracuje nad chmurowym modelem cenowym „pay as you go”. Aby uzyskać aktualne ceny, sprawdź harmonogram cen online. Zamiast monitorować tokeny dla każdego wywołania API, OpenAI udostępnia panel raportowania umożliwiający monitorowanie dziennego skumulowanego użycia tokenów. W zależności od sposobu użytkowania może wyglądać jak na rysunku.

Na rysunku możesz zobaczyć wykres słupkowy pokazujący dzienne zużycie tokenów. Pulpit nawigacyjny pomaga monitorować wykorzystanie tokenów i koszty w Twojej organizacji, dzięki czemu możesz regulować wykorzystanie API i nie przekraczać budżetu. Istnieje również możliwość monitorowania skumulowanego użycia i uzyskania zestawienia liczby tokenów na wywołanie API. Powinno to zapewnić wystarczającą elastyczność w tworzeniu zasad dotyczących zużycia tokenów i cen dla Twojej organizacji. Teraz, gdy znasz już tajniki Playground i API, przyjrzymy się wydajności GPT-3 w typowych zadaniach modelowania języka.

WSKAZÓWKA: Początkującym, którzy dopiero rozpoczęli przygodę z GPT-3, może być trudno ogarnąć kwestię zużycia tokenów. Wielu użytkowników wprowadza zbyt długie teksty podpowiedzi, co prowadzi do nadmiernego wykorzystania środków, a w konsekwencji do nieoczekiwanych opłat. Aby tego uniknąć, w pierwszych dniach korzystania z panelu wykorzystania interfejsu API obserwuj liczbę zużytych tokenów i zobacz, jak długość monitów i uzupełnień wpływa na wykorzystanie tokenów. Może pomóc zapobiec niekontrolowanemu wykorzystaniu kredytów i utrzymać wszystko w ramach budżetu.

https://aie24.pl/

Zanim zagłębimy się w sposób, w jaki różne podpowiedzi zużywają tokeny, przyjrzyjmy się bliżej, czym jest token. Powiedzieliśmy Ci, że tokeny to numeryczne reprezentacje słów lub znaków. Używając tokenów jako standardowego środka, GPT-3 może obsługiwać podpowiedzi szkoleniowe od kilku słów do całych dokumentów. W przypadku zwykłego tekstu w języku angielskim 1 token składa się z około 4 znaków. Oznacza to mniej więcej trzy czwarte słowa, więc na sto żetonów będzie około 75 słów. Dla porównania, zebrane dzieła Szekspira składają się z około 900 000 słów, co w przybliżeniu przekłada się na 1,2 miliona żetonów. Aby utrzymać opóźnienia wywołań API, OpenAI nakłada limit 2048 tokenów (około 1500 słów) dla monitów i uzupełnień. Aby lepiej zrozumieć, w jaki sposób tokeny są obliczane i wykorzystywane w kontekście GPT-3 oraz aby nie przekraczać limitów określonych przez API, przyjrzyjmy się sposobom pomiaru liczby tokenów. W Playground po wpisaniu tekstu w interfejsie możesz zobaczyć aktualizację liczby tokenów w czasie rzeczywistym w stopce w prawym dolnym rogu. Wyświetla liczbę tokenów, które zostaną zużyte przez monit tekstowy po naciśnięciu przycisku Generuj. Możesz go używać do monitorowania zużycia tokenów za każdym razem, gdy wchodzisz w interakcję z Placem zabaw

Innym sposobem pomiaru zużycia tokenów jest użycie narzędzia Tokenizer GPT-3 (rysunek 2.11), które umożliwia wizualizację tworzenia tokenów ze znaków. Możesz wchodzić w interakcję z Tokenizerem za pomocą prostego pola tekstowego, w którym wpisujesz tekst zachęty, a Tokenizer pokazuje liczbę tokenów i znaków wraz ze szczegółową wizualizacją

https://aie24.pl/

Po pomyślnym dopracowaniu modelu możesz zacząć go używać! Możesz teraz określić ten model jako parametr punktu końcowego zakończenia i wysyłać do niego żądania za pomocą placu zabaw.

WSKAZÓWKA: Po zakończeniu zadania dostrajania może minąć kilka minut, zanim model będzie gotowy do obsługi żądań. Jeśli żądania zakończenia przekroczą limit czasu modelu, prawdopodobnie jest to spowodowane tym, że model jest nadal ładowany. Jeśli tak się stanie, spróbuj ponownie za kilka minut.

Możesz rozpocząć wysyłanie żądań, przekazując nazwę modelu jako parametr modelu żądania zakończenia za pomocą następującego polecenia:

openai api completions.create -m FINE_TUNED_MODEL -p YOUR_PROMPT

Gdzie FINE_TUNED_MODEL to nazwa Twojego modelu, a YOUR_PROMPT to monit, który chcesz wypełnić w tym żądaniu. Możesz nadal używać wszystkich parametrów punktu końcowego zakończenia, które omówiono w tym rozdziale, takich jak temperatura, kara za częstotliwość, kara za obecność itp., również w tych żądaniach do nowo dostrojonego modelu.

UWAGA: W tych żądaniach nie określono żadnego silnika. Jest to zamierzony projekt i coś, co OpenAI planuje w przyszłości ujednolicić w innych punktach końcowych API.

https://aie24.pl/

Po przygotowaniu danych szkoleniowych zgodnie z powyższym opisem możesz przejść do dostrajania za pomocą interfejsu CLI OpenAI. W tym celu potrzebujesz następującego polecenia:

openai api fine_tunes.create -t TRAIN_FILE_ID_OR_PATH -m BASE_MODEL

Gdzie BASE_MODEL to nazwa modelu podstawowego, od którego zaczynasz (Ada, Babbage, Curie lub Davinci). Uruchomienie tego polecenia powoduje kilka rzeczy:

* Przesyła plik za pomocą punktu końcowego plików

* Dostraja model za pomocą konfiguracji żądania z polecenia

* Przesyła strumieniowo dzienniki zdarzeń do momentu zakończenia zadania dostrajania

Przesyłanie strumieniowe dzienników pomaga zrozumieć, co dzieje się w czasie rzeczywistym i reagować na wszelkie zdarzenia/awarie na bieżąco. Przesyłanie strumieniowe może trwać od minut do godzin, w zależności od liczby zadań w kolejce i rozmiaru zestawu danych.

https://aie24.pl/

Aby rozpocząć dostosowywanie GPT-3, wystarczy uruchomić jedno polecenie w narzędziu wiersza poleceń OpenAI z dostarczonym plikiem. Twoja niestandardowa wersja rozpocznie szkolenie i będzie natychmiast dostępna w interfejsie API OpenAI. Na bardzo wysokim poziomie dostosowywanie GPT-3 do Twojej aplikacji obejmuje następujące trzy kroki:

* Przygotuj nowe dane treningowe i prześlij je na serwer OpenAI

* Dostosuj istniejące modele za pomocą nowych danych szkoleniowych

* Użyj dopracowanego modelu

Przygotuj i prześlij dane szkoleniowe

Dane szkoleniowe są tym, co model przyjmuje jako dane wejściowe do dostrajania. Twoje dane szkoleniowe muszą być dokumentem JSONL, gdzie każda linia jest parą podpowiedzi odpowiadającą przykładowi szkoleniowemu. W celu doprecyzowania modelu możesz podać dowolną liczbę przykładów. Zdecydowanie zaleca się utworzenie zbioru danych ukierunkowanego na wartości (który zdefiniujemy i omówimy w rozdziale 6), aby zapewnić modelowi dane wysokiej jakości i szeroką reprezentację. Dostrajanie poprawia wydajność dzięki większej liczbie przykładów, więc im więcej przykładów podasz, tym lepszy wynik. Twój dokument JSONL powinien wyglądać mniej więcej tak:

{“prompt”: “prompt text”, “completion”: “ideal generated text”}

{“prompt”: “prompt text”, “completion”: “ideal generated text”}

{“prompt”: “prompt text”, “completion”: “ideal generated text”}

…

Gdzie tekst podpowiedzi powinien zawierać dokładny tekst podpowiedzi, który chcesz wypełnić, a idealnie wygenerowany tekst powinien zawierać przykład żądanego tekstu uzupełnienia, który ma zostać wygenerowany przez GPT-3. Możesz użyć narzędzia do przygotowywania danych CLI OpenAI, aby łatwo przekonwertować dane do tego formatu pliku. Narzędzie do przygotowywania danych CLI akceptuje pliki w różnych formatach; jedynym wymaganiem jest to, aby zawierały zachętę i kolumnę/klucz zakończenia. Możesz przekazać plik CSV, TSV, XLSX, JSON lub JSONL, a narzędzie zapisze dane wyjściowe w pliku JSONL gotowym do dostrojenia. Aby to zrobić, użyj następującego polecenia:

openai tools fine_tunes.prepare_data -f LOCAL_FILE

Gdzie LOCAL_FILE to plik przygotowany do konwersji.

https://aie24.pl/

Dostosowanie GPT-3 poprawia niezawodność wyników, oferując bardziej spójne wyniki, na których można polegać w zastosowaniach produkcyjnych. Obecni klienci OpenAI API odkryli, że dostosowanie GPT-3 może radykalnie zmniejszyć częstotliwość niewiarygodnych wyników, a istnieje rosnąca grupa klientów, którzy mogą za to ręczyć swoimi wynikami. Przyjrzyjmy się czterem firmom, które dostosowały GPT-3. Keeper Tax pomaga niezależnym wykonawcom i freelancerom w rozliczeniu podatków. Wykorzystuje różne modele do wyodrębniania tekstu i klasyfikowania transakcji, a następnie identyfikuje łatwe do pominięcia odpisy podatkowe, aby pomóc klientom złożyć swoje podatki bezpośrednio z aplikacji. Dostosowując GPT-3, Keeper Tax odnotował wzrost dokładności z 85% do 93%. Stale się doskonali dzięki dodawaniu do swojego modelu 500 nowych przykładów szkoleniowych raz w tygodniu, co prowadzi do poprawy dokładności o około 1% tygodniowo. Viable pomaga firmom uzyskać wgląd w opinie klientów. Dostosowując GPT-3, firma Viable była w stanie przekształcić ogromne ilości nieustrukturyzowanych danych w czytelne raporty w języku naturalnym i zwiększyć niezawodność swoich raportów. W rezultacie dokładność podsumowania opinii klientów wzrosła z 66% do 90%. Aby uzyskać szczegółowy wgląd w podróż Viable, zapoznaj się z naszym wywiadem z dyrektorem generalnym Viable w Rozdziale 4. Sana Labs to światowy lider w rozwoju i zastosowaniu sztucznej inteligencji w nauce. Platforma firmy zapewnia firmom spersonalizowane doświadczenia edukacyjne, wykorzystując najnowsze przełomowe rozwiązania w zakresie uczenia maszynowego w celu personalizacji treści. Dostosowując GPT-3 przy użyciu własnych danych, generowanie pytań i treści Sany przeszło od poprawnych gramatycznie, ale ogólnych odpowiedzi do bardzo dokładnych odpowiedzi. Przyniosło to poprawę o 60%, umożliwiając użytkownikom bardziej spersonalizowane doświadczenia. Elicit to asystent badawczy AI, który pomaga bezpośrednio odpowiadać na pytania badawcze, korzystając z wniosków z artykułów akademickich. Asystent znajduje najbardziej odpowiednie streszczenia z dużego zbioru artykułów naukowych, a następnie stosuje GPT-3, aby wygenerować twierdzenie zawarte w artykule na temat danego pytania. Niestandardowa wersja GPT-3 uzyskała lepsze wyniki od szybkiego projektu i doprowadziła do poprawy w trzech obszarach: wyniki były o 24% łatwiejsze do zrozumienia, o 17% dokładniejsze i ogólnie o 33% lepsze.

https://aie24.pl/

Artykuł badawczy OpenAI „Process for Adapting Language Models to Society (PALMS) with Values-Targeted Datasets” autorstwa Irene Solaiman i Christy Dennison (czerwiec 2021) skłonił firmę do uruchomienia pierwszego w swoim rodzaju punktu końcowego dostrajającego, który umożliwia aby uzyskać więcej z GPT-3 niż było to wcześniej możliwe, dostosowując model do konkretnego przypadku użycia. (Więcej o Palmach omawiamy w Rozdziale 6.) Dostosowywanie GPT-3 poprawia wydajność każdego zadania języka naturalnego, które GPT-3 jest w stanie wykonać w konkretnym przypadku użycia. Wyjaśnijmy najpierw, jak to działa. OpenAI wstępnie przeszkolił GPT-3 na specjalnie przygotowanym zestawie danych w sposób częściowo nadzorowany. Gdy zostanie wyświetlony monit zawierający zaledwie kilka przykładów, często może on odgadnąć, jakie zadanie próbujesz wykonać i wygenerować wiarygodne zakończenie. Użytkownicy mogą teraz dostroić GPT-3 na własnych danych, tworząc wersję niestandardową modelu dostosowanego do ich projektu. Dostosowywanie sprawia, że GPT-3 jest niezawodny w różnych przypadkach użycia i sprawia, że uruchamianie modelu jest tańsze, wydajniejsze i szybsze. Dostrajanie polega na ulepszaniu całego modelu, tak aby za każdym razem działał tak, jak sobie tego życzysz. Możesz użyć istniejącego zbioru danych o dowolnym kształcie i rozmiarze lub stopniowo dodawać dane w oparciu o opinie użytkowników. Możliwości i wiedza na temat modelu zostaną zawężone i skupione na zawartości i semantyce zbioru danych wykorzystywanego do dostrajania. To z kolei ograniczy zakres kreatywności i wyboru tematów, co będzie dobre w przypadku dalszych zadań, takich jak klasyfikacja dokumentów wewnętrznych lub w każdym przypadku użycia obejmującym żargon wewnętrzny. Działa poprzez skupienie uwagi GPT-3 na dopracowanych danych i ograniczenie jego bazy wiedzy. Po dopracowaniu modelu nie będziesz już musiał podawać przykładów w monicie. Oszczędza to koszty, skraca czas reakcji oraz zwiększa jakość i niezawodność wyników. Wydaje się, że dostosowywanie GPT-3 daje lepsze wyniki niż to, co można osiągnąć przy szybkim projektowaniu, ponieważ w trakcie tego procesu można podać więcej przykładów. Mając mniej niż sto przykładów, możesz już zacząć dostrzegać korzyści z dostrojenia GPT-3, a wydajność stale się poprawia w miarę dodawania większej ilości danych. W artykule badawczym PALMS OpenAI pokazało, jak dostrojenie za pomocą mniej niż stu przykładów może poprawić wydajność GPT-3 w niektórych zadaniach. OpenAI odkryło również, że każde podwojenie liczby przykładów ma tendencję do liniowej poprawy jakości.

https://szkolazpieklarodem.pl/

Większość klasy robotniczej była robotnikami rolnymi, ponieważ rolnictwo i produkcja żywności były niezbędne do przetrwania i udziału Egiptu w handlu. Chociaż nie ma żadnych pisemnych dowodów od samych rolników, niektóre grobowce członków elity wspominają o rolnikach, którzy pracowali na ich ziemi, zachowując w ten sposób imiona tych rolników na wieczność. Jeden taki rolnik pracował dla skryby Ramose’a z Deir el Medina. Według zapisów grobowych rolnik nazywał się Ptahsaankh i zaorał ziemię dwiema krowami zwanymi „Zachód” i „Piękny potop”. Większość ziemi należała do państwa lub świątyń i była wynajmowana tylko rolnikom. Jako pracownicy państwa oczekiwano od rolników oddania właścicielom ziemskim określonej kwoty plonu zboża, powiększonej o czynsz i podatek (podatek jest zawsze). Zarobki rolników to wszystko, co zostało. Biedni najwyraźniej pracowali za darmo.