Zanim zagłębimy się w sposób, w jaki różne podpowiedzi zużywają tokeny, przyjrzyjmy się bliżej, czym jest token. Powiedzieliśmy Ci, że tokeny to numeryczne reprezentacje słów lub znaków. Używając tokenów jako standardowego środka, GPT-3 może obsługiwać podpowiedzi szkoleniowe od kilku słów do całych dokumentów. W przypadku zwykłego tekstu w języku angielskim 1 token składa się z około 4 znaków. Oznacza to mniej więcej trzy czwarte słowa, więc na sto żetonów będzie około 75 słów. Dla porównania, zebrane dzieła Szekspira składają się z około 900 000 słów, co w przybliżeniu przekłada się na 1,2 miliona żetonów. Aby utrzymać opóźnienia wywołań API, OpenAI nakłada limit 2048 tokenów (około 1500 słów) dla monitów i uzupełnień. Aby lepiej zrozumieć, w jaki sposób tokeny są obliczane i wykorzystywane w kontekście GPT-3 oraz aby nie przekraczać limitów określonych przez API, przyjrzyjmy się sposobom pomiaru liczby tokenów. W Playground po wpisaniu tekstu w interfejsie możesz zobaczyć aktualizację liczby tokenów w czasie rzeczywistym w stopce w prawym dolnym rogu. Wyświetla liczbę tokenów, które zostaną zużyte przez monit tekstowy po naciśnięciu przycisku Generuj. Możesz go używać do monitorowania zużycia tokenów za każdym razem, gdy wchodzisz w interakcję z Placem Zabaw
Innym sposobem pomiaru zużycia tokenów jest użycie narzędzia Tokenizer GPT-3, które umożliwia wizualizację tworzenia tokenów ze znaków. Możesz wchodzić w interakcję z Tokenizerem za pomocą prostego pola tekstowego, w którym wpisujesz tekst zachęty, a Tokenizer wyświetla liczbę tokenów i znaków wraz ze szczegółową wizualizacją.