Najlepsze

https://aie24.pl/

GPT-3 korzysta z najlepszych funkcji, aby generować wielokrotne uzupełnienia po stronie serwera, oceniać je za kulisami, a następnie zapewnić najlepszy wynik probabilistyczny. Za pomocą parametru „best of” możesz określić liczbę uzupełnień (n), które mają zostać wygenerowane po stronie serwera. Model zwróci najlepsze z n uzupełnień (to z najniższym prawdopodobieństwem logarytmicznym na token). Dzięki temu można ocenić wiele uzupełnień monitów w jednym wywołaniu interfejsu API, zamiast wielokrotnie wywoływać interfejs API w celu sprawdzenia jakości różnych uzupełnień dla tych samych danych wejściowych. Jednak użycie „najlepszego z” jest drogie: kosztuje n razy więcej tokenów w monicie. Na przykład, jeśli ustawisz wartość „najlepszego z” na 2, zostaniesz obciążony podwójną opłatą za tokeny znajdujące się w monicie wejściowym, ponieważ na zapleczu API wygeneruje dwa uzupełnienia i pokaże najlepsze. „Najlepsze z” może mieć wartość od 1 do 20, w zależności od przypadku użycia. Jeśli Twój przypadek użycia służy klientom, dla których jakość wyników musi być stała, możesz ustawić wyższą wartość „najlepszej z”. Z drugiej strony, jeśli Twój przypadek użycia obejmuje zbyt wiele wywołań API, sensowne jest ustawienie niższej wartości „najlepszego z”, aby uniknąć niepotrzebnych opóźnień i kosztów. Zalecamy zachowanie minimalnej długości odpowiedzi podczas generowania wielu podpowiedzi przy użyciu parametru „najlepsze z”, aby uniknąć dodatkowych opłat.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *