Długość odpowiedzi określa limit ilości tekstu, jaki API uwzględnia podczas jej uzupełniania. Ponieważ OpenAI pobiera opłaty za długość tekstu wygenerowanego podczas wywołania API (jak wspomniano wcześniej, jest ona tłumaczona na tokeny, czyli numeryczne reprezentacje słów), długość odpowiedzi (również mierzona w tokenach) jest kluczowym parametrem dla każdego, kto ma ograniczony budżet. Większa długość odpowiedzi spowoduje użycie większej liczby tokenów i będzie kosztować więcej. Na przykład, jeśli wykonujesz zadanie klasyfikacji, nie jest dobrym pomysłem ustawienie numeru tekstu odpowiedzi na 100: interfejs API może wygenerować nieistotny tekst i użyć dodatkowych tokenów, które spowodują naliczenie opłat na Twoim koncie. Interfejs API obsługuje maksymalnie 2048 tokenów w monicie i zakończeniu połączone ze względu na ograniczenia techniczne. Dlatego podczas korzystania z interfejsu API należy uważać, aby monit i oczekiwane zakończenie nie przekraczały maksymalnej długości odpowiedzi, aby uniknąć nagłych uzupełnień. Jeśli Twój przypadek użycia obejmuje monity i uzupełnienia o dużym tekście, rozwiązaniem jest wymyślenie kreatywnych sposobów rozwiązywania problemów w ramach limitów tokenów, takich jak zagęszczenie podpowiedzi, podzielenie tekstu na mniejsze fragmenty i połączenie wielu żądań.