Wyniki uzyskane z LLM są w dużym stopniu zależne od ustawienia zwanego temperaturą, które bezpośrednio określa, jak kreatywny lub faktyczny będzie model. Po ustawieniu niższej temperatury LLM zawsze zwróci najbardziej prawdopodobne odpowiedzi. Po ustawieniu wyższej temperatury LLM będzie bardziej kreatywny i losowy. W większości modeli językowych skala temperatury waha się od 0 do 1. W przypadku ChatGPT ustawieniem domyślnym jest 0,7. W zależności od rodzaju żądanej odpowiedzi możesz chcieć ustawić tę wartość na niższą lub wyższą. Możliwe jest ustawienie temperatury na poziomie nawet 2,0 w modelach OpenAI, ale ustawienia temperatury powyżej 1,0 są bardziej prawdopodobne, że będą bełkotem. Aby zilustrować, jaką różnicę robi temperatura, poprosiłem ChatGPT o listę słów, które rymują się z Pythonem. Nie określiłem temperatury, więc ChatGPT użył jej wartości domyślnej. Odpowiedź pokazano na rysunku
Powiedział mi, że Python nie jest popularnym słowem w języku angielskim i podał cztery słowa, które w jakiś sposób się z nim rymują, a jako piąte powtórzył słowo „bison” — prawdopodobnie dlatego, że uznał, że cztery elementy to za mało na „listę słów”, ale nie mógł wymyślić niczego innego.
Następnie zadałem to samo pytanie programowi ChatGPT, ale kazałem mu ustawić temperaturę na 1,0. Odpowiedź pokazano na rysunku
Tym razem zwróciło dziesięć słów lub fraz, a osiem z nich było rymami. Następnie poprosiłem ChatGPT o ustawienie temperatury na 2,0. Odpowiedź pokazano na rysunku
Zwróciło 19 sugestii słów, które rymują się z Pythonem, w tym moją ulubioną sugestię: Thai cuisine. Ponieważ ChatGPT jest dostrojony do generowania zawsze czegoś sensownego (nawet gdy jest kreatywny), dostosowywanie temperatury nie ma tak dużego wpływu na wynik, jak dostosowywanie jej podczas bezpośredniej pracy z modelami OpenAI. Aby zilustrować, jak to wygląda, gdy zwiększasz temperaturę modelu, Rysunek pokazuje wynik dla tego samego monitu z temperaturą ustawioną na 2,0, ale robioną bezpośrednio przez API, a nie przez ChatGPT.
W dalszej części opisuję, jak pracować z modelami OpenAI za pomocą API. Niektórzy asystenci AI mogą pozwolić na ustawienie temperatury nawet wyższej niż 2, jeśli poprosisz grzecznie. Pamiętaj jednak, że wyższe temperatury prawie na pewno wygenerują śmieci.