Aby zorientować się, jak wyglądają różne modele n-gramowe, zbudowaliśmy modele unigramowe (tj. bag-ofwords), bigramowe, trygramowe i 4-gramowe na słowach, a następnie losowo pobrane sekwencje słów z każdego z cztery modele:
- n = 1: logiczne są tak samo jak zamieszanie może dobrze próbuje agent cel był
- n = 2: systemy są bardzo podobne, będzie reprezentowane podejście obliczeniowe
- n = 3: planowanie i harmonogramowanie są zintegrowane, sukces naiwnego modelu Bayesa to
- n=4: wykorzystanie struktury sieci bayesowskich i opracowanie różnych języków do pisania „szablonów” ze zmiennymi logicznymi, z których duże sieci mogą być konstruowane automatycznie dla każdej instancji problemu
Z tej małej próbki powinno jasno wynikać, że model unigramowy jest bardzo słabym przybliżeniem albo ogólnie języka angielskiego, albo podręcznika AI w szczególności, a model 4-gramowy jest niedoskonały, ale znacznie lepszy. Następnie, aby zademonstrować, w jaki sposób próbki przełączają się między źródłami uczącymi (i zdecydowanie nie tylko dla zabawy), dodaliśmy tekst Biblii Króla Jakuba do 4-gramowego modelu, uzyskując te losowe próbki:
- Udowodnij, że każdy problem 3-SAT można zredukować do prostszych, używając praw twojego Boga.
- Mistrzowie, dajcie swoim sługom to, co jest prawdziwe, jeśli zarówno P, jak i Q w dowolnym modelu m poprzez prosty eksperyment: połóżcie rękę na sobie i waszych domach, bo to jest przyjemne.
- Wielu będzie błagać Pana, Boga twego, mówiąc: Nie; ale na razie zignorujemy tę kwestię;
- I stało się tak, jakby nie miał następców.
- Bezpośrednie oszacowanie użyteczności jest tylko przykładem ogólnego lub algorytmu, w którym nowe symbole funkcyjne są konstruowane „w locie”. Na przykład pierwsze dziecko Ducha Świętego.
Istnieje ograniczenie modeli n-gramowych – wraz ze wzrostem n będą one tworzyć język płynniejszy, ale mają tendencję do dosłownego powielania długich fragmentów danych treningowych, zamiast generowania nowego tekstu. Modele językowe z bardziej złożonymi reprezentacjami słów i kontekstu mogą działać lepiej. Pozostała część pokazuje, w jaki sposób gramatyka może ulepszyć model językowy i w jaki sposób metody głębokiego uczenia się stworzyły ostatnio imponujące modele językowe. Jeden z takich modeli głębokiego uczenia, GPT-2, może generować płynne próbki języka angielskiego po otrzymaniu monitu. Daliśmy GPT-2 pierwsze dwa zdania tego akapitu jako podpowiedź; wyprodukował następujące dwie próbki:
- Liczne badania wykazały, że najlepszymi modelami językowymi, które mogą generować język, są te, które wykorzystują sieci neuronowe, aw szczególności wykorzystują głębokie uczenie do modelowania mowy. Użyłem jednego z tych modeli do wygenerowania setek zdań w wielu językach i ma on możliwość generowania prawie doskonałych tłumaczeń moich zdań szkoleniowych. To świetny model i pozwoli Ci zaoszczędzić dużo czasu w przyszłości, gdy będziesz musiał tłumaczyć między wieloma językami.
- Modele te mogą również działać lepiej, jeśli ich próbki zostaną wybrane losowo, a nie przez eksperta w danej dziedzinie. Jednak z reguły modele n-gramowe i językowe, które zawierają dużą liczbę funkcji, mają tendencję do lepszego tworzenia tekstu, ponieważ te cechy najbardziej przyczyniają się do nauki języka. Aby zmierzyć wydajność modelu, przygotowałem kilka przykładowych zdań które chciałbym szkolić, aby lepiej rozumieć modele mowy i języka. Możesz je przeczytać, aby dowiedzieć się, jak prognozuje model.
Widzimy, że te fragmenty są różnorodne i płynne gramatycznie; ponadto trzymają się tematów, które są istotne dla zdań podpowiedzi. Ale zdania nie budują na sobie nawzajem, by postawić spójną tezę. Model językowy GPT-2 jest znany jako model transformatorowy. Innym modelem transformatora jest język transformatora warunkowego CTRL. Można nim sterować w bardziej elastyczny sposób; w poniższych próbkach CTRL został poproszony o wygenerowanie tekstu w kategorii recenzje produktów, z oceną 1 i 4 (z 5): określona ocena (z 5):
- 1.0: Kupiłem to dla mojego syna, który jest wielkim fanem serialu. Był tak podekscytowany, że go dostał, a kiedy go otworzył, wszyscy byliśmy bardzo rozczarowani. Jakość produktu jest okropna. Wygląda na coś, co można kupić w sklepie za dolara.
• 4.0: kupiłam to mojemu mężowi i on to uwielbia. Ma mały nadgarstek, więc trudno znaleźć zegarki, które by do niego pasowały. Ten pasuje idealnie