RÓŻNE RODZAJE INTELIGENCJI

https://aie24.pl/

Czy istnieje jeden rodzaj inteligencji, czy wiele? Jedną z rzeczy, których się nauczyliśmy, jest to, że istnieją potężne algorytmy uczenia maszynowego, które potrafią rozwiązywać problemy, z którymi dotychczas radzili sobie tylko ludzie. Niektóre z tych algorytmów, zwłaszcza głębokie sieci neuronowe, wykazują interesujące podobieństwa do mózgu, zwłaszcza do obwodów neuronowych w korze mózgowej. Sztuczna inteligencja wykorzystująca głębokie uczenie rozwiązuje problemy poprzez konstruowanie rozproszonych reprezentacji wewnętrznych, z których niektóre obejmują rozkład wzorców danych na cechy na różnych poziomach abstrakcji. Wydaje się to być fundamentalnym elementem składowym inteligencji. Drugi typ ogólnego systemu uczenia się potrafi znajdować strukturę w danych sekwencyjnych, takich jak mowa czy język, wykorzystując połączenia rekurencyjne lub selektywną uwagę. Coraz częściej sztuczna inteligencja koncentruje się na systemach generatywnych, które są trenowane do odtwarzania własnych danych wejściowych i w ten sposób odkrywają ukryte struktury w wielowymiarowych przestrzeniach wzorców. Ta zdolność pozwala im generować nowe, nigdy wcześniej nieobserwowane rezultaty. Po zdobyciu tego rodzaju wiedzy, można szybko nauczyć się konkretnych zadań, które ją wykorzystują. Badania nad zrozumieniem ludzkiej inteligencji coraz częściej eksplorują modele generatywne, aby zrozumieć obliczenia zachodzące w mózgu, szczególnie te obejmujące mikroobwody korowe, co wydaje się skuteczną strategią konstruowania sztucznej inteligencji, wspólną z inteligencją biologiczną. Z drugiej strony, zauważyliśmy również, że różne rodzaje sztucznej inteligencji mogą być najlepiej dostosowane do różnych typów problemów. Na przykład, niektóre aspekty inteligencji mogą nie dać się zredukować obliczeniowo do problemów związanych z rozpoznawaniem wzorców. Zadania takie jak logiczne rozumowanie czy rozwiązywanie problemów mogą być z natury seryjne i wymagać koordynacji wielu układów mózgowych. Ta koncepcja wspiera również koncepcję szybkiego i wolnego myślenia Daniela Kahnemana – szybkie myślenie odpowiada nabytym umiejętnościom rozpoznawania wzorców, których działanie nie jest świadomie dostępne, a wolne myślenie, będąc bardziej przemyślanym i sekwencyjnym, wymaga świadomego wysiłku i jest wspierane przez nasze umiejętności językowe i rozbudowany umysł. Typowy dorosły mózg ludzki ma również wiele wysoce wyspecjalizowanych części, przystosowanych do różnych funkcji. Obserwujemy również jakościowo różne formy uczenia się w obszarach mózgu, takich jak kora mózgowa i móżdżek, oraz w obwodach obejmujących jądra podstawy. Podsumowując, obraz jest pełen niuansów. Istnieją dowody na istnienie generycznych zdolności leżących u podstaw wielu form inteligencji oraz na potrzebę tworzenia wyspecjalizowanych systemów szytych na miarę w różnych dziedzinach. Siła algorytmów uczenia maszynowego sugeruje również, że uczenie się na podstawie doświadczenia ma kluczowe znaczenie dla konstruowania inteligencji; w połączeniu z dowodami na zdolność uczenia się dzieci, przeczy to sugestiom, że nasz potencjał do inteligentnego działania jest determinowany jeszcze przed naszymi narodzinami. Spośród różnych rodzajów inteligencji omówionych w rozdziale 2, dwa wyróżniają się jako nieuwzględnione w obecnych systemach sztucznej inteligencji – inteligencja intrapersonalna i interpersonalna – czyli zdolność rozumienia siebie i innych. Zdolności te są niewątpliwie powiązane. W istocie, jednym z powodów, dla których sztuczne inteligencje nie rozwinęły jeszcze inteligencji społecznej, jest to, że aby zrozumieć innych i nawiązać z nimi relacje, najpierw trzeba coś o sobie wiedzieć.17 Istniejące sztuczne inteligencje, nawet superpotężne systemy, takie jak ChatGPT, nie posiadają takiej samoświadomości. W istocie, pojęcie bycia czymkolwiek jest pozbawione znaczenia dla obecnych SI. W rozdziale 7 zobaczymy, że ma to również znaczenie w kontekście rozważań nad pojawiającymi się zagrożeniami społecznymi, jakie niesie ze sobą SI. Nasza tendencja do antropomorfizacji SI – postrzegania ich jako bytów z samoświadomością i troską o swoją przyszłość – może utrudniać zrozumienie potencjału SI, zarówno w dobrym, jak i złym kierunku. Podsumowując, zauważyliśmy, że dzisiejsze SI są ograniczone, a marzenie o rozwoju AGI jest jeszcze odległe. Po części dlatego, że wciąż nie rozwiązaliśmy problemu architektury poznawczej (łączenia wielu komponentów SI w większy inteligentny system), a po części dlatego, że obecne SI nie są wystarczająco zanurzone w świecie, aby posiadać ugruntowane reprezentacje. Jest prawdopodobne, że niektóre elementy ludzkiej inteligencji, takie jak odkrycia naukowe oraz aspekty kreatywności i wyobraźni, pozostaną poza zasięgiem SI, dopóki te wyzwania nie zostaną podjęte.

SKALOWANIE DO SZTUCZNEJ INTELIGENCJI OGÓLNEJ

https://aie24.pl/

Większość istniejących SI ma wąski zakres działania, ponieważ starają się rozwiązać tylko jeden problem i być w nim dobre, czy to grając w szachy, obliczając kształt białka, spekulując na rynkach finansowych, czy będąc chatbotem. Ale czy obecne SI zmierzają w kierunku bardziej ogólnej formy inteligencji? OpenAI, twórcy ChatGPT, z pewnością tak uważają. Ich ambicją jest stworzenie sztucznej inteligencji ogólnej, a budowanie modeli LLM można postrzegać jako ważny krok w tym kierunku. W rzeczywistości wykazali już, że ChatGPT może być wykorzystywany jako wewnętrzny silnik SI ukierunkowany na konkretne wyzwania językowe. Na przykład, przy stosunkowo niewielkiej ilości dodatkowego treningu nadzorowanego, takie rozszerzone modele mogą obsługiwać szereg zadań językowych, w tym podsumowywanie, odpowiadanie na pytania i gry tekstowe.10 Jednak ChatGPT nadal określa się jako „sztuczna inteligencja językowa ogólnego przeznaczenia”, a nie AGI, co wydaje się być trafne. Architektura transformatorowa, która leży u podstaw LLM, okazała się skuteczna w innych dziedzinach niż język. Na przykład, transformatory są obecnie łączone ze splotowymi sieciami neuronowymi (CNN) w celu rozwiązywania problemów z widzeniem. Ale transformatory i CNN to tylko dwa z dostępnych narzędzi. Twórcy sztucznej inteligencji mają do dyspozycji wiele podejść. Na przykład probabilistyczna metoda znana jako modelowanie dyfuzji okazuje się obecnie przydatna w generowaniu obrazów i wideo za pomocą sztucznej inteligencji. Modele dyfuzji to forma generatywnej sztucznej inteligencji, w której dane w złożonym wzorze są stopniowo i systematycznie degradowane, przekształcając je w prosty wzór czystego szumu. W międzyczasie sztuczna inteligencja uczy się odwracać ten proces – przechodząc od prostego wzoru bez struktury do szczegółowego i złożonego wzoru. Sztuczna inteligencja dyfuzyjna uczy się, jak usuwać szum z obrazów, co jest znane jako odszumianie. Jednak, podobnie jak w przypadku innych modeli generatywnych, otrzymujemy model znacznie potężniejszy, niż to sugeruje – aby odszumiać, sieć musi poznać podstawową strukturę złożonych scen wizualnych. Sztuczne inteligencje, takie jak MidJourney i Dall-E firmy OpenAI, łączą modelowanie dyfuzyjne z innymi sieciami neuronowymi, które uczą się relacji między tekstem a obrazami, jak wspomniano wcześniej. Tworzy to połączony model, który może tworzyć nowy obraz na podstawie opisu tekstowego. Sukces sztucznej inteligencji generatywnej doprowadził do powstania nowych teorii funkcjonowania mózgu. Podejście oparte na przetwarzaniu predykcyjnym, bazujące na wcześniejszych teoriach uczenia predykcyjnego, takich jak reguła Rescorli-Wagnera, zakłada, że ​​sieci neuronowe w korze mózgowej konstruują predykcyjne modele świata, które następnie są porównywane z danymi sensorycznymi. Bardziej ambitna teoria, opracowana przez Karla Fristona14, zakłada, że ​​organizmy, w tym ludzi, można rozumieć jako niejawne, generatywne modele ich środowiska, które dążą do zminimalizowania rozbieżności lub zaskoczenia między formułowanymi przez nie przewidywaniami a odbieranymi sygnałami sensorycznymi. Przypomina to również prawo Ashby’ego,  zgodnie z którym maszyna musi być co najmniej tak złożona, jak system, którym steruje, aby zachować stabilność w obliczu zmian. Chociaż podejście oparte na przetwarzaniu predykcyjnym sugeruje, że istnieją głębokie wspólne zasady wspólne dla obecnych teorii mózgu i skutecznych podejść do modelowania w sztucznej inteligencji, samo w sobie może to nie wystarczyć, aby umożliwić nam zbudowanie sztucznej inteligencji ogólnej. Jak skonstruować kompletny, działający system z wieloma komponentami, z których niektóre to wąskie AI, który posiada umiejętności i elastyczność, aby wykonywać wszystkie zadania wykonywane obecnie przez ludzi? Jednym ze sposobów skalowania AI w kierunku ogólnej inteligencji może być połączenie podejść uczenia maszynowego z innymi formami rozumowania. Na przykład, chociaż ChatGPT może podejmować próby rozwiązywania łamigłówek logicznych i generować zazwyczaj spójne wyniki językowe, nie jest on w stanie konkretnie przeprowadzać rozumowania logicznego, jak na przykład mogłaby to robić AI dowodząca twierdzeń. Jest to również jeden z powodów, dla których nie można polegać na tym rodzaju AI w zakresie udzielania całkowicie wiarygodnych odpowiedzi. Mówiąc szerzej, szeroki zakres procesów obliczeniowych, na przykład matematyka, ma swoją własną logikę wewnętrzną, której nie może dokładnie uchwycić maszyna ucząca się, taka jak sieć transformatorowa. Steven Wolfram16 opisuje tego rodzaju procesy jako obliczeniowo nieredukowalne. Na przykład, wyprowadzając twierdzenie w matematyce, nie można po prostu zastąpić długiej serii kroków skrótem uzyskanym dzięki uczeniu się i oczekiwać, że zawsze otrzyma się prawidłową odpowiedź. ChatGPT może często mieć rację, a szkolenie z wykorzystaniem treści technicznych może go ulepszyć; Jednak ChatGPT nie rozwiązuje problemów matematycznych i inżynieryjnych od podstaw, więc nie chciałbyś go używać do pilotowania samolotu ani budowy mostu. Jedna droga naprzód jest jednak jasna. Sztuczne inteligencje, takie jak ChatGPT, które zyskały potężne możliwości, takie jak umiejętność komunikowania się w języku naturalnym, można łączyć z systemami zaprojektowanymi specjalnie do formalnego rozumowania. Na przykład Steven Wolfram ogłosił niedawno wtyczkę ChatGPT do swojego systemu do rozumowania matematycznego i obliczeniowego, Wolfram Alpha, która zapewnia dokładnie takie rozszerzenie. Ludzkie myślenie jest również omylne, a nasze mózgi są prawdopodobnie bardziej podobne do sieci transformatorowych niż maszyn dowodzących twierdzeń. Aby realizować obliczeniowo nieredukowalne części myślenia, częściowo polegamy na języku, który służy jako wewnętrzny mechanizm niektórych rodzajów rozumowania, wraz z narzędziami zewnętrznymi, takimi jak notatniki, kalkulatory i komputery. Podejmując ważne decyzje, wiemy z doświadczenia, że ​​nie zawsze należy ufać naszym początkowym, najlepszym przypuszczeniom jako słusznym, dlatego rozważamy możliwości w bardziej rozważny sposób, upewniając się, że rozważyliśmy wszystkie za i przeciw. Kiedy to robimy, nasze umysły czasami znajdują się w trybie intensywnego dialogu wewnętrznego, który pozwala na zwięzłe przedstawienie i rozumowanie złożonych idei. Rozumowanie deliberatywne nie jest jednak wyłącznie lingwistyczne – pomyślmy o Einsteinie wyobrażającym sobie spadającą windę lub inżynierze projektującym nowy most – ważne jest również rozumowanie wzrokowo-przestrzenne i ruchowo-kinestetyczne (wyobrażanie sobie możliwych działań). W naszych mózgach sieci neuronowe działające w wielu modalnościach i wyspecjalizowane w różnych rodzajach generowania wzorców, symulacji wewnętrznej i rozumowania oddziałują na siebie, dzielą się wiedzą i stosują wiele strategii do rozwiązywania trudnych problemów. Jesteśmy daleko od zbudowania sztucznej inteligencji ogólnej (AGI), która potrafiłaby to wszystko.

CAŁKOWITY TEST TURINGA

https://aie24.pl/

Ucieleśnienie i koordynacja percepcji z działaniem są tak ważne dla ludzkiej inteligencji, że zaproponowano alternatywę dla testu Turinga, w której wyzwaniem jest nie tylko dorównanie ludzkim możliwościom językowym w odcieleśnionym środowisku konwersacyjnym, ale także odtworzenie naszych zdolności robotycznych. Innymi słowy, oprócz zdolności do komunikowania się jak człowiek, aby zdać „całkowity test Turinga”8 zaproponowany przez Stevana Harnada, sztuczna inteligencja powinna również być w stanie działać w świecie tak, jak człowiek. Chociaż nie ma realnej perspektywy, aby robot zdał całkowity test Turinga, dziedzina robotyki poczyniła znaczące postępy w tworzeniu form ucieleśnionej inteligencji podobnej do ludzkiej. Roboty potrafią teraz chodzić, a czasem biegać na dwóch nogach. Potrafią tworzyć mapy i nawigować w otoczeniu, chwytać, przenosić i manipulować przedmiotami. Obecnym robotom brakuje zwinności, zręczności i wytrzymałości ludzi, ale ta luka się zmniejsza. Naukowcy z dziedziny robotyki odkryli, że warstwowe architektury sterowania, łączące w sobie szybkie, ale nieelastyczne, oraz wolniejsze, ale bardziej przemyślane procesy, mogą najlepiej sprawdzać się w tworzeniu inteligencji robotów. Innymi słowy, architektury te zaczynają przypominać te, które spotykamy w ludzkim mózgu (patrz rozdział 3). Systemy robotyczne wymagają również większej liczby podstawowych elementów sterowania, które omówiliśmy w rozdziale 4, przy czym sterowanie predykcyjne zyskuje na znaczeniu, co omówiono poniżej. Czy ucieleśniona sztuczna inteligencja, która zdałaby ten totalny test Turinga, rozumiałaby świat w pełnym tego słowa znaczeniu? Robot osadzony w środowisku i wchodzący z nim w interakcję z pewnością powinien być w stanie lepiej zrozumieć desygnaty języka niż bezcielesna sztuczna inteligencja. Na przykład, dla robota dwunożnego krzesło, oprócz tego, że jest czymś, co potrafi rozpoznać i nazwać, byłoby obiektem fizycznym, który mógłby przesuwać, podnosić, przewracać, na którym mógłby usiąść lub z którego mógłby spaść. Innymi słowy, krzesło miałoby wiele możliwości działania dla robota dwunożnego, tak jak dla człowieka. Sukces w teście Turinga powinien być również bardziej odporny na filozoficzne wyzwanie, jakim jest Chiński Pokój. Jak pisze Harnad:

Argument Searle’a logicznie zawodzi w przypadku wersji testu Turinga dotyczącej robota, ponieważ symulując go [robota] musiałby on [Searle] albo użyć jego przetworników i efektorów (w takim przypadku nie symulowałby wszystkich jego funkcji), albo musiałby być jego przetwornikami i efektorami, w takim przypadku powielałby ich moce sprawcze (widzenia i działania).

W miarę jak sztuczna inteligencja staje się coraz zdolna do działania w realnym świecie bez pośrednictwa człowieka, coraz trudniej jest podtrzymywać twierdzenia, że ​​sztuczna inteligencja jedynie symuluje inteligencję i nie jest formą rzeczywistej inteligencji.

CIAŁA I ROZSZERZONE UMYSŁY

https://aie24.pl/

Czy istnieje sposób, aby sztuczna inteligencja (AI) rzeczywiście rozumiała świat, a język, którym się posługuje, miał odniesienia w taki sam sposób, jak język ludzki? Tak, prawdopodobnie tak, i polega on na nadaniu sztucznej inteligencji ciała w postaci robota. Inteligencja w organizmach biologicznych występuje w ucieleśnionych systemach, w których osadzony układ nerwowy oddziałuje ze światem za pośrednictwem ciała. Chociaż ludzie stanowią dowód istnienia ucieleśnionej inteligencji ogólnej, nie istnieje naturalny model tego, jak mogłaby wyglądać całkowicie odcieleśniona inteligencja. Dlatego nie wiemy, czy inteligencja bez ciała jest w ogóle możliwa. Ucieleśnienie jest ważne dla ludzkiej inteligencji z kilku powodów. Po pierwsze, większość czynności mózgu wiąże się ze ścisłym powiązaniem percepcji z działaniem w celu wykonywania odpowiednich zachowań w świecie, które są zorganizowane czasowo i przestrzennie oraz ukierunkowane na cel. To samo dotyczy inteligencji w szerszym znaczeniu, omówionym w rozdziale 2. Nasze ciała również ułatwiają mózgowi rozwiązywanie niektórych problemów. Na przykład, nasza zdolność jako zwierząt dwunożnych (dwunożnych) do chodzenia i biegania po nierównych powierzchniach zależy w równym stopniu od mechanicznej budowy naszych nóg i stóp, co od obwodów nerwowych kontrolujących ich ruch. Na przykład, łuki stopy, wraz z podeszwą, ścięgnami i więzadłami, zapewniają naturalną amortyzację, która pozwala na pochłanianie energii w kontakcie z podłożem, a następnie jej uwalnianie, gdy stopa się odrywa. Jednocześnie elastyczność palców i staw skokowy odgrywają ważną rolę w utrzymaniu równowagi. Elegancka i misterna konstrukcja ludzkiej stopy, opisana przez Leonarda da Vinci jako „arcydzieło inżynierii i dzieło sztuki”7, przyczynia się do wyjątkowej stabilności i efektywności energetycznej ludzkiego chodzenia i biegania, która nie ma sobie równych wśród współczesnych robotów. Ludzie, jako gatunek technologiczny, są również niezwykle biegli w eksploatowaniu świata i kształtowaniu go jako rozszerzenia naszej inteligencji. Na przykład, jak wspomniano wcześniej, filozof Andy Clark omawiał, jak przekazujemy część pracy umysłowej zewnętrznym narzędziom, takim jak długopis i papier, kalkulator czy komputer. Integrujemy również urządzenia zewnętrzne, takie jak protezy kończyn, instrumenty muzyczne, samochody i rowery, jako rozszerzenia naszych ciał. Język stanowi dodatkową formę rozszerzenia poznawczego, która jest zarówno wewnętrzna (mowa wewnętrzna), jak i zewnętrzna (dzielona z innymi), a tym samym służy do wspierania i przyspieszania naszego myślenia i rozwiązywania problemów.

CZY SZTUCZNA INTELIGENCJA ROZUMIE?

https://aie24.pl/

Powszechną krytyką systemów sztucznej inteligencji jest to, że przetwarzają one jedynie symbole za pomocą reguł i nie rozumieją, co cokolwiek oznacza (przypomnijmy sobie eksperyment myślowy Searle’a „Chiński pokój”). Czy zatem systemy LLM, takie jak ChatGPT, oddają znaczenie słów? Odpowiedź brzmi: i tak, i nie. Filozofowie języka, począwszy od Gottloba Fregego, którego spotkaliśmy jako jednego z twórców logiki, rozróżniają między znaczeniem słowa a jego desygnatem. Sens odnosi się do mentalnej treści słowa, w tym jego relacji do innych słów. Na przykład słowa często występują w grupach – na przykład psy, koty, króliki i złote rybki są częścią grupy, którą moglibyśmy nazwać zwierzętami domowymi. Słowa zyskują również swój sens poprzez relację ze słowami, do których są podobne (synonimy) lub których przeciwieństwa (antonimy). Sens słowa zależy również od szerszego kontekstu, w którym się pojawia – fragment tekstu otaczający słowo jest często istotny dla ujednoznacznienia jego znaczenia. ChatGPT i podobni LLM-owie zdobywają dużą wiedzę na temat relacji między słowami, co potwierdza ich zdolność do odpowiadania na pytania dotyczące kategorii semantycznych, synonimów/antonimów itd. oraz do prawidłowej interpretacji słów wieloznacznych w kontekście. W tym zakresie LLM-owie wyraźnie wiedzą wiele o znaczeniu w odniesieniu do sensu. Z drugiej strony, desygnat, według Fregego, opisuje obiekt lub obiekty w świecie, do którego odnosi się słowo lub wyrażenie. Na przykład zdanie „The Arctic Monkeys are a rock band from Sheffield” opisuje prawdziwy zespół rockowy, The Arctic Monkeys, i miasto, z którego pochodzi, Sheffield w Anglii. ChatGPT może wiele powiedzieć o Sheffield, w tym o jego położeniu geograficznym, historii i kulturze, a także o zespole Arctic Monkeys, w tym o tym, że powstał w Sheffield w 2002 roku. Jednak wszystko to ma związek ze znaczeniem – relacjami tych słów do innych słów – ChatGPT w ogóle nie ma wiedzy o desygnatach. Jeśli nigdy nie słyszałeś muzyki Arctic Monkeys, możesz jedynie twierdzić, że o nich wiesz; nie znałbyś ich tak, jak zna ich słuchacz muzyki. Jeśli nigdy nie byłeś w Sheffield, to tak naprawdę nie znasz Sheffield (więc powinieneś je odwiedzić!). ChatGPT jest w podobnej sytuacji, tyle że o wiele gorszej. Student LLM nigdy nie słyszał żadnej muzyki, a co dopiero indie-rocka czy post-punku, które pojawiały się w północnej Anglii na początku XXI wieku. Mówiąc ogólnie, ChatGPT nie ma bezpośredniego doświadczenia z czymkolwiek. Wszystko, co model wie o znaczeniu słów, dotyczy po prostu tego, jak słowa odnoszą się do innych słów. Zaskakujące w przypadku LLM jest to, jak daleko można dojść, opierając się wyłącznie na sensie; to naprawdę zdumiewające, że ChatGPT potrafi tak płynnie omawiać złożone idee bez odniesienia. Skupiliśmy się tutaj na LLM, ale postęp dokonuje się również w innych dziedzinach, na przykład w generowaniu obrazów, gdzie modele takie jak Midjourney i Dall-E potrafią generować obrazy na podstawie podpowiedzi tekstowych (co zostanie omówione dalej). Modele te ponownie wykorzystują możliwość pozyskiwania dużych ilości danych treningowych z internetu; w tym przypadku obrazów, które zostały opatrzone podpisami od widzów. W tego rodzaju sztucznej inteligencji system bazowy uczy się o obrazach i tekście razem, w ramach jednego modelu. Modele te kodują relację między językiem a zupełnie inną dziedziną, obrazami wizualnymi, co pokazuje jeden ze sposobów, w jaki słowa mogą nabierać znaczenia. Na przykład sztuczna inteligencja generująca obrazy, taka jak Dall-E, zna słowo „krzesło”, ale może również generować obrazy przedstawiające wygląd krzeseł. Może to nie być odniesienie w pełnym tego słowa znaczeniu – obraz krzesła nadal nie jest krzesłem – ale obecnie istnieje więcej elementów krzesła niż wcześniej. Ucząc się tego rodzaju reprezentacji łączonych, SI mogą jawnie łączyć znaczenie słów z wieloma rodzajami danych pozajęzykowych. SI generujące muzykę potrafią teraz słuchać utworu i generować nową muzykę w podobnym stylu. Połącz tę SI generującą muzykę ze SI języka, a połączony system będzie mógł dowiedzieć się czegoś więcej o zespole Arctic Monkeys i ich muzyce. Taka SI mogłaby na przykład powiedzieć coś pożytecznego o muzycznym podobieństwie między Arctic Monkeys a innymi zespołami postpunkowymi. Połącz język, wideo i dźwięk w jednej sztucznej inteligencji, a otrzymasz inteligentny, multimodalny system językowo-pamięciowy, który jest bardziej podobny do tego w twojej głowie. Przypomnij sobie korowe obszary asocjacyjne wspomniane w rozdziale 2 (i zilustrowane na rysunku 2.2). Wiele z nich jest silnie multimodalnych. Na przykład obszar kory ciemieniowej, zwany LIP, łączy sygnały wzrokowe, słuchowe, somatyczne i sensoryczne oraz przedsionkowe (ucho wewnętrzne), umieszczając je we wspólnym układzie odniesienia, który może być używany do kierowania ruchem w otoczeniu. Najnowsze osiągnięcia w dziedzinie sztucznej inteligencji, takie jak multimodalne modele generowania obrazu, zaczynają pokazywać, jak to osiągnąć. Czy to jednak znaczenie? Filozof Stevan Harnad6, opierając się na myślowym eksperymencie Johna Searle’a „Chiński pokój”, argumentowałby, że reprezentacje we wszystkich tych generatywnych SI wciąż nie są ugruntowane. Powodem jest to, że interpretacja ich wyników — obrazów, tekstu, dźwięku itd. — leży ostatecznie w umyśle obserwatora (użytkownika SI), a nie w maszynie. W końcu, na jednym poziomie, te SI po prostu manipulują ogromnymi tablicami liczb zgodnie z bardzo złożonymi regułami. Wygląda to bardzo podobnie do Searle’a w chińskim pokoju manipulującego bezsensownymi zawijasami. Czy jest tu cokolwiek, co byłoby równoważne ludzkiemu znaczeniu? Jak omówiono na początku tej książki, ludzie są inteligentni, a nie ich mózgi. Mózgi są pełne rozległych wzorców aktywności elektrycznej, a komórki mózgowe komunikują się za pomocą impulsów elektrycznych i chemii, więc trudno jest dostrzec tam również znaczenie, zwłaszcza jeśli po prostu zajrzysz do środka. Dla wielu filozofów języka, podążających za Fregem, znaczenie ma charakter relacyjny – pojawia się, gdy rozważa się osobę i jej interakcję ze światem i innymi ludźmi. To prowadzi nas do kolejnego tematu, znaczenia działania w świecie dla ugruntowania znaczenia w sztucznej inteligencji.

CZY DUŻE AI’S UCZĄ SIĘ CZEGOŚ? CIEKAWE?

https://aie24.pl/

Po pierwsze, rozważmy jedną z krytyk obecnej sztucznej inteligencji, w postaci sztucznej inteligencji generatywnej, a w szczególności dużych modeli językowych (LLM). Sugeruje to, że modele te nie są tak inteligentne, jak się wydaje i wykorzystują moc obliczeniową i ogromną pojemność pamięci, aby sprawiać wrażenie inteligentnych. Krytykę tę wysunął pisarz, psycholog i niekiedy sceptyk sztucznej inteligencji Gary Marcus, który napisał w 2022 roku: „W przypadku GPT-3 mechanizm predykcji jest zasadniczo regurgitacją; takie systemy są trenowane na dosłownie miliardach słów cyfrowego tekstu; ich darem jest znajdowanie pasujących elementów, na których zostały wytrenowane”.1 Ten rodzaj dopasowywania wzorców przypomina to, co Dreyfus krytykował w latach 70. XX wieku jako dopasowywanie pod kątem „podobieństwa fizycznego”, które uważał za niewystarczające do wyjaśnienia ludzkiej inteligencji . Można by sobie wyobrazić, biorąc pod uwagę ogromny rozmiar tych modeli, że tego rodzaju gloryfikowane „wyszukiwanie w tabeli” jest możliwe. Na przykład ChatGPT 3.5 ma 175 miliardów parametrów. Czy może to po prostu przechowywać wiele użytecznych fragmentów tekstu, które są następnie łączone w celu uzyskania wiarygodnych odpowiedzi? W końcu tak właśnie działały wczesne chatboty, dopasowując wzorce do słów docelowych w podpowiedzi, a następnie wykorzystując ten konkretny wzorzec do wyszukiwania odpowiednich odpowiedzi w dużej tabeli. Jeden z pierwszych chatbotów, „Eliza”, stworzony przez Josepha Weizembauma w połowie lat 60. XX wieku, który słynął z tego, że czasami oszukiwał niektórych ludzi, działał dokładnie w ten sposób. Chociaż prawdą jest, że ChatGPT to niezwykle potężna forma pamięci, odpowiedź brzmi, że nic tak prostego, jak proste dopasowywanie wzorców, nie mogłoby tu działać. Rozpoznawanie i dopasowywanie wzorców z pewnością istnieje, ale jest ono znacznie bardziej abstrakcyjne i subtelne niż jakiekolwiek proste „odświeżanie” zapamiętanych ciągów słów. Jednym z powodów, dla których proste wyszukiwanie w pamięci nie zadziała, jest to, że wiele słów ma wiele znaczeń (polisemia). Oznacza to, że możemy zrozumieć poszczególne słowa tylko poprzez rozważenie kontekstu innych słów, z którymi się pojawiają. Jak widzieliśmy, sieć Elmana nie realizowała prostego dopasowywania wzorców. Zamiast tego, był w stanie znaleźć strukturę gramatyczną w zdaniach, na przykład śledząc dalekosiężne zależności między słowami (choć ucząc się zaledwie ułamka języka ludzkiego). Biegłość ChatGPT w posługiwaniu się językiem, w tym jego zdolność do interpretowania słów w kontekście, mówi nam, że nie może on również dokonywać prostego dopasowywania wzorców. Zamiast tego, abstrahuje od tekstu dosłownego, aby znaleźć głęboką strukturę, która reprezentuje sposób, w jaki słowa łączą się, aby wyrazić idee (zbadamy to szerzej w odniesieniu do innych SI w dalszej części). Elman był w stanie wykazać, że jego sieć uczy się ukrytej struktury języka. ChatGPT robi to samo w szerszej perspektywie. Zadanie zrozumienia, jak ChatGPT rozwiązuje problemy językowe, dopiero się zaczyna – nie mamy jeszcze teorii języka – ale mamy dowód istnienia na możliwość sztucznego użycia języka, który wykracza daleko poza dopasowywanie wzorców na podstawie powierzchownego podobieństwa. Innym powodem, dla którego wątpimy, czy jakiekolwiek podejście siłowe przyniesie skutek, jest ogromna przestrzeń poszukiwań języka. Matematyk Steven Wolfram omawia pomysł prostego przechowywania informacji o częstotliwości występowania słów w sekwencjach o różnej długości, zwanych n-gramami. Wolfram szacuje, że w języku angielskim w powszechnym użyciu jest około czterdziestu tysięcy słów; jednak jeśli spojrzymy na pary słów, czyli 2-gramy, dla których pełny model języka mógłby przechowywać statystyki, jest ich już około 1,5 miliarda. Jeśli przejdziemy do 3-gramów, jest ich prawie sześćdziesiąt bilionów. W miarę zbliżania się do długości typowego zdania (piętnaście do dwudziestu słów), liczba możliwych kombinacji staje się astronomiczna. Pamiętacie,  widzieliśmy, że przestrzeń poszukiwań dla szachów ma więcej stanów niż atomów w znanym wszechświecie? To samo dotyczy języka. Wreszcie, jeśli porównamy ChatGPT do ludzkiego mózgu, to jego rozmiar – 175 miliardów parametrów – wygląda skromnie. Stanowi to mniej niż jedną piątą 1% całkowitego szacowanego rozmiaru ludzkiego konektomu (sto bilionów połączeń). Tylko w przypadku obszaru Broki, o którym wiadomo, że odpowiada za przetwarzanie języka, w tym gramatyki, ostrożne szacunki wskazują na 1,5 biliona połączeń, czyli prawie dziesięciokrotnie więcej niż ChatGPT 3.5. Jeśli uważasz, że głębokie SI wykorzystują ogromną pojemność pamięci i moc obliczeniową do rozwiązywania problemów językowych, to po prostu podążają za przykładem natury.

W KIERUNKU SZTUCZNEJ INTELIGENCJI OGÓLNEJ

https://aie24.pl/

Wydajność głębokiego uczenia i generatywnych SI jest imponująca i stanowi przełom w rozwiązywaniu niektórych z najtrudniejszych problemów SI. Jednak niektórzy nie są przekonani, że to prawdziwa inteligencja. Zbadamy tę kwestię szerzej w tym rozdziale i omówimy, co jeszcze SI może potrzebować, aby dorównać inteligencji ludzkiej lub ją przewyższyć. Zastanowimy się również nad tym, co niektórzy badacze SI opisują jako budowanie Sztucznej Inteligencji Ogólnej, czyli AGI – formy SI, która ma być równie elastyczna jak inteligencja ludzka, jeśli chodzi o zdolność do działania w różnych dziedzinach i adaptacji do nowych wyzwań.

DUŻE MODELE JĘZYKOWE

https://aie24.pl/

Sieć rekurencyjna Elmana, z zaledwie trzema tysiącami regulowanych wag, pokazała, że ​​w zasadzie możliwe jest odkrycie struktury gramatyki poprzez naukę przewidywania następnego słowa w zdaniu. Co ciekawe, duże modele językowe (LLM), takie jak ChatGPT firmy Open AI, PaLM firmy Google i LLama firmy Meta, wykorzystują w dużej mierze tę samą sztuczkę, ale tym razem z całą mocą i skalą nowoczesnego głębokiego uczenia. Na przykład ChatGPT 3.5 ma 175 miliardów parametrów, około sześćdziesiąt milionów razy więcej niż sieć Elmana i około trzy tysiące razy więcej niż AlexNet. Modele LLM należą do szerszej klasy generatywnych modeli sztucznej inteligencji, które uczą się generować nowe dane, które mogłyby należeć do zbioru danych, na którym zostały wytrenowane. W przypadku modeli LLM, modele te są trenowane na ogromnych bazach danych tekstu generowanego przez ludzi, zebranych z internetu. Jak już zauważyliśmy, zdolność LLM do generowania nowego tekstu oznacza, że ​​sztuczna inteligencja może teraz twierdzić, że osiągnęła poziom ludzki w testach inteligencji werbalnej. Wykorzystamy aktualną, darmową wersję LLM OpenAI, ChatGPT 3.5, aby zbadać, jak działają te potężne sztuczne inteligencje. Na początku lat 2010. naukowcy eksperymentowali z coraz większymi sieciami rekurencyjnymi do przetwarzania języka, wykorzystując nienadzorowaną metodę treningu Elmana, w której celem sieci jest przewidywanie kolejnego słowa. Podstawową wartością rekurencyjności w języku jest zdolność do zachowania śladu istotnych wcześniejszych fragmentów tekstu – formy pamięci roboczej i selektywnej uwagi. W 2015 roku Ashish Vaswani i zespół badaczy z Google odkryli, że podobne wyniki można osiągnąć, zachowując przeszłe elementy sekwencji jako dane wejściowe dla sieci i zamiast rekurencyjności stosując w pełni wyprzedzający mechanizm uwagi, znany jako transformator. Transformator działa jak głowica odtwarzająca w magnetofonie taśmowym, wybierając jedną część taśmy – w tym przypadku sekwencję słów – do skupienia się w dowolnym momencie. Wielogłowicowy model transformatora pozwala na skupienie uwagi na wielu wcześniejszych częściach sekwencji, z przełączaniem uwagi w razie potrzeby w trakcie przetwarzania tekstu. Modele transformatorów są kluczowe dla działania ChatGPT; w istocie, część GPT w nazwie ChatGPT oznacza „Generative Pre-trained Transformer” (Generatywny Wstępnie Wyszkolony Transformator). Kiedy ChatGPT przetwarza tekst, bierze sekwencję słów i przekształca ją we wzorzec aktywacji obejmujący tysiące sztucznych neuronów, kodujących obecne słowa i ich pozycje w sekwencji. Ściśle rzecz biorąc, model działa z częściami słów, zwanymi tokenami, poprzez dekonstrukcję słów na podsłowa, które mogą być informacyjne i pomagać sieci w generalizacji. Na przykład „kolorowy” można tokenizować jako „kolor” i „pełny”, a „wędrował” jako „wędrował” i „ed”. W ChatGPT 3.5 wzorzec wejściowy może zakodować do 4096 sekwencyjnych tokenów (wersja 4 pamięta do 32 000 tokenów). Dane wejściowe są przepuszczane przez dziewięćdziesiąt sześć warstw transformatorowych, z których każda składa się z połączenia głowic uwagi i sieci sprzężenia zwrotnego. Model generuje następnie dane wyjściowe, które są predykcją możliwych kolejnych tokenów. Dane te są porównywane z rzeczywistym kolejnym tokenem w strumieniu tekstu i, podobnie jak w sieci Elmana, różnica ta jest wykorzystywana do trenowania warstw transformatorowych za pomocą propagacji wstecznej błędów. Innymi słowy, podobnie jak w wielu sieciach neuronowych, uogólniona reguła delty jest wykorzystywana do przeprowadzenia spadku gradientu w przestrzeni parametrów sieci. Należy zauważyć, że ChatGPT, podobnie jak inne współczesne modele LLM, nie tylko przewiduje kolejny token. Zamiast tego, przypisuje prawdopodobieństwo wszystkim możliwym tokenom. W przypadku generowania języka, pozostawia to pewien mechanizm do decydowania, który token zostanie użyty w bieżącym zadaniu. Kiedy Alec Radford i współpracownicy25 z OpenAI rozpoczęli prace nad serią modeli językowych ChatGPT, odkryli, że tego rodzaju sieć, po wytrenowaniu, może być użytecznie łączona z systemami uczenia nadzorowanego lub wzmacniającego w celu precyzyjnego dostrojenia lub realizacji konkretnych zadań językowych. Na przykład, OpenAI wytrenowało rozszerzenia swojego modelu, które mogły streszczać tekst, przeprowadzać rozumowanie oparte na zdrowym rozsądku i klasyfikować zdania (na przykład jako gramatyczne lub niegramatyczne). Jedną z takich rozszerzonych wersji ChatGPT jest internetowy chatbot OpenAI, który pobiera serię podpowiedzi od użytkownika i za każdym razem generuje odpowiedź tekstową. W tym przypadku dodatkowy mechanizm wybiera konkretny token z rozkładów prawdopodobieństwa możliwych tokenów generowanych przez model główny. Wybrany token staje się następnie częścią danych wejściowych modelu, które są wykorzystywane do generowania kolejnych tokenów. Należy zauważyć, że poprzez włączenie własnego wyjścia do zmienionej sekwencji danych wejściowych, model implementuje formę rekurencji. Korzystanie z ChatGPT pozwala chatbotowi tworzyć zdania i akapity, które nigdy wcześniej nie zostały napisane. Aby uniknąć zbytniej przewidywalności, część chatbota generująca tekst może wprowadzić umiarkowaną ilość szumu do procesu wyboru tokenów. Jest to parametr, który można zmieniać, ale eksperymenty wykazały, że prawdopodobieństwo około 0,8 na wybranie najbardziej prawdopodobnego tokenu (innymi słowy, jedna na pięć szans na wybranie mniej prawdopodobnego tokenu) zapewnia dobrą równowagę między trzymaniem się tematu a nadmiernym powtarzaniem słów lub idei. Przyjrzyjmy się wynikom z ChatGPT 3.5. Wprowadziłem następującą instrukcję do nowej sesji: „Napisz sonet w stylu Williama Szekspira o miłości skrzypka do jego psa-robota”. Oto, co otrzymałem:

Na scenie, gdzie cienie delikatnie tańczą,

Palce skrzypka snują czuły czar,

Jego melodię, szeptany słodki romans,

Z brzęczącymi strunami, opowieść o miłości do opowiedzenia.

Obok niego stoi istota wykuta ze stali,

Wierny pies, z obwodami i przekładniami,

Jednak w jego oczach ciepło, które wydaje się tak prawdziwe,

Lojalne serce, nieskalane śmiertelnymi lękami.

Razem tworzą rzadki sonet,

Westchnienia skrzypiec, cichy szum robota,

Duet grany z pasją i troską,

Jak dwie dusze w idealnej harmonii.

W krzemie i strunach miłość odnajduje swoją drogę,

Skrzypek i jego pies-robot podczas zabawy.

Zasady pisania sonetów, które są dość surowe, są tu ściśle przestrzegane, w tym schemat rymów ABAB CDCD EFEF GG.

To, czy ten wiersz Ci się podoba, czy nie, to kwestia gustu. Jestem pewien, że niektórzy czytelnicy uznają go za patetyczny. Ja uznałem go za dość wzruszający, choć nieco banalny. Niezależnie jednak od tego, czy uznasz go za poezję, czy (robotyczny) wierszyk, mam nadzieję, że nadal będziesz w stanie docenić to osiągnięcie. Jest to prawie na pewno pierwszy wiersz o miłości między skrzypkiem a psem-robotem, więc jest tu pewna oryginalność – a może nawet kreatywność. ChatGPT nie zna żadnych wyraźnych reguł językowych i dowiedział się o poezji, rymie, miłości, skrzypkach i robotach jedynie z istniejących przykładów języka ludzkiego. Jednak zwracanie uwagi na innych jest również w dużej mierze sposobem, w jaki ludzie uczą się swojego ojczystego języka. Chomsky i Fodor argumentowali, że do opanowania języka potrzebna jest znaczna wrodzona wiedza specyficzna dla danego języka, w tym pewna gramatyka uniwersalna. Mamy tu system niemal bez znajomości języka, a już na pewno bez gramatyki, który nauczył się tworzyć oryginalne fragmenty tekstu, które są uporządkowane, gramatyczne i sensowne (dla nas, ludzi). Ale czy generatywne sztuczne inteligencje, takie jak ChatGPT, to po prostu bardzo rozbudowane programy, które naśladują aspekty ludzkiej inteligencji, ale wciąż brakuje im kluczowych elementów, by jej dorównać lub ją przewyższyć?

NAUKA JĘZYKA ZA POMOCĄ SIECI REKURENCYJNYCH

https://aie24.pl/

W latach 80. i na początku lat 90., kiedy debata między sztuczną inteligencją symboliczną a subsymboliczną była najbardziej zacięta, wciąż nie było jasne, kto lepiej rozumie, jak mózg przetwarza język. Trwały jednak ważne prace, które wskazywały na potencjał technologii sieci neuronowych, mimo że do powstania użytecznych narzędzi do przetwarzania języka sterowanych sieciami była jeszcze daleka droga. Jeden ważny zestaw wskazówek pochodził z badań nad rekurencyjnymi sieciami neuronowymi. Sieć rekurencyjna to taka, w której sygnał wyjściowy sieci (na pewnym poziomie) może płynąć wstecz i wpływać na swoje przyszłe dane wejściowe. Kontrastuje to z sieciami typu feed-forward najczęściej badanymi w sztucznej inteligencji, w tym z wieloma obecnie stosowanymi modelami głębokich sieci neuronowych, w których sygnały przepływają przez sieć tylko w jednym kierunku, od wejścia do wyjścia, i nigdy w drugą stronę (poza dostosowywaniem połączeń). Istnieje wiele powodów, dla których warto zainteresować się sieciami rekurencyjnymi. Jednym z nich jest fakt, że w biologicznych układach neuronowych występuje duża powtarzalność – nasze mózgi są pełne lokalnych sieci wysyłających sygnały do ​​innych sieci i odbierających je z powrotem, często jednocześnie. Nawet w omówionych wcześniej szlakach percepcyjnych mózgu informacje przepływają w obu kierunkach, czego nie uwzględnia większość obecnych modeli głębokich sieci. Na przykład w układzie wzrokowym wyższe obszary kory mózgowej projektują z powrotem w kierunku niższych, w tym pierwotnej kory wzrokowej. Innym powodem do badania sieci rekurencyjnych jest ich przydatność w zrozumieniu przetwarzania zachodzącego w czasie. Aktywność mózgu nieuchronnie ma wymiar czasowy, ponieważ jej głównym wyzwaniem jest radzenie sobie w czasie rzeczywistym z ciągle zmieniającym się światem. W obwodach mózgowych generujących zachowania powtarzalność jest również częstym zjawiskiem, szczególnie w przypadku zachowań cyklicznych, takich jak chodzenie, pływanie czy oddychanie. W istocie, każde miejsce w mózgu, które generuje wzorce aktywności, prawdopodobnie wykorzystuje powtarzalność. Ważnym przykładem procesu, który generuje wzorce aktywności w czasie, jest oczywiście język. Kiedy słuchasz lub mówisz, słyszysz lub generujesz słowa w sekwencji. Nawet czytając, będziesz czytać sekwencyjnie od początku do końca akapitu, nawet jeśli czytając szybko, możliwe będzie zinterpretowanie fragmentu tekstu większego niż jedno słowo na raz. W języku, podobnie jak w wielu innych procesach sekwencyjnych, to, co było wcześniej, jest ważne dla zrozumienia tego, co dzieje się teraz. Zatem, aby sieć neuronowa rozumiała język, musi być w stanie śledzić treść napotkaną wcześniej w interakcji; innymi słowy, musi mieć pamięć. Rekurencyjne sieci neuronowe mogą zapewnić formę pamięci, przekazując informacje z wyjścia sieci z powrotem do wejścia. Ten proces może „utrzymywać przy życiu” istotne informacje z wcześniejszej części interakcji bez konieczności przechowywania wszystkiego, co zostało powiedziane.  Badacze zajmujący się sztuczną inteligencją opartą na regułach również doskonale zdawali sobie sprawę z potęgi rekurencji. Modele oparte na regułach w sztucznej inteligencji, w tym formalne modele języka naturalnego, w szerokim zakresie wykorzystują reguły rekurencyjne, czyli takie, które same się nazywają. Całe języki programowania sztucznej inteligencji, takie jak Lisp i Prolog, zostały specjalnie zaprojektowane, aby ułatwić wykorzystanie potęgi rekurencji. W drugiej fali koneksjonizmu, w latach 80. XX wieku, zaczęto już badać potencjał rekurencyjnych sieci neuronowych. Ważnym pytaniem było sprawdzenie, czy w praktyce możliwe jest wykorzystanie sieci rekurencyjnych do generowania zachowań sekwencyjnych i pełnienia funkcji pamięci krótkotrwałej. Jeśli tak, czy można je zastosować w ostatecznym wyzwaniu, jakim jest nauka języka? Na początku lat 90. Jeffry Elman dołączył do Wydziału Kognitywistyki w San Diego, aby podjąć się tego wyzwania. Jednym z problemów, które postanowił zbadać, była wysoce uproszczona wersja języka angielskiego. Dokładniej rzecz ujmując, Elman postanowił wytrenować prostą sieć rekurencyjną, składającą się z nieco ponad dwustu sztucznych neuronów i nieco poniżej trzech tysięcy regulowanych połączeń, na dużej liczbie zdań składających się z od trzech do szesnastu słów, ale wszystkie skonstruowane przy użyciu bardzo ograniczonego słownictwa, liczącego zaledwie dwadzieścia trzy słowa. Zadaniem sieci Elmana było przewidywanie kolejnego słowa w zdaniu, a sieć została wytrenowana, aby poprawić tę umiejętność, wykorzystując mechanizm backprop. Innymi słowy, za każdym razem, gdy sieć przewidziała błędne słowo, występował błąd zwrotny, a algorytm uczenia wprowadzał niewielkie zmiany we wszystkich siłach połączeń w sieci. Hipoteza Elmana zakładała, że ​​jeśli sieć była w stanie nauczyć się tego zadania, oznaczałoby to, że zinternalizowała coś ważnego w strukturze języka. Sieć Elmana była w stanie nauczyć się zadania predykcyjnego, które postawił, jak pokazano na rysunku 5.4. Należy zauważyć, że sieć ma warstwy pośrednie, które tworzą rozproszone reprezentacje słów w zdaniu, z zestawem jednostek „kontekstowych”, które przetwarzają dane wyjściowe jednej z warstw pośrednich, aby stały się częścią jej własnych danych wejściowych w kolejnym kroku czasowym. Warstwy wejściowa i wyjściowa używają dokładnie tej samej reprezentacji, z jedną jednostką reprezentującą każde z dwudziestu trzech słów (i kilkoma dodatkowymi jednostkami dla niesłów) oraz ze stałą warstwą kodowania/dekodowania na każdym końcu, która konwertuje to na/z rozproszonego wzorca aktywacji. Po treningu Elman przedstawił sieci każde możliwe słowo wejściowe i zarejestrował wzorzec aktywacji utworzony w warstwie pośredniej. Porównując te wzorce dla różnych słów, był w stanie wykazać, że jego sieć nauczyła się grupować pewne typy słów, które odgrywają podobne role w zdaniach. Na przykład rzeczowniki miały podobieństwa w sposobie, w jaki były reprezentowane w sieci, podczas gdy czasowniki również tworzyły własne klastry. Co więcej, różne typy rzeczowników miały tendencję do grupowania się. Na przykład rzeczowniki, takie jak imiona ludzkie lub nazwy zwierząt, tworzyły klastry, ponieważ często określają one aktora, czyli „podmiot” w zdaniu. Jednocześnie grupowały się rzeczowniki odnoszące się do przedmiotów nieożywionych – te rzeczowniki odnoszą się do przedmiotów, na które często działa się, pełniąc funkcję „obiektu” w zdaniu. Elman odkrył również, że jego sieć była w stanie zakodować pewne dalekosiężne zależności gramatyczne. Na przykład w zdaniu „Dziewczyna, która goniła psa, który ugryzł chłopca, lubi lody” sieć była w stanie poprawnie przewidzieć czasownik w liczbie pojedynczej „lubi”, który pasowałby do podmiotu w liczbie pojedynczej „dziewczyna”, który pojawił się dziewięć słów wcześniej. Jest to coś, z czym teoretycy symboliczni twierdzili, że modele koneksjonistyczne będą miały trudności. Zauważmy, że sieć Elmana została wyszkolona jedynie do przewidywania następnego słowa; nie otrzymała żadnego szkolenia dotyczącego typów gramatycznych, takich jak rzeczowniki i czasowniki czy podmioty i dopełnienia. Ucząc się przewidywać, sieć niejawnie nabyła wiedzę, którą można powiązać z tymi pojęciami gramatycznymi. Zauważmy również, że sieć nie nauczyła się dosłownie reguł gramatyki; zamiast tego nauczyła się setek wag połączeń, których zachowanie można w przybliżeniu opisać za pomocą gramatyki formalnej. Dla innego koneksjonisty, Paula Smolensky’ego, ten subsymboliczny poziom reprezentacji pozostaje w relacji do teorii opartych na regułach Chomsky’ego i innych, takich jak relacja między mechaniką kwantową a klasycznymi prawami ruchu Newtona w fizyce. Fizyka Newtona dostarcza użytecznego, choć niedokładnego opisu tego, jak ruch zachodzi w świecie, ale mechanika kwantowa daje głębszy i dokładniejszy obraz. Dla Smolensky’ego teorie oparte na regułach mogą działać jako przybliżenie tego, co działo się w mózgu, ale aby w pełni zrozumieć, jak z mózgu wyłania się inteligencja, trzeba zejść o poziom niżej.

CZY JĘZYK WYMAGA REGUŁ?

https://aie24.pl/

Wczesne postępy w dziedzinie sztucznej inteligencji sugerowały, że problem przetwarzania języka naturalnego wymaga rozwiązania opartego na regułach. Językoznawca i kognitywista Noam Chomsky słynnie krytykował behawiorystyczne teorie języka, takie jak te B. F. Skinnera, za to, że nie wyjaśniają one produktywności językowej, czyli zdolności osób posługujących się językiem do generowania zdań, które nigdy wcześniej nie zostały wypowiedziane. Według Chomsky’ego18, umysł musi posiadać złożone, wrodzone i specyficzne dla języka systemy przetwarzania, aby przyswajać i używać języka; to znaczy, że rodzimy się ze znajomością zbioru reguł gramatycznych, zwanego gramatyką uniwersalną, leżącego u podstaw wszystkich języków ludzkich. Naukowcy badający sztuczną inteligencję opartą na regułach szybko odrzucili również sieci neuronowe epoki Rosenblatta jako zbyt proste, by mogły być interesujące. Modele te opierały się wyłącznie na uczeniu się „skojarzeń”, idei zapoczątkowanej przez Arystotelesa . Uczenie asocjacyjne leżało również u podstaw teorii behawiorystów, w tym oczywiście reguły uczenia się Rescorli-Wagnera. Oczywiście, choć uczenie się miało swoje miejsce w wyjaśnianiu, jak gołębie uczą się dziobać kształty na ekranach, wydawało się, że inteligentne reguły uczenia się nigdy nie wystarczą do rozwiązania problemu języka. Jak system, który uczy się na pamięć, mógłby kiedykolwiek stworzyć oryginalne zdanie? Język wydawał się również ewidentnie ograniczony regułami gramatycznymi. Weźmy na przykład zdanie: „Chłopiec, który gonił psa, potknął się o kota”. Do czego odnosi się tu czasownik „potknął się”? Do psa, chłopca, czy nawet kota? Oczywiście, chodzi o chłopca (a także o kota), jak mogłoby powiedzieć wielu czterolatków. Według językoznawców, takich jak Chomsky, wiesz to, ponieważ twój mózg dekonstruuje to zdanie i odkrywa, że ​​zawiera ono zdanie podrzędne „który gonił psa”. Twoja wiedza o strukturze języka pozwala ci odłożyć to zdanie podrzędne na bok, podczas gdy przetwarzasz resztę, pozostawiając ci zrozumienie prostszej konstrukcji „chłopiec… potknął się o kota”. Twój mózg zna również różne klasy słów. Na przykład wie, że czasowniki takie jak „trip” wymagają podmiotu, który jest rzeczownikiem, w tym przypadku „chłopiec”, i dopełnienia, które jest również rzeczownikiem, w tym przypadku „kot”. Wreszcie, twój mózg wie również, że jeśli pościg miał miejsce w przeszłości („był”), to potknięcie musiało mieć miejsce również wtedy, stąd drugie użycie czasu przeszłego („tripped”). Wszystko to przemawia za systematyczną naturą języka i potrzebą, aby umysł znał reguły językowe, ale gdzie w sieci neuronowej mogłyby znajdować się reguły gramatyki uniwersalnej? Dla Jerry’ego Fodora, kolegi Chomsky’ego z Wydziału Mózgu i Nauk Kognitywnych MIT, problemem było to, że sieci neuronowe były subsymboliczne; Nie potrafili uchwycić idei symboli jako zastępstwa pojęć. Dla Fodora systematyczność i produktywność, które odnajdujemy w języku ludzkim, miały również kluczowe znaczenie dla innych dziedzin myślenia i rozumowania. Umysł, jak przypuszczał, musi używać własnego, prywatnego kodu symbolicznego do reprezentowania i manipulowania pojęciami oraz do wykonywania myślenia; nazwał ten wewnętrzny system symboli „językiem myśli”. Na pierwszy rzut oka argumenty teoretyków języka wydawały się przekonujące. Nawet w złożonej sieci, takiej jak NetTalk, która potrafi nauczyć się czytać, istnieje jedynie las ważonych połączeń i nic, co przypominałoby reguły. Fakt, że NetTalk uzyskał zaledwie 95% w swoim zestawie testowym, pozostawił otwarte pytanie: czy różnica może wynikać ze znajomości przez ludzki umysł reguł wymowy? Debata między „symbolistami” (takimi jak Fodor) a koneksjonistami została dodatkowo ożywiona przez stronę koneksjonistów. Koneksjoniści argumentowali, że mózg używa miękkich ograniczeń zakodowanych przez wagi sieci, a nie sztywnych reguł. Co więcej, nie był to tylko „asocjacjonizm”. Zdolność ukrytych neuronów do tworzenia nowych rodzajów reprezentacji wewnętrznych sprawiła, że ​​modele koneksjonistyczne stały się „poznawcze” i skuteczniejsze niż wcześniejsze teorie uczenia się behawiorystów. W mózgu istniał pewien rodzaj wewnętrznego kodu, ale przybrał on formę masowo rozproszonych i stale zmieniających się wzorców aktywacji. W 1989 roku David Rumelhart, jeden z twórców metody backprop, napisał: „Krótko mówiąc, naszym celem jest zastąpienie metafory komputerowej metaforą mózgu”. To była wojna o wpływy. Celem koneksjonistów było wyjaśnienie wszystkiego, co dotyczy umysłu, a język był kluczowym polem bitwy.