Przetwarzanie języka naturalnego

https://aie24.pl/

Głębokie uczenie ma również ogromny wpływ na aplikacje przetwarzania języka naturalnego (NLP), takie jak tłumaczenie maszynowe i rozpoznawanie mowy. Niektóre zalety uczenia głębokiego w tych zastosowaniach obejmują możliwość uczenia od końca do końca, automatyczne generowanie wewnętrznych reprezentacji znaczeń słów oraz wymienność wyuczonych koderów i dekoderów. Uczenie od końca do końca odnosi się do budowy całych systemów jako pojedynczej wyuczonej funkcji f . Na przykład f dla tłumaczenia maszynowego może przyjąć jako dane wejściowe zdanie angielskie SE i dać równoważne zdanie japońskie SJ = f (SE). Takiego f można nauczyć się z danych szkoleniowych w postaci przetłumaczonych przez człowieka par zdań (lub nawet par tekstów, gdzie wyrównanie odpowiednich zdań lub fraz jest częścią problemu do rozwiązania). Bardziej klasyczne podejście potokowe może najpierw przeanalizować SE, następnie wyodrębnić jego znaczenie, a następnie ponownie wyrazić znaczenie w języku japońskim jako SJ, a następnie przeprowadzić edycję SJ przy użyciu modelu językowego dla języka japońskiego. To podejście potokowe ma dwie główne wady: po pierwsze, błędy są kumulowane na każdym etapie; po drugie, ludzie muszą określić, co stanowi „drzewo analizy” i „reprezentację znaczenia”, ale nie ma łatwo dostępnej prawdy podstawowej dla tych pojęć, a nasze teoretyczne wyobrażenia na ich temat są prawie na pewno niekompletne. Na obecnym etapie rozumienia klasyczne podejście potokowe – które przynajmniej naiwnie wydaje się odpowiadać temu, jak działa ludzki tłumacz – jest lepsze od metody „od końca do końca”, możliwej dzięki głębokiemu uczeniu. Na przykład Wu i inni wykazali, że tłumaczenie od końca do końca przy użyciu głębokiego uczenia zmniejszyło błędy tłumaczenia o 60% w porównaniu z poprzednim systemem opartym na potoku. Od 2020 r. zbliżają się systemy tłumaczenia maszynowego wydajność człowieka dla par językowych, takich jak francuski i angielski, dla których dostępne są bardzo duże sparowane zestawy danych i są one przydatne dla innych par językowych obejmujących większość populacji Ziemi. Istnieją nawet dowody na to, że sieci przeszkolone w wielu językach w rzeczywistości uczą się wewnętrznej reprezentacji znaczenia: na przykład po nauczeniu się tłumaczenia portugalskiego na angielski i angielskiego na hiszpański można przetłumaczyć portugalski bezpośrednio na hiszpański bez żadnego zdania portugalskiego/hiszpańskiego pary w zestawie treningowym. Jednym z najważniejszych odkryć, jakie wyłoniły się z zastosowania głębokiego uczenia do zadań językowych, jest to, że reprezentowanie pojedynczych słów jako wektorów w przestrzeni wielowymiarowej jest bardzo ważne – tak zwane osadzanie słów . Wektory są zwykle wyodrębniane z wag pierwszej ukrytej warstwy sieci wyszkolonej na dużych ilościach tekstu i przechwytują statystyki kontekstów leksykalnych, w których używane są słowa. Ponieważ słowa o podobnym znaczeniu są używane w podobnych kontekstach, kończą się blisko siebie w przestrzeni wektorowej. Dzięki temu sieć może skutecznie uogólniać kategorie słów, bez konieczności predefiniowania tych kategorii przez ludzi. Na przykład zdanie rozpoczynające się „Jan kupił arbuza i dwa funty . . . ” prawdopodobnie będzie kontynuowane z „jabłkami” lub „bananami”, ale nie z „torem” lub „geografią”. Taka prognoza jest znacznie łatwiejsza, jeśli „jabłka” i „banany” mają podobne reprezentacje w warstwie wewnętrznej.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *