Sieci jako złożone funkcje

https://aie24.pl/

Każdy węzeł w sieci nazywany jest jednostką. Tradycyjnie, zgodnie z projektem zaproponowanym przez McCullocha i Pittsa, jednostka oblicza ważoną sumę danych wejściowych z poprzednich węzłów, a następnie stosuje funkcję nieliniową w celu uzyskania swoich danych wyjściowych. Niech a_j oznacza wyjście jednostki j i niech w_i,j być masą przymocowaną do ogniwa od jednostki i do jednostki j; Następnie mamy

gdzie g_j jest nieliniową funkcją aktywacji związaną z jednostką j, a in_j jest ważoną sumą wejść do jednostki j. Podobnie  określamy, że każda jednostka ma dodatkowe wejście z fikcyjnej jednostki 0, która jest ustalona na +1 i wagę w_0,j dla tego wejścia. Dzięki temu całkowite ważone dane wejściowe w_j do ​​jednostki j mogą być niezerowe, nawet jeśli dane wyjściowe z poprzedniej warstwy są wszystkie zerowe. Przy tej konwencji możemy zapisać powyższe równanie w postaci wektorowej:

aj = g_j(w^Tx)

gdzie g_j jest nieliniową funkcją aktywacji związaną z jednostką j, a in_j jest ważoną sumą wejść do jednostki j. Podobnie jak w rozdziale 19.6.3 (strona 697), określamy, że każda jednostka ma dodatkowe wejście z fikcyjnej jednostki 0, która jest ustalona na +1 i wagę w_0,j dla tego wejścia. Dzięki temu całkowite ważone dane wejściowe wj do ​​jednostki j mogą być niezerowe, nawet jeśli dane wyjściowe z poprzedniej warstwy są wszystkie zerowe. Przy tej konwencji możemy zapisać powyższe równanie w postaci wektorowej:

aj = g_j(w^Tx) (22,1)

gdzie w jest wektorem wag prowadzących do jednostki j (w tym w_0,j), a x jest wektorem wejść do jednostki j (w tym +1). Fakt, że funkcja aktywacji jest nieliniowa, jest ważny, ponieważ gdyby tak nie było, dowolna kompozycja jednostek nadal reprezentowałaby funkcję liniową. Nieliniowość jest tym, co pozwala wystarczająco dużym sieciom jednostek reprezentować dowolne funkcje. Uniwersalne twierdzenie o aproksymacji mówi, że sieć z zaledwie dwoma warstwami jednostek obliczeniowych, pierwszą nieliniową, a drugą liniową, może aproksymować dowolną funkcję ciągłą z dowolnym stopniem dokładności. Dowód pokazuje, że wykładniczo duża sieć może reprezentować wykładniczo wiele „wybrzuszeń” o różnych wysokościach w różnych miejscach w przestrzeni wejściowej, a tym samym przybliżać pożądaną funkcję. Innymi słowy, wystarczająco duże sieci mogą implementować tablicę przeglądową dla funkcji ciągłych, podobnie jak wystarczająco duże drzewa decyzyjne implementują tablicę przeglądową dla funkcji logicznych. Wykorzystywanych jest wiele różnych funkcji aktywacji. Najczęstsze to:

• Funkcja logistyczna lub sigmoidalna, która jest również używana w regresji logistycznej (patrz strona 703):

σ(x) = 1/(1+e^-x) :

• Funkcja ReLU, której nazwa jest skrótem od wyprostowanej jednostki liniowej:

ReLU(x) = max(0,x) :

• Funkcja softplus, płynna wersja funkcji ReLU:

softplus(x) = log(1+e^x) :

Pochodną funkcji softplus jest funkcja sigmoidalna.                 

• Funkcja tanh:

Zauważ, że zakres tanh to (-1;+1). Tanh jest przeskalowaną i przesuniętą wersją sigmoidy, ponieważ tanh(x)=2σ(2x)-1. Funkcje te pokazano na rysunku.

Zauważ, że wszystkie z nich są monotonicznie niemalejące, co oznacza, że ich pochodne g₀ są nieujemne. Więcej o wyborze funkcji aktywacji powiemy w dalszej części. Połączenie wielu jednostek razem w sieć tworzy złożoną funkcję, która jest złożeniem wyrażeń algebraicznych reprezentowanych przez poszczególne jednostki. Na przykład sieć pokazana na rysunku (a)

reprezentuje funkcję h_w(x), sparametryzowaną wagami w, która odwzorowuje dwuelementowy wektor wejściowy x na skalarną wartość wyjściową . Wewnętrzna struktura funkcji odzwierciedla strukturę sieci. Na przykład możemy napisać wyrażenie na wyjście  w następujący sposób:

Zatem mamy wyjście

wyrażone jako funkcja h_w(x) wejść i wag.

Rysunek (a) pokazuje tradycyjny sposób przedstawiania sieci w książce o sieciach neuronowych. Bardziej ogólnym sposobem myślenia o sieci jest graf obliczeniowy lub graf przepływu danych – zasadniczo obwód, w którym każdy węzeł reprezentuje podstawowe obliczenia. Rysunek (b) przedstawia wykres obliczeń odpowiadający sieci z rysunku (a);

wykres uwydatnia każdy element całościowego obliczenia. Rozróżnia również dane wejściowe (na niebiesko) i wagi (jasnofioletowe): wagi można dostosować, aby dane wyjściowe były bardziej zgodne z rzeczywistą wartością y w danych treningowych. Każda waga jest jak pokrętło regulacji głośności, które określa, ile następny węzeł na wykresie słyszy od tego konkretnego poprzednika na wykresie. Tak jak równanie  opisuje działanie jednostki w postaci wektorowej, możemy zrobić coś podobnego dla sieci jako całości. Do oznaczenia macierzy wag będziemy na ogół używać W; dla tej sieci, W⁽¹⁾ oznacza wagi w pierwszej warstwie (w_1,3, w_1,4 itd.), a W⁽²⁾ oznacza wagi w drugiej warstwie (w_3,5 itd.). Wreszcie, niech g⁽¹⁾ i g⁽²⁾ oznaczają funkcje aktywacji w pierwszej i drugiej warstwie. Wtedy całą sieć można zapisać w następujący sposób:

h_w(x) = g⁽²⁾(W⁽²⁾g⁽¹⁾(W⁽¹⁾x))

Podobnie jak w równaniu wcześniej, wyrażenie to odpowiada wykresowi obliczeniowemu, chociaż jest znacznie prostsze niż wykres na rysunku (b): tutaj wykres jest po prostu łańcuchem z macierzami wag wprowadzanymi do każdej warstwy. Wykres na rysunku (b) jest również w pełni połączony, co oznacza, że ​​każdy węzeł w każdej warstwie jest połączony z każdym węzłem w następnej warstwie. Jest to w pewnym sensie domyślne, ale  zobaczymy, że wybór łączności sieciowej jest również ważny dla osiągnięcia efektywnego uczenia się.