WSTĘP

Efektywna przepustowość sieci autostrad międzymiastowych jest istotnym elementem systemów sterowania ruchem i informacji, szczególnie w okresach szczytowego natężenia ruchu. Jednak nieznacznie niedokładne prognozy przepustowości mogą prowadzić do zatorów, które generują ogromne koszty społeczne w postaci czasu podróży, kosztów paliwa i zanieczyszczenia środowiska. Dlatego dokładne prognozowanie natężenia ruchu w okresach szczytowego natężenia ruchu mogłoby potencjalnie zapobiec zatorom lub przynajmniej je zmniejszyć. Ponadto, dokładne prognozowanie ruchu może zapobiec zatorom, a także skrócić czas podróży, koszty paliwa i zanieczyszczenie środowiska. Jednak informacje o ruchu międzymiastowym stanowią wyzwanie; w związku z tym prognozowanie natężenia ruchu obejmuje dość złożony, nieliniowy wzorzec danych i nieprzewidziane czynniki fizyczne związane z sytuacją w ruchu drogowym. Sztuczne sieci neuronowe (ANN) przyciągają uwagę do prognozowania natężenia ruchu ze względu na ich ogólne, nieliniowe możliwości mapowania prognoz. W przeciwieństwie do większości konwencjonalnych modeli sieci neuronowych, opartych na empirycznej zasadzie minimalizacji ryzyka, regresja wektorów nośnych (SVR) wykorzystuje zasadę minimalizacji ryzyka strukturalnego w celu minimalizacji górnej granicy błędu generalizacji, a nie błędów uczenia. SVR została wykorzystana do rozwiązywania problemów regresji nieliniowej i szeregów czasowych. W niniejszym badaniu przedstawiono krótkoterminowy model prognozowania ruchu, który łączy model SVR z ciągłą optymalizacją kolonii mrówek (SVRCACO) w celu prognozowania przepływu ruchu międzymiastowego. Do wyjaśnienia skuteczności prognozowania proponowanego modelu wykorzystano przykład numeryczny wartości przepływu ruchu z północnego Tajwanu. Wyniki symulacji wskazują, że proponowany model daje dokładniejsze wyniki prognozowania niż model szeregów czasowych oparty na sezonowej autoregresji zintegrowanej średniej ruchomej (SARIMA).

TŁO

Tradycyjnie stosowano szeroką gamę podejść prognostycznych do prognozowania przepływu ruchu w sieciach autostrad międzymiastowych. Podejścia te można klasyfikować według rodzaju danych, horyzontu prognozowania i potencjalnego przeznaczenia końcowego ; w tym profilowanie historyczne , modele przestrzeni stanów, filtry Kalmana oraz modele identyfikacji systemu . Dane dotyczące przepływu ruchu mają jednak postać przestrzennych szeregów czasowych i są gromadzone w określonych lokalizacjach w stałych odstępach czasu. Wspomniane powyżej badania i ich wyniki empiryczne wskazują, że problem prognozowania przepływu ruchu na autostradach międzymiastowych jest wielowymiarowy, uwzględniając relacje między pomiarami wykonanymi w różnych momentach i lokalizacjach geograficznych. Ponadto metody te mają trudności z radzeniem sobie z szumem obserwacyjnym i brakami danych podczas modelowania. Dlatego Danech-Pajouh i Aron (1991) zastosowali warstwowe podejście statystyczne z matematyczną techniką klastrowania do grupowania danych o przepływie ruchu oraz oddzielnie dostrojony model regresji liniowej dla każdego klastra. W oparciu o wielowymiarowe żądania rozpoznawania wzorców, takie jak przedziały czasu i lokalizacje geograficzne, z powodzeniem zastosowano również nieparametryczne modele regresji do prognozowania przepływu ruchu na autostradach. Model ARIMA i modele rozszerzone to najpopularniejsze podejścia w prognozowaniu przepływu ruchu . Ze względu na stochastyczną naturę i silnie nieliniową charakterystykę danych o przepływie ruchu międzymiastowego, modele sztucznych sieci neuronowych (ANN) zyskały duże zainteresowanie i były rozważane jako alternatywa dla modeli prognozowania przepływu ruchu . Jednak procedura trenowania modeli sieci neuronowych jest nie tylko czasochłonna, ale również stwarza ryzyko utknięcia w minimach lokalnych i subiektywnego wyboru architektury modelu. W związku z tym model SVR został z powodzeniem zastosowany do rozwiązania problemów prognostycznych w wielu dziedzinach. Na przykład w prognozowaniu szeregów czasowych finansowych (indeksów giełdowych i kursów walutowych) , prognozowaniu w inżynierii i oprogramowaniu (wartości produkcji i niezawodność) , prognozowaniu w naukach o atmosferze i tak dalej. Tymczasem model SVR został również z powodzeniem zastosowany do prognozowania obciążenia elektrycznego . Wyniki praktyczne wskazują, że niska dokładność prognozowania wynika z braku wiedzy na temat wyboru trzech parametrów (σ, C i ε) w modelu SVR. W niniejszym badaniu, jeden z algorytmów ewolucyjnych, optymalizacja kolonii mrówek (ACO), został wykorzystany do określenia wartości trzech parametrów w modelu przepływu ruchu SVR w mieście Panchiao w powiecie Tajpej na Tajwanie. Ponadto, ze względu na swoją specyfikę optymalizacji dyskretnej, zastosowanie ACO do problemów optymalizacji ciągłej wymaga przekształcenia przestrzeni poszukiwań ciągłej w przestrzeń dyskretną poprzez dyskretyzację ciągłych zmiennych decyzyjnych, co jest procedurą zwaną CACO.

GŁÓWNY TEMAT

W niniejszym artykule do porównania skuteczności prognozowania przepływu ruchu wykorzystano dwa modele: sezonowy model ARIMA (SARIMA) i model SVRCACO.

Model regresji wektorów nośnych (SVR)

Podstawową koncepcją SVR jest nieliniowe odwzorowanie oryginalnych danych x w przestrzeń cech o wyższym wymiarze. Zatem, biorąc pod uwagę zbiór danych G ={(x_i, a_i)}^N_i=1 (gdzie x_i to wektor wejściowy; a_i to wartość rzeczywista, a N to całkowita liczba wzorców danych), funkcja regresji SVM wynosi:

f =g(x) = w^Tφ (x_i ) + b

gdzie φ(x_i) to cecha danych wejściowych (aby odwzorować dane wejściowe w tzw. przestrzeń cech o wyższym wymiarze, a zarówno w, jak i b są współczynnikami. Współczynniki (w i b) szacuje się poprzez minimalizację następującej zregularyzowanej funkcji ryzyka



(2) gdzie



Dodatkowo, L_ε(a,f) jest wykorzystywane do znalezienia optymalnej hiperpłaszczyzny w wielowymiarowej przestrzeni cech, aby zmaksymalizować odległość dzielącą dane treningowe na dwa podzbiory. Zatem SVR koncentruje się na znalezieniu optymalnej hiperpłaszczyzny i minimalizacji błędu treningowego między danymi treningowymi a funkcją straty niewrażliwą na ε Minimalizacja:



z ograniczeniami,

Pierwszy człon równania (5), wykorzystujący koncepcję maksymalizacji odległości dwóch oddzielonych danych treningowych, służy do regularyzacji rozmiarów wag, karania dużych wag i utrzymania płaskości funkcji regresji. Drugi człon karze błędy treningowe prognozowania wartości i wartości rzeczywistych poprzez użycie funkcji straty niewrażliwej na ε. C jest parametrem umożliwiającym kompromis pomiędzy tymi dwoma członami. Błędy treningowe powyżej ε są oznaczane jako ξ^*_i, natomiast błędy treningowe poniżej ε są oznaczane jako ξ_i. Po rozwiązaniu problemu optymalizacji kwadratowej z ograniczeniami nierównościowymi, uzyskuje się wagę w równaniu (2):



Stąd funkcja regresji ma postać równania (6):



Tutaj funkcja K(x_i, x_j) nazywana jest funkcją jądra. Wartość jądra jest równa iloczynowi skalarnemu dwóch wektorów, x_i i x_j, w przestrzeni cech φ(x_i) i φ(x_j); tj. K(x_i, x_j) = φ(x_i) * φ(x_j). Gaussowskie jądro RBF jest nie tylko łatwiejsze w implementacji, ale także umożliwia nieliniowe odwzorowanie danych treningowych w przestrzeni nieskończenie wymiarowej, a zatem nadaje się do rozwiązywania problemów z relacjami nieliniowymi. W tej pracy funkcja Gaussa, exp(-||x - x_i||²/2σ² , jest używana w modelu SVR.

CACO w wyborze parametrów modelu SVR

Algorytmy optymalizacji kolonii mrówek zostały z powodzeniem wykorzystane do rozwiązywania problemów optymalizacji kombinatorycznej, takich jak harmonogramowanie w warsztacie , problem komiwojażera , planowanie przestrzenne , problemy z przypisaniem kwadratowym oraz eksploracja danych . ACO naśladuje zachowania prawdziwych kolonii mrówek podczas poszukiwania pożywienia, gdzie każda mrówka pozostawia feromon na drodze do źródeł pożywienia lub z powrotem do gniazda. Ścieżki z większą ilością feromonu mają większe szanse na wybranie przez inne mrówki. Z czasem kolonia mrówek wybierze najkrótszą drogę do źródła pożywienia i z powrotem do gniazda. Dlatego też ślad feromonowy jest najważniejszym procesem umożliwiającym poszczególnym mrówkom wyczucie zapachu i wybór trasy. Prawdopodobieństwo, P_k(i,j), że mrówka k przemieści się z miasta i do miasta j, jest wyrażone równaniem (7).



gdzie τ(i,j) to poziom feromonu między miastem i a miastem j, η(i,j) to odwrotność odległości między miastami i i j. W tym badaniu błąd prognozy reprezentuje odległość między miastami. Parametry α i β określają względne znaczenie poziomu feromonu, a M_k to zbiór miast w kolejnej kolumnie macierzy miast dla mrówki k. q to losowa zmienna jednorodna [0,1], a wartość q₀ jest parametrem. Wartości α, β i q₀ wynoszą odpowiednio 8, 5 i 0,2. Po zakończeniu wędrówki mrówek, informacja o największej ilości feromonu pozostawionego przez mrówki na odwiedzanych ścieżkach jest uznawana za informację dotyczącą najlepszych ścieżek od gniazda do źródeł pożywienia. Dlatego dynamiczna aktualizacja feromonu odgrywa główną rolę w rzeczywistych zachowaniach kolonii mrówek związanych z poszukiwaniem. Lokalne i globalne reguły aktualizacji feromonu są wyrażone odpowiednio jako równanie (9) i równanie (10).



gdzie ρ to lokalna szybkość parowania feromonu, 0 < ρ < 1; τ₀ to początkowa ilość feromonu osadzonego na każdej ze ścieżek. W niniejszej pracy wartości ρ i τ₀ wynoszą odpowiednio 0,01 i 1. Ponadto, do generowania początkowej ilości feromonu zastosowano podejście zaproponowane przez Dorigo i Gambardellę (1994). Globalna aktualizacja śladu jest realizowana zgodnie z równaniem (10). σ to globalny parametr zaniku feromonu, 0 < σ< 1, ustawiony na 0,2 w niniejszym badaniu. Δτ(i, j), wyrażony jako równanie (11), służy do zwiększenia ilości feromonu na ścieżce roztworu.



gdzie L jest długością najkrótszej trasy

Przykład numeryczny i wyniki eksperymentów

Zestawy danych o przepływie ruchu pochodzą z trzech lokalizacji detekcyjnych autostrady Civil. Autostrada Civil to najbardziej ruchliwa sieć autostrad międzymiastowych w mieście Panchiao, stolicy okręgu Tajpej na Tajwanie. Główna lokalizacja znajdowała się w centrum miasta Panchiao, gdzie przepływ ruchu przecina się z lokalnym systemem ulic miejskich i zapewniała natężenie ruchu jednokierunkowego w każdej godzinie w dni robocze. Dlatego w niniejszym badaniu wykorzystano dane o przepływie ruchu jednokierunkowego w szczycie szczytowym, obejmujące poranny okres szczytu (MPP; od 6:00 do 10:00) i wieczorny okres szczytu (EPP; od 16:00 do 20:00). Gromadzenie danych trwa od lutego 2005 r. do marca 2005 r. Liczba dostępnych danych o przepływie ruchu dla MPP i EPP wynosi odpowiednio 45 i 90 godzin. Dla wygody dane o natężeniu ruchu przeliczane są na liczbę pasażerów (EOP), a oba te okresy szczytowe pokazują sezonowość danych o natężeniu ruchu. Dodatkowo dane o natężeniu ruchu dzielone są na trzy części: dane treningowe (MPP 25 godzin; EPP 60 godzin), dane walidacyjne (MPP 10 godzin; EPP 15 godzin) oraz dane testowe (MPP 10 godzin; EPP 15 godzin). Dokładność modeli prognostycznych mierzona jest za pomocą znormalizowanego błędu średniokwadratowego (NRMSE), zgodnie z równaniem (12).



gdzie n to liczba okresów prognozowania; a_i to rzeczywista wartość przepływu ruchu w okresie i; a f_i to prognozowana wartość przepływu ruchu w okresie i. Dobór parametrów modeli prognozowania jest istotny dla uzyskania dobrej wydajności prognozowania. W przypadku modelu SARIMA parametry są określane poprzez uwzględnienie różnicy regularnej pierwszego rzędu i pierwszej różnicy sezonowej w celu usunięcia cech niestacjonarnych i sezonowych. Korzystając z pakietów statystycznych, bez autokorelacji reszt i z przybliżonymi resztami szumu białego, najbardziej odpowiednimi modelami dla tych dwóch okresów szczytu rano/wieczorem dla danych o ruchu są odpowiednio SARIMA(1,0,1) × (0,1,1)₅ z elementem niestałym i SARIMA(1,0,1) × (1,1,1)₅ z elementem stałym. Równania użyte dla modeli SARIMA przedstawiono odpowiednio jako równania (13) i (14).



W przypadku modelu SVRCACO zastosowano procedurę prognozowania w trybie rolowania i przyjęto strategię prognozowania z jednogodzinnym wyprzedzeniem. Następnie rozważono kilka typów rolowania danych w celu prognozowania przepływu ruchu w ciągu następnej godziny. W niniejszym badaniu CACO wykorzystano do określenia odpowiedniej kombinacji trzech parametrów w modelu SVR. Parametry modeli SVRCACO o minimalnych wartościach testowego NRMSE wybrano jako najbardziej odpowiedni model do tego badania.

PRZYSZŁE TRENDY

W niniejszym badaniu model SVRCACO stanowi wygodną i trafną alternatywę dla prognozowania przepływu ruchu. Model SVRCACO bezpośrednio wykorzystuje historyczne obserwacje z systemów sterowania ruchem, a następnie określa odpowiednie parametry za pomocą wydajnych algorytmów optymalizacji. W przyszłych badaniach do modelu prognozowania ruchu można włączyć inne czynniki i zmienne meteorologiczne w okresach szczytowych, takie jak ograniczenia prędkości jazdy, ważne wydarzenia społeczne, odsetek pojazdów ciężkich, poziom obsługi wąskich gardeł i czas oczekiwania na sygnalizację świetlną na skrzyżowaniach. Ponadto, w modelu SVR można zastosować inne zaawansowane algorytmy optymalizacji doboru parametrów, aby spełnić wymagania systemów sterowania ruchem w czasie rzeczywistym.

WNIOSKI

Dokładna prognoza ruchu ma kluczowe znaczenie dla systemu sterowania ruchem międzymiastowym, w szczególności dla uniknięcia korków i zwiększenia efektywności ograniczonych zasobów ruchu w okresach szczytowych. Historyczne dane dotyczące ruchu w mieście Panchiao w północnym Tajwanie wykazują sezonowy trend wahań, który występuje w wielu systemach ruchu międzymiastowego. W związku z tym, nadmierna lub niedostateczna prognoza przepływu ruchu wpływa na możliwości transportowe systemu międzymiastowego. W niniejszym badaniu przedstawiono zastosowanie technik prognostycznych SVRCACO w celu zbadania ich wykonalności w prognozowaniu ruchu na autostradach międzymiastowych. W artykule wskazano, że model SVRCACO charakteryzuje się lepszą skutecznością prognozowania niż model SARIMA. Lepsza skuteczność modelu SVRCACO wynika ze zdolności generalizacji modelu SVR do prognozowania oraz właściwego doboru parametrów SVR przez CACO.

WSTĘP

Sztuczne sieci neuronowe udowodniły w ciągu ostatnich czterech dekad, że są ważnym narzędziem do modelowania struktur funkcjonalnych układu nerwowego, a także do modelowania systemów nieliniowych i adaptacyjnych w ogólności, zarówno biologicznych, jak i niebiologicznych . Stały się również potężnym, inspirowanym biologią, ogólnym frameworkiem obliczeniowym, szczególnie ważnym dla rozwiązywania problemów nieliniowych o zredukowanej formalizacji i strukturze. Jednocześnie metody z zakresu systemów złożonych i dynamiki nieliniowej okazały się przydatne w zrozumieniu zjawisk zachodzących w aktywności mózgu i aktywności układu nerwowego w ogólności . Łącząc te dwa obszary, rozwój sztucznych sieci neuronowych wykorzystujących bogatą dynamikę jest coraz ważniejszym tematem w obu obszarach, teorii i praktyce. W ostatnich dekadach opracowano w szczególności neurony modelowe o bogatej bifurkacji i dynamice chaotycznej, przeznaczone do modelowania złożonych zjawisk biologicznych, a także do zastosowań w obliczeniach neuropodobnych. W tym kontekście na uwagę zasługują modele opracowane między innymi przez Kazuyukiego Aiharę (1990), Nagumo i Sato (1972), Waltera Freemana (1992), K. Kaneko (2001) i Nabila Farhata (1994). Poniższe tematy rozwijają zagadnienie chaotycznych sieci neuronowych, prezentując kilka ważnych modeli tej klasy i krótko omawiając powiązane z nimi narzędzia analizy oraz typowe zastosowania docelowe.

TŁO

Sztuczne sieci neuronowe (ANN) stanowią jeden z ważnych frameworków dla obliczeń inspirowanych biologią. Centralną cechą tego paradygmatu jest dążenie do wykorzystania w modelach obliczeniowych niektórych interesujących właściwości układu nerwowego, takich jak adaptacja, odporność, nieliniowość i uczenie się na przykładach. Skupiając się na biologii (rzeczywistych sieciach neuronowych), zauważamy, że sygnały generowane w rzeczywistych neuronach są wykorzystywane przez układ nerwowy w różny sposób do kodowania informacji, w zależności od kontekstu i funkcjonalności. Z tego powodu w sieciach neuronowych występują odrębne neurony modelowe, takie jak modele o stopniowanej aktywności opartej na kodowaniu częstotliwościowym, modele z wyjściami binarnymi oraz modele impulsowe (lub modele impulsowe), z których każdy kładzie nacisk na inne aspekty kodowania i przetwarzania neuronowego. W tym scenariuszu rola neurodynamiki jest jednym z celów modelowania neuronowego i obliczeń inspirowanych neuronami; niektóre neurony modelowe obejmują aspekty neurodynamiki, które są matematycznie reprezentowane za pomocą równań różniczkowych w czasie ciągłym lub równań różniczkowych w czasie dyskretnym. Jak opisano w poniższym temacie, zjawiska dynamiczne zachodzą na kilku poziomach aktywności neuronalnej i aktywności zespołów neuronowych (w wewnętrznych strukturach neuronalnych, w prostych sieciach oddziałujących neuronów oraz w dużych populacjach neuronów). Szczególnie istotne dla naszej dyskusji są neurony modelowe, które podkreślają związek między neuroinformatyką a nieliniowymi układami dynamicznymi z bifurkacją i bogatym zachowaniem dynamicznym, w tym dynamiką chaotyczną.

NEUROKOMPUTERYSTYKA I ROLA BOGATEJ DYNAMIKI

Obecność dynamiki w funkcjonalności neuronów występuje nawet na bardziej szczegółowym poziomie komórkowym: przykładem jest dobrze znany model Hodgkina i Huxleya generowania i propagacji potencjałów czynnościowych w błonie czynnej rzeczywistych neuronów; innym przykładem są procesy zależne od czasu związane z aktywnością synaptyczną i sygnałami postsynaptycznymi. Dynamika pojawia się również, gdy rozważamy zachowanie oscylacyjne rzeczywistych neuronów pod wpływem stałej stymulacji. Ponadto, gdy rozważamy zespoły neuronowe, obserwujemy również pojawienie się ważnych globalnych zachowań dynamicznych w produkcji złożonych funkcji. Jak już omówiliśmy, nieliniowość jest niezbędnym składnikiem złożonej funkcjonalności i złożonej dynamiki; istnieje wyraźny kontrast między liniowymi i nieliniowymi układami dynamicznymi, jeśli chodzi o ich potencjał do wytwarzania bogatych i różnorodnych zachowań.

Rola dynamiki nieliniowej w tworzeniu bogatego zachowania

W liniowych układach dynamicznych, zarówno w czasie ciągłym, jak i dyskretnym, autonomiczne zachowanie dynamiczne jest w pełni scharakteryzowane poprzez naturalne mody układu, zarówno harmoniczne mody oscylacyjne, jak i mody wykładniczo zanikające (w teorii liniowych układów dynamicznych są one reprezentowane przez częstotliwości i częstotliwości zespolone). Możliwe wyniki dynamiczne w układach liniowych są zatem ograniczone do uniwersum liniowych kombinacji tych modów naturalnych. Mody te mogą mieć swoje właściwości amplitud i częstotliwości kontrolowane za pomocą parametrów układu, ale nie ich główne właściwości, takie jak charakter generowanych przebiegów. Ponieważ liczba modów naturalnych układów liniowych jest ściśle związana z liczbą zmiennych stanu, możemy stwierdzić, że małe sieci (liniowych elementów dynamicznych) mogą generować jedynie ograniczoną różnorodność zachowań dynamicznych. Scenariusz staje się zupełnie inny w układach nieliniowych. Nieliniowość sprzyja bogatemu zachowaniu dynamicznemu, uzyskiwanemu poprzez zmianę stabilności i niestabilności różnych atraktorów. Zmiany te ustępują miejsca zjawiskom bifurkacji (przejściom między modalnościami dynamicznymi o odmiennych cechach), a tym samym różnorodności zachowań dynamicznych. W układach nieliniowych możemy mieć dużą różnorodność zachowań dynamicznych, z potencjalną produkcją nieskończonej liczby odrębnych przebiegów (lub szeregów czasowych w przypadku układów z czasem dyskretnym). Może się to zdarzyć w układach o bardzo ograniczonej liczbie zmiennych stanu: zaledwie trzy w czasie ciągłym lub tylko jedna zmienna stanu w czasie dyskretnym wystarczą, aby umożliwić bifurkację między różnymi atraktorami i potencjalne kaskady nieskończonych bifurkacji prowadzące do chaosu. W naszym kontekście oznacza to uzyskanie bogatego zachowania atraktorów nawet z bardzo prostych sieci neuronowych (tj. sieci z niewielką liczbą neuronów). Podsumowując, działanie chaotycznych sieci neuronowych bada koncepcje atraktorów, odpychaczy, cykli granicznych i stabilności (szczegóły na temat tych koncepcji można znaleźć w temacie "Terminy i definicje") trajektorii w wielowymiarowej przestrzeni stanów sieci neuronowej, a dokładniej, gęstą produkcję destabilizacji trajektorii cyklicznych z kaskadowymprzechodzeniem do zachowań chaotycznych. Ten scenariusz pozwala na połączenie uporządkowanego zachowania i dynamiki chaotycznej, a także obecność struktury fraktalnej i samopodobieństwa w bogatym krajobrazie dynamicznych atraktorów.

MODELUJ NEURONY Z BOGATĄ DYNAMIKĄ, BIFURCACJĄ I CHAOSEM

Możemy spojrzeć na elementy chaotyczne, które tworzą architektury neuropodobne, z kilku różnych perspektyw. Można je postrzegać jako jednostki emergentne o bogatej dynamice, powstające w wyniku interakcji klasycznych neuronów modelowych, takich jak neurony sigmoidalne oparte na kodowaniu częstotliwości lub neurony modelu integrującego i generującego impulsy . Mogą one również odpowiadać modelowaniu dynamicznego zachowania zespołów neuronowych, traktowanych jako całość. Wreszcie, mogą być narzędziami do przybliżonej reprezentacji aspektów złożonej dynamiki układu nerwowego, zwracając uwagę głównie na bogactwo atraktorów oraz mieszankę uporządkowanej i chaotycznej dynamiki, a nie na szczegóły dynamiki biologicznej . Poniżej pokrótce opiszemy niektóre z istotnych neuronów modelowych w kontekście chaotycznych sieci neuronowych. Chaotyczny Model Neuronu Aihary. Jedną z ważnych prac w kontekście chaotycznych sieci neuronowych jest model neuronu zaproponowany przez Kazuyukiego Aiharę i współpracowników (1990). W nim mamy samosprzężenie zwrotne zmiennej stanu neuronu, reprezentujące okres refrakcji w rzeczywistych neuronach. Umożliwia to bogatą bifurkację i kaskadowanie do chaosu. Jego praca rozszerza wcześniejsze modele, w których obecne były już pewne elementy dynamiki. W szczególności należy wspomnieć o pracy Caianiello (1961), w której przeszłe dane wejściowe mają wpływ na wartość obecnego stanu neuronu, oraz o pracy Nagumo i Sato (1972), która uwzględnia pamięć o zaniku wykładniczym. Model Aihary uwzględniał pamięć zarówno danych wejściowych modelowanego neuronu, jak i jego stanu wewnętrznego. Zawierał również ciągłe funkcje przejścia, niezbędny składnik bogatej bifurkacji, struktury fraktalnej i kaskadowania do chaosu. Równanie 1 przedstawia uproszczoną formę tego modelu: xi jest stanem węzła, podczas gdy xj dotyczy węzłów sąsiednich, t jest czasem dyskretnym, f jest funkcją ciągłą, kf i kr są stałymi rozpadu, a wij są ogólnymi siłami sprzężenia:



Pamięć asocjacyjna Adachiego. Inną propozycją, którą można tu przytoczyć, jest propozycja Adachiego, napisana wspólnie z Aiharą. Wykorzystuje ona neuron chaotyczny Aihary do implementacji pamięci asocjacyjnej, z siłą sprzężenia między węzłami, wij, określoną przez miary korelacji podobne do hebbianowskich. Równanie 2 definiuje wij dla tego modelu w pamięci przechowującej M ciągów binarnych xp.



Neuron bifurkacyjny Nabila Farhata. Nabil Farhat i współpracownicy przedstawili "Neuron bifurkacyjny", w którym zjawiska bifurkacji i kaskady do dynamiki chaotycznej wyłaniają się z modelu impulsowego typu "Integrate and Fire" . Niniejsza praca i niektóre z jej późniejszych opracowań mają bezpośredni związek z klasą architektur asocjacji i odzyskiwania wzorców opracowanych przez autora niniejszego artykułu: chaotycznymi sieciami neuronowymi opartymi na elementach przetwarzania rekurencyjnego, czyli RPE. RPE to rekursje parametryczne, które są sprzężone poprzez modulację ich parametrów bifurkacji (mówimy, że mamy sprzężenie parametryczne), w celu tworzenia znaczących wzorców zbiorczych. Dynamika węzłów jest matematycznie definiowana poprzez rekursję parametryczną pierwszego rzędu:



Ta rekurencja Rp (sparametryzowana "parametrem bifurkacji" p) łączy kolejne wartości zmiennej stanu x, która ewoluuje w czasie dyskretnym t. Warto zauważyć, że nieliniowe rekurencje pierwszego rzędu są bardzo prostymi systemami matematycznymi o bardzo bogatym zachowaniu dynamicznym (rys. 1 przedstawia przykładowy diagram bifurkacji). Sprzężone sieci map (CML) Kunihiko Kaneko. Struktury te, pierwotnie pomyślane do modelowania przestrzenno-czasowych układów fizycznych, wykorzystują ideę chaotycznych map rekurencyjnych (podobnych do opisanych powyżej RPE), które oddziałują poprzez sprzężenie dyfuzyjne . Równanie 4 reprezentuje sieć CML: i identyfikuje węzeł sieci liniowej, a ? - stopień sprzężenia.



Narzędzia dynamiki nieliniowej

Klasyczne narzędzia opracowane do badania nieliniowych układów dynamicznych z bifurkacją i zróżnicowanym zachowaniem stanowią istotne elementy w badaniu i charakterystyce chaotycznych sieci neuronowych . Wśród nich można wymienić diagramy bifurkacji , które są przydatne do reprezentacji długoterminowego zachowania w parametrycznych nieliniowych układach dynamicznych, a także do reprezentacji ich bifurkacji i zakresów parametrów dla zachowania uporządkowanego i chaotycznego. Możemy również wspomnieć o wykładnikach Lapunowa, służących do ilościowej oceny wrażliwości na warunki początkowe, o miarach entropii, służących do kwantyfikacji złożoności trajektorii, o mapach powrotnych, służących do charakteryzowania reguł rekurencyjnych, oraz o diagramach sieciowych, służących do zilustrowania trajektorii atraktorów i odpychaczy .

ZBIORCZE ZACHOWANIE DYNAMICZNE, SIECI ATRAKTORÓW I SCENARIUSZE ZASTOSOWAŃ

Bardziej złożony i bogatszy scenariusz można stworzyć poprzez połączenie kilku jednostek o bogatym zachowaniu dynamicznym na poziomie pojedynczego węzła. Poniższe akapity szczegółowo opisują niektóre z pojawiających się zjawisk zbiorowych, które pojawiają się w sieciach sprzężonych elementów chaotycznych i są badane pod kątem kodowania i przetwarzania informacji:

•  Atraktory wielowymiarowe. W zachowaniu atraktora wielowymiarowego, podobnie jak w przypadku atraktorów na poziomie pojedynczego węzła (patrz wpis w temacie "Terminy i definicje" na końcu tego artykułu), obserwujemy ewolucję stanu sieci w czasie w kierunku ograniczonego repertuaru preferencyjnych trajektorii zbiorowych, które pojawiają się w długim okresie. Koncepcja atraktorów wielowymiarowych jest kluczowa dla paradygmatu sieci atraktorów: wielowymiarowych układów dynamicznych, których stany długoterminowe reprezentują istotne informacje. W szczególnym przypadku chaotycznych sieci neuronowych ewolucja stanu sieci zazwyczaj składa się z początkowej fazy chaotycznej i stopniowej aproksymacji do uporządkowanych cykli granicznych .

•  Klastrowanie aktywności węzłów. W tym przypadku, dzięki sprzężeniu i samoorganizacji sieci, mamy do czynienia z formowaniem się grup węzłów wykazujących aktywności, które są identyczne lub podobne w pewnym sensie .

•  Synchronizacja cykli węzłów (lub blokowanie fazowe). W tym typie zjawisk kolektywnych, stanowiących szczególny przypadek klasteryzacji, cykliczne działania węzłów należących do klastra mają ten sam okres i działają ze stałymi fazami względnymi .

Dzięki strukturom kolektywnym (wielokrotnie sprzężonym neuronom) możliwe jest potencjalnie wdrożenie złożonych funkcjonalności poprzez eksplorację wielowymiarowej natury zmiennych stanu: rozumienie obrazów, przetwarzanie wielowymiarowych informacji sensorycznych, wielowymiarowe rozumowanie logiczne, złożona kontrola motoryczna, pamięć, asocjacje, heteroasocjacje, podejmowanie decyzji i rozpoznawanie wzorców (DelMoral, 2007). W sieciach sprzężonych elementów o bogatej dynamice, powyższe zjawiska kolektywne są badane pod kątem reprezentacji i przetwarzania znaczących informacji. Na przykład, pamięć przechowywana w zadaniach asocjacji i odzyskiwania wzorców, lub etykieta klasy w zadaniach rozpoznawania wzorców, mogą być reprezentowane za pomocą specyficznych kolektywnych atraktorów sieci (DelMoral, 2005). Konkretnie, reprezentacja informacji może odbywać się za pomocą różnych cech ilościowych odpowiednich atraktorów. Możemy kodować informacje analogowe za pomocą amplitudy oscylacji zmiennych stanu, a nawet za pomocą sekwencji wartości odwiedzanych przez zmienne stanu w cyklach granicznych. Możemy również kodować etykiety klas poprzez okresy trajektorii zamkniętych, poprzez fazę cykli trajektorii zamkniętych, a nawet poprzez formy mieszane obejmujące kilka z tych modalności kodowania. Ponadto, klasteryzacja i synchronizacja mogą być wykorzystywane do segmentacji przestrzennej informacji.

Połączenie porządku i złożonej dynamiki

Zjawiskiem makroskopowym, które odnosi się do globalnego zachowania sprzężonej struktury złożonej z kilku neuronów o bogatej dynamice (jak modele opisane w poprzednich tematach), jest wzajemne oddziaływanie między zachowaniem uporządkowanym a zachowaniem nieuporządkowanym. W wielu przypadkach ewolucję stanu sieci można postrzegać jako przełączanie się między sytuacjami zachowania uporządkowanego a sytuacjami pozornie chaotycznego. Połączenie zachowania uporządkowanego i chaotycznego jest badane pod kątem reprezentacji istotnych informacji (porządek) oraz bogatego wyszukiwania w przestrzeni stanów wzorców (przeszukiwanie chaotyczne). To połączenie zachowania uporządkowanego i chaotycznego występuje w wielu różnych klasach neuronów modelowych i powiązanych z nimi architekturach, takich jak na przykład neuron bifurkacyjny, struktury zbiorów K, architektury RPE i wiele innych.

TRENDY PRZYSZŁOŚCI

Ponieważ chaotyczne sieci neuronowe są stosunkowo nowym przedmiotem badań, istnieje wiele różnych kierunków, w których dziedzina ta może potencjalnie się rozwijać. Wspomnimy tylko o niektórych z nich. Istotną możliwością, którą możemy zidentyfikować, jest eksploracja bogatej dynamiki, struktury fraktalnej i różnorodności zachowań dynamicznych w modelowaniu i emulacji wyższych funkcji poznawczych. Możemy na przykład wspomnieć, że część obecnych badań nad świadomością i poznaniem zajmuje się potencjalną rolą złożonej dynamiki w tych funkcjach wysokiego poziomu . Postrzegamy również neurony z modelem impulsowym, szybko rozwijający się obszar badań, oraz oscylatory neuronowe jako naturalne scenariusze powstawania bogatych zjawisk dynamicznych i potencjalne podłoża dla obliczeń z bogatą dynamiką . Dodajemy, że istnieje wiele wysiłków na rzecz implementacji modeli impulsowych w formie elektronicznej ; wysiłki te mogą również odegrać ważną rolę w kontekście interfejsów mózg-komputer opartych na mikroelektrodowych macierzach i powiązanej elektronice, kolejnym szybko rozwijającym się obszarze badań.

WNIOSKI

Omówione tutaj chaotyczne sieci neuronowe i powiązane z nimi chaotyczne neurony modelowe wpisują się w obecny trend w modelowaniu neuronowym i sztucznej neuroinformatyce, który przenosi nacisk na sztuczne neurony modelowe z analizy funkcjonalnej i syntezy funkcjonalnej, szczególnie widocznej w architekturach neuronowych, takich jak MLP, na bardziej zrównoważone połączenie, które obejmuje również elementy neurodynamiki i dogłębnie eksploruje paradygmat sieci atraktorowych. Wraz z tym postępującym trendem, dąży się do tworzenia bardziej zaawansowanych narzędzi modelowania do badania układu nerwowego oraz bardziej zaawansowanych elementów do rozwoju środowisk obliczeniowych o charakterze neuroinformatycznym.