WSTĘP

Metodologia uczenia indukcyjnego, znana jako drzewa decyzyjne, dotyczy możliwości klasyfikowania obiektów na podstawie wartości ich atrybutów, przy użyciu struktury przypominającej drzewo, z której można wywnioskować reguły decyzyjne. W niniejszym artykule opisano drzewa decyzyjne, kładąc główny nacisk na ich działanie w środowisku rozmytym. Pierwsze odniesienie do drzew decyzyjnych pochodzi od Hunta i innych, którzy zaproponowali system uczenia się koncepcji, mający na celu zbudowanie drzewa decyzyjnego, które próbuje zminimalizować wynik klasyfikacji końcówek szachowych. Przykładowy problem dotyczący szachów dostarcza wczesnych dowodów potwierdzających pogląd, że drzewa decyzyjne są ściśle związane ze sztuczną inteligencją (AI). Ponad dziesięć lat później Quinlan (1979) opracował wczesne prace nad drzewami decyzyjnymi, wprowadzając Interactive Dichotomizer 3 (ID3). Istotną cechą ich rozwoju było wykorzystanie miary entropii do wspomagania procesu konstrukcji drzewa decyzyjnego (ponownie wykorzystując partię szachów jako rozważany problem). To właśnie ID3 i podobne techniki definiują hierarchiczną strukturę powszechnie kojarzoną z drzewami decyzyjnymi, patrz na przykład niedawne badania teoretyczne i aplikacyjne Pala i Chakraborty′ego (2001), Bhatta i Gopala (2005) oraz Armanda i in. (2007). Co więcej, zaczynając od zidentyfikowanego węzła głównego, konstruowane są ścieżki prowadzące do węzłów liściowych, gdzie atrybuty powiązane z węzłami pośrednimi są identyfikowane za pomocą miary entropii, aby preferencyjnie ocenić pewność klasyfikacji na tej ścieżce. Każda ścieżka prowadząca do węzła liściowego tworzy regułę decyzyjną "jeśli… to…", używaną do klasyfikacji obiektów. Wprowadzenie teorii zbiorów rozmytych przez Zadeha (1965) zaoferowało ogólną metodologię, która pozwala na uwzględnienie pojęć niejasności i nieprecyzyjności. Co więcej, praca Zadeha umożliwiła rozważenie wcześniej zdefiniowanych technik w środowisku rozmytym. Dopiero ponad dziesięć lat później obszar drzew decyzyjnych skorzystał z możliwości, jakie daje rozmyte środowisko. Od tego czasu stale pojawiają się badania naukowe, które rozwijają lub stosują rozmyte drzewa decyzyjne (FDT) . Oczekiwania związane z wykorzystaniem FDT zostały zwięźle określone przez Li : "Drzewa decyzyjne oparte na teorii zbiorów rozmytych łączą zalety dobrej zrozumiałości drzew decyzyjnych i zdolności rozmytej reprezentacji do radzenia sobie z niedokładnymi i niepewnymi informacjami". Chiang i Hsu (2002) podkreślają, że drzewa decyzyjne zostały z powodzeniem zastosowane do rozwiązywania problemów w zakresie sztucznej inteligencji, rozpoznawania wzorców i statystyki. Następnie autorzy przedstawiają pozytywny rozwój, jaki oferują FDT, a mianowicie, że lepiej jest oszacować stopień powiązania obiektu z każdą klasą, co jest często pożądane w obszarach takich jak diagnostyka medyczna (alternatywny pogląd dotyczący precyzyjnych drzew decyzyjnych można znaleźć w Quinlan (1987)). W dalszej części artykułu omówiono FDT bardziej szczegółowo, w tym przykładowy instruktaż pokazujący podstawy konstrukcji FDT.

TŁO

Część niniejszego artykułu poświęcona wstępowi koncentruje się na krótkim opisie teorii zbiorów rozmytych odnoszącej się do FDT, a następnie na prezentacji jednej z technik FDT. W teorii zbiorów rozmytych (Zadeh, 1965) stopień przynależności wartości x do zbioru S jest definiowany za pomocą funkcji przynależności μ_S(x), która może przyjmować wartości z zakresu [0, 1]. Towarzyszącą jej dziedzinę atrybutów liczbowych można opisać za pomocą skończonego szeregu funkcji MF, z których każda oferuje stopień przynależności opisujący x, które łącznie tworzą odpowiadającą jej liczbę rozmytą. W niniejszym artykule zmienne lingwistyczne służą do formułowania zmiennych lingwistycznych dla rozpatrywanych atrybutów. Te zmienne lingwistyczne składają się ze zbiorów terminów lingwistycznych zdefiniowanych przez te funkcje MF. Pojęcie MF wiąże się z kwestią ich struktury . W tym przypadku liniowe MF-y fragmentaryczne służą do zdefiniowania przedstawionych terminów lingwistycznych. Na Rysunku 1 (góra) pokazano pojedynczą liniową MF-ę fragmentaryczną wraz z wartościami definiującymi ją, a mianowicie α_1,1, α_1,2, α_1,3, α_1,4 i α_1,5.



Powiązana struktura matematyczna tej konkretnej formy MF-u jest podana poniżej:



Jak wspomniano wcześniej, zmienne lingwistyczne tego typu służą do definiowania terminów lingwistycznych, które tworzą zmienne lingwistyczne. Przykład zmiennej lingwistycznej X opartej na dwóch terminach lingwistycznych, X1 i X2, pokazano na rysunku 2 (u dołu), gdzie widoczne jest nakładanie się wartości definiujących dla każdego terminu lingwistycznego.



Ponadto, używając lewej i prawej granicy dziedziny X jako odpowiednio -∞ i ∞ zbiory wartości definiujących to (w postaci listy): X1 - [-∞, -∞, α_1,3, α_1,4, α_1,5] i X2 - [α_2,1, α_2,2, α_2,3], gdzie α_1,3 = α_2,1, α_1,4 = α_2,2 i α_1,5 = α_2,3. W tej sekcji przedstawiono szczegóły techniczne podejścia rozmytego drzewa decyzyjnego, wprowadzonego przez Yuana i Shawa (1995). W przypadku indukcyjnego rozmytego drzewa decyzyjnego, wiedza podstawowa związana z wynikiem decyzji może być reprezentowana jako zbiór rozmytych reguł decyzyjnych "jeśli… to…", z których każda ma postać: Jeśli (A₁ to T_i1¹) i (A₂ to T_i2² … i (A_k to T_ik^k), to C to C_j gdzie A₁, A₂, …, A_k i C są zmiennymi lingwistycznymi dla wielu poprzedników (A_i) i następników (C) używanych do opisu rozważanych obiektów, a T(A_k) = { T^k₁ , T^k₂ , … ^k_Si} i {C₁, C₂, … , C_L} są ich odpowiednimi terminami lingwistycznymi, zdefiniowanymi przez MFs μ_Tjk(x) itp. MFs, μ_Tjk(x) (μ_Cj(y) , reprezentują stopień przynależności poprzednika obiektu A_j będącego T_j^k i następnika C będącego C_j, odpowiednio. MFμ(x) ze zbioru opisującego rozmytą zmienną lingwistyczną Y zdefiniowaną na X można postrzegać jako rozkład możliwości Y na X, czyli π(x) = μ(x), dla wszystkich x ∈ X wartości przyjmowane przez obiekty w U (również znormalizowane, więc max_x∈Xp(x) = 1 . Miara możliwości Eα(Y) niejednoznaczności jest zdefiniowana przez



gdzie π* = {&pi₁;*, π₂*, π_n*} jest permutacją znormalizowanego rozkładu możliwości π = {π(x₁), π(x₂), … , π(x_n)}, posortowanego tak, że π_i* ≥ π_i+1* dla i = 1,…, n i p_n+1* = 0 . Niejednoznaczność atrybutu A (nad obiektami u₁, …, u_m) jest podana jako:



gdzie



gdzie T₁,…T_s są terminami językowymi atrybutu (antecedentu) z m obiektami. Rozmyty podzbiór S(A, B) mierzy stopień, w jakim A jest podzbiorem B i jest dany wzorem:



Biorąc pod uwagę rozmyty dowód E, możliwość sklasyfikowania obiektu do następnika C_i można zdefiniować jako:



gdzie rozmyty podzbiór S(E, C_i) reprezentuje stopień prawdziwości reguły klasyfikacji ("jeśli E, to Ci"). W przypadku pojedynczego dowodu (rozmytej liczby dla atrybutu) niejednoznaczność klasyfikacji oparta na tym rozmytym dowodzie jest definiowana jako: G(E) = g(π(C| E)), co jest mierzone za pomocą rozkładu możliwości π(C| E) = (π(C₁| E), … π(C_L| E)). Niejednoznaczność klasyfikacji z podziałem rozmytym P = {E₁,…, E_k} na dowodzie rozmytym F, oznaczonym jako G(P| F), jest średnią ważoną niejednoznaczności klasyfikacji z każdym podzbiorem podziału:



gdzie G(E_i ∩ F) jest niejednoznacznością klasyfikacji z niejasnym dowodem E_i ∩ F, a w (E_i| F) jest wagą reprezentującą względny rozmiar podzbioru E_i ∩ F w



Podsumowując, atrybuty są przypisywane węzłom na podstawie najniższego poziomu niejednoznaczności klasyfikacji. Węzeł staje się węzłem liścia, jeśli poziom podzbioru jest wyższy niż pewna wartość logiczna β przypisana całemu rozmytemu drzewu decyzyjnemu. Klasyfikacja od węzła liścia odbywa się do grupy decyzyjnej o największej wartości podzbioru. Próg poziomu prawdy β kontroluje wzrost drzewa; niższy próg β może prowadzić do mniejszego drzewa (z niższą dokładnością klasyfikacji), wyższy próg ? może prowadzić do większego drzewa (z wyższą dokładnością klasyfikacji).

GŁÓWNY CEL

Głównym celem tego artykułu jest szczegółowy przykład konstrukcji rozmytego drzewa decyzyjnego. Opis obejmuje transformację małego zbioru danych w zbiór rozmyty, w którym pierwotne wartości są opisane poprzez ich stopień przynależności do określonych terminów lingwistycznych. Rozważany niewielki zbiór danych składa się z pięciu obiektów, opisanych trzema atrybutami warunkowymi T1, T2 i T3, a sklasyfikowanych za pomocą jednego atrybutu decyzyjnego C.



Jeśli wartości te zostaną uznane za nieprecyzyjne i rozmyte, istnieje możliwość przekształcenia wartości danych w wartości rozmyte. W tym przypadku atrybut jest przekształcany w zmienną lingwistyczną, z których każda jest opisana dwoma terminami lingwistycznymi. Na Rysunku 2 atrybut decyzyjny C jest opisany terminami lingwistycznymi C_L i C_H (prawdopodobnie oznaczającymi terminy "niski" i "wysoki").



Te terminy lingwistyczne są same w sobie definiowane przez MF (μ_CL(ˇ=⋅) i μ_CH(⋅). Hipotetyczne MF przedstawione na rysunku mają odpowiednie terminy definiujące μ_CL(⋅): [-∞, -∞, 9, 25, 32] i μ_CH(⋅): [9, 25, 32, ∞,∞]. Aby zademonstrować ich wykorzystanie, dla obiektu u2 o wartości C = 17, jego rozmycie tworzy dwie wartości μ_CL(17) = 0,750 i μ_CH(17) = 0,250, z których większa jest powiązana z wysokim terminem lingwistycznym. Podobny szereg funkcji przynależności można skonstruować dla trzech atrybutów warunku, T1, T2 i T3.



Na rysunku 3 zmienna językowa każdego atrybutu warunku jest opisana przez dwa terminy lingwistyczne (możliwe do określenia jako niski i wysoki), które same w sobie zdefiniowane przez MF. Zastosowanie tych serii MF umożliwia rozmycie przykładowego zbioru danych.



W Tabeli 2 każdy obiekt jest opisany serią wartości rozmytych, po dwie wartości rozmyte dla każdego atrybutu. W Tabeli 2, pogrubioną czcionką, pokazano również większą z wartości w każdej parze wartości rozmytych wraz z odpowiednim terminem lingwistycznym, z którym powiązana jest ta większa wartość. Poza rozmyciem zbioru danych, uwaga skupia się na konstrukcji towarzyszącego rozmytego drzewa decyzyjnego dla tych danych. Przed rozpoczęciem tego procesu konstrukcji, w całym procesie stosowano wartość progową β = 0,75 dla minimalnego wymaganego poziomu prawdziwości. Proces konstrukcji rozpoczyna się od atrybutu warunku, który jest węzłem głównym. W tym celu konieczne jest obliczenie niejednoznaczności klasyfikacji G(E) każdego atrybutu warunku. Ocena wartości G(E) jest pokazana dla pierwszego atrybutu T1 (tj. g(π(C| T1))), gdzie jest ona rozbita na etykiety rozmyte L i H, dla L;



biorąc pod uwagę C_L i C_H przy uwzględnieniu informacji w Tabeli 1;



podczas gdy S(T1_L, C_H) = 0,426. Stąd π = {0,574, 0,426}, co daje uporządkowaną znormalizowaną postać π* = {1,000, 0,741}, przy p^?₃ = 0, wtedy



wraz z G(T1_H) = 0,572, wówczas G(T1) = (0,514 + 0,572)/2 = 0,543. W porównaniu z G(T2) = 0,579 i G(T2) = 0,583, atrybut warunkowy T1, o najmniejszej niejednoznaczności klasyfikacji, tworzy węzeł główny dla pożądanego rozmytego drzewa decyzyjnego. Wartości podzbioru w tym przypadku wynoszą: dla T1: S(T1_L, C_L) = 0,574 i S(T1_L, C_H) = 0,426 oraz S(T2_H, C_L) = 0,452 i S(T2_H, C_H) = 0,548. Dla T2_L i T2_H większa wartość podzbioru definiuje możliwą klasyfikację dla tej ścieżki. W obu przypadkach wartości te są mniejsze od zastosowanej wartości prawdy progowej 0,75, zatem żadna z tych ścieżek nie może zakończyć się węzłem liścia, zamiast tego rozważane jest ich dalsze rozszerzenie. Przy trzech atrybutach warunkowych uwzględnionych w przykładowym zestawie danych, możliwe rozszerzenie do T1_L obejmuje T2 lub T3. Koncentrując się na T2, gdzie przy G(T1_L) = 0,0,514, niejednoznaczność z partycjonowaniem ocenianym dla T2 (G(T1_L i T2|C)) musi być mniejsza od tej wartości, gdzie:



Zaczynając od wartości wagowych, w przypadku T1_L i T2_L wygląda to następująco;

c

Podobnie w(T2_H| T1_L) = 0,243, stąd;



Wartość współbieżna dla G(T1_L i T3|C) = 0,487, przy czym niższa z nich (G(T1_L i T2|C)) jest niższa niż współbieżna wartość G(T1_L) = 0,514, więc mniej niejednoznaczności można by uzyskać, gdyby atrybut T2 został rozszerzony do ścieżki T1 = L. Kolejne wartości podzbioru w tym przypadku dla każdej nowej ścieżki to: T2_L; S(T1_L ∩ T2_L, C_L) = 0,759 i S(T1_L ∩ T2_L, C_H) = 0,358; T2_H: S(T1_L ∩ T2_H, C_L) = 0,363 i S(T1_L∩ T2_H, C_H) = 1,000. W przypadku każdej sugerowanej ścieżki klasyfikacji, największa wartość podzbioru przekracza próg poziomu prawdy, dlatego oba są węzłami liściowymi prowadzącymi ze ścieżki T1 = L. Proces konstrukcji przebiega podobnie dla ścieżki T1 = H, a powstałe w ten sposób rozmyte drzewo decyzyjne w tym przypadku przedstawiono na rysunku 4.



Rozmyte drzewo decyzyjne na rysunku przedstawia pięć skonstruowanych reguł (węzłów liściowych): R1, R2, …, R5. Przedstawione drzewo ma maksymalnie cztery poziomy, co oznacza, że w skonstruowanych regułach użyto maksymalnie trzech atrybutów warunkowych. W każdym przedstawionym węźle innym niż główny pokazane są poziomy podzbioru dla terminów atrybutów decyzyjnych C = L i C = H. W przypadkach, gdy większa z wartości podzbioru przekracza zdefiniowaną wartość progową 0,75, są one pogrubione i towarzyszą węzłowi stającemu się węzłem liściowym. Moc interpretacyjna FDT jest pokazana na podstawie skonstruowanych reguł. Dla reguły R5 można ją zapisać jako:

"Jeśli T1 = H i T3 = H, to C = L z poziomem prawdziwości 0,839."

Reguły można rozpatrywać w bardziej lingwistycznej formie, mianowicie:

"Jeśli T1 jest niskie, a T3 wysokie, to C jest niskie z poziomem prawdy 0,839".

To właśnie reguły takie jak ta przedstawiona pozwalają na najjaśniejszą interpretację wyników w problemach klasyfikacji przy użyciu FDT.

PRZYSZŁE TRENDY

Rozmyte drzewa decyzyjne (FDT) korzystają z indukcyjnego podejścia uczenia się, które leży u podstaw ich konstrukcji, aby ułatwić klasyfikację obiektów na podstawie ich wartości w zależności od różnych atrybutów. Ich konstrukcja w środowisku rozmytym pozwala na złagodzenie potencjalnych krytycznych skutków niedokładności, a także zapewnia korzystny poziom interpretowalności uzyskanych wyników dzięki zdefiniowanym regułom decyzyjnym. Podobnie jak w przypadku bardziej tradycyjnych, "precyzyjnych" podejść do drzew decyzyjnych, istnieją problemy, takie jak złożoność wyników, w tym przypadku zdefiniowanego drzewa. Przyszłe trendy z pewnością obejmą sposób, w jaki FDT mogą pracować nad ponownym stopniowaniem złożoności skonstruowanego drzewa, powszechnie znanym jako przycinanie. Co więcej, stosowalność skonstruowanych reguł powinna rozszerzyć zastosowanie FDT w zakresie aplikacji, z którymi mogą współpracować.

WNIOSKI

Zainteresowanie FDT w kontekście sztucznej inteligencji wynika z nieodłącznych dla nich procesów uczenia indukcyjnego i konstruowania reguł językowych. Przeprowadzona indukcja pozwala analizie na uzyskanie inteligentnych wyników na podstawie dostępnych danych. Wiele aplikacji, w których stosowano FDT, takich jak medycyna, w znacznym stopniu skorzystało z interpretacyjnej mocy czytelnych reguł. Dostępność wyników FDT powinna zapewnić im pomyślną przyszłość.

WSTĘP

Rozmyte systemy sterowania są rozwijane w oparciu o teorię zbiorów rozmytych, przypisywaną Lotfiemu A. Zadehowi , która rozszerza klasyczną teorię mnogości o przynależność jej elementów opisaną klasyczną funkcją charakterystyczną (albo "jest", albo "nie jest" elementem zbioru), aby umożliwić częściową przynależność opisaną funkcją przynależności (zarówno "jest", jak i "nie jest" elementem zbioru jednocześnie, z pewnym stopniem przynależności do zbioru). Zatem teoria zbiorów rozmytych ma ogromne możliwości i elastyczność w rozwiązywaniu wielu rzeczywistych problemów, których klasyczna teoria mnogości nie przewiduje lub nie potrafi rozwiązać. Teoria zbiorów rozmytych została zastosowana w teorii i inżynierii systemów sterowania niemal natychmiast po jej powstaniu. Postęp w nowoczesnej technologii komputerowej stale wspiera rozmytą strukturę radzenia sobie z systemami inżynieryjnymi o szerokim spektrum, w tym wieloma systemami sterowania, które są zbyt złożone lub zbyt niedokładne, aby można je było obsłużyć za pomocą konwencjonalnych teorii i technik sterowania.

TŁO: SYSTEMY STEROWANIA ROZMYTE

Główną cechą technologii logiki rozmytej jest jej zdolność do sugerowania przybliżonego rozwiązania nieprecyzyjnie sformułowanego problemu. Z tego punktu widzenia logika rozmyta jest bliższa ludzkiemu rozumowaniu niż logika klasyczna, która stara się precyzyjnie sformułować i rozwiązać problem matematyczny lub techniczny, o ile jest to możliwe.

Motywacje dla teorii rozmytych systemów sterowania

Konwencjonalna teoria systemów sterowania, opracowana w oparciu o matematykę klasyczną i logikę dwuwartościową, jest stosunkowo dojrzała i kompletna. Teoria ta ma solidne podstawy zbudowane na matematyce klasycznej, elektrotechnice i technologii komputerowej. Może ona zapewnić rygorystyczną analizę i często idealne rozwiązania, gdy system jest precyzyjnie zdefiniowany matematycznie. W tym kontekście niektóre stosunkowo zaawansowane techniki sterowania, takie jak adaptacyjne, odporne i nieliniowe teorie sterowania, zyskały szybki rozwój w ciągu ostatnich trzech dekad. Jednak konwencjonalna teoria sterowania ma dość ograniczone możliwości modelowania i sterowania złożonymi układami dynamicznymi, zwłaszcza źle sformułowanymi i częściowo opisanymi układami fizycznymi. Teoria sterowania z wykorzystaniem logiki rozmytej, wręcz przeciwnie, wykazała potencjał w tego typu niestandardowych zastosowaniach. Technologia logiki rozmytej pozwala projektantom budować regulatory, nawet gdy ich zrozumienie systemu jest wciąż w fazie mglistej, niekompletnej i rozwijającej się, a takie sytuacje są dość powszechne w praktyce sterowania przemysłowego.

Ogólna struktura systemów sterowania rozmytego

Podobnie jak inne narzędzia matematyczne, logika rozmyta, teoria zbiorów rozmytych, modelowanie rozmyte, metody sterowania rozmytego itp. zostały opracowane w celu rozwiązywania problemów praktycznych. W teorii systemów sterowania, jeśli interpretacja rozmyta rzeczywistego problemu jest poprawna, a teoria rozmyta jest odpowiednio opracowana, wówczas regulatory rozmyte mogą zostać odpowiednio zaprojektowane i działają całkiem dobrze, wykorzystując swoje zalety. Cały proces powraca następnie do pierwotnego środowiska rzeczywistego, aby osiągnąć pożądaną automatyzację systemu. Jest to tzw. procedura "rozmycia - operacji rozmycia - defuzyfikacji" w projektowaniu sterowania rozmytego. Kluczowy krok - operacja rozmyta - jest wykonywana przez logiczną bazę reguł składającą się z reguł JEŻELI-WTEDY, ustanowionych przy użyciu logiki rozmytej i wiedzy ludzkiej

Rozmycie

Teoria zbiorów rozmytych dopuszcza częściową przynależność elementu do zbioru: element może częściowo należeć do zbioru, a jednocześnie częściowo do niego nie należeć. Na przykład element x należący do zbioru X jest określony przez (znormalizowaną) funkcję przynależności μ_X : X -> [0,1]. Istnieją dwa skrajne przypadki: μ_X(x) = 0 oznacza x ∉ X, a μ_X(x) = 1 oznacza x ∈ X w klasycznym sensie. Natomiast μ_X(x) = 0,2 oznacza, że x należy do X tylko z oceną 0,2, lub równoważnie, że x nie należy do X z oceną 0,8. Co więcej, element może mieć jednocześnie więcej niż jedną wartość przynależności, taką jak μ_X(x) = 0,2 i μ_X(x) = 0,6, i nie muszą one być sumowane do jednego. Całe ustawienie zależy od tego, jak duży jest zbiór X (lub zbiory X i Y) dla elementów stowarzyszonych i jaki kształt powinna mieć funkcja przynależności, aby nadać sens rzeczywistemu problemowi. Zbiór X wraz z funkcją przynależności zdefiniowaną na nim,μ_X(⋅), nazywany jest zbiorem rozmytym i oznaczany jest (X, μ_X). Więcej przykładów zbiorów rozmytych można zobaczyć poniżej, w dalszej części dyskusji. Ten proces przekształcania wartości dokładnej elementu (powiedzmy x = 0,3) w zbiór rozmyty (powiedzmy x = 0,3 ? X = [0,1] z μ_X(x) = 0,2) nazywa się rozmyciem. Biorąc pod uwagę zbiór liczb rzeczywistych, X = [-1,1], punkt x ∈ X przyjmuje wartość rzeczywistą, powiedzmy x = 0,3. Jest to liczba dokładna bez rozmycia. Jeśli jednak wprowadzimy funkcję przynależności μ_X(⋅) powiązaną ze zbiorem X, wówczas (X, μ_X) staje się zbiorem rozmytym, a (ten sam) punkt x = 0,3 ma stopień przynależności kwantyfikowany przez μ_X(⋅) (na przykład μ_X(x) = 0,9). W rezultacie x ma nie jedną, ale dwie wartości powiązane z tym punktem: x = 0,3 iμ_X(x) = 0,9. W tym sensie mówi się, że x zostało rozmyte. Dla wygody zamiast mówić, że "x należy do zbioru X z wartością przynależności μ_X(x)", w powszechnej praktyce zwykle mówi się "x jest ", chociaż należy pamiętać, że zawsze istnieje dobrze zdefiniowana funkcja przynależności powiązana ze zbiorem X. Jeśli element x należy do dwóch zbiorów rozmytych, mówimy "x jest X₁ AND x jest X₂" i tak dalej. W tym przypadku relacja AND wymaga operacji logicznej do wykonania. W rezultacie to stwierdzenie ostatecznie daje tylko jedną wartość przynależności dla elementu x, oznaczoną jako μ_{X1 × X2}(x). Istnieje kilka operacji logicznych implementujących logiczne AND; są one dość różne, ale wszystkie są poprawne w ramach swojego indywidualnego systemu logicznego. Powszechnie używaną operacją jest μ_X(⋅) = min {?_X1(x), ?_X2(x)}.

Baza reguł logiki rozmytej

Większość systemów sterowania opartych na logice rozmytej to systemy oparte na wiedzy. Oznacza to, że ich modele rozmyte lub regulatory oparte na logice rozmytej są opisane za pomocą reguł logiki rozmytej JEŻELI-WTEDY. Reguły te muszą zostać ustalone w oparciu o wiedzę eksperta na temat systemu, regulatora, specyfikacji wydajności itp. i muszą zostać zaimplementowane poprzez wykonywanie rygorystycznych operacji logicznych. Na przykład, kierowca samochodu wie, że jeśli samochód porusza się na wprost, to nie musi nic robić; jeśli samochód skręca w prawo, to musi skręcić w lewo; jeśli samochód skręca w prawo za bardzo, to musi wykonać mocniejszy ruch, aby skręcić samochód znacznie bardziej w lewo itd. W tym przypadku "znacznie" i "bardziej" itd. to terminy rozmyte, których nie da się opisać za pomocą matematyki klasycznej, ale można je skwantyfikować za pomocą funkcji przynależności . Zbiór wszystkich takich zasad jeśli… to… stanowi bazę reguł logiki rozmytej dla badanego problemu. W tym celu pomocne jest krótkie podsumowanie doświadczenia kierowcy w następującej uproszczonej bazie reguł: Niech X = [-180°, 180°], x będzie pozycją samochodu, μ_left(⋅) będzie funkcją przynależności dla samochodu skręcającego "w lewo", μ_right(⋅) funkcją przynależności dla samochodu skręcającego "w prawo", a μ₀(⋅) funkcją przynależności dla samochodu "poruszającego się prosto". W tym przypadku używane są uproszczone stwierdzenia, na przykład "x jest X_left" oznacza "x należy do X z wartością przynależności μ_left(x)" itd. Zastosowano również podobną notację dla działania sterującego u kierowcy. Następnie prosta typowa baza reguł dla tego zadania kierowania samochodem to



gdzie X₀ oznacza ruch prosto do przodu (nie w lewo ani w prawo), jak opisano funkcją przynależności , a "u to U₀" oznacza u = 0 (brak działania sterowania) z określoną oceną (jeśli ta ocena wynosi 1, oznacza to całkowity brak działania sterowania). Oczywiście ten opis ilustruje jedynie podstawową ideę, która w żadnym wypadku nie jest kompletnym i efektywnym projektem dla rzeczywistej aplikacji do prowadzenia samochodu. Ogólnie rzecz biorąc, baza reguł r reguł ma postać

gdzie m ≥ 1 i k = 1,…, r

Defuzzyfikacja

Element zbioru rozmytego może mieć więcej niż jedną wartość przynależności. Na przykład na rysunku 1, jeśli x = 5°, to ma on dwie wartości przynależności: μ_right(x) = 5/180 ≈ 0,28 i μ₀(x) = 0,5. Oznacza to, że samochód porusza się nieznacznie w prawo. Zgodnie z wyżej określoną bazą reguł, kierowca wykona dwie czynności sterujące jednocześnie, co jest zbędne i fizycznie niemożliwe. Jakie zatem powinno być działanie sterujące? Aby uprościć tę dyskusję, załóżmy, że działanie sterujące to po prostu u = -x z tymi samymi funkcjami przynależności μ_X = μ_U dla wszystkich przypadków. Wówczas naturalnym i realistycznym działaniem sterującym, które może podjąć kierowca, jest kompromis między dwoma wymaganymi działaniami. Spośród kilku możliwych formuł kompromisowych (lub uśredniających) w tym celu, najczęściej stosowaną, która sprawdza się w większości przypadków, jest następująca formuła średniej ważonej:



Tutaj wynik jest interpretowany jako "kierowca powinien skręcić samochód w lewo o 5°". Takie uśrednione wyniki nazywane są defuzzifikacją, która daje pojedynczą, precyzyjną wartość dla sterowania, co może w rzeczywistości dawać podobne uśrednione wyniki. Wynikiem defuzzifikacji jest zazwyczaj wielkość fizyczna akceptowalna przez oryginalny system rzeczywisty. To, czy ten wynik defuzzifikacji działa prawidłowo, zależy od poprawności i skuteczności bazy reguł, a ta ostatnia od wiedzy i doświadczenia projektanta w zakresie systemu fizycznego lub procesu sterowania. Podobnie jak w przypadku każdego klasycznego problemu projektowego, zazwyczaj nie ma jednego, unikalnego rozwiązania problemu; doświadczony projektant zazwyczaj tworzy lepszy projekt. Ogólny wzór średniej ważonej dla defuzzifikacji to następująca, wypukła kombinacja poszczególnych wyników.



z oznaczeniem odnoszącym się do bazy reguł (1), gdzie



Czasami, w zależności od projektu lub zastosowania, wagi są



Ogólna struktura sterownika logiki rozmytej pokazana jest na rysunku 2.



GŁÓWNY TEMAT ROZDZIAŁU: PODSTAWOWE METODY STEROWANIA ROZMYTEGO

Podejście bezmodelowe

To ogólne podejście do sterowania opartego na logice rozmytej sprawdza się w przypadku śledzenia trajektorii konwencjonalnego układu dynamicznego, który nie posiada precyzyjnego modelu matematycznego. Podstawową konfigurację pokazano na rysunku 3, gdzie instalacja jest konwencjonalnym układem bez opisu matematycznego, a wszystkie sygnały (wartość zadana odniesienia sp, wyjście y(t), sterowanie u(t) i błąd e(t) = sp - y(t)) są wyraźne.



Celem jest zaprojektowanie regulatora, który osiągnie cel e(t) -> 0, gdy t -> ∞, zakładając, że wejścia i wyjścia systemu są mierzalne przez czujniki on-line. Jeśli matematyczny wzór instalacji jest nieznany, jak można opracować regulator do sterowania tą instalacją? Podejście oparte na logice rozmytej okazuje się korzystne w tej sytuacji: wykorzystuje tylko wejścia i wyjścia instalacji, ale nie zmienne stanu ani żadne inne informacje. Po zakończeniu projektu cały blok przerywany na rysunku 2 zastępuje blok "regulatora" na rysunku 3. Na przykład załóżmy, że fizycznym punktem odniesienia jest stopień temperatury, powiedzmy 40°F, a projektant zna zakres sygnału błędu, e(t) = 40° - y(t), mieszczący się w X = [-25°, 45°], i zakłada, że skala sterowania musi być w jednostce 1°. Następnie można wybrać funkcje przynależności dla sygnału błędu "ujemnie dużego" (NL), "dodatnio dużego" (PL) i "zera" (ZO), jak pokazano na rysunku 4.



Korzystając z tych funkcji przynależności, oczekuje się, że regulator doprowadzi temperaturę wyjściową do dopuszczalnego zakresu: 40°± 1°. W przypadku tych funkcji przynależności, gdy sygnał błędu e(t) = na przykład 5°, jest on uważany za "dodatnio duży" z wartością przynależności równą jeden, co oznacza, że punkt nastawy (40°) jest zbyt wysoki w stosunku do y(t). Wyjściem z modułu rozmycia jest zbiór rozmyty składający się z przedziału X i trzech funkcji przynależności, μ_NL, μ_PL i μ_ZO, w tym przykładzie. Wyjście z rozmycia będzie wejściem do następnego modułu - bazy reguł logiki rozmytej - który wymaga tylko danych wejściowych ze zbiorów rozmytych, aby były zgodne z logicznymi regułami IF-THEN. Rysunek 5 jest pomocny w ustaleniu bazy reguł.



Jeśli e > 0 w danym momencie, to punkt nastawy jest wyższy niż wyjście y (ponieważ e = 40°° - y), co odpowiada dwóm możliwym sytuacjom, oznaczonym odpowiednio jako a i d. Aby lepiej rozróżnić te dwie sytuacje, można posłużyć się szybkością zmiany błędu, . W tym przypadku, ponieważ punkt nastawy jest stały, jego pochodna wynosi zero. Wykorzystując informacje zarówno z e, jak i ?, można w pełni scharakteryzować zmieniającą się sytuację temperatury wyjściowej w każdym momencie. Jeśli na przykład e > 0 i ė > 0, to temperatura znajduje się obecnie w sytuacji d, a nie w sytuacji a, ponieważ ė > 0 oznacza, co z kolei oznacza, że krzywa przesuwa się w dół. Na podstawie powyższych obserwacji dotyczących fizycznych sytuacji aktualnej temperatury w stosunku do punktu nastawy, można ustalić prostą regułę bazową w następujący sposób:



W przeciwnym razie (np. e = 0 lub ė = 0) u(t+) = u(t), aż do następnego kroku, gdzie C > 0 to stałe wzmocnienie sterowania, a t + może wynosić po prostu t + 1 w czasie dyskretnym. W powyższym przykładzie pierwsze dwie reguły są rozumiane następująco (pozostałe reguły można interpretować podobnie):

1.R⁽¹⁾ : e > 0 i > 0. Jak przeanalizowano powyżej, krzywa temperatury znajduje się obecnie w sytuacji d, więc regulator musi zmienić kierunek ruchu na przeciwny, zmieniając bieżące działanie sterowania na przeciwne (ponieważ bieżące działanie sterowania obniża krzywą wyjściową).

2.R⁽²⁾: e > 0 i < 0. Bieżąca krzywa temperatury znajduje się w sytuacji a, więc regulator nie musi nic robić (ponieważ bieżące działanie sterowania podnosi krzywą wyjściową w kierunku wartości zadanej).

Przełączanie działań sterowania może przybierać różne formy, w zależności od projektu. Jednym z przykładów jest u(t + 1) = u(t) + Δu(t). Ponadto, aby odróżnić "dodatni duży" od "po prostu dodatniego" dla e > 0, można użyć funkcji przynależności pokazanych na rysunku 4. Ponieważ sygnał błędu e(t) jest rozmyty w module rozmycia, można w podobny sposób rozmyć sygnał pomocniczy ė(t) w module rozmycia. Zatem istnieją dwa rozmyte wejścia, e i ė, dla sterownika, i oba mają odpowiadające im funkcje przynależności opisujące ich właściwości jako "dodatni duży" (μ_PL), "ujemny duży" (μ_NL) lub "zero" (μ_ZO), jak pokazano na rysunnku 5. Zatem bazę reguł można zastąpić zestawem bardziej szczegółowych reguł w następujący sposób:



W przeciwnym razie u(t+1) = u(t). Tutaj i poniżej "= PL" oznacza "jest PL" itd. W ten sposób początkowa baza reguł jest udoskonalana i rozszerzana. W module defuzzyfikacji potrzebne są nowe funkcje przynależności do zmiany akcji sterowania, u(t + 1) lub Δu(t), jeśli używana jest udoskonalona baza reguł opisana powyżej. Dzieje się tak, ponieważ zarówno błąd, jak i tempo zmian sygnałów błędów zostały rozmyte do wartości "dodatnio duży" lub "dodatnio mały", a akcje sterowania muszą zostać odpowiednio rozmyte (aby były "duże" lub "małe"). Załóżmy teraz, że utworzono kompletną, udoskonaloną bazę reguł logiki rozmytej. Następnie, w module defuzzyfikacji, można użyć wzoru na średnią ważoną, aby uzyskać pojedynczą, precyzyjną wartość jako wyjście akcji sterowania z kontrolera:



Jest to średnia wartość wielokrotnych (N = 8 w powyższej bazie reguł) sygnałów sterujących w kroku t + 1 i jest fizycznie istotna dla danej instalacji.

Podejście oparte na modelu

Jeśli dostępny jest model matematyczny systemu lub jego dość dobre przybliżenie, można zaprojektować sterownik z logiką rozmytą o lepszych wynikach, takich jak parametry wydajności i gwarantowana stabilność. Stanowi to podejście oparte na sterowaniu rozmytym opartym na modelu. Na przykład lokalnie liniowy model układu rozmytego jest opisany przez bazę reguł o następującej postaci:



gdzie {A_k} i {B_k} to dane macierze stałe, x = [x₁,…,x_m]^T jest wektorem stanu, a u = [u₁,…,u_n]^T jest kontrolerem do zaprojektowania, przy czym m ≥ n ≥ 1, a k = 1,…,r. Model układu rozmytego (3) można zapisać w bardziej zwartej formie w następujący sposób:



gdzie



W oparciu o ten model rozmyty (3) lub (4), można zaprojektować regulator rozmyty u(t) przy użyciu konwencjonalnych technik. Na przykład, jeśli preferowany jest regulator ze sprzężeniem zwrotnym stanu, można zaprojektować regulator opisany następującą bazą fortelu:



gdzie

{K_k}sup>r_k=1 są stałymi macierzami wzmocnienia sterowania, które należy wyznaczyć, k = 1,…,r. W ten sposób układ sterowany w pętli zamkniętej (4) wraz z (5) staje się



W przypadku tego układu sterowanego sprzężeniem zwrotnym typowy warunek stabilności [1,2,10] jest następujący: Jeżeli istnieje wspólna dodatnio określona i symetryczna stała macierz P taka, żeA^T_kP +PA_k= -Q dla pewnego Q > 0 dla wszystkich k = 1,…,r, to rozmyty układ sterowany(6) jest asymptotycznie stabilny wokół zera. Twierdzenie to określa podstawowy (wystarczający) warunek globalnej asymptotycznej stabilności rozmytego układu sterowania, który można również traktować jako kryterium śledzenia trajektorii układu do zerowego punktu nastawy. Oczywiście, stabilne macierze wzmocnienia sterowania {K_k}sup>r_k=1} można określić zgodnie z tym kryterium w projekcie.

TRENDY NA PRZYSZŁOŚĆ

Temat ten zostanie omówiony w innym miejscu w najbliższej przyszłości.

WNIOSKI

Istotą sterowania systemami jest osiągnięcie automatyzacji. W tym celu połączenie technologii sterowania rozmytego z zaawansowanymi możliwościami komputerowymi dostępnymi w przemyśle stanowi obiecujące podejście, które może naśladować ludzkie myślenie i zdolność sterowania lingwistycznego, wyposażając systemy sterowania w pewien stopień sztucznej inteligencji. Obecnie zdano sobie sprawę, że teoria rozmytych układów sterowania oferuje proste, realistyczne i skuteczne uzupełnienie, a czasem alternatywę, do sterowania różnymi złożonymi, niedoskonałymi modelami i wysoce niepewnymi systemami inżynierskimi, o dużym potencjale w wielu rzeczywistych zastosowaniach.

WSTĘP

Estymacja stanu systemów dynamicznych jest często stosowana, gdy bezpośrednio można zmierzyć tylko podzbiór zmiennych stanu; obserwatorzy to podmioty obliczające stan systemu na podstawie wiedzy o jego strukturze wewnętrznej i (częściowo) mierzonym zachowaniu. Problem estymacji systemów zdarzeń dyskretnych (DES) został poruszony w pracach (Ramirez, 2003) i (Giua, 2003); w pracach tych wyznaczanie modelu sieci Petriego (PN) częściowo obserwowanego systemu sterowanego zdarzeniami jest obliczane na podstawie ewolucji jego danych wejściowych i wyjściowych. Stan systemu można również wnioskować, wykorzystując wiedzę o czasie trwania aktywności. Jednak zadanie to staje się skomplikowane, gdy oprócz braku czujników, czas trwania operacji jest niepewny; w takiej sytuacji obserwator uzyskuje i weryfikuje przekonanie, które przybliża aktualny stan systemu. W związku z tym podejście to jest przydatne w mniej krytycznych zastosowaniach monitorowania stanu i sprzężenia zwrotnego, w których możliwe jest przybliżone obliczenie. Niepewność czasu trwania działań w DES można obsłużyć, stosując rozmytą PN (FPN) ; to rozszerzenie PN zostało zastosowane do modelowania wiedzy , planowania , wnioskowania i projektowania kontrolerów. W tych pracach proponowane techniki obejmują obliczanie nieprecyzyjnych oznaczeń; jednak klasa omawianych modeli nie obejmuje silnie spójnych PN do modelowania zachowań cyklicznych. W niniejszym artykule zajmujemy się problemem estymacji stanu DES w celu obliczenia rozmytego oznakowania rozmytej sieci Petriego (FTPN); w tym celu opracowano zestaw wyrażeń macierzowych do rekurencyjnego obliczania bieżącego oznakowania rozmytego. Artykuł koncentruje się na FTPN, którego struktura jest grafem oznaczonym (ang. Marked Graph - FTMG), ponieważ pozwala ona intuicyjnie zobrazować problemy estymacji oznakowania w przypadku zachowań cyklicznych.

TŁO

Teoria możliwości

W teorii możliwości zbiór rozmyty ā jest używany do wyznaczania granic wartości słabo znanych lub do reprezentowania wartości charakteryzowanych przez wyrażenia symboliczne. Zbiór ten jest definiowany jako ā = (a₁,a₂,a₃,a₄) takie ,że a₁,a₂,a₃,a₄ ∈ ℝ , a₁ ≤ a₂ i a₃ ≤ a₄. Zbiór rozmyty ā ogranicza czas wykonania w następujący sposób: o Wartości w przedziałach (a₁, a₂), (a₃, a₄) odpowiednio wskazują, że czynność może zostać wykonana z α(τ) ∈ (0,1) . Gdy funkcja α(τ) rośnie w kierunku 1, co oznacza, że prawdopodobieństwo zatrzymania wzrasta. Gdy , funkcja przynależności α(τ) maleje w kierunku 0, co oznacza zmniejszenie prawdopodobieństwa zatrzymania.
o Wartości (0,a₁] oznaczają, że aktywność jest uruchomiona.
o Wartości [a₄ ,+∞) oznaczają, że aktywność jest zatrzymana.
o Wartości oznaczają pełną możliwość, czyli α(τ) = 1 , co oznacza, że jest pewne, że aktywność jest zatrzymana.
o Nośnikiem ā? jest przedział τ ∈ [a₁, a₄] gdzie α_ā(τ) > 0?.

Zbiór rozmyty ā jest nieostrożnie odwoływany przez funkcję α(τ) lub charakterystykę (a₁,a₂,a₃,a₄).Dla uproszczenia w tej pracy rozmyty rozkład możliwości czasu opisano za pomocą form trapezowych lub trójkątnych. Na przykład na rysunku pokazano zbiór rozmyty, który w języku naturalnym oznacza to: aktywność zakończy się około 2,5&Pime;.



Zasada rozszerzenia rozmytego. Zasada rozszerzenia rozmytego odgrywa fundamentalną rolę, ponieważ możemy rozszerzyć funkcje zdefiniowane na zbiorach precyzyjnych na funkcje na zbiorach rozmytych. Ważnym zastosowaniem tej zasady jest mechanizm operacji arytmetycznych na liczbach rozmytych.

Definicja. Niech X₁,…, X_n będą zbiorami ostrymi i niech f będzie funkcją taką, że f : X₁ x… x X_n-> Y . Jeżeli ã₁,…,ã_n są odpowiednio zbiorami rozmytymi na X₁ x… X_n, to f(ã₁,… ,ã_n) jest zbiorem rozmytym na Y takim, że:



Jeśli , to jest zbiorem rozmytym na Y takim, że:



Zbiór rozmyty scharakteryzowano jako:



Za pomocą zasady rozszerzenia możemy zdefiniować uproszczoną operację dodawania zbiorów rozmytych

Definicja. Niech ā = (a₁,a₂,a₃,a₄) i będą dwoma trapezowymi zbiorami rozmytymi. Operacja dodawania zbiorów rozmytych to:

Definicja Przecięcie i suma zbiorów rozmytych są definiowane za pomocą wartości min i max



Użyliśmy tych operatorów, iloczynu i sumy, odpowiednio jako t-normy i s-normy.

Definicja Rozkład możliwości przed i po ã to odpowiednio zbiory rozmyte i odpowiednio; są one zdefiniowane w (Andreu, 1997) jako funkcja ? i , odpowiednio.

Teoria sieci Petriego

Definicja. Zwykła struktura PN G jest dwudzielnym grafem reprezentowanym przez 4-krotność G = (P T I O), gdzie P={p₁,p₂,…p_n}?i T={t₁,t₂,…_n} są skończonymi zbiorami wierzchołków zwanymi odpowiednio miejscami i przejściami, I(O) : P x T -> {0,1} jest funkcją reprezentującą łuki przechodzące od miejsc do przejść (przejścia do miejsc).

Obrazowo miejsca są reprezentowane przez okręgi, przejścia przez prostokąty, a łuki przez strzałki. Symbol •t_j(t_j •) ? oznacza zbiór f wszystkich miejsc p_i takich, że I(p_i,t_j) ≠ 0 (O(p_i,t_j) ≠0).Analogicznie, •p_i(p_i•) oznacza zbiór wszystkich przejść t_j takich, że O(p_i,t_j) ≠ 0 (I(p_i,t_j) ≠0) . Macierz preincydencji G to gdzie ; macierz postincydencji G to C⁺=[c⁺_ij] gdzie c⁺_ij = O(p_i,t_j) ; macierz incydencji G to C = C⁺ - C^- . Funkcja znakowania M : P -> ℤ⁺ reprezentuje liczbę tokenów lub znaczników (przedstawionych jako kropki) znajdujących się w każdym miejscu. Znakowanie PN jest zwykle wyrażane jako wektor n-wejściowy.

Definicja. System sieci Petriego lub sieć Petriego (PN) topara N = (G, M₀), gdzie G jest strukturą PN, a M₀ jest początkowym rozkładem tokenów.

W systemie PN przejście t_j jest aktywowane w punkcie M_k, jeśli ∀p_i ∈ P,M_k(p_i) ≥ I(p_i,t_j); aktywowane przejście t_j może zostać uruchomione po osiągnięciu nowego punktu M_k+1, który można obliczyć za pomocą równania stanu PN:

M_k=1 = M_k+ C⁺;_vk - C^-;_vk (1)

gdzie v_k(i) = 0 i ≠ j,v_k(j)=1
. Zbiór osiągalności sieci PN to zbiór wszystkich możliwych do osiągnięcia oznaczeń z M₀, wyzwalających tylko włączone przejścia; zbiór ten jest oznaczony jako R(G, M₀). Konflikt strukturalny to podstruktura sieci PN, w której dwie lub więcej przejść współdzielą jedno lub więcej miejsc wejściowych; takie przejścia są jednocześnie aktywowane, a aktywacja jednego z nich może dezaktywować pozostałe.

Definicja. Przejście t_k∈ T jest aktywne, dla oznaczenia M₀, jeśli ∀ M_k ∈ R(G, M₀), ∃M_n ∈ R(G, M₀) , takie, że t_k jest aktywowane



Sieć PN jest aktywna, jeśli wszystkie jej przejścia są aktywne.

Definicja. Sieć PN jest nazywana 1-ograniczoną, czyli bezpieczną, dla oznaczenia M₀, jeśli ∀p_i∈ P i ∀M_j ∈ R(G, M₀),, zachodzi M_j(p_i) ≤ 1

W tej pracy zajmujemy się aktywnymi i bezpiecznymi sieciami PN.

Definicja. P-niezmienna Y_i (t-niezmienna X_i) sieci PN jest dodatnim rozwiązaniem całkowitym równania Y_i^TC = 0 (CX_i = 0). Nośnikiem p-niezmiennego Y_i (t-niezmiennego X_i) jest zbiór



Definicja. Niech Y_i będzie p-niezmienną sieci Petriego (G, M₀),||Y_i|| wspiera Y_i , wówczas podsieć indukowana przez Y_i będzie



nazwany składnik p, gdzie

I_i =P_i x T_i ∩ I O_i = P_i x T_i ∩ 0

Definicja. Niech X_i będzie t-niezmiennikiem sieci PN, a ||X_i|| będzie nośnikiem X_i, wówczas podsieć indukowana przez X_i będzie



nazwany t-komponent.

I_i = P_i x T_i ∩ I i O_i = P_i x T_i ∩O

Definicja. Niezmiennik Z_i jest minimalny, jeśli żaden niezmiennik Z_j nie spełnia ||Z_j|| ⊂ ||Z_i|| , gdzie Z_i, Z_jZ są p-niezmiennikami lub t-niezmiennikami a ∀z ∈ Z_i : z ≥ 0

Definicja. Niech Z = {Z₁, …Z_q} będzie zbiorem minimalnych niezmienników sieci PN, wówczas Z nazywamy bazą niezmienników. Moc zbioru Z jest reprezentowana jako |Z|

ROZMYTE CZASOWE SIECI PETRIEGO

Podstawowe operatory

Najpierw przedstawimy kilka przydatnych operatorów.

Definicja. Aby uzyskać zbiór rozmyty między ?, funkcja lmax jest definiowana jako:



Definicja. Operacja "najnowsza" (najwcześniejsza) wybiera najnowszy (najwcześniejszy) zbiór rozmyty spośród n zbiorów rozmytych; oblicza się je w następujący sposób:



Definicja. Operator sprzężenia rozmytego jest definiowany jako , gdzie arg1, arg2 to argumenty, które mogą być macierzami zbiorów rozmytych; ˇ to zbiór rozmyty, a operacja, a oper to dowolna operacja określana jako +, -, latest, min itd. Dla pewnego wiersza i = 1,…,m i pewnej kolumny j = 1,…,n) iloczyny są obliczane jako .Na przykład:





Opis formalizmu definicji FTPN

Definicja. Rozmyta struktura sieci Petriego to 3-krotna FTPN(N,Γξ); ; gdzie N = (G, M₀) to sieć PN, Γ={ã₁.ã₂ ,…,ã_n} to zbiór zbiorów rozmytych, ξ : P ->Γ to funkcja, która przypisuje zbiór rozmyty ?ã_i∈Γ do każdego miejsca p_i ∈ P

o Rozmyte czasy miejsc

Zbiór rozmyty ã = (a₁,a₂,a₃,a₄). Rysunek (b) przedstawia statyczny rozkład możliwości α( τ_a) ∈ [0,1] w chwili, w której token opuszcza miejsce p ∈ P , zaczynając od chwili, w której p jest zaznaczone. Ten zbiór nie zmienia się podczas wykonywania FTPN.



o Rozmyte czasy tokenów

Zbiór rozmyty Rysunek (c) przedstawia dynamiczny rozkład możliwości β(τ_b>)∈ [0,1] powiązany z tokenem znajdującym się w p ∈ P; przedstawia on również chwilę τ_b, w której taki token opuszcza miejsce, zaczynając od chwili, w której p jest zaznaczone. ? jest obliczane z ã? za każdym razem, gdy miejsce jest oznaczane podczas ewolucji znakowania FTPN. Token zaczyna być dostępny do włączania przejść wyjściowych w momencie β(b₁) . Zatem reprezentuje rozkład możliwości dostępnych tokenów. Zbiór rozmyty , znany jako rozmyty znacznik czasu, rysunek (d), przedstawia dynamiczny rozkład możliwości ç(τ_c) c ? [0,1], który reprezentuje czas trwania tokena w miejscu p ∈ P

Włączanie i uruchamianie przejść

o Niejasna data włączenia

Niejasna data włączenia e_tk(τ) przejścia t_k w chwili t jest rozkładem możliwości najpóźniejszego momentu wyjścia spośród chwil wyjścia ? wszystkich tokenów w obrębie p_i ∈ •t_k



Ostatnia operacja pobiera najpóźniejszą datę, w której dane wejściowe umieszczają p_i w t_k, mając token.

o Przybliżona data uruchomienia

Data uruchomienia przejścia o_tk(τ) kto przejścia t_k jest określana w odniesieniu do zestawu jednocześnie włączonych przejść {t_j}. Data ta, wyrażona jako rozkład prawdopodobieństwa, jest obliczana w następujący sposób:



Najwcześniejsza operacja oznacza najwcześniejszą datę, w której zostaną włączone przejścia w konflikcie strukturalnym.

o Rozmyty znacznik czasu

Dla danego miejsca p_s rozkład możliwości można obliczyć na podstawie a_sp i dat wystrzelenia o_tj (τ ) z t_j ∈ •p_s używając następującego wyrażenia:



Token nie znika w czasie •t i pojawia się w czasie •t natychmiast. Prawdopodobieństwo upływu czasu, w którym token znajduje się w miejscu p_s∈P . Rozkład prawdopodobieństwa , ? jest obliczany na podstawie dat wystąpienia zarówno •p_s, jak i p_s•.



W rzeczywistości ? reprezentuje rozmyte oznaczenie w chwili τ.

Sformułowanie macierzy

Teraz przeformułujemy wyrażenia (5), (6), (7) i (8), umożliwiając bardziej ogólną i zwartą reprezentację.







gdzie oznaczają wektory złożone odpowiednio z .

Przykład modelowania

Teraz zilustrujemy poprzednie sformułowanie macierzy prostym przykładem.

Przykład

Rozważmy system przedstawiony na rysunku(a);



składa się on z dwóch wagonów, wagon 1 i wagon 2, które poruszają się po niezależnych i zależnych drogach, wykonując zestaw czynności Op={Right_car1, Right_car2, Charge_car1, Charge_car2, Left_car1,2 Discharge_car1,2}. Działanie systemu jest zautomatyzowane zgodnie z sekwencją opisaną w FTPN na rysunku (b), w której czynności są powiązane z miejscami.



W modelu podany jest możliwy czas zakończenia ã_pi dla każdej czynności. Zakładamy, że w systemie nie ma czujników wykrywających tokeny, dlatego zachowanie jest analizowane poprzez szacowany stan. a. Warunki początkowe: Początkowo, M₀ = {p₁} , zatem data włączenia e_ti (τ) przejść t₁ jest natychmiastowa, tj. (0,0,0,0). Ponieważ|•t₁| =1 , wówczas o_t1(τ) = e_t1(τ)

b. Równania macierzowe: Dla otrzymanych zbiorów rozmytych rozwiązujemy równanie (9)-(12) w następujący sposób:



c. Odpalenie t₁: Po odpaleniu t₁ żeton jest usuwany z p₁; p₂ i p₃ otrzymują po jednym żetonie.



Zbiory możliwości pokrywają się odpowiednio z ã_p2 i ã_p3

d. Uruchomienie t₂: Czas włączenia rozmycia i czas wystąpienia rozmycia są obliczane odpowiednio ze wzorów (14) i (15).



Zbiór to rozkład prawdopodobieństwa momentu, w którym p₂ jest oznaczane. Obliczyliśmy więc (16).



Zbiór jest rozkładem możliwości chwili, w której p4 traci żeton i można go obliczyć ze wzoru (13).



e. Wystrzeliwując t₃: Ponownie, korzystając z (14), (15) i (16), otrzymujemy:



Rysunek 5(a) przedstawia ewolucję znakowania jednego cyklu i kilku kolejnych kroków. Linia przerywana reprezentuje C?, a zacieniony obszar B?. Należy zauważyć, że O? czasami pokrywa się z B?.



RÓWNANIE STANU ROZMYTEGO

Przeanalizowaliśmy równanie (1), aby uzyskać rozmyte równanie znakowania. C⁺_vk dostarcza informacji o miejscach, w których znajdują się tokeny. Musimy również wziąć pod uwagę, że w FTPN możliwość odpalenia przejścia ewoluuje w sposób ciągły. Zmienność podczas modyfikuje możliwość przebywania tokenów w miejscach wyjściowych odpalenia przejść; zatem odpowiedni człon v_k w FTPN jest raczej wariacją oznaczoną jako ?; zatem zmienność znakowania wynosi ? . Zgodnie z podobnym rozumowaniem, człon C^-v_k odpowiada w FTPN. Operacja reprezentuje możliwą zmianę oznakowania. Biorąc pod uwagę oznakowanie po upływie czasu Δτ, otrzymujemy:



Możliwość oznaczenia uzyskana w równaniu (17) może być większa niż 1; wówczas, ponieważ sieci FTPN są bezpieczne, używamy funkcji min, aby uzyskać M (τ) ≤ 1 . Nowe oznaczenie oznaczamy jako , tj.



gdzie Ī ? jest wektorem n-elementowym zawierającym 1 w każdym elemencie. Początkowo M(0) = M₀ . Jeżeli τ≠ 0, wówczas równanie (18) rozwiązuje się w trzech krokach:



Uwaga. Jeśli zachowanie jest takie jak w przypadku zwykłej sieci Petriego z pomiarem czasu.

Przykład

Dla układu pokazanego na rysunku 4 otrzymaliśmy oznaczenie w niektórych momentach. Początkowe oznaczenie to M(0) = [1 0 0 0 0 0]. Przejście t₁ jest aktywowane przy τ=0⁺ , zatem M(0⁺) = [0 1 1 0 0 0] . Dla τ ∈ ( 0⁺ ,0,8) oznaczenie się nie zmienia. Dla τ =1 otrzymujemy:



Poniżej przedstawiono ewolucję znakowania w niektórych istotnych momentach:



Należy zauważyć, że podczas τ ∈ 0,5) , pokrywa się z niejasnym znacznikiem czasu; pokazano to na rysunku 5(a).

PRZYBLIŻENIE STANU FTPN

Oszacowanie oznakowania

Definicja. Oszacowanie oznakowania w chwili t jest opisane funkcją Ψ_Yi(τ) ∈ [0,1], która rozpoznaje możliwe miejsce oznakowania p_u∈ ||Y_i|| |i∈ {1,…|Y|} pośród innych możliwych miejsc p_v∈ ||Y_i|| v ≠ u . Funkcja Ψ_Yi(τ) oblicza minimalną różnicę między większą możliwością , że token znajduje się w miejscu u, a możliwością , że token znajduje się w dowolnym innym miejscu. Następnie obliczana jest funkcja ,Ψ_Yi(τ)



Przykład.

FTPN na rysunku 4 ma dwa p-niezmienniki z nośnikami Y₁=||p₁,p₂,p₄,p₅|| i Y₂=||p₁,p₃,p₅|| Definicja. Oszacowanie stanu S w chwili τ jest opisane funkcją s(τ) ∈ [0,1], która określa możliwy stan układu spośród innych możliwych stanów; jest ona obliczana ze wzoru:



Stan dyskretny z FTPN

Aby uzyskać możliwe dyskretne oznaczenie sieci FTPN, konieczne jest przeprowadzenie "rozmycia" M(τ). Można to osiągnąć, biorąc pod uwagę możliwe dyskretne oznaczenie każdej p-składowej indukowane przez Y_i. Przed opisaniem procedury uzyskiwania , zdefiniujemy M(τ) jako:



gdzie m^pk(τ)|k=1,…n jest oszacowanym oznaczeniem miejsca p_k∈ P. Teraz dyskretne oznaczenie można uzyskać za pomocą następującej procedury.

Przykład

Zgodnie z poprzednim przykładem, oznaczenie M(τ) w czasie τ∈ (0,08] nie zmienia się, czyli





Dla τ = 0,95 nowe rozmyte oznaczenie to

M(0,95) = [0 1 1 0.50.25 0] W związku z tym



TRENDY NA PRZYSZŁOŚĆ

Poprzednie wyniki dotyczące estymacji rozmytych maszyn stanów czasowych (Fuzzy Timed State Machines) oraz te zawarte w niniejszym artykule zostaną zintegrowane w celu uwzględnienia szerszej klasy sieci PN. Kolejnym obecnie poruszanym zagadnieniem jest badanie sieci FTPN, w tym mierzalnych miejsc obsługi czujników lub wykrywalnych aktywności w systemie; pozwoli to na ustalenie granicy niepewności szacowanego stanu. Optymalne rozmieszczenie czujników jest interesującym zagadnieniem badawczym. Celem niniejszych badań było wykorzystanie metodologii szacowania stanu DES dyskretnego systemu zdarzeń do monitorowania jego zachowania i diagnozowania usterek. Sieć FTPN będzie wykorzystywana jako model referencyjny, a jej wyniki (mierzalne oznaczenia) muszą być porównywane z wynikami monitorowanego systemu; analiza reszt powinna zapewnić wczesne wykrywanie nieprawidłowości w działaniu systemu i wiarygodną lokalizację wadliwego zachowania.

WNIOSKI

W niniejszym artykule poruszono problem szacowania stanu DES, którego czas trwania aktywności jest słabo znany; zbiory rozmyte reprezentują niepewność zakończenia aktywności. W definicji FTPN wprowadzono kilka nowych pojęć i zaproponowano nową formułę macierzową do obliczania rozmytego oznaczenia grafów oznaczonych. Ekstremalna sytuacja, w której żadna aktywność systemu nie może zostać wykryta przez czujniki, została omówiona w celu zilustrowania degradacji szacowania oznaczenia podczas wykonywania cyklicznego. Aktualne badania dotyczą tematów poruszonych w powyższej sekcji.

WSTĘP

Rozpoznawanie wzorców wieloklasowych ma szeroki zakres zastosowań, w tym rozpoznawanie cyfr pisma odręcznego , znakowanie i rozpoznawanie mowy , bioinformatykę oraz kategoryzację tekstu . Niniejsza sekcja przedstawia kompleksowe i konkurencyjne badanie wieloklasowego uczenia neuronowego, łączące różne elementy, takie jak regresja multilogistyczna, sieci neuronowe i algorytmy ewolucyjne. Model regresji logistycznej (LR) jest szeroko stosowany w statystyce od wielu lat, a ostatnio stał się przedmiotem intensywnych badań w społeczności uczenia maszynowego. Chociaż regresja logistyczna jest prostą i użyteczną procedurą, stwarza problemy w zastosowaniu do rzeczywistych problemów klasyfikacji, gdzie często nie możemy przyjąć ścisłego założenia o addytywnych i czysto liniowych efektach zmiennych współzależnych. Techniką przezwyciężenia tych trudności jest rozszerzenie/zastąpienie wektora wejściowego nowymi zmiennymi, funkcjami bazowymi, które są transformacjami zmiennych wejściowych, a następnie zastosowanie modeli liniowych w tej nowej przestrzeni wyprowadzonych cech wejściowych. Metody takie jak sigmoidalne sieci neuronowe z sprzężeniem zwrotnym , uogólnione modele addytywne oraz PolyMARS , będące hybrydą wielowymiarowych adaptacyjnych regresji splajnowych (MARS) , zaprojektowanych specjalnie do obsługi problemów klasyfikacji, można postrzegać jako różne nieliniowe modele funkcji bazowych. Główną wadą tych podejść jest określenie typologii i optymalnej liczby odpowiadających im funkcji bazowych. Modele regresji logistycznej są zazwyczaj dopasowywane metodą największej wiarygodności, gdzie algorytm Newtona-Raphsona jest tradycyjnym sposobem szacowania parametrów największej wiarygodności a posteriori. Zazwyczaj algorytm jest zbieżny, ponieważ logarytm wiarygodności jest wklęsły. Należy zauważyć, że obliczenia algorytmu Newtona-Raphsona stają się uciążliwe, gdy liczba zmiennych jest duża. Sieci neuronowe o jednostkowym produkcie (PUNN), wprowadzone przez Durbina i Rumelharta (Durbin i Rumelhart, 1989), stanowią alternatywę dla standardowych sigmoidalnych sieci neuronowych i opierają się na węzłach multiplikatywnych, a nie addytywnych.

TŁO

W problemie klasyfikacji pomiary x_i, i = 1,2,…,k są wykonywane na pojedynczym osobniku (lub obiekcie), a osobniki mają zostać zaklasyfikowane do jednej z J klas na podstawie tych pomiarów. Zakłada się, że J jest skończone, a pomiary xi są losowymi obserwacjami z tych klas. Dostępna jest próbka treningowa D = {(x_n, y_n); n = 1, 2,…,N}, gdzie x_n = (x_1n,…,x_kn) to wektor pomiarów przyjmujący wartości w Ω ⊂ ℝ^k ?, a y_n to poziom klasy n-tego osobnika. Zastosujemy powszechną technikę reprezentowania poziomów klas za pomocą wektora kodowania "1 z J" y = (y⁽¹⁾, y⁽²⁾,…,y^(J)), takiego jak y^(l) = 1, jeśli x odpowiada przykładowi należącemu do klasy l, a y^(l) = 0 w przeciwnym razie. Na podstawie próbki treningowej chcemy znaleźć funkcję decyzyjną C: Ω -> {1,2,…,J} do klasyfikacji osobników. Innymi słowy, C zapewnia podział, powiedzmy D₁,D₂,…,D_J,Ω, gdzie D_l odpowiada l-tej klasie, l = 1,2,…,J, a pomiary należące do D_l zostaną sklasyfikowane jako pochodzące z l-tej klasy. Błędna klasyfikacja występuje, gdy reguła decyzyjna C przypisuje osobnika (na podstawie wektora pomiarów) do klasy j, podczas gdy w rzeczywistości pochodzi on z klasy l ≠ j. Aby ocenić skuteczność klasyfikatorów, możemy zdefiniować Współczynnik Poprawnej Klasyfikacji (Prawidłowo Sklasyfikowany) poprzez:



gdzie I(⋅) jest zero-jedynkową funkcją straty. Dobry klasyfikator dąży do osiągnięcia najwyższego możliwego CCR w danym problemie. Załóżmy, że prawdopodobieństwo warunkowe przynależności x do klasy l spełnia:



i ustaw funkcję:



gdzie θ_l jest wektorem wagowym odpowiadającym klasie l, a f_J(x, θ_J) ≡ 0. W regresji logistycznej wielomianowej prawdopodobieństwo, że x należy do klasy l, jest podane wzorem



gdzie θ = (θ₁, θ₂,…, θ_J-1). Reguła klasyfikacji pokrywa się z optymalną regułą Bayesa. Innymi słowy, osobnik powinien zostać przypisany do klasy, która ma największe prawdopodobieństwo, biorąc pod uwagę pomiar wektora x:



gdzie



Z drugiej strony, ze względu na warunek normalizacji mamy:

,

a prawdopodobieństwo dla jednej z klas (w proponowanym przypadku ostatniej) nie musi być szacowane (zauważmy, że rozważyliśmy f_J(x, θ_J) ≡ 0).

REGRESJA MULTILOLOGISTYCZNA I SIECI NEURONOWE Z JEDNOSTKAMI PRODUKTU

Regresja multilogistyczna wykorzystująca modele liniowe i jednostki produktu (MLRPU) przezwycięża nieliniowe efekty zmiennych współzależnych, proponując model regresji multilogistycznej oparty na połączeniu modeli liniowych i jednostek produktu, gdzie nieliniowe funkcje bazowe modelu są dane przez iloczyn wejść podniesionych do dowolnych potęg. Te funkcje bazowe wyrażają możliwe silne interakcje między zmiennymi współzależnymi, gdzie wykładniki nie są ustalone i mogą nawet przyjmować wartości rzeczywiste. W dopasowaniu proponowanego modelu, nieliniowość PUNN implikuje, że odpowiadająca jej macierz hesjańska jest generalnie nieokreślona, a prawdopodobieństwo ma bardziej lokalne maksimum. Powód ten uzasadnia zastosowanie alternatywnej procedury heurystycznej do estymacji parametrów modelu.

Proponowany model nieliniowy

Ogólne wyrażenie proponowanego modelu jest podane wzorem:



gdzie



Jak stwierdzono wcześniej, nieliniowa część f_l(x,θ_l) odpowiada sieciom neuronowym jednostek produktowych (PUNN), wprowadzonym przez Durbina i Rumelharta , a następnie rozwiniętym przez innych autorów . Zalety sieci neuronowych opartych na jednostkach iloczynowych obejmują zwiększoną pojemność informacyjną i zdolność do tworzenia kombinacji danych wejściowych wyższego rzędu. Są one uniwersalnymi aproksymatorami i umożliwiają uzyskanie górnych granic wymiaru VC sieci neuronowych opartych na jednostkach iloczynowych, które są podobne do tych uzyskanych dla sieci neuronowych sigmoidalnych . Pomimo tych oczywistych zalet, sieci neuronowe oparte na jednostkach iloczynowych mają istotną wadę. Ich uczenie jest trudniejsze niż uczenie standardowych sieci sigmoidalnych . Główną przyczyną tej trudności jest to, że niewielkie zmiany wykładników mogą powodować duże zmiany całkowitej powierzchni błędu. W związku z tym sieci oparte na jednostkach iloczynowych mają więcej lokalnych minimów i większe prawdopodobieństwo utknięcia w nich. Powszechnie wiadomo , że propagacja wsteczna nie jest efektywna w uczeniu jednostek iloczynowych. Podjęto szereg wysiłków w celu opracowania metod uczenia się dla jednostek produktu, głównie w kontekście regresji.

Estymacja współczynników modelu

W kontekście uczenia nadzorowanego, składowe wektorów wag θ = (θ₁, θ₂,…, θ_J-1 są szacowane na podstawie zbioru danych treningowych D. Aby wykonać estymację metodą największej wiarygodności (ML) θ, można zminimalizować ujemną funkcję logarytmu wiarygodności.



Powierzchnia błędu związana z proponowanym modelem jest bardzo zawiła i zawiera liczne lokalne optimum. Nieliniowość modelu względem parametrów θ_l i nieokreślony charakter powiązanej macierzy hesjańskiej nie zalecają stosowania metod gradientowych w celu maksymalizacji logarytmicznej funkcji wiarygodności. Ponadto optymalna liczba funkcji bazowych modelu (tj. liczba ukrytych węzłów w sieci neuronowej jednostek iloczynowych) jest nieznana. W związku z tym estymacja parametru wektora jest przeprowadzana za pomocą procedury hybrydowej opisanej poniżej. W tym akapicie szczegółowo opisujemy różne aspekty metodologii MLRPU. Proces ten składa się z czterech kroków:

Krok 1. Stosujemy algorytm ewolucyjnej sieci neuronowej w celu znalezienia funkcji bazowych



odpowiadający nieliniowej części funkcji f(x,θ). Musimy określić liczbę funkcji bazowych m oraz wektor wag W = (w₁, w₂,…, w_m). Aby zastosować techniki ewolucyjnych sieci neuronowych, rozważamy PUNN o następującej strukturze :



warstwa wejściowa z węzłem dla każdej zmiennej wejściowej, warstwa ukryta z kilkoma węzłami oraz warstwa wyjściowa z jednym węzłem dla każdej kategorii. Funkcja aktywacji j-tego węzła w warstwie ukrytej jest dana wzorem



gdzie w_ji jest wagą połączenia między węzłem wejściowym i a węzłem ukrytym j, a w_j = w_j1,…, w_jk). Funkcja aktywacji węzła wyjściowego l jest dana wzorem



gdzie β_j>sup>l jest wagą połączenia między węzłem ukrytym j a węzłem wyjściowym l. Funkcja przejścia wszystkich węzłów wyjściowych jest funkcją tożsamościową. Wektor wag W = (w₁, w₂,…, w_m) jest szacowany za pomocą algorytmu programowania ewolucyjnego, który optymalizuje funkcję błędu określoną przez ujemny logarytm wiarygodności dla N obserwacji powiązanych z modelem jednostki iloczynowej:



Chociaż na tym etapie proces ewolucyjny uzyskuje konkretną wartość wektora β, rozważamy jedynie szacowany wektor wagowy który buduje funkcje bazowe. Wartość wektora β zostanie określona w kroku 3 wraz z wektorem współczynników α.

Krok 2. Rozważamy następującą transformację przestrzeni wejściowej, dodając nieliniowe funkcje bazowe uzyskane przez algorytm ewolucyjny w kroku 1:



Krok 3. Minimalizujemy ujemną funkcję logarytmu wiarygodności dla N obserwacji:



gdzie x_n = (1, x_1n,…, x_kn). Teraz macierz hesjańska ujemnego logarytmu wiarygodności w nowych zmiennych x₁, x₂,…, x_k, z₁,…, z_m jest półokreślona dodatnia. Wtedy moglibyśmy zastosować metodę Newtona, znaną również w tym przypadku jako iteracyjne ważenie najmniejszych kwadratów (IRLS). Chociaż istnieją inne metody przeprowadzania tej optymalizacji, żadna z nich nie przewyższa wyraźnie IRLS . Oszacowany współczynnik wektorowy określa model:



Krok 4. Aby wybrać ostateczny model, stosujemy procedurę krok po kroku, zaczynając od pełnego modelu ze wszystkimi współzmiennymi, współzmiennymi początkowymi i PU, a następnie sukcesywnie przycinamy zmienne do modelu, aż dalsze przycinanie nie poprawi dopasowania.

Zastosowanie w teledetekcji

Przetestowaliśmy proponowaną metodologię w rzeczywistym problemie agronomicznym rolnictwa precyzyjnego, polegającym na mapowaniu kęp chwastów na polach uprawnych za pomocą danych teledetekcyjnych. Systemy teledetekcyjne mogą dostarczyć dużą ilość ciągłych informacji terenowych przy rozsądnych kosztach. Obrazowanie teledetekcyjne wykazuje duży potencjał w modelowaniu różnych parametrów agronomicznych do zastosowania w rolnictwie precyzyjnym. Jednym z aspektów ograniczenia wpływu rolnictwa na jakość środowiska jest opracowanie bardziej efektywnych metod określania produkcji roślinnej i zarządzania chwastami w zależności od lokalizacji. Potencjalne korzyści ekonomiczne i środowiskowe wynikające z miejscowego stosowania herbicydów obejmują zmniejszenie objętości oprysku, kosztów herbicydów i oprysków niecelowych oraz zwiększoną kontrolę chwastów . Stajemy przed problemem mapowania plam chwastów poprzez analizę zdjęć lotniczych. Zdjęcia i zestawy danych zostały dostarczone przez Jednostkę Rolnictwa Precyzyjnego i Teledetekcji Departamentu Ochrony Upraw, Instytutu Rolnictwa Zrównoważonego (CSIC, Hiszpania), której członkowie przedstawili wcześniejsze wyniki w przewidywaniu plam Ridolfia segetum Moris . Analizowane dane odpowiadają badaniu przeprowadzonemu w 2003 roku na 42-hektarowym gospodarstwie Matabueyes, naturalnie porażonym przez R. segetum. W badaniu terenowym określono charakter 2400 pikseli, uznając je za piksele prawdy terenowej: 800 pikseli sklasyfikowano jako R. segetum, a 800 pikseli jako piksele wolne od R. segetum. Zmienne wejściowe obejmują wartości cyfrowe wszystkich pasm w każdym dostępnym obrazie, tj.: czerwonego (R), zielonego (G) i niebieskiego (B) dla obrazu z czerwca oraz R, G, B i bliskiej podczerwieni (NIR) dla obrazów z maja i lipca. Projekt eksperymentalny przeprowadzono z wykorzystaniem procedury walidacji krzyżowej z warstwowym holdoutem, gdzie rozmiar zbioru treningowego wynosił około 0,7 n (1120 pikseli) dla zbioru treningowego i 0,3 n (480 pikseli) dla zbioru generalizacji, gdzie n oznacza rozmiar całego zbioru danych. We wszystkich eksperymentach zastosowano walidację energetyczną z tymi samymi parametrami. Oprogramowanie SPSS 13.0 (SPSS, 2005) zostało wykorzystane do zastosowania algorytmu IRLS i wybrania bardziej istotnych zmiennych w modelu końcowym, poprzez procedurę krokową wstecz. Modele porównane w różnych eksperymentach są następujące: najpierw wyodrębniamy najlepszy model PUNN algorytmu EA (EPUNN); po drugie, otrzymujemy standardowy model regresji logistycznej z wykorzystaniem zmiennych współzależnych (LR); na koniec stosujemy regresję logistyczną tylko do funkcji bazowej wyodrębnionej z modelu EPUNN (MLRPU) oraz do tych samych funkcji bazowych wraz ze zmiennymi współzależnymi (MLRLPU).

Wyniki

Wydajność każdego modelu została oceniona za pomocą współczynnika poprawnej klasyfikacji w zbiorze generalizacji (CCRG). W Tabeli przedstawiamy macierzowe wyniki klasyfikacji dla zbiorów szkoleniowych i generalizacji dla trzech problemów klasyfikacyjnych i czterech zaproponowanych modeli (jeden problem dla każdej daty: maj, czerwiec i lipiec, oraz cztery modele: EPUNN, LR, MLRPU i MLRLPU).



Najlepsze wyniki CCRG uzyskano z MLRPU i MLRLPU w maju i czerwcu, chociaż w lipcu model EPUNN daje najlepsze rezultaty. We wszystkich datach różnice między standardowym LR a hybrydowym LR (MLRPU i MLRLPU) są bardzo znaczące. Tabela 2 zawiera modele uzyskane w dacie, która prowadzi do lepszych wyników klasyfikacji, tj. w czerwcu.



Korzystając z tych modeli, możemy uzyskać prawdopodobieństwo obecności R. segetum na wszystkich pikselach obrazu, w tym pikselach niebędących pikselami prawdy terenowej. Rysunki 1, 2, 3 i 4 przedstawiają mapy chwastów uzyskane przy użyciu czterech proponowanych modeli odpowiednio w czerwcu, EPUNN, LR, MLRPU i MLRLPU.



Prawdopodobieństwo obecności chwastów zostało przedstawione za pomocą skali od białej (minimalne prawdopodobieństwo, bliskie 0) do ciemnozielonej (maksymalne prawdopodobieństwo, bliskie 1). Na podstawie tych map ekspert agronomiczny może zdecydować, jaką wartość progową prawdopodobieństwa należy rozważyć przy stosowaniu herbicydu. Modele MLRLPU i MLRPU wyraźnie lepiej rozróżniają strefy o dużym zagęszczeniu chwastów i strefy wolne od chwastów, co czyni je bardziej interesującymi z punktu widzenia inteligentnego stosowania herbicydów w konkretnym miejscu.

TRENDY NA PRZYSZŁOŚĆ

Koncepcje przedstawione tu dają możliwość opracowania nowych modeli wieloklasowej uogólnionej regresji liniowej, poprzez rozważenie różnych typów funkcji bazowych (jednostek sigmoidalnych, radialnych funkcji bazowych i jednostek iloczynowych) dla nieliniowej części proponowanego modelu. Ponadto, przyszłe badania mogłyby obejmować porządkowe modele regresji logistycznej z różnymi funkcjami bazowymi lub modele probitowe z różnymi funkcjami bazowymi.

WNIOSKI

Zgodnie z naszą najlepszą wiedzą, podejście przedstawione w niniejszym artykule jest badaniem wieloklasowego uczenia się neuronowego, łączącym trzy narzędzia wykorzystywane w badaniach nad uczeniem maszynowym: regresję logistyczną, model sieci neuronowej iloczynowej jednostek i paradygmat ewolucyjnej sieci neuronowej. Regresja logistyczna to dobrze przetestowane podejście statystyczne, które dobrze sprawdza się w klasyfikacji dwuklasowej i może być naturalnie uogólnione na przypadek wieloklasowy. Z drugiej strony, modele sieci neuronowych typu produkt-jednostka stanowią alternatywę dla standardowych sigmoidalnych sieci neuronowych, umożliwiając wychwycenie nieliniowej interakcji między zmiennymi wejściowymi. Wreszcie, ewolucyjne sztuczne sieci neuronowe stanowią interesującą platformę do jednoczesnej optymalizacji wydajności i architektury sieci. Odpowiednie połączenie tych trzech elementów, realizowane w kilku krokach w naszej propozycji, zapewnia konkurencyjną metodologię rozwiązywania problemów klasyfikacyjnych.

WSTĘP

Rozproszone wnioskowanie z ograniczeniami zajmuje się modelowaniem i rozwiązywaniem problemów o naturalnym rozkładzie. Ma ono zastosowanie w koordynacji i negocjacjach między agentami półkooperacyjnymi, czyli agentami, którzy chcą osiągnąć wspólny cel, ale nie chcą rezygnować z prywatnych informacji w zamian za tajne ograniczenia. W porównaniu ze scentralizowanym spełnianiem ograniczeń (CSP) i optymalizacją ograniczeń (COP), jedną z najdroższych operacji jest komunikacja. Inne różnice wynikają z nowych potrzeb w zakresie spójności i prywatności. Omawiamy podejścia oparte na asynchronicznym backtrackingu i przeszukiwaniu w głąb drzew rozpinających. Rozproszone wnioskowanie z ograniczeniami powstało jako wynik badań nad ograniczeniami i systemami wieloagentowymi. Rozważmy problem sieci czujników przedstawiony na rysunku 1, zdefiniowany przez zbiór geograficznie rozproszonych czujników, które muszą śledzić zbiór węzłów mobilnych.



Każdy czujnik może obserwować tylko podzbiór swojego sąsiedztwa w danym momencie. Trzy czujniki muszą jednocześnie skupić się na tym samym węźle mobilnym, aby go zlokalizować. Podejścia modelujące i rozwiązujące ten problem z wykorzystaniem rozproszonego wnioskowania z ograniczeniami opisano w (Bejar, Domshlak, Fernandez, Gomes, Krishnamachari, Selman i Valls, 2005). Istnieją dwie duże klasy rozproszonych problemów z ograniczeniami. Pierwsza klasa jest opisana przez zbiór relacji boolowskich (zwanych również ograniczeniami) dotyczących możliwych przypisań zmiennych, gdzie relacje te są rozłożone między agentami. Nazywa się je problemami rozproszonego spełniania ograniczeń (DisCSP). Wyzwaniem jest znalezienie takich przypisań zmiennych do wartości, aby wszystkie te relacje były spełnione. Proces wnioskowania musi być jednak realizowany przez współpracę między agentami. Istnieje kilka rozwiązań problemu, a remisy muszą zostać rozwiązane przez pewien schemat priorytetów. Takie priorytety mogą wynikać z opisu problemu, gdzie niektórzy agenci, na przykład agencje rządowe, są ważniejsi od innych. W innych problemach ważne jest zapewnienie, że różne rozwiązania lub uczestnicy mają równe szanse, a ta właściwość nazywa się jednorodnością. Gdy nie istnieje rozwiązanie, nadal można chcieć znaleźć przypisanie zmiennych, które koliduje z jak najmniejszą liczbą ograniczeń. Druga klasa problemów odnosi się do optymalizacji numerycznej opisanej przez zbiór funkcji (ograniczeń ważonych) zdefiniowanych na podstawie przypisań zmiennych i zwracających dodatnie wartości liczbowe. Celem jest znalezienie przypisań minimalizujących funkcję celu zdefiniowaną przez sumę tych funkcji. Problemy uzyskane w ten sposób nazywane są problemami optymalizacji z rozproszonymi ograniczeniami (DisCOP). Niektóre problemy wymagają sprawiedliwego rozkładu niezadowolenia wśród agentów, minimalizując niezadowolenie agenta najbardziej niezadowolonego. Istnieją również dwa różne sposoby rozkładu problemu. Pierwszy sposób polega na rozłożeniu danych z nim powiązanych. Jest on definiowany w kategoriach tego, którzy agenci znają które ograniczenia. Można wykazać, że każdy taki problem można przełożyć na problemy, w których wszystkie niewspółdzielone ograniczenia są unarne (ograniczenia obejmujące tylko jedną zmienną), zwane również ograniczeniami dziedzinowymi. Tutaj można założyć, że istnieje pojedyncze ograniczenie unarne dla każdej zmiennej. Wynika to z faktu, że każde drugie ograniczenie unarne można przeformułować dla nowej zmiennej, która musi być równa zmiennej oryginalnej. Agent posiadający unikalne ograniczenie domeny zmiennej nazywany jest właścicielem tej zmiennej. Ze względu na dostępność tej transformacji wiele rozwiązań koncentruje się na przypadku, gdy tylko ograniczenia unarne nie są współdzielone przez wszystkich (mówi się również, że są prywatne dla agentów, którzy je znają). Inne powszechne uproszczenie polega na założeniu, że każdy agent ma pojedyncze ograniczenie unarne (tj. pojedynczą zmienną). To uproszczenie nie zmniejsza ogólności adresowalnych problemów, ponieważ agent może uczestniczyć w obliczeniach pod wieloma nazwami, np. jedną instancją dla każdego ograniczenia unarnego oryginalnego agenta. Takie fałszywe tożsamości agenta nazywane są pseudo-agentami lub agentami abstrakcyjnymi . Drugim sposobem rozkładu problemu jest określenie, kto może proponować instancje zmiennej. W takim podejściu każdej zmiennej może zostać przypisana wartość wyłącznie przez podzbiór agentów, podczas gdy pozostali agenci mogą jedynie odrzucić proponowane przypisanie. Ten rozkład jest podobny do ograniczeń obserwowanych w niektórych społeczeństwach, gdzie tylko parlament może zaproponować referendum, a reszta obywateli może je jedynie zatwierdzić lub odrzucić. Podejścia często zakładają jednoczesne występowanie obu sposobów rozkładu problemu. Zwykle zakładają, że jedynym agentem, który może zgłosić propozycję dotyczącą zmiennej, jest agent posiadający jedyne ograniczenie jednostkowe dla tej zmiennej, a mianowicie jej właściciel .Gdy kilku agentom wolno proponować przypisania zmiennej, ci upoważnieni agenci nazywani są modyfikatorami tej zmiennej. Przykładem jest sytuacja, w której każdy posiadacz ograniczenia na zmienną jest uprawnionym modyfikatorem tej zmiennej

TŁO

Pierwszym wyzwaniem, z którym się zmierzono, było opracowanie asynchronicznych algorytmów rozwiązywania problemów rozproszonych. Synchronizacja wymusza na procesach rozproszonych działanie z prędkością najwolniejszego łącza. Algorytmy, które nie wykorzystują synchronizacji, a mianowicie takie, w których uczestnicy nie są świadomi aktualnego stanu innych uczestników, są elastyczne, ale trudniejsze do zaprojektowania. Z wyjątkiem kilku technik wykrywania rozwiązań , większość podejść uzyskuje odpowiedź na problem poprzez odczyt stanu agentów po tym, jak system staje się bezczynny i osiąga tzw. stan spoczynku . Algorytmy, które ostatecznie osiągają stan spoczynku, nazywane są również algorytmami samostabilizującymi . Algorytm kompletny to algorytm, który gwarantuje, że nie pominie żadnego istniejącego rozwiązania. Prawidłowy algorytm to technika, która nigdy nie kończy się w stanie suboptymalnym. Kolejnym wyzwaniem, z jakim borykają się badania nad rozproszonym rozumowaniem z ograniczeniami, jest zapewnienie prywatności dla podproblemów znanych agentom . Przedmiot prywatności może być różnego rodzaju. Istnienie ograniczenia między dwiema zmiennymi może być tajne, podobnie jak istnienie samej zmiennej. Wiele podejść stara się jedynie zapewnić tajność ograniczeń, tj. ukryć tożsamość wartości karanych przez to ograniczenie. W przypadku problemów optymalizacyjnych zakłada się również konieczność utrzymania w tajemnicy wysokości kary nałożonej przez ograniczenie. Jak wspomniano wcześniej, możliwe jest modelowanie takich problemów w taki sposób, aby wszystkie tajne ograniczenia były unarne (podejście znane jako podejście z domenami prywatnymi). Niektóre problemy mogą mieć zarówno tajne, jak i publiczne ograniczenia. Takie publiczne ograniczenia mogą być wykorzystywane do efektywnego przetwarzania wstępnego przed kosztownymi negocjacjami wynikającymi z tajnych ograniczeń. Rozwiązywacze, które gwarantują prywatność za wszelką cenę, wykorzystują kryptograficzne obliczenia wielostronne . Istnieje kilka technologii kryptograficznych dla takich obliczeń, a niektóre z nich mogą być stosowane zamiennie przez rozproszone rozwiązywacze problemów. Jednak niektóre z nich oferują teoretyczne gwarancje bezpieczeństwa informacji, będąc odpornymi na dowolną ilość obliczeń, podczas gdy inne oferują jedynie bezpieczeństwo kryptograficzne i mogą zostać złamane za pomocą dużej liczby obliczeń lub komputerów kwantowych. Wynik obliczenia może sam w sobie ujawnić tajemnice, a szkody, jakie ono powoduje, można ograniczyć, starannie formułując zapytanie do rozwiązującego. Na przykład, mniej informacji traci się, żądając losowego wyboru rozwiązania niż żądając pierwszego rozwiązania. Obliczenia mogą być wykonywane kryptograficznie przez grupę częściowo zaufanych serwerów lub mogą być wykonywane przez samych uczestników. Trzeci problem w rozwiązywaniu problemów rozproszonych wynika z rozmiaru i dynamiki systemu.

ROZPROSZONE ROZUMOWANIE Z OGRANICZENIAMI

Ramowy model

Powszechna definicja problemu optymalizacji z ograniczeniami rozproszonymi (DisCOP) składa się ze zbioru zmiennych X={x₁, …, x_n} i zbioru agentów A={A₁, …, A_n}, przy czym każdy agent A_i posiada zbiór ograniczeń. Każdej zmiennej x_i można przypisać tylko te wartości, które są dozwolone przez ograniczenie dziedziny D_i. Ograniczenie Φ_j na zbiorze zmiennych X_j jest funkcją przypisującą dodatnią wartość liczbową każdej kombinacji przypisań do zmiennych Xj. Typowym wyzwaniem jest znalezienie takiego przypisania do zmiennych w X, aby suma wartości zwracanych przez ograniczenia agentów była minimalizowana. Krotka przypisań jest również nazywana rozwiązaniem częściowym. Ograniczenie często używane z DisCOP wymaga, aby każdy agent A_i posiadał tylko ograniczenia między x_i a podzbiorem poprzednich zmiennych, {x₁,…,x_i-1}. Ponadto, dla dowolnego agenta A_i, agenci {A₁, …, A_i-1} są poprzednikami A_i, a agenci {A_i+1, …, A_n} są jego następcami. Aby zrozumieć ogólność i ograniczenia tego ograniczenia, rozważmy problem organizacji konferencji z 3 zmiennymi x₁ (czas), x₂ (miejsce) i x₃ (ogólne przewodnictwo) i 3 ograniczeniami Φ₁₂ (między x₁ i x₂), Φ₂₃ (między x₂ i x₃) i Φ₁₃ (między x₁ i x₃), gdzie Alicja ma Φ₁₂, Bob wymusza Φ₂₃, a Karolina jest zainteresowana Φ₁₃, Rysunek 3.



Ten problem można modelować jako DisCOP z 4 agentami. Alicja używa dwóch agentów, A₁ i A₂. Pierwotny uczestnik nazywany jest agentem fizycznym, a agenci modelu pseudoagentami. Bob używa agenta A3, a Karolina agenta A₄. Nowa zmienna x₄ agenta A₄ jest objęta ograniczeniem potrójnym Φ₁₃₄ z x₁ i x₃. Ograniczenie Φ₁₃₄ jest skonstruowane tak, że jego projekcja na x₁ i x₂ wynosi Φ₁₃.

Jednakże ograniczone ramy nie mogą pomóc algorytmom ogólnego przeznaczenia w poznaniu i wykorzystaniu faktu, że agenci A₁ i A₂ znają swoje ograniczenia. Wymagają one również znalezienia optymalnej wartości zmiennej x₄, która jest nieistotna dla zapytania. Aby uniknąć powyższych ograniczeń, niektóre podejścia usuwają ograniczenie dotyczące zmiennych, które mogą być objęte ograniczeniami agenta, i mogą uzyskać pewną poprawę szybkości. Inne frameworki, zazwyczaj używane z solverami typu "hill-climbing", z solverami, które zmieniają kolejność agentów i ze spójnością łukową, zakładają, że każdy agent A_i zna wszystkie ograniczenia dotyczące zmiennej x_i. Oznacza to, że każde ograniczenie między dwiema zmiennymi x_i i x_j jest znane zarówno agentom A_i, jak i A_j. Ogólnie rzecz biorąc, problem modelowany jako DisCOP, w którym dowolne ograniczenie prywatne może być spełnione przez dowolnego agenta, można przekształcić na jego reprezentację dualną w celu uzyskania modelu z tym frameworkiem. Gdy kary za naruszenie ograniczenia mogą przyjmować tylko wartości z zakresu {0,∞}, odpowiadające {prawda, fałsz}, otrzymujemy rozproszone problemy spełniania ograniczeń. Protokół to zestaw reguł dotyczących tego, jakie komunikaty mogą być wymieniane przez agentów, kiedy mogą być wysyłane i co może zawierać ich ładunek. Algorytm rozproszony jest implementacją protokołu, ponieważ określa dokładną sekwencję operacji, które mają być wykonane w odpowiedzi na każde zdarzenie, takie jak rozpoczęcie obliczeń lub odebranie komunikatu. Od autonomicznych agentów, działających w swoim własnym interesie, bardziej realistycznie oczekuje się implementacji protokołów niż ścisłego przestrzegania algorytmów. Poprawność protokołów można teoretycznie udowodnić. Jednak walidacja eksperymentalna i ocena wydajności protokołu odbywa się przy założeniu, że agenci ściśle przestrzegają pewnego algorytmu implementującego ten protokół.

Metryki wydajności

Najprostsza metryka do oceny solverów DisCOP wykorzystuje czas od początku do końca rozproszonego obliczenia. Jest to możliwe tylko w rzeczywistym systemie rozproszonym (lub bardzo realistycznej symulacji). Obciążenie sieci w testach porównawczych jest oceniane poprzez zliczenie całkowitej liczby wymienionych komunikatów lub całkowitej liczby wymienionych bajtów. Całkowity czas potrzebny symulatorowi daje wydajność solvera DisCOP używanego jako ważony solver CSP. Inną powszechną metryką są najwyższe zegary logiczne występujące podczas obliczeń. Zegary logiczne Lamporta przypisują koszt każdej wiadomości i inny koszt każdemu obliczeniu lokalnemu. Gdy koszt przypisany do każdej wiadomości wynosi 1, a koszt obliczeń lokalnych wynosi 0, uzyskana wartość daje najdłuższy sekwencyjny łańcuch wiadomości uporządkowanych przyczynowo. Gdy wszystkie opóźnienia wiadomości są identyczne, metryka ta jest równoważna liczbie rund symulatora, w których w każdej rundzie agent obsługuje wszystkie wiadomości otrzymane w poprzedniej rundzie . Jeśli koszt przypisany do każdej wiadomości wynosi 0, a koszt sprawdzenia ograniczeń wynosi 1, uzyskana wartość określa liczbę niewspółbieżnych sprawdzeń ograniczeń (NCCC) . Gdy założymy, że sprawdzenie ograniczeń kosztuje ułamek wiadomości, wówczas uzyskana wartość określa równoważne NCCC (ENCCC). Można oszacować rzeczywisty ułamek między opóźnieniami wiadomości a sprawdzeniami ograniczeń w punkcie operacyjnym (OP) aplikacji docelowej . Jednak wiele rozproszonych solverów nie sprawdza ograniczeń bezpośrednio, ale za pomocą nogoods i nie ma znormalizowanego sposobu rozliczania obsługi tych ostatnich. Techniki Algorytmy rozwiązywania rozciągają się od pełnej centralizacji, gdzie wszystkie ograniczenia są przesyłane do centralnego serwera, który zwraca rozwiązanie, poprzez przyrostową centralizację , do bardzo zdecentralizowanych podejść . Drzewa rozpinające grafu ograniczeń metodą przeszukiwania w głąb (DFS) okazują się przydatne dla rozproszonych solverów DisCOP. Gdy są używane jako podstawa do porządkowania agentów, przypisanie dowolnego węzła drzewa sprawia, że jego poddrzewa stają się niezależne . Taka niezależność zwiększa paralelizm i zmniejsza złożoność problemu. Strukturę tę można wykorzystać na trzy sposoby. Poddrzewa można eksplorować równolegle w celu oportunistycznej oceny najlepszej gałęzi, przypominając iteracyjne A* . Alternatywnie, podejście gałęzi i ograniczeń może systematycznie oceniać różne wartości korzenia dla każdego poddrzewa . Trzecie podejście wykorzystuje programowanie dynamiczne do oceny drzew DFS od liści do korzenia . Asynchroniczne użycie technik lookahead opartych na zachowaniu spójności łuku i spójności ograniczeń wymaga obsługi interaktywnych struktur danych, odpowiadających różnym współbieżnym obliczeniom. Współbieżne procesy osiągania spójności na różnych głębokościach drzewa poszukiwań muszą być skoordynowane, dając priorytet obliczeniom na niskich głębokościach drzewa. Koncepcja leżąca u podstaw wielu algorytmów asynchronicznych to "niedobrze", a mianowicie samodzielne stwierdzenie o ograniczeniu wartości zmiennych wywnioskowanych z problemu. Uogólniony nogood o wartościach ma postać [R,c,T], gdzie T określa zbiór częściowych rozwiązań {N₁,….,N_k}, dla których zbiór ograniczeń R określa karę co najmniej c. Powszechne uproszczenie, zwane nogood o wartościach , odnosi się do pojedynczego częściowego rozwiązania, [R,c,N]. Priorytetowo indukowane znaczniki czasu zegara wektorowego zwane sygnaturami mogą być używane do arbitrażu między sprzecznymi przypisaniami proponowanymi jednocześnie przez kilka modyfikatorów . Mogą one również obsługiwać inne typy sprzecznych propozycji, takie jak nowe uporządkowanie. ADOPT-ing jest ilustratywnym algorytmem unifikującym podstawowe solvery DisCSP i DisCOP ABT i ADOPT . Działa to tak, że każdy agent jednocześnie wybiera dla swojej zmiennej najlepszą wartość, biorąc pod uwagę znane przypisania poprzedników i szacunki kosztów otrzymane od następców. Każdy agent ogłasza swoje przypisania zainteresowanym następcom za pomocą komunikatów "ok?". Agenci są zainteresowani zmiennymi objętymi ich ograniczeniami lub zmiennymi "nogood". Po otrzymaniu zmiennego "nogood", agenci ogłaszają nowe zainteresowania za pomocą komunikatów "add-link". Las drzew DFS jest budowany dynamicznie. Początkowo każdy agent jest drzewem, niemającym przodków. Gdy ograniczenie jest używane po raz pierwszy, agent dodaje swoje zmienne do listy przodków i definiuje swojego rodzica w drzewie DFS jako najbliższego przodka. Przodkowie są ogłaszani o swoich własnych nowych przodkach. Wartości "nogoods" wywnioskowane przez agenta za pomocą rozwiązania na podstawie jego wartości "nogoods" i ograniczeń są wysyłane do docelowych poprzedników i do jego rodzica w drzewie DFS za pomocą komunikatów "nogoods", aby zagwarantować optymalność. Znane koszty poddrzew DFS dla niektórych wartości mogą być ogłaszane tym poddrzewom za pomocą progowych wartości "nogoods" dołączonych do komunikatów "ok?".

Przykład

Algorytm asynchroniczny mógłby rozwiązać problem przedstawiony na Rysunku 2, wykorzystując ślad z Rysunku



W komunikatach przedstawionych na Rysunku ograniczenia są reprezentowane jako wartości boolowskie w tablicy. Wartość i-ta w tej tablicy ustawiona na T oznacza, że ograniczenia A_i są wykorzystywane do wnioskowaniao tym niedobrze. Agenci rozpoczynają wybieranie wartości dla swoich zmiennych i ogłaszają je zainteresowanym agentom o niższym priorytecie. Pierwsze wymieniane komunikaty to komunikaty "ok?" wysłane przez A₁ do obu następców A₂ i A₃, proponujące przypisanie x₁=1. A₂ wysyła komunikat "ok?" do A₃, proponując x₂=2. A₃ wykrywa konflikt z x₁, umieszcza A₁ na liście przodków w swoim drzewie DFS i wysyła do A₁ niedobor o koszcie 2 (komunikat 3). A₁ odpowiada na otrzymany niedobor, przełączając swoje przypisanie na wartość o niższej, bieżącej wartości szacunkowej, x₁=2 (komunikat 4). A₂ reaguje, zmieniając wartość x₂ na najniższą wartość kosztu, x₂=1 (komunikat 5). A₃ wykrywa konflikt z x₂ i umieszcza A₂ na liście przodków, która staje się {A₁, A₂}. A₃ również zgłasza konflikt A₂ za pomocą komunikatu "nogood" 6. Ten "nogood" odebrany przez A₂ jest łączony z "nogood" lokalnie wywnioskowanym przez A₂ dla jego wartości 2 ze względu na ograniczenie x₁ ≠ x₂(#4). To wnioskowanie powoduje również umieszczenie A₁ na liście przodków A₂. Uzyskany "nogood" jest zatem wysyłany do A₁ za pomocą komunikatu 7. A₁, a następnie A₂, zmieniają swoje przypisania na wartości o najniższym koszcie, dołączając najnowsze "nogood" otrzymane dla tych wartości jako progowe "nogood" (komunikaty 8, 9 i 10). W tym momencie system osiąga stan uśpienia.

PRZYSZŁE TRENDY

Główne, wciąż istniejące wyzwania związane z rozproszonym wnioskowaniem z ograniczeniami dotyczą efektywnych sposobów osiągnięcia prywatności oraz obsługi bardzo dużych problemów.

WNIOSKI

Paradygmaty rozproszonego wnioskowania z ograniczeniami pozwalają na łatwą specyfikację nowych problemów. Pojęcie to różni się znacznie u niemal każdego badacza. Może odnosić się do rozkładu podproblemów lub rozkładu autorytetu w przypisywaniu zmiennych. Powody i cele rozkładu również się różnią, gdzie prywatność ograniczeń, paralelizm obliczeń lub rozmiar danych są wymieniane jako główne problemy. Większość algorytmów można łatwo przenieść z jednego frameworka do drugiego, ale mogą one nie być odpowiednie do nowego celu.

WSTĘP

Robotyka roju to inspirowane biologią podejście do organizacji i kontroli grup robotów. Jej biologiczna inspiracja czerpie głównie z owadów społecznych, ale także ze zjawisk stadnych u ssaków i ryb. Perspektywa naśladowania niektórych efektywnych zasad organizacyjnych biologicznych rojów jest kusząca. W systemach biologicznych, takich jak kolonie mrówek, pojawiają się wyrafinowane zachowania kooperacyjne, pomimo prostoty poszczególnych członków oraz braku scentralizowanej kontroli i wyraźnych wytycznych. Takie społeczeństwa są w stanie utrzymać się jako kolektyw i wykonywać skoordynowane działania, takie jak te niezbędne do budowy i utrzymania gniazd, znalezienia pożywienia i wychowania potomstwa. Główną ideą stojącą za robotyką roju jest znalezienie podobnych sposobów koordynacji i kontroli grup robotów

TŁO

Mechanizmy leżące u podstaw zachowań społecznych owadów zainspirowały podejście, które kładzie nacisk na autonomię, pojawianie się i rozproszone funkcjonowanie, a jednocześnie unika polegania na scentralizowanej kontroli i komunikacji. Podejście to leży u podstaw zarówno robotyki roju, jak i ściśle z nią powiązanej koncepcji sztucznej "inteligencji roju". Termin "inteligencja roju" został po raz pierwszy użyty w kontekście komórkowych systemów robotycznych, na podstawie cech, które symulowane zbiory robotów dzieliły z owadami społecznymi: mianowicie "zdecentralizowane sterowanie, brak synchronizacji, proste i (prawie) identyczne elementy" oraz rozmiar Bonabeau i inni(1999) opisują jako inteligencję roju "wszelkie próby projektowania algorytmów lub rozproszonych urządzeń do rozwiązywania problemów inspirowane zbiorowym zachowaniem kolonii owadów społecznych i innych społeczności zwierzęcych". Kluczowymi składnikami inteligencji roju, które podkreślają, są samoorganizacja i stygmergia (pośrednia komunikacja za pośrednictwem środowiska). Martinoli (2001) podobnie opisuje podejście inteligencji roju, podkreślając "paralelizm, rozproszenie i wykorzystanie bezpośrednich (pomiędzy agentami) lub pośrednich (poprzez środowisko) interakcji lokalnych między stosunkowo prostymi agentami". Robotyka roju została opisana jako zastosowanie zasad inteligencji roju do robotyki kolektywnej (Sharkey i Sharkey 2006). Te same zasady zdecentralizowanego sterowania lokalnego i komunikacji są stosowane do fizycznie instancjonowanych robotów. W robotyce roju nacisk kładzie się na wykorzystanie szeregu prostych robotów, które są autonomiczne, nie podlegają globalnej kontroli i mają ograniczone zdolności komunikacyjne. Poleganie na komunikacji lokalnej oznacza, że unika się potencjalnych problemów wąskich gardeł komunikacyjnych lub scentralizowanej awarii. System korzysta z redundancji wynikającej z użycia kilku robotów: jeśli pojedyncze roboty zawiodą, inne mogą przejąć kontrolę, a nowe mogą zostać dodane bez potrzeby ponownej kalibracji systemów komunikacyjnych. W ten sam sposób działania Kolonia mrówek nie musi być narażona na utratę części jej członków. Prostota poszczególnych robotów oznacza, że są one w stanie szybko reagować na zmiany otoczenia. Istnieje również kilka zadań, takich jak eksploracja otoczenia, które można wykonać wydajniej, jeśli używa się wielu robotów. Oczywiście, użycie zbioru robotów samo w sobie stwarza pewne nowe problemy (Bonabeau i in., 1999). Istnieje możliwość stagnacji: bez globalnej wiedzy grupa robotów może znaleźć się w sytuacji impasu. Zbyt wiele robotów próbujących dotrzeć do tego samego miejsca lub wykonać to samo zadanie mogłoby sobie nawzajem przeszkadzać. Innym problemem jest znalezienie rozwiązania zadania: w jaki sposób można zaprojektować sytuacje, aby mogło wyłonić się pożądane rozwiązanie? Niemniej jednak obietnica możliwości wysłania wielu autonomicznych robotów do wykonania zadania, szczególnie w miejscach odległych i niegościnnych dla ludzi, przeważa nad wadami.

ROBOTYKA ROJU

Wczesne prace z zakresu robotyki roju można zilustrować, opisując serię badań, w których wykazano, że proste roboty potrafią zebrać wiele obiektów w jednym miejscu, a nawet je sortować. Prace te zostały zapoczątkowane publikacją Deneubourga (1991) oraz obserwacjami zdolności mrówek do współpracy w celu sortowania potomstwa na skupiska jaj, larw i kokonów, pomimo ograniczonych zdolności komunikacyjnych owadów. W symulacjach "roboty przypominające mrówki" (ALR) poruszały się losowo w dwuwymiarowym środowisku wypełnionym obiektami i wykazywały większe prawdopodobieństwo podnoszenia napotkanych, izolowanych obiektów oraz większe prawdopodobieństwo upuszczania ich w miejscach, w których znajdowało się więcej obiektów tego typu. Symulacje wykazały, że model ten ostatecznie doprowadził do grupowania i sortowania obiektów. Beckers i inni (1994) zastosowali te koncepcje do rzeczywistych robotów. Ich roboty posiadały czujniki podczerwieni do omijania przeszkód, chwytak do podnoszenia obiektów oraz mikroprzełącznik aktywowany po pchnięciu trzech lub więcej krążków. Mogły (i) poruszać się po linii prostej, aż (ii) wykryją przeszkodę, po czym skręcały, aby ją ominąć, lub (iii) do momentu aktywacji mikroprzełącznika, po czym upuszczały niesione krążki i odwracały się. Ponieważ chwytaki robotów automatycznie zbierały napotkane krążki, te zachowania wystarczały, aby ostatecznie zebrać wszystkie obiekty w jednym klastrze. Holland i Melhuish (1999) rozszerzyli te wyniki, rozszerzając zachowania robotów o zasadę "odciągania", która wymagała od robotów odciągania krążków jednego koloru na pewną odległość przed ich wypuszczeniem. Efektem tej zasady było to, że (po kilku godzinach) krążki rozrzucone po arenie były zbierane przez roboty i sortowane w klastry o różnych kolorach. Niedawno Wilson i inni (2004) przedstawili dalsze badania różnych minimalistycznych rozwiązań "sortowania pierścieniowego przypominającego mrówki" z wykorzystaniem prostych robotów i prostych mechanizmów. Inne badania nad robotami w roju również badały zachowania, jakie mogą realizować roboty reagujące w ustalony sposób na bodźce środowiskowe i niekomunikujące się ze sobą bezpośrednio. Zaprojektowano szereg badań mających na celu zbadanie zadań jawnie kooperacyjnych (zadań wymagających współpracy), takich jak pchanie pudełka, które jest zbyt ciężkie, aby mógł je pchać pojedynczy robot . Wyciąganie patyka to podobne, jawnie kooperacyjne zadanie, które polegało na umieszczaniu patyka na okrągłej arenie i wyciąganiu go z ziemi w sytuacjach, gdy długość patyka uniemożliwiała pojedynczemu robotowi jego samodzielne wyciągnięcie, lecz wymagała współpracy z drugim robotem. Ijspeert i inni (2001) wykorzystali roboty reaktywne o minimalnych zdolnościach sensorycznych. Ich wyniki pokazują, że współpraca jest nadal możliwa pomimo braku sygnalizacji, planowania lub bezpośredniej komunikacji. Badania te mają wiele wspólnych cech. Wszystkie obejmują wiele robotów. Roboty są autonomiczne i nie są sterowane centralnie; stosowane metody sterowania można skalować do większej liczby robotów lub do mniejszej, ponieważ każdy robot wykonuje określoną liczbę stałych zachowań w odpowiedzi na określone bodźce. Poszczególne roboty są z pewnością proste - nie mają wiedzy o środowisku, w którym się znajdują, ani nawet o innych robotach w nim. Są zasadniczo reaktywne: nie mają wiedzy ani mapy swojego otoczenia i nie mają zdolności do bezpośredniej komunikacji z innymi robotami ani do otrzymywania instrukcji. Niemniej jednak wykazują pozornie kooperacyjne zachowania. Wiele badań wykorzystuje koncepcję stygmergii, termin wprowadzony przez Grasségo (1959) w kontekście jego obserwacji zachowań termitów budujących budynki. Zauważył, że robotnice termitów były stymulowane do dalszej konstruktywnej aktywności w obecności szczególnych cech konstrukcji. Zachowanie termita jest uwarunkowane zmianami w środowisku, które sam stworzył lub stworzyły inne termity: formą pośredniej komunikacji, w której zmiany środowiskowe pełnią funkcję sygnalizacyjną. Wszystkie omówione tutaj przykłady wyraźnie nawiązują do analogii i paraleli z żywymi systemami biologicznymi. Razem ilustrują one pewien potencjał robotyki roju: pomimo prostoty poszczególnych robotów, ich interakcje ze środowiskiem skutkują wykonywaniem zadań w świecie fizycznym i pokazują, że współpraca między takimi prostymi bytami może pojawić się przy braku jakiegokolwiek planowania, scentralizowanej koordynacji, a nawet jakiejkolwiek bezpośredniej komunikacji między robotami. Niemniej jednak, w miarę rozwoju badań nad robotyką roju, pojawił się pewien brak jasności i zgody co do terminów, które mają być używane, oraz co do ich definiujących cech .Panuje zgoda co do tego, że robotyka roju implikuje wykorzystanie zdecentralizowanych i skalowalnych metod sterowania i komunikacji, dzięki czemu unika się wąskich gardeł komunikacyjnych, roboty działają autonomicznie, a to samo podejście można zastosować bez zmian do zbiorów robotów o różnej wielkości. Nie jest jednak jasne, czy robotyka roju koniecznie implikuje wykorzystanie sterowania reaktywnego i ograniczeń dotyczących rodzajów komunikacji. Bonabeau i inni (1999) sugerują, że robotykę roju można "luźno zdefiniować" jako "reaktywną robotykę kolektywną" i że "robotyka roju opiera się na antyklasycznej idei sztucznej inteligencji, zgodnie z którą grupa robotów może być zdolna do wykonywania zadań bez wyraźnej reprezentacji środowiska i innych robotów". Czy robotyka roju powinna być ograniczona do wykorzystania robotów o tak minimalnych zdolnościach reprezentacyjnych? Argumenty za ograniczeniem robotyki roju do wykorzystania robotów reaktywnych można wysunąć w oparciu o zasadę oszczędności. Pfeifer i Scheier (2001) argumentują, że należy preferować model bardziej oszczędny niż bardziej skomplikowane, a na przykład model, który może wyjaśnić "zachowanie klastrowe mrówek na podstawie prostych odruchów, powinien być preferowany nad modelem, który zakłada pewien rodzaj wewnętrznej reprezentacji klastrowania". Oczywiście istnieją praktyczne korzyści płynące z próby wykonania danego zadania za pomocą najprostszego możliwego mechanizmu. Minimalistyczna konstrukcja jednostki i poleganie na reaktywnych robotach, które szybko reagują na bodźce w otoczeniu, mogą ułatwić szybką reakcję na zmieniające się sytuacje i prowadzić do wykorzystania robotów, które są stosunkowo tanie i jednorazowe. Wilson i in. (2004) na przykład przedstawiają praktyczne uzasadnienie swojego minimalistycznego podejścia, które opiera się na robotach zbudowanych z prostych komponentów mechanicznych i czujników, twierdząc: "Potencjalnie pozwala to na produkcję bardziej wytrzymałych i tańszych jednostek robotycznych… Stosowane są proste reguły behawioralne, dzięki czemu roboty są mniej złożone. Reguły muszą być wcielone i zrealizowane w maszynie, a im bardziej skomplikowane reguły, tym bardziej skomplikowany będzie sprzęt i oprogramowanie w maszynie. Im bardziej skomplikowany jest wymagany sprzęt i oprogramowanie, tym więcej błędów może się pojawić". Problem polega na tym, że prawdopodobnie istnieje ograniczenie liczby i rodzajów zadań, które można wykonać, stosując zachowania refleksyjne i unikając reprezentacji wewnętrznej. Innym powodem, dla którego nacisk na roboty reaktywne w robotyce roju opiera się na jej dziedzictwie z robotyki behawioralnej. Rodney Brooks i jego współpracownicy wprowadzili ideę robotyki behawioralnej i korzyści płynące z odejścia od tradycyjnego nacisku na rozumowanie i reprezentację w sztucznej inteligencji (Brooks 1999). Wykazali, że pewne zadania mogą być rozwiązywane łatwiej przez roboty, które są umiejscowione w świecie i potrafią reagować na jego cechy oraz wykorzystywać je, niż przez roboty takie jak Shakey (Nilsson, 1984), które polegały na intensywnym reprezentacyjnie i powolnym podejściu do modelowania świata. Jednakże, ponownie, zakres zadań, do których roboty bez reprezentacji mogą być stosowane, jest ograniczony, a nowsze formuły robotyki opartej na zachowaniu (Mataric 1997) uwzględniają ideę reprezentacji skoncentrowanych na działaniu. Ostatni powód, dla którego preferowane jest stosowanie robotów reaktywnych w robotyce roju, można znaleźć w założeniach dotyczących ograniczonych możliwości owadów społecznych, które je inspirują. Debaty na temat oszczędnych wyjaśnień zawsze toczyły się w biologii. Na przykład Griffin (1992) argumentował, że od dawna utrzymuje się pogląd, że owady społeczne to niewiele więcej niż "genetycznie zaprogramowany mechanizm zegarowy". Zgodnie z takim poglądem owady mogą jedynie reagować na bodźce i nie są w stanie reprezentować świata ani komunikować się między sobą. Ten pogląd na owady jako mechanizm zegarowy (aczkolwiek mechanizm zegarowy z czujnikami, które umożliwiają mu reagowanie na świat) wywodzi się z reakcji behawioryzmu na poprzedzający go antropomorfizm. Streszczenie książki o uczeniu się owadów (Papaj i Lewis, 1992) stwierdza, że "do niedawna owady postrzegano jako sztywno zaprogramowane automaty: obecnie jednak uznaje się, że faktycznie potrafią się uczyć, a ich zachowanie jest plastyczne". Istnieje stopniowo gromadzony zbiór dowodów wskazujących na to, że owady społeczne posiadają pewne zdolności reprezentacyjne i uczenia się, a ich zdolności komunikacyjne są bardziej rozbudowane, niż kiedyś sądzono. Na przykład Collett i Collett (2002) dokonują przeglądu dowodów na wykorzystanie pamięci w nawigacji wzrokowej owadów, opisując dowody wskazujące na niezawodne rozpoznawanie punktów orientacyjnych i niezawodne wykonywanie wyuczonych tras. Franks i Richardson (2006) przedstawiają dowody na to, że mrówka Temnothorax albipennis potrafi biegać w tandemie, aby prowadzić inną mrówkę z gniazda do pożywienia, i korzystać z dwukierunkowego sprzężenia zwrotnego, ponieważ mrówka liderka modyfikuje swoje zachowanie, gdy jest śledzona - liderka uczy podążającą za nią mrówkę drogi. Robinson i in. (2005) wykazali, że oprócz pozostawiania śladu feromonowego, który kieruje inne mrówki do źródeł pożywienia, mrówki faraona potrafią również pozostawiać negatywny sygnał "zakaz wstępu", aby oznaczyć niewdzięczną ścieżkę. Takie odkrycia mogą uzasadniać rozszerzenie możliwości poszczególnych robotów w roju poza możliwości sterowania reaktywnego. Roboty posiadające pewną zdolność uczenia się trasy, rozpoznawania punktów orientacyjnych lub śledzenia liczby spotkań z innymi byłyby w stanie wykonywać szerszy zakres zadań. Interesujące byłoby zbadanie sposobów, w jakie takie umiejętności mogłyby zostać włączone do robotyki roju. Podejście "biologicznie prawdopodobnego minimalizmu", w którym zdolności reprezentacyjne i komunikacyjne robotów ograniczałyby się do tych prawdopodobnych dla owadów społecznych, zapewniłoby, że każde takie podejście nadal zachowałoby zalety roju, takie jak decentralizacja i skalowalność,występujące u ich biologicznych odpowiedników.

TRENDY NA PRZYSZŁOŚĆ

Kierunek, który można by zbadać w przyszłych badaniach nad robotyką roju, to włączenie prostych form pamięci i zdolności reprezentacyjnych, bez uszczerbku dla korzyści związanych z rojem, takich jak lokalna kontrola, komunikacja i skalowalność. Stosunkowo proste roboty mogłyby na przykład otrzymać pewne minimalne zdolności reprezentacyjne: zdolność do uczenia się trasy lub rozpoznawania punktów orientacyjnych. Podobnie, interesujące byłoby zbadanie wykorzystania innych zdolności komunikacyjnych niż pozostawianie śladów feromonowych. Na przykład roboty mogłyby otrzymać zdolność do przekazywania i wyczuwania zadań, w które są zaangażowane one i inne roboty, oraz do rejestrowania częstotliwości ich spotkań. Umożliwiłoby to pewne rozproszone możliwości podejmowania decyzji oraz dynamiczne przełączanie się między zadaniami w oparciu o lokalne zapisy liczby osób wykonujących każde zadanie. Te ograniczone zdolności poznawcze nadal zależałyby całkowicie od kontroli lokalnej i byłyby skalowalne, ale takie rozszerzenia mogłyby zostać wykorzystane do rozszerzenia zakresu i złożoności zadań, do których można by zastosować robotykę roju.

WNIOSKI

W niniejszym artykule przeanalizowaliśmy badania nad robotyką roju i omówiliśmy źródło ich biologicznej inspiracji - samoorganizujące się zachowania owadów społecznych. Opisano kilka reprezentatywnych badań i wskazano ich wspólne cechy. Należą do nich idee, że roboty w roju powinny być proste, autonomiczne i podlegać lokalnemu sterowaniu i komunikacji. Oczekiwane korzyści z zastosowania takich robotów to zapewnienie solidnego i elastycznego rozwiązania do praktycznych zastosowań w niedostępnych obszarach; takiego, które korzysta z wrodzonej redundancji, ponieważ roboty mogą ulec awarii lub zostać wymienione bez konieczności ponownej kalibracji metod sterowania i komunikacji. Podejście to jest interesujące, ale wciąż znajduje się na wczesnym etapie rozwoju. Nadal istnieją pewne rozbieżności co do stosowania terminu "robotyka roju" i wynikających z niego ograniczeń. W szczególności nie jest jasne, czy robotyka roju koniecznie wiąże się z wykorzystaniem robotów reaktywnych, które w praktyce nie posiadają zdolności reprezentacyjnych. Istnieją powody, by preferować najprostsze możliwe rozwiązanie dla danego zadania, ale w niniejszym artykule argumentuje się, że istnieją dowody na to, że owady społeczne posiadają pewną zdolność do reprezentowania środowiska, a włączenie takich zdolności do robotyki roju rozszerzyłoby zakres zadań, do których można by zastosować to podejście, bez uszczerbku dla jego zalet związanych z rojem.

WSTĘP

Rozumienie i ocena języka naturalnego stanowią podzbiór przetwarzania języka naturalnego (NLP). Głównym celem algorytmów rozumienia języka naturalnego jest konwersja języka ludzkiego pisanego lub mówionego na reprezentacje, którymi można manipulować za pomocą programów komputerowych. Złożone środowiska edukacyjne, takie jak inteligentne systemy nauczania (ITS), często opierają się na rozumieniu języka naturalnego w celu szybkiej i dokładnej interpretacji języka ludzkiego, tak aby system mógł inteligentnie reagować w języku naturalnym. Systemy ITS działają poprzez interpretację znaczenia danych wprowadzanych przez ucznia, ocenę stopnia, w jakim przejawia się on w nauce, oraz generowanie odpowiedniej informacji zwrotnej dla ucznia. Aby działać efektywnie, systemy muszą być wystarczająco szybkie, aby działać w czasie rzeczywistym w środowiskach ITS. Opóźnienia w sprzężeniu zwrotnym spowodowane przetwarzaniem obliczeniowym stwarzają ryzyko frustracji użytkownika i prowadzą do mniejszego zaangażowania w system. Jednocześnie dokładność oceny wkładu ucznia jest kluczowa, ponieważ niedokładna informacja zwrotna może potencjalnie zagrozić uczeniu się i obniżyć motywację ucznia oraz jego świadomość metapoznawczą celów edukacyjnych systemu . W związku z tym wkład ucznia w systemy ITS wymaga podejścia do oceny, które jest wystarczająco szybkie, aby działać w czasie rzeczywistym, alewystarczająco dokładne, aby zapewnić odpowiednią ocenę. Jednym ze sposobów, w jaki systemy ITS z funkcją rozumienia języka naturalnego weryfikują wkład ucznia, jest dopasowanie. W niektórych przypadkach dopasowanie zachodzi między danymi wprowadzonymi przez użytkownika a wstępnie wybraną, zapisaną odpowiedzią na pytanie, rozwiązaniem problemu, błędnym przekonaniem lub inną formą odpowiedzi wzorcowej. W innych przypadkach system ocenia stopień, w jakim dane wprowadzone przez ucznia różnią się od złożonej reprezentacji lub dynamicznie obliczonej struktury. Obliczanie dopasowań i metryk podobieństwa jest ograniczone przez dokładność i elastyczność modułów lingwistyki obliczeniowej. Głównym wyzwaniem w ocenie danych wejściowych języka naturalnego jest to, że są one stosunkowo nieograniczone i rzadko podlegają kruchym regułom w obliczeniach pisowni, składni i semantyki . Naukowcy, którzy opracowali systemy dialogowe do nauki języka naturalnego, badali dokładność dopasowania pisemnych danych wejściowych uczniów do wiedzy docelowej. Przykładami takich systemów są AutoTutor i Why-Atlas, które udzielają korepetycji z fizyki Newtona , oraz system iSTART, który pomaga uczniom czytać tekst na głębszym poziomie. Systemy takie jak te zazwyczaj opierały się na reprezentacjach statystycznych, takich jak analiza semantyki ukrytej (LSA) oraz metryki nakładania się słów w treści. Rzeczywiście, takie algorytmy statystyczne i algorytmy nakładania się słów mogą pochwalić się dużym powodzeniem. Jednak w przypadku krótkich wymian dialogowych (takich jak w systemach ITS) dokładność interpretacji może zostać poważnie zagrożona bez głębszego poziomu leksykalno-syntaktycznej oceny tekstu . Takie podejście leksykalno-syntaktyczne, ocena wnioskowania, jest przedstawione w tym rozdziale. Podejście to obejmuje głębsze rozwiązania przetwarzania języka naturalnego dla systemów ITS z wymianą języka naturalnego, pozostając jednocześnie wystarczająco szybkie, aby zapewnić ocenę danych wprowadzanych przez użytkownika w czasie rzeczywistym.

TŁO

Ewaluacje oparte na uwikłaniu pomagają w ocenie adekwatności odpowiedzi studentów podczas wymiany zdań w ramach ITS. Uwikłanie można odróżnić od trzech podobnych terminów (implikatura, parafraza i rozwinięcie), które są również istotne dla oceny w środowiskach ITS . Termin "implikacja" jest często kojarzony z bardzo podobnym pojęciem implikatury. Różnica polega na tym, że implikacja jest zarezerwowana dla wnioskowań językowych, które są ściśle powiązane z wyrazami jawnymi, konstrukcjami składniowymi i semantyką formalną, w przeciwieństwie do implikowanych desygnatów i odniesień opartych na wiedzy, dla których termin implikacja jest bardziej odpowiedni . Implikatura odpowiada kontrolowanym, opartym na wiedzy, wnioskowaniu elaboratywnym zdefiniowanym przez Kintscha (1993) lub wnioskowaniu opartemu na wiedzy zdefiniowanemu w taksonomiach wnioskowania w psychologii dyskursu (Graesser, Singer i Trabasso, 1994). Terminy parafraza i elaboracja należy również odróżnić od implikacji. Parafraza to rozsądne przeformułowanie tekstu. Zatem parafraza jest formą implikacji, jednak implikacja niekoniecznie jest parafrazą. Tę asymetryczną relację można zrozumieć, jeśli weźmiemy pod uwagę, że zdanie "Jan poszedł do sklepu" jest implikowane (ale nie parafrazą) przez zdanie "Jan pojechał do sklepu, aby kupić zapasy". Termin elaboracja odnosi się do informacji generowanej inferencyjnie lub asocjacyjnie w odpowiedzi na analizowany tekst, ale bez systematycznych, a czasem formalnych ograniczeń implikacji, implikacji lub parafrazy. Poniżej podano przykłady każdego terminu dla zdania "John pojechał do sklepu kupić zapasy". Wyciąg: John poszedł do sklepu. (Jasna, logiczna implikacja oparta na tekście). Implikatura: John kupił trochę zapasów.(Domniemane, rozsądne założenie z tekstu, choć nie wprost sformułowane w tekście). Parafraza: Pojechał samochodem do sklepu, żeby kupić potrzebne mu rzeczy. (Rozsądne powtórzenie wszystkich i tylko kluczowych informacji w tekście). Uszczegółowienie: Mógł coś pożyczyć. (Rozsądna reakcja na tekst). Ocena wyciągnięcia z kontekstu jest ogólnie określana jako zadanie rozpoznawania wyciągnięcia z kontekstu (RTE). Dokładniej, jest to zadanie rozstrzygnięcia, biorąc pod uwagę dwa fragmenty tekstu, czy znaczenie jednego tekstu logicznie wynika z drugiego. Jeśli tak, ocena jest uznawana za T (tekst wynikający) pociąga za sobą H (hipotezę wynikającą). Na przykład, tekst (z danych RTE) z książki "Eying the huge market potential", obecnie prowadzonej przez Google, Yahoo przejęło w zeszłym roku firmę wyszukiwawczą Overture Services Inc., pociągałby za sobą hipotezę, że Yahoo kupiło Overture. Zadanie rozpoznawania implikacji jest istotne dla wielu zastosowań, w tym tłumaczenia maszynowego, odpowiadania na pytania i wyszukiwania informacji. Zadanie implikacji tekstowej było priorytetem w badaniach nad wyszukiwaniem informacji i automatycznym przetwarzaniem języka . W pokrewnej pracy Moldovan i Rus (2001) analizowali, jak wykorzystać unifikację i dopasowywanie do rozwiązania problemu poprawności odpowiedzi. Podobnie jak implikacja, poprawność odpowiedzi polega na określeniu, czy odpowiedzi kandydatów logicznie implikują idealną odpowiedź na pytanie.

PODEJŚCIE LEKSYKO-SYNTAKTYCZNE

Kompleksowe rozwiązanie problemu implikacji tekstowej wymaga informacji językowej, rozumowania i wiedzy o świecie . Niniejszasekcja koncentruje się na roli informacji językowej w podejmowaniu decyzji dotyczących implikacji. Głównym celem jest stworzenie lekkiego (tj. niedrogiego obliczeniowo), ale dokładnego rozwiązania, które mogłoby być wykorzystane w systemach interaktywnych, takich jak systemy ITS. Rozwiązania oparte na głębokich reprezentacjach wymagających intensywnego przetwarzania (np. semantyka ram i rozumowanie) oraz dużych, ustrukturyzowanych repozytoriach informacji (np. ResearchCyc) są niepraktyczne w przypadku zadań interaktywnych, ponieważ skutkują długim czasem reakcji, co powoduje niezadowolenie użytkownika. Jednym z rozwiązań rozpoznawania implikacji tekstowej jest subsumpcja. Ogólnie rzecz biorąc, obiekt X subsumuje obiekt Y wtedy i tylko wtedy, gdy X jest bardziej ogólny lub identyczny z Y. Zastosowana do implikacji tekstowej, subsumpcja tłumaczy się następująco: hipoteza H jest wyprowadzona z T wtedy i tylko wtedy, gdy T subsumuje H. Rozwiązanie ma dwie fazy: (I) mapowanie T i H na struktury grafowe oraz (II) wykonanie operacji subsumpcji między grafem T i grafem H. Obliczany jest wynik implikacji, involve(T,H), kwantyfikujący stopień, w jakim graf T subsumuje graf H. W fazie I dwa fragmenty tekstu zaangażowane w decyzję o implikacji tekstowej są początkowo mapowane na reprezentację grafową. Zastosowana reprezentacja grafowa opiera się na formalizmach grafów zależności Mel′cuka (1998). Mapowanie opiera się na informacjach z drzew składniowych. Do wyprowadzenia zależności używany jest parser oparty na frazach. Chociaż można zastosować parser zależności, nasz konkretny program badawczy wymagał częściowych parserów fraz do innych zadań, takich jak obliczanie metryk spójności. Zintegrowanie w systemie parsera opartego na frazach i zależnościach doprowadziłoby do powstania cięższego i mniej interaktywnego systemu. Drzewo składniowe grupuje słowa we frazy i organizuje je w hierarchiczne struktury drzewiaste, z których można wykrywać zależności składniowe między pojęciami. System wykorzystuje parser Charniaka (2000) do uzyskania drzew składniowych oraz reguły wykrywania nagłówków Magermana (1994) do uzyskania nagłówka każdej frazy. Drzewo zależności jest generowane poprzez powiązanie nagłówka każdej frazy z jej modyfikatorami w systematycznym procesie mapowania. Drzewo zależności koduje wyłącznie zależności lokalne (modyfikatory nagłówków), w przeciwieństwie do zależności dalekosiężnych (odległych), takich jak zdalna relacja podmiotu między bombowcami a wejściem w zdaniu. Bombowcom udało się wejść do kompleksu ambasad. Zatem na tym etapie drzewo zależności jest przekształcane w graf zależności poprzez generowanie zdalnych zależności między słowami treści. Zdalne zależności są obliczane przez naiwny tager funkcyjny Bayesa . Przykładowy graf zależności przedstawiono na rysunku 1 dla zdania: "Dwa obiekty pokonają tę samą odległość w poziomie". Na przykład istnieje relacja zależności podmiotu (subj) między obiektami a pokryciem. W fazie II problem implikacji tekstowej (tj. każde T i H) jest mapowany na konkretny przykład izomorfizmu grafów zwanego subsumpcją (znaną również jako zawieranie). Izomorfizm w teorii grafów zajmuje się problemem testowania, czy dwa grafy są takie same. Graf G = (V, E) składa się ze zbioru węzłów lub wierzchołków V i zbioru krawędzi E. Grafy mogą być używane do modelowania informacji językowej zawartej w zdaniu: wierzchołki reprezentują pojęcia (np. bombowce, joint venture), a krawędzie reprezentują relacje składniowe między pojęciami (np. krawędź oznaczona jako subj łączy czasownik cover z jego obiektami podmiotowymi na Rysunku 1). Tekst (T) implikuje hipotezę (H) wtedy i tylko wtedy, gdy graf hipotezy jest subsumowany (lub zawarty) przez graf tekstu. Algorytm subsumpcji dla implikacji tekstowej składa się z trzech głównych kroków: (1) znalezienia izomorfizmu między VH (zbiorem wierzchołków grafu hipotezy) a VT; (2) sprawdzenia, czy krawędzie oznaczone w H, EH, mają odpowiedniki w ET; oraz (3) obliczenia wyniku. W kroku 1, dla każdego wierzchołka VH, poszukiwany jest odpowiednik węzła VT. Jeśli wierzchołek w H nie ma bezpośredniego odpowiednika w T, używany jest tezaurus do znalezienia wszystkich możliwych synonimów dla wierzchołków. Krok 2 bierze każdą relację w H i sprawdza jej obecność w T. Sprawdzanie jest uzupełnione o równoważności relacji między zjawiskami językowymi, takimi jak zaimki dzierżawcze i czasowniki łącznikowe (np. być, mieć). Na przykład, wysoki mężczyzna byłby równoważny z mężczyzna jest wysoki. Następnie obliczany jest znormalizowany wynik dla wierzchołków i odwzorowania krawędzi. Wynik dla całego implikowania jest sumą każdego indywidualnego wyniku dopasowania wierzchołka i krawędzi. Wreszcie, wynik musi uwzględniać negację. Podejście to obsługuje zarówno negację jawną, jak i ukrytą. Negacja jawna jest wskazywana przez partykuły takie jak nie, nie, ani... ani oraz skróconą formę n′t. Negacja ukryta jest obecna w tekście poprzez głębsze relacje leksykalno-semantyczne między wyrażeniami językowymi. Najbardziej oczywistym przykładem jest relacja antonimiczna między słowami, którą można znaleźć w bazie WordNet (Miller, 1995). Negacja jest uwzględniana w wyniku po podjęciu decyzji o implikowaniu dla pary Tekst-Hipoteza (bez negacji). Jeśli którykolwiek z fragmentów tekstu zostanie zanegowany, decyzja jest odwracana, ale jeśli oba zostaną zanegowane, decyzja zostaje zachowana (podwójna negacja) i tak dalej. Problem oceny wkładu ucznia w inteligentne systemy nauczania (ITS) ze zrozumieniem języka naturalnego jest tutaj modelowany jako problem wnioskowania tekstowego. Wyniki tego podejścia przedstawiono na zbiorach danych z dwóch systemów ITS: AutoTutor i iSTART. Dane z eksperymentów AutoTutor obejmują studentów uczących się fizyki Newtona, natomiast dane z iSTART dotyczą nastolatków i studentów konstruujących wyjaśnienia dotyczące tekstów naukowych.

AutoTutor

AutoTutor (autotutor.org) uczy takich tematów, jak fizyka Newtona, znajomość obsługi komputera i myślenie krytyczne, prowadząc dialog z uczniem w języku naturalnym. System przedstawia uczniowi pytania wymagające głębokiego rozumowania, które wymagają wyjaśnień lub innych rozbudowanych odpowiedzi. AutoTutor posiada listę przewidywanych dobrych odpowiedzi (lub oczekiwań) oraz listę błędnych przekonań związanych z każdym głównym pytaniem. AutoTutor prowadzi ucznia w artykułowaniu oczekiwań poprzez szereg dialogów i adaptacyjnie reaguje, udzielając mu krótkiej informacji zwrotnej na temat jakości jego wypowiedzi. Aby zrozumieć, w jaki sposób podejście wynikające z kontekstu pomaga ocenić trafność odpowiedzi ucznia w AutoTutorze, rozważmy następujący problem AutoTutor: Załóżmy, że biegacz biegnie po linii prostej ze stałą prędkością i rzuca dynię prosto w górę. Gdzie dynia wyląduje? Wyjaśnij dlaczego. Oczekiwaniem dla tego problemu jest: Obiekt będzie nadal poruszał się z tą samą prędkością poziomą co osoba, która zostanie rzucona. Rzeczywista odpowiedź ucznia to: Dynia i biegacz mają tę samą prędkość poziomą przed i po puszczeniu. Ocena ekspercka tej odpowiedzi była bardzo dobra. Takie pary oczekiwanie/wkład ucznia (E-S) można postrzegać jako parę wynikającą z kontekstu: Tekst-Hipoteza. Zadanie polega na znalezieniu wartości logicznej odpowiedzi ucznia w oparciu o prawdziwy fakt zakodowany w oczekiwaniu. Rus i Graesser (2006) zbadali, jak system leksykalno-syntaktyczny opisany w poprzedniej sekcji sprawdzał się w zbiorze testowym 125 par E-S zebranych z próby dialogów samouczków AutoTutor. Podejście leksykalno-syntaktyczne zapewniło najlepszą dokładność (69%), podczas gdy podejście oparte na analizie semantyki ukrytej (LSA) dało dokładność na poziomie 60%. Taki wynik ilustruje wartość rozszerzenia AutoTutor o leksykalno-syntaktyczne rozumienie języka naturalnego.

iSTART (Interaktywny Trener Strategii do Aktywnego Czytania i Myślenia)

Głównym celem iSTART (istartreading.com) jest pomoc uczniom szkół średnich i studentom w nauce stosowania strategii rozumienia tekstu, które wspierają głębsze rozumienie. Konstrukcja iSTART łączy siłę samoobjaśnienia, ułatwiającą głębokie uczenie się z interaktywnym treningiem strategii uwzględniającym treść. System iSTART pomaga uczniom nauczyć się samodzielnego wyjaśniania za pomocą różnych strategii czytania (np. przeformułowania tekstu, parafrazowania; lub rozwijania tekstu poprzez łączenie treści tekstowej z tym, co czytelnik już wie). Ostatni etap procesu iSTART wymaga od uczniów samodzielnego wyjaśnienia zdań z dwóch krótkich fragmentów. Uczniowie otrzymują ustrukturyzowaną informację zwrotną opartą na jakości odpowiedzi. Ocena konsekwencji została wykorzystana w dwóch badaniach iSTART. W pracy Rus (2007) korpus odpowiedzi samoobjaśniających iSTART został oceniony za pomocą szeregu miar oceny tekstu. Wyniki wykazały, że podejście wynikające z konsekwencji było najsilniejszym wskaźnikiem rozróżniającym kategorie samoobjaśnień (Entailer: F(1,1228) = 25,05, p < 0,001; LSA: F(1,1228) = 2,98, p > 0,01). W pracy McCarthy′ego (2007), samoobjaśnienia iSTART zostały ręcznie zakodowane pod kątem stopnia implikacji, parafrazy i rozwinięcia. Po raz kolejny ocena implikacji okazała się silniejszym predyktorem tych kategorii niż tradycyjne miary: w przypadku implikacji, Entailer był istotnym predyktorem (t = 9,61, p < 0,001), a LSA był predyktorem marginalnym (t = -1,90, p = 0,061); w przypadku elaboracji i parafrazy Entailer był ponownie istotnym predyktorem (odpowiednio t = -7,98, p < 0,001; t = 5,62, p < 0,001), natomiast wyniki LSA nie były istotne.

TRENDY NA PRZYSZŁOŚĆ

Chociaż wyniki oceny implikacji są zachęcające, trwają prace nad różnymi rozwiązaniami tego podejścia. Na przykład, planowane jest ważenie słów według ich specyfiki oraz poznanie wzorców składniowych lub transformacji, które prowadzą do podobnych znaczeń. Obecny algorytm wykrywania negacji zostanie rozszerzony o ocenę prawdopodobnych niejawnych form negacji w słowach takich jak zaprzeczył, zaprzecza, bez, wykluczył. Drugie rozszerzenie dotyczy kwestii przeciwieństw względnych: wiedza, że obiekt nie jest gorący, nie implikuje, że obiekt jest zimny (tj. może po prostu być ciepły).

WNIOSKI

Rozpoznawanie i ocena implikacji tekstowej to ważne i trudne zadanie w dziedzinie przetwarzania języka naturalnego i sztucznej inteligencji. W niniejszym rozdziale przedstawiono leksykalno-syntaktyczne podejście do oceny implikacji. Podejście to jest lekkie i wykorzystuje minimalne zasoby wiedzy, a mimo to zapewniło wysoką wydajność w ewaluacji trzech zbiorów danych obejmujących interakcje języka naturalnego w systemach informatycznych. Podejście oparte na konsekwencjach stanowi obiecujący krok w kierunku osiągnięcia celu, jakim jest szybka i skuteczna ocena wkładu studentów w wymianę krótkich tekstów, co jest niezbędne do zapewnienia studentom optymalnej informacji zwrotnej i odpowiedzi.

WSTĘP

Mimika twarzy odgrywa ważną rolę w poznawaniu ludzkich emocji . Rozpoznawanie mimiki twarzy w sekwencjach obrazów ze znacznymi ruchami głowy stanowi wyzwanie. Jest ono wymagane w wielu zastosowaniach, takich jak interakcja człowiek-komputer i animacja grafiki komputerowej . Do klasyfikacji mimiki twarzy na nieruchomych obrazach zaproponowano wiele technik, takich jak sieci neuronowe , falki Gabora i aktywne modele wyglądu . Ostatnio większą uwagę poświęcono modelowaniu deformacji twarzy w scenariuszach dynamicznych. Klasyfikatory nieruchomych obrazów wykorzystują wektory cech powiązane z pojedynczą klatką do przeprowadzenia klasyfikacji. Klasyfikatory temporalne starają się uchwycić wzorzec czasowy w sekwencji wektorów cech związanych z każdą klatką, na przykład metody oparte na ukrytym modelu Markowa oraz dynamiczne sieci bayesowskie . Główne wnioski z artykułu są następujące. Po pierwsze, proponujemy efektywny schemat rozpoznawania oparty na wykrywaniu klatek kluczowych w filmach, gdzie rozpoznawanie jest przeprowadzane za pomocą klasyfikatora temporalnego. Po drugie, wykorzystujemy proponowaną metodę do rozszerzenia funkcjonalności interakcji człowiek-maszyna robota, którego odpowiedź jest generowana na podstawie rozpoznanego wyrazu twarzy użytkownika. Nasze proponowane podejście ma kilka zalet. Po pierwsze, w przeciwieństwie do większości systemów rozpoznawania ekspresji, które wymagają widoku twarzy z przodu, nasz system jest niezależny od widoku i tekstury. Po drugie, faza uczenia się jest prosta w porównaniu z innymi technikami (np. Ukrytymi Modelami Markowa i Aktywnymi Modelami Wyglądu), co oznacza, że wystarczy dopasować modele autoregresyjne drugiego rzędu do sekwencji ruchów twarzy. W rezultacie, nawet gdy warunki obrazowania ulegają zmianie, wyuczone modele autoregresyjne nie muszą być ponownie obliczane.

JEDNOCZESNE ŚLEDZENIE GŁOWY I RUCHÓW TWARZY

W naszym badaniu wykorzystaliśmy trójwymiarowy model twarzy Candide . Ten odkształcalny model szkieletowy 3D jest określony przez współrzędne 3D n wierzchołków. Zatem kształt 3D można w pełni opisać za pomocą wektora 3n g - konkatenacji współrzędnych 3D wszystkich wierzchołków. Wektor g można zapisać jako:

g = g_s +Aτ_a(1)

gdzie g_s jest statycznym kształtem modelu, ?τ_a jest wektorem akcji twarzy, a kolumny A to jednostki animacji. W tym badaniu używamy sześciu trybów dla macierzy jednostek animacji twarzy (AU) A, co oznacza, że wymiar ?τ_a wynosi 6. Wszystkie te tryby są zawarte w pakiecie modeli Candide. Wybraliśmy sześć następujących AU: dolna szpatułka, rozciągacz ust, szpatułka do kącików ust, górna szpatułka, dolna brwi i zewnętrzna brwi. Podstawowym problemem w rozpoznawaniu mimiki twarzy jest możliwość śledzenia lokalnych akcji/deformacji twarzy. W naszej pracy śledzimy głowę i akcje twarzy za pomocą naszego narzędzia do śledzenia twarzy . Ten oparty na wyglądzie narzędzie do śledzenia jednocześnie oblicza trójwymiarową pozę głowy i akcje twarzy ?τ_a, minimalizując odległość między przychodzącą zniekształconą klatką a bieżącym wyglądem twarzy. Ponieważ ruchy twarzy, zakodowane wektorem ?τ_a, są silnie skorelowane z mimiką, ich reprezentacja w postaci szeregu czasowego może być wykorzystana do wnioskowania o mimice twarzy w filmach. Zostanie to wyjaśnione w dalszej części.

WYDAJNE DETEKCJA I ROZPOZNAWANIE WYRAZU TWARZY

W pracy (Dornaika i Raducanu, 2006) zaproponowaliśmy metodę rozpoznawania wyrazu twarzy opartą na szeregu czasowym śledzonych ruchów twarzy τ_a. Zaproponowano schemat analizy i syntezy oparty na wyuczonych modelach autoregresyjnych. W niniejszym artykule przedstawiamy proces umożliwiający wykrywanie klatek kluczowych w filmach. Po wykryciu klatki kluczowej, schemat rozpoznawania czasowego opisany w pracy (Dornaika i Raducanu, 2006) zostanie wywołany dla wykrytej klatki kluczowej. Proponowany schemat ma dwie zalety. Po pierwsze, czas procesora odpowiadający części rozpoznawania zostanie znacznie skrócony, ponieważ uwzględnianych jest tylko kilka klatek kluczowych. Po drugie, ponieważ klatka kluczowa i klatki sąsiednie charakteryzują wyraz twarzy, wydajność rozróżniania schematu rozpoznawania zostanie zwiększona. W naszym przypadku klatki kluczowe są definiowane przez klatki, w których ruchy twarzy zmieniają się gwałtownie. W ten sposób klatkę kluczową można wykryć, szukając lokalnego dodatniego maksimum w pochodnych czasowych działań twarzy. W tym celu z sekwencji działań twarzy τ_a, któreprzychodzą sekwencyjnie, zostaną obliczone dwa byty: (i) norma L₁ ||τ_a||₁ oraz (ii) pochodna czasowa określona wzorem:



W powyższym równaniu wykorzystaliśmy fakt, że działania na twarz są dodatnie. Niech W będzie rozmiarem segmentu czasowego definiującego granulometrię czasową układu. Innymi słowy, system wykryje i rozpozna co najwyżej jedno wyrażenie co W klatek. W praktyce W należy do [0,5 s, 1 s]. Cały schemat przedstawiono na rysunku 1.



Na rysunku tym widać, że system ma trzy poziomy: poziom śledzenia, poziom wykrywania klatek kluczowych i poziom rozpoznawania. Moduł śledzący dostarcza działania na twarz dla każdej klatki. Za każdym razem, gdy rozmiar bieżącego segmentu wideo osiągnie W klatek, wywoływana jest detekcja klatek kluczowych w celu wybrania klatki kluczowej w bieżącym segmencie, jeśli taka istnieje. Dana klatka jest uważana za klatkę kluczową, jeśli spełnia trzy warunki: (1) odpowiadająca jej wartość D_t jest dodatnim maksimum lokalnym (w obrębie segmentu), (2) odpowiadająca jej norma ||τ_a||₁ jest większa od predefiniowanego progu, (3) jest oddalona od poprzedniej klatki kluczowej o co najmniej W klatek. Po znalezieniu klatki kluczowej w bieżącym segmencie, zostanie wywołany klasyfikator dynamiczny opisany w (Dornaika i Raducanu, 2006). Rysunek 2 przedstawia wyniki zastosowania proponowanego schematu detekcji dla sekwencji 1600 klatek zawierającej 23 odtworzone wyrażenia.



Niektóre obrazy przedstawiono na Rysunku 4.



Linia ciągła odpowiada normie ||τ_a||₁, krzywa przerywana - pochodnej D_t, a pionowe kreski odpowiadają wykrytym klatkom kluczowym. W tym przykładzie wartość W jest ustawiona na 30 klatek. Jak widać, z 1600 klatek tylko 23 klatki kluczowe zostaną przetworzone przez klasyfikator wyrażeń.

WYNIKI EKSPERYMENTALNE

Wyniki rozpoznawania: Użyliśmy sekwencji wideo składającej się z 300 klatek. W tej sekwencji poprosiliśmy osobę badaną o wyświetlenie kilku dowolnych wyrażeń .



Środek tego rysunku przedstawia znormalizowane podobieństwa związane z każdym wyrażeniem uniwersalnym, gdzie rozpoznawanie jest przeprowadzane dla każdej klatki w sekwencji. Jak widać, klasyfikator temporalny poprawnie wykrył obecność ekspresji zaskoczenia, radości i smutku. Należy zauważyć, że mieszanina ekspresji w przejściu jest normalna, ponieważ rozpoznawanie odbywa się w sposób ramkowy. Dolna część tego rysunku przedstawia wyniki zastosowania proponowanego schematu wykrywania klatek kluczowych. Na komputerze PC 3,2 GHz, niezoptymalizowany kod C opracowanego podejścia wykonuje śledzenie i rozpoznawanie w ciągu około 60 ms. Badanie wydajności: Aby określić ilościowo wskaźnik rozpoznawania, wykorzystaliśmy 35 filmów testowych pobranych z bazy danych CMU. Tabela 1 przedstawia macierz pomyłek powiązaną z 35 filmami testowymi przedstawiającymi 7 osób. Jak widać, chociaż wskaźnik rozpoznawania był dobry (80%), nie jest on równy 100%. Można to wyjaśnić faktem, że dynamika ekspresji jest silnie zależna od podmiotu. Przypomnijmy, że użyte modele autoregresyjne są zbudowane z wykorzystaniem danych powiązanych z jednym podmiotem. Warto zauważyć, że pułap, w którym człowiek prawidłowo klasyfikuje wyrazy twarzy pod kątem sześciu podstawowych emocji, wynosi 91,7%.

INTERAKCJA CZŁOWIEK-MASZYNA

Interpretacja niewerbalnych gestów twarzy jest wykorzystywana w szerokim zakresie zastosowań. Inteligentny interfejs użytkownika powinien nie tylko interpretować ruchy twarzy, ale także stan emocjonalny użytkownika . Znajomość stanu emocjonalnego użytkownika sprawia, że maszyny komunikują się i wchodzą w interakcje z ludźmi w naturalny sposób: inteligentne systemy rozrywki dla dzieci, komputery interaktywne, inteligentne czujniki, roboty społeczne (Rysunek 3). U góry: Cztery klatki (50, 110, 150 i 250) powiązane z 300-klatkową sekwencją testową. Pośrodku: Miara podobieństwa obliczona dla każdego wyrażenia uniwersalnego i dla każdej nieneutralnej klatki sekwencji - rozpoznawanie klatek. U dołu: Rozpoznawanie oparte na wykrywaniu klatek kluczowych - by wymienić tylko kilka. W dalszej części pokażemy, jak nasza proponowana technika sprawdza się w takich zastosowaniach. Bez utraty ogólności wykorzystujemy robota AIBO, który ma tę zaletę, że został zaprojektowany specjalnie do interakcji człowiek-komputer. Dane wejściowe do systemu stanowią strumień wideo rejestrujący twarz użytkownika. Robot AIBO: AIBO to robot inspirowany biologią, który potrafi wyrażać swoje emocje za pomocą szeregu diod LED umieszczonych w przedniej części głowy. Oprócz konfiguracji diod LED, reakcja robota obejmuje niewielkie ruchy głowy i ciała. Zgodnie z koncepcją, stany emocjonalne AIBO są wyzwalane przez silnik Generatora Emocji. Dzieje się to w odpowiedzi na jego wewnętrzną reprezentację stanu, rejestrowaną poprzez interakcję multimodalną (wizualną, dźwiękową i dotykową). Na przykład, może on wyrazić uczucie "szczęścia", gdy wykryje twarz (za pomocą systemu wizyjnego) lub usłyszy głos. Nie posiada jednak wbudowanego systemu automatycznego rozpoznawania mimiki twarzy na podstawie obrazu. Z tego powodu, korzystając ze schematu zaproponowanego w niniejszym artykule (patrz rozdział 3), stworzyliśmy aplikację dla AIBO, której celem jest umożliwienie mu tej możliwości. Ta aplikacja jest bardzo prosta, w której robot po prostu naśladuje ekspresję człowieka. Zazwyczaj reakcja robota następuje nieco po osiągnięciu szczytu ekspresji ludzkiej. Rysunek 4 ilustruje pięć wykrytych klatek kluczowych z 1600-klatkowego filmu przedstawionego na rysunku 2. Są one pokazane w odniesieniu do reakcji robota. Środkowy rząd przedstawia rozpoznaną ekspresję. Dolny rząd przedstawia migawkę głowy robota w momencie interakcji z wykrytą i rozpoznaną ekspresją.

WNIOSKI

W niniejszym artykule opisano niezależne od widoku i tekstury podejście do analizy i rozpoznawania ekspresji twarzy. W artykule przedstawiono dwa artykuły. Po pierwsze, zaproponowaliśmy efektywny schemat rozpoznawania ekspresji twarzy oparty na detekcji klatek kluczowych w filmach. Po drugie, zastosowaliśmy proponowaną metodę w scenariuszu interakcji człowiek-komputer, w którym robot AIBO naśladuje rozpoznany wyraz twarzy użytkownika.

WSTĘP

Nowy paradygmat w edukacji inżynierskiej wymaga praktycznego szkolenia studentów za pomocą projektów zorientowanych na technologię. Korzenie tego podejścia sięgają prac Seymoura Paperta z lat 70. XX wieku, kiedy to zbudował programowalnego żółwia z czujnikiem światła odbiciowego . Jego idee ostatecznie doprowadziły do powstania teorii konstrukcjonizmu . Zgodnie z tą teorią, uczniowie uczą się bardzo efektywnie, gdy są zaangażowani w tworzenie zewnętrznego obiektu, który funkcjonuje w realnym świecie. Uczniowie wykorzystują ten obiekt do myślenia i łączenia idei z przedmiotem swoich badań (Bourgoin, 1990). Z edukacyjnego punktu widzenia teorię Paperta można powiązać z konstruktywistyczną teorią Jeana Piageta. Zgodnie z tą teorią, uczenie się wynika z aktywnego procesu konstruowania wiedzy. Wiedzę tę można zdobyć poprzez doświadczenia w życiu rzeczywistym i powiązać z poprzednią wiedzą uczącego się. Koncepcja żółwia rozwijała się dalej w MIT i stała się słynnym Programowalnym Klockiem autorstwa Freda Martina, który opracował również nowe środowiska i metodologie nauczania oparte na tej koncepcji . Niezwykłym pomysłem przedstawionym przez Klocek, przynajmniej w momencie jego wynalezienia, było włączenie pracy "projektowej" do procesu nauczania. Studenci byli w tym przypadku nie tylko użytkownikami, ale również aktywnie uczestniczyli w procesie projektowania, rozwiązując swoje problemy (Martin, 1996a). "Klockiem" później zaadaptowano i włączono do zestawu LEGO MINDSTORMS (RCX w 1998 i NXT udostępniony w 2006). Użycie nazwy "MINDSTROMS" można również prześledzić do książki Seymoura Paperta . Wersje tych klocków dla społeczności o trudnej sytuacji ekonomicznej zostały ostatnio zaproponowane . Metodologia aktywnego uczenia się wykorzystuje tę filozofię angażowania uczniów we własną naukę poprzez dyskusje klasowe i grupowe rozwiązywanie problemów i okazuje się skuteczna przynajmniej w niektórych przypadkach. Roboty stały się ważnym graczem w tej dziedzinie i były wykorzystywane do poprawy jakości i poziomu uczenia się uczniów, od szkół podstawowych po studia podyplomowe. Jak zauważyli Resnick i Martin , "Stworzenia zbudowane z elektronicznych klocków znajdują się na niejasnej granicy między zwierzętami a maszynami, zmuszając uczniów do pogodzenia się z tym, że maszyny mogą być jak zwierzęta i odwrotnie". Na kursach inżynierskich wykorzystujących podejście koneksjonistyczne studenci proszeni są o zaprojektowanie i zaprogramowanie robota do określonego zadania. Pracują również w małych zespołach, pomagając sobie nawzajem i ucząc się od siebie. Ważne jest jednak, aby wiedzieć, co jest obecnie dostępne dla nauczyciela, aby mógł on/ona rozwijać wymagane umiejętności, zdolności, postawy i wartości u uczniów. W tym artykule identyfikujemy niektóre z głównych ośrodków badawczych działających w dziedzinie edukacji wykorzystującej roboty i omawiamy niektóre zestawy robotyczne dostępne obecnie dla nauczycieli. Komentujemy również znane na całym świecie zawody robotyczne.

TŁO

Wiele badań próbowało włączyć podejście zorientowane na projekty do nauczania przedmiotów inżynierskich. Takie podejście ma tę zaletę, że pozwala studentom na samodzielne poszukiwanie informacji podczas opracowywania dobrze zdefiniowanego produktu. Wykorzystanie robotów w podnoszeniu jakości edukacji na poziomie uniwersyteckim było omawiane przez wielu autorów . Studenci od poziomu szkolnego do studiów licencjackich brali udział w projektach robotyki opartej na mikrokontrolerach. Potrafili sami projektować, budować i testować swoje roboty, co pomaga im w późniejszym procesie edukacji. Mukai i McGregor osiągnęli poziom nauczania sterowania dla uczniów ósmych klas szkół publicznych. Roboty mogą pomóc nauczycielom w nauczaniu, a uczniom w nauce różnych dziedzin nauk podstawowych. Jest to dodatek do ich oczywistego zastosowania na zajęciach inżynierskich. Matematyka (algebra, geometria, macierze, rachunek różniczkowy i całkowy), fizyka (elektryczność, siła, prawa Newtona, pęd, obroty i moment pędu) to tylko kilka przykładów . Ich związek z biologią wynika ze zrozumienia i połączenia ludzkich sensorów z sensorami robotycznymi lub elektronicznymi. Bratzel wykorzystuje zasady inżynierii do nauczania fizyki i nauk fizycznych, wykorzystując roboty LEGO. W rozdziałach o rosnącym stopniu trudności autorka wprowadza koncepcje ruchu, sił, płynów, stabilności, pracy i energii itp. Bratzel powiązała również ćwiczenia zawarte w swojej książce ze standardami treści naukowych (w USA) dla klas 5-12, dzięki czemu książka ta stanowi dobry wybór dla nauczycieli na tym poziomie nauczania.Celem integracji robotyki jest nie tylko wzbudzenie entuzjazmu wśród uczniów, ale także wykorzystanie tego entuzjazmu, aby pomóc im w nauce tego, co trudno im opanować konwencjonalnymi metodami. Wszyscy nauczyciele chcą rozwijać u swoich uczniów określone umiejętności, wartości i postawy. Niektóre międzynarodowe organizacje akredytacyjne, takie jak Rada Akredytacyjna ds. Inżynierii i Technologii, zalecają stosowanie metodologii "uczenia się opartego na kompetencjach" w opracowywaniu kursów (Earnest, 2005 i Kryteria Akredytacji Programów Inżynierskich, 2006). Istotą tego systemu jest to, że wszelkie działania (w klasie, laboratorium lub projektach) muszą koncentrować się na wcześniej określonych kompetencjach poprzez wykorzystanie ustrukturyzowanych celów nauczania. System ten wymaga również, aby ocena opierała się na kompetencjach rozwiniętych przez uczniów. Można to osiągnąć jedynie poprzez analizę konkretnych dowodów (np. opracowanych systemów elektrycznych lub mechanicznych, oprogramowania, raportów technicznych itp.). Po raz kolejny, wykorzystanie robotów dostarcza nauczycielowi jasno określonych kompetencji, które można precyzyjnie ocenić.

ROBOTY EDUKACYJNE

Tę część dzielimy na podrozdziały omawiające różne aspekty głównego tematu. Ponieważ każdy z tych tematów jest wystarczająco szeroki sam w sobie, koncentrujemy się tylko na kilku reprezentatywnych przypadkach.

Grupy badawcze w dziedzinie robotyki edukacyjnej

Jest to obszar ogromnej aktywności, a liczba grup badawczych działających w tym obszarze jest niezwykle duża. Prawie wszystkie grupy badawcze zajmujące się robotyką interesują się edukacyjnymi aspektami tego tematu. Wiele z nich próbowało zaangażować w ten proces swoich studentów studiów licencjackich, zdobywając nową i głębszą wiedzę na temat zachowań i uczenia się studentów.

Massachusetts Institute of Technology

MIT działa w dziedzinie robotyki od dawna, ale to w 1989 roku Fred Martin (Martin 2001) zapoczątkował światowy ruch w dziedzinie robotyki edukacyjnej, wprowadzając swój słynny konkurs projektowy dla studentów. Wtedy też powstał odpowiadający mu "mózg" robota, zwany Handyboard (Handyboard).Jest on obecnie wykorzystywany przez nauczycieli na całym świecie, wraz z interaktywnym językiem C, do programowania systemu . System ten jest wystarczająco wydajny, aby znaleźć zastosowanie w przemyśle. Prace Freda Martina były później kontynuowane przez grupę Mitchela Resnicka Life-Long Kindergarten (Grupa Przedszkolna). Prace te były częściowo sponsorowane przez Grupę LEGO i stały się podstawą systemu LEGO MINDSTORMS Robotics Invention System (omówionego później).

Projekt Sojuszu Robotyki NASA

Projekt Sojuszu Robotyki to inicjatywa NASA, Narodowej Agencji Aeronautyki i Przestrzeni Kosmicznej USA. Opiera się on na założeniu, że NASA będzie potrzebowała znacznie więcej inżynierów robotyki do swoich przedsięwzięć kosmicznych w przyszłości, a jedynym sposobem na pozyskanie wysokiej jakości inżynierów w przyszłości jest inwestowanie w ich szkolenia (RAP). Dlatego projekt rozpoczyna się na poziomie K-12 i realizuje się poprzez różnorodne programy robotyki, konkursy i rozwój programów nauczania. Strona internetowa projektu oferuje linki do materiałów dydaktycznych od poziomu podstawowego do doktoranckiego. Wymienia również niektóre z najważniejszych konkursów robotyki oraz możliwości odbycia stażu dla studentów itp. NASA udostępnia również archiwa filmów i webcastów dla nauczycieli.

Uniwersytet Carnegie-Mellon

Instytut robotyki na Uniwersytecie Carnegie-Mellon jest jednym z największych tego typu i realizuje różne projekty o charakterze edukacyjnym. Projekt CREATE, będący akronimem Community Robotics, Education and Technology Empowerment (CREATE), obejmuje programy badawcze w zakresie projektowania programów nauczania programowania robotów na poziomie szkoły średniej i wyższym. Opracowuje on również programy nauczania, które będą pomocne dla nauczycieli szkół średnich i gimnazjów. Innym cennym wkładem tej samej grupy jest opracowanie w pełni akredytowanego kursu eksploracji robotyki dla uczniów szkół średnich. Kurs jest oferowany latem i umożliwia uczniom budowanie robotów za pomocą specjalnych zestawów do szybkiego montażu. Zestawy te zostały również zaprojektowane na CMU i zawierają nawet system wizyjny, który pozwala uczniom na opracowywanie misji łazików w klasach i w warunkach domowych (Nourbakhsh i in., 2005). Uczniowie wracają do domu razem z robotem. W ten sposób studenci mogą kontynuować pracę nad tematem po opuszczeniu ośrodka. Fraunhofer

Institut Intelligente Analyse und Informationssyteme

Instytut Fraunhofer AIS w Niemczech (Fraunhofer), sponsorowany przez Federalne Ministerstwo Edukacji i Badań Naukowych, aktywnie działa w obszarze edukacji robotyki. Opracował robota o nazwie Roberta, który w fascynujący sposób przekazuje młodym ludziom wiedzę z zakresu inżynierii i informatyki. Instytut koncentruje się szczególnie na grupie kobiet. Dziesiątki tutorów przeszło szkolenie z zakresu stosowania tej metody, a kilkaset uczniów (ponad trzy czwarte dziewcząt) zostało przeszkolonych. Tutorzy szkolą się w Instytucie Fraunhofer AIS, korzystając ze specjalnie opracowanych materiałów dydaktycznych wspierających naukę. Utworzona jest krajowa sieć regionalnych centrów Roberta, aby wspierać tutorów lokalnie, zapewnić ogólnokrajową wymianę doświadczeń i upowszechniać wyniki tego projektu.

Zestawy edukacyjne do budowy robotów

Zestawy edukacyjne do budowy robotów zapewniają użytkownikom wszystko, czego potrzeba do zbudowania i zaprogramowania robota. Niektóre z nich są bardziej elastyczne niż inne, ale każdy z nich posiada własny język programowania lub środowisko programistyczne. Omówimy tutaj niektóre z nich.

Roboty LEGO MINDSTORMS RCX i NXT

Jak wspomniano we wstępie, był to pomysł opracowany na MIT i wprowadzony na rynek masowy przez Grupę LEGO (LEGO) w 1998 roku. Roboty LEGO MINDSTORMS to prawdopodobnie najprostsze zestawyna początek, jednak są na tyle uniwersalne i szerokie, że mogą być wykorzystywane jako platformy dydaktyczne do szkoleń nawet na poziomie uniwersyteckim. Opierając się na znajomości LEGO przez studentów (ci, którzy nie znają LEGO, potrzebują niewiele dodatkowego czasu na rozpoczęcie nauki) i wykorzystując specjalnie opracowany, wysoce wizualny język programowania, system pomaga dzieciom od szóstego roku życia uczyć się i czerpać przyjemność z robotyki. System jest dostarczany z samouczkami online i jest wspierany przez niezliczone strony internetowe, książki i samouczki. Nowsza wersja nosi nazwę MINDSTORMS NXT i jest jeszcze bardziej elastyczna i wydajna dzięki dodaniu kilku nowych czujników oraz ulepszeniu niektórych starszych. Nowe serwosilniki zostały wyposażone w czujniki obrotu, co umożliwia precyzyjną kontrolę położenia.

Parallax Systems

Firma Parallax, Inc. (Parallax) jest producentem systemów elektronicznych (w tym robotów) przeznaczonych głównie dla uczniów o wyższym poziomie zaawansowania, choć oferuje również systemy dla dzieci w wieku od ośmiu lat. Na przykład robot Scribbler jest przeznaczony dla początkujących programistów i robotyków w wieku od ośmiu lat. Bardziej zaawansowane systemy przeznaczone dla doświadczonychużytkowników to roboty Toddler, QuadCrawler i HexCrawler. Dużą zaletą dla nauczycieli jest duża liczba książek, instrukcji i materiałów dydaktycznych dostępnych dla tych systemów. Większość z nich jest dostępna bezpłatnie na stronie internetowej firmy i/lub dołączona do zestawów.

Zestawy robotów rekonfigurowalnych Fishcertechnik

Systemy Fischertechnik (Fischerwerke Artur Fischer Gmbh) opracowane w Niemczech należą do najnowocześniejszych systemów robotyki dostępnych na rynku. Systemy te pozwalają uczniom w każdym wieku (nawet dorosłym) cieszyć się zabawą dzięki elastycznym zestawom robotów.Zapewniają również materiały dydaktyczne dla tych, którzy chcą włączyć Fischertechnik do swoich zajęć. Systemy te są łatwe w programowaniu i wyposażone w różnorodne czujniki, silniki, diody LED itp. Zestawy mogą być również wykorzystywane do nauczania zaawansowanych zagadnień inżynieryjnych, w tym sterowników PLC lub programowalnych sterowników logicznych (PLC).

Zawody robotyczne

Zawody robotyczne to idealny sposób na podtrzymanie zainteresowania uczniów i wyznaczenie im jasno określonych celów do osiągnięcia. Większość konkursów zawiera również bardzo ścisłe wytyczne dotyczące tego, co można wykorzystać w konstrukcji systemu i kto może wziąć udział. Wiele międzynarodowych konkursów zniechęca nauczycieli do udziału w prezentacji końcowej, co pozwala uczniom rozwijać się i stawać się odpowiedzialnymi. W konkursach uczniowie są również oceniani na podstawie pracy w grupie, czystości i umiejętności prezentacyjnych. Krótko mówiąc, są doskonałym sposobem na "standaryzację" programu nauczania i oceniania. Według organizacji z Manchesteru For Inspiration and Recognition of Science and Technology (FIRST), w konkursie FIRST Robotics Competition w 2007 roku wzięło udział około 32 500 uczniów. Wersja juniorska, zwana FIRST LEGO League, została zaprojektowana dla dzieci w wieku 9-14 lat. Szacuje się, że w 2006 roku w tym wydarzeniu wzięło udział 88 000 dzieci. Na całym świecie odbywają się dziesiątki innych lokalnych konkursów robotycznych, dla których nie ma dostępnych statystyk. Jednak wyszukiwanie w dowolnej wyszukiwarce internetowej przynosi dużą liczbę stron (np. Robot Competition FAQ). Wiele z nich jest ograniczonych do uniwersytetów, szkół wyższych lub szkół. Ale w wielu przypadkach modele można śledzić i powielać w innych miejscach. Słynny konkurs 6.270 Autonomous Robot Design Competition na MIT (MIT 6.270) jest dobrym przykładem i z powodzeniem odbywa się od ponad dwóch dekad. Można również skontaktować się z większością wymienionych powyżej grup badawczych, ponieważ często organizują one konkursy na szczeblu krajowym.

TRENDY PRZYSZŁOŚCI

Sektor robotów edukacyjnych oferuje wiele obiecujących kierunków rozwoju. Jednym z ważnych czynników jest rozwój uniwersalnych systemów robotycznych i standaryzacja odpowiedniego oprogramowania do sterowania robotami. Microsoft Robotics Studio (Microsoft Robotics Studio) to jedno z najnowszych przedsięwzięć w kierunku standaryzacji oprogramowania. Umożliwia ono sterowanie KAŻDYM robotem za pośrednictwem jednej platformy. Firmy takie jak Parallax opracowały już darmowe przykłady, które użytkownicy mogą wypróbować na swoich robotach. Po stronie sprzętowej również zobaczymy bardziej modułowe systemy o dużej elastyczności i rozszerzalności. MIT Tower (Lyon, 2003) to typowy produkt tego typu. Chociaż nie jest jeszcze dostępny w sprzedaży, pozwala użytkownikowi zacząć od podstawowego systemu, a następnie dodawać funkcjonalności w zależności od potrzeb. Obecnie dostępne są moduły do wykrywania, uruchamiania, przechowywania danych i komunikacji w podczerwieni. Planowane jest dodanie nowych, aby poprawić jakość obrazu i umożliwić szybką komunikację bezprzewodową itp.

WNIOSKI

W niniejszym artykule podjęliśmy próbę krótkiego przeglądu najnowocześniejszych rozwiązań w dziedzinie robotyki edukacyjnej, prac głównych grup badawczych oraz oferty dostawców komercyjnych dla nauczycieli. Przedstawiono komentarze na temat przyszłych kierunków rozwoju robotyki edukacyjnej. Większość działań w tym kierunku opiera się na doświadczeniach innych i mamy nadzieję, że uda się opracować bardziej zrównoważone i przemyślane programy nauczania dla każdego z głównych obszarów nauk podstawowych.

WSTĘP

Ogólnym celem robotyki inspirowanej biologią jest wyciąganie wniosków z rzeczywistych systemów biologicznych i znajdowanie zastosowań w projektowaniu robotów. Kontrolery neuronowe i algorytmy adaptacyjne to główne narzędzia do modelowania, na pewnym poziomie abstrakcji, funkcji, struktur i zachowań obecnych w systemach biologicznych. Wiąże się to oczywiście z identyfikacją, na podstawie których systemy biologiczne wykazują cechy behawioralne, które chcemy zbadać. Jednym z niezwykle interesujących zjawisk biologicznych są emocje. Pomimo wysiłków czołowych badaczy, aby postawić pytanie "czy maszyny mogą być inteligentne bez emocji" , zainteresowanie sztucznej inteligencji zjawiskami emocjonalnymi wzrosło dopiero w ostatniej dekadzie. Podstawowym założeniem jest to, że wiele funkcji poznawczych, takich jak pamięć, uwaga, uczenie się, podejmowanie decyzji i planowanie, jest przynajmniej częściowo opartych na mechanizmach emocjonalnych w systemach biologicznych . Jedną z cech zachowań emocjonalnych jest ich elastyczność , która kontrastuje ze sztywnością stereotypowych zachowań, takich jak odruchy czy nawyki. Dlatego istotne jest zbadanie, co sprawia, że zachowania emocjonalne są elastyczne. Ciało, głównie poprzez kanały chemiczne, wywiera rozproszony wpływ na układ nerwowy - procesy leżące u podstaw zjawisk emocjonalnych. Parisi argumentował niedawno, że aby "lepiej zrozumieć zachowania organizmów, musimy również odtworzyć w robotach wnętrze ciała organizmów i zbadać interakcje systemu sterowania robota z tym, co znajduje się wewnątrz ciała" , używając terminu robotyka wewnętrzna na określenie badania interakcji między (neuronalnym) systemem sterowania a resztą ciała. Mechanizmy kontrolujące homeostazę, oparte na modulacji hormonalnej, mogą motywować odpowiednie zachowania . Zachowania emergentne wynikające z interakcji systemu motywacyjnego z otoczeniem można nazwać emocjonalnymi. Na przykład architektura Cañamero składa się z "zestawu motywacji; repertuaru zachowań, które mogą zaspokoić te wewnętrzne potrzeby lub motywacje, ponieważ ich realizacja niesie ze sobą modyfikację poziomów określonych zmiennych; oraz zestawu "podstawowych" emocji" Uważamy, że zjawiska emocjonalne wyłaniają się z dynamicznej interakcji między stanami wewnętrznymi, bieżącymi percepcjami i relacjami środowiskowymi, tak że pewne stany neuronalne/fizjologiczne mają ścisły związek przyczynowy z sytuacjami relacyjnymi. W skrócie, jest to hipoteza ucieleśnionej oceny. Wykorzystujemy dwie główne koncepcje z podejścia systemów dynamicznych (DS) do poznania : zmienne zbiorowe i parametry kontrolne. W (Carlos Herrera, 2002) argumentujemy, że stany wewnętrzne można interpretować jako zmienne zbiorcze interakcji agenta z otoczeniem, które umożliwiają śledzenie sytuacji istotnych dla danej sytuacji. Zmienne te są "niespecyficzne: nie określają ani nie zawierają kodu dla powstającej struktury" . Można je również uznać za parametry kontrolne, ponieważ aktywacja w fizjologicznym podłożu agenta wpływa na ogólną gotowość do działania (reakcję, w tym gotowość percepcyjną i poznawczą).

KONTEKST

Architektura projektowania oceny emocjonalnej i reakcji w sztucznych agentach musi uwzględniać fakt, że emocje posiadają wewnętrzną, dynamiczną relację między mechanizmami wewnętrznymi, ucieleśnieniem i sytuacją. Emocje to wyłaniające się wzorce, które obejmują zachowania relacyjne, a także procesy fizjologiczne i psychologiczne. W tej sekcji argumentujemy, że stany fizjologiczne są niezbędne do zrozumienia oceny emocjonalnej i reakcji: pozwalają śledzić relacje między agentem a otoczeniem, a ich modyfikacja stanowi mechanizm kontroli dynamiki. Ocena to proces, w którym agent jest w stanie rozpoznać, że sytuacja jest istotna dla niektórych z jego obaw. Z perspektywy przetwarzania informacji, agent musi posiadać zdolność do rozróżniania sytuacji, które przewidują, że obawa może być zagrożona, jeśli nie zostanie podjęta odpowiednia reakcja. Modele poznawcze traktują ocenę jako produkt mechanizmu rozumującego , a modele robotyczne często upraszczają ten problem, manipulując otoczeniem tak, aby istotność określonych obiektów/bodźców była szczególnie wyraźna (np. czerwony kolor dla obiektów niebezpiecznych). Ocena obejmuje kategoryzację, czyli gorące poznanie . Teoria oceny ucieleśnionej dowodzi, że ciało odgrywa istotną rolę w strukturyzacji wzorców sensoryczno-motorycznych, które po przetworzeniu przez mózg skutkują oceną . W przypadku emocji pewne stany fizjologiczne wskazują na sytuacje istotne dla zaniepokojenia . Wysoki poziom adrenaliny, na przykład, koreluje z szeroką klasą sytuacji emocjonalnych. Fakt, że korelacja nie jest jednoznaczna (stany fizjologiczne nie wystarczają do określenia emocji), nie oznacza, że nie mają one związku z relacjami interaktywnymi. Rozumiemy ucieleśnioną ocenę jako dynamiczne sprzężenie (dostrojenie), w którym niektóre stany wewnętrzne są reprezentatywne (zmienne zbiorowe) dla interakcji agent/środowisko. Ale emocja to nie tylko ocena, ale także reakcja. Teoretycy emocji zaproponowali pojęcie tendencji do działania, aby wyjaśnić inherentny cel relacyjny zachowań emocjonalnych: ustanawiają one lub modyfikują relację między agentem a światem "w ogóle" . Oznacza to, że "[t]endencje do działania są hipotetyczne… ze względów teoretycznych: aby uwzględnić ukrytą gotowość i elastyczność zachowania" . Tendencje implikują kierunek, chociaż "zwykle nie są kierowane przez wcześniejszą reprezentację celu". Ważne jest również rozróżnienie między tendencją do działania a funkcją zachowań emocjonalnych. Na przykład, tendencją w strachu jest wycofanie. Funkcją, z drugiej strony, jest ochrona. Podobnie, w szoku lub zaskoczeniu tendencją jest przerwanie trwającej aktywności, podczas gdy funkcją jest reorientacja . Wycofanie może przybrać formę na przykład zamrożenia, ucieczki lub omdlenia; reakcji o bardzo różnych rolach funkcjonalnych. Zatem emocje są dalekie od reakcji odruchowych. Chociaż reakcje emocjonalne są często stereotypizowane i są produktem ewolucji, "nie powinniśmy postrzegać programów afektywnych jako stałych i bezwzględnych", tj. "w stopniu, w jakim programy działania są stałe i sztywne, tendencja do działania traci wiele ze swojego znaczenia" . Wręcz przeciwnie, reakcje emocjonalne są umiejscowione dynamicznie, to znaczy, że zewnętrzne zachowanie jest konfigurowane w dynamicznej interakcji ze środowiskiem. Aby modelować mechanizmy leżące u podstaw tendencji do działania u czynników biologicznych, należy zwrócić uwagę na to, jak różne podsystemy fizjologiczne są ze sobą dynamicznie powiązane. W szczególności niektóre hormony (np. adrenalina) mogą wpływać z jednej strony na układ autonomiczny, którego aktywacja wiąże się z procesem mobilizacji energii, a tym samym gotowości do działania ). Hormony działają również jako neuromodulatory, wpływając na ogólne przetwarzanie informacji w układzie nerwowym, wytwarzając w ten sposób formy gotowości poznawczej lub uwagi.

GŁÓWNY CEL

Niniejszy artykuł przedstawia robotyczne podejście do powstawania sprzężonej interakcji agent-środowisko, zdolnej do: (a) oceny istotności sytuacji oraz (b) kontroli poprzez aktywację gotowości do działania. Specyficzne mechanizmy, które umożliwiają powstawanie takich zjawisk, opierają się na wrażliwości na ogólne wzorce interakcji poprzez wytwarzanie regulacji hormonalnej. Model zilustrowany na rysunku ma na celu zilustrowanie relacji między układem nerwowym, ciałem a światem.



Podstawową cechą jest to, że szereg wewnętrznych zmiennych w organizmie (takich jak poziom hormonów) pozwala agentowi śledzić dynamikę niektórych aspektów relacji ze środowiskiem, które mogą budzić obawy. Ich przetwarzanie można postrzegać jako prostą formę map ciała lub odczuć . Ta aktywacja stanów wewnętrznych jest zintegrowana z bieżącymi procesami poznawczymi, percepcyjnymi i sensoryczno-motorycznymi. Układ nerwowy uczestniczy w równowadze homeostatycznej, ponieważ produkcja hormonów jest funkcją aktywacji nerwowej - zatem zmienne zbiorowe są w pewnym stopniu zmiennymi kontrolnymi: zmiana powoduje zmianę gotowości do działania, odzwierciedloną w dynamicznej relacji do aspektów sytuacji istotnych dla zainteresowania. Aktywność sensoryczno-motoryczna (relacja układu nerwowego ze środowiskiem), w połączeniu z dalszym przetwarzaniem nerwowym (oceną wtórną), powoduje zmianę tendencji do działania. Zachowanie emocjonalne jest wynikiem tego procesu.

Konfiguracja eksperymentalna

W tej sekcji przedstawiamy prostą, wstępną konfigurację eksperymentalną do wdrożenia tego modelu . Stosujemy ewolucyjne podejście robotyczne, ewoluując wagi połączeń w neurokontrolerach symulowanych robotów Khepera w scenariuszu drapieżnik-ofiara, inspirowanym . Dwa roboty, wyposażone w czujniki podczerwieni, są umieszczane w losowych pozycjach w kwadratowym środowisku otoczonym ścianami. Drapieżnik, który również posiada kamerę, jest nagradzany za uderzenie ofiary, która z kolei jest nagradzana za unikanie drapieżnika. Oba roboty są sterowane przez sieci sprzężenia zwrotnego, które mapują bodźce sensoryczne i sygnały/aktywacje motoryczne. Aby umożliwić bogatą dynamikę relacji, maksymalna prędkość ofiary jest ustawiona na dwukrotnie większą niż drapieżnika. Abstrakcyjnie modelujemy niektóre funkcje układu hormonalnego jako prosty gruczoł wydzielający jeden rodzaj hormonu. Uzyskany poziom hormonów ma być zmienną zbiorczą interakcji, tj. generować funkcję, która pozwala nam śledzić sytuacje istotne dla zachowania. Model wymaga również, aby poziom hormonów wpływał na generowanie zachowań poprzez modulację kontrolera neuronalnego. Aby to osiągnąć, dostarczamy go do układu nerwowego jako dodatkowy sygnał wejściowy. Ustaliliśmy poziom wydzielania hormonów jako funkcję aktywności komórek czuciowych i stałą szybkość absorpcji hormonów. Jak wspomniano powyżej, poziom uwalniania hormonów ma być zbiorczą zmienną interakcji. Aby to osiągnąć, zwróciliśmy uwagę na to, jakie sytuacje są istotne z punktu widzenia zagrożenia w scenariuszu ofiara/drapieżnik. Interesują nas sytuacje, w których istnieje ryzyko złapania. Pomimo kilku możliwych strategii podejścia i unikania, biorąc pod uwagę prędkość ofiary, zagrożenie jest największe, gdy ofiara jest złapana między drapieżnikiem a ścianami, natomiast jeśli ściany nie przeszkadzają, ofiara może wykazywać optymalne zachowania ucieczki. Ekstrapolując tę obserwację, jeśli robot znajduje się w pobliżu ściany i drapieżnika, suma aktywacji wszystkich czujników będzie większa niż w przypadku obecności tylko jednego z nich. Dlatego sensowne jest ustalenie liniowej zależności między aktywacją sensoryczną a uwalnianiem hormonów, zgodnie z teoriami intensywności emocji, które wiążą wywoływanie emocji z "gęstością pobudzenia neuronalnego" (nie twierdzimy jednak, że teorie intensywności są kompletne). Dlatego definiujemy uwalnianie hormonów jako sumę aktywacji wszystkich pozostałych czujników. Funkcja zaniku poziomu hormonu, czyli szybkość absorpcji, jest ustawiona na 2, tj. w każdym kroku czasowym poziom hormonu będzie dzielony przez 2. Uzyskany poziom jest przekazywany z powrotem do sterownika neuronowego jako dodatkowe wejście, pełniąc rolę parametrycznego odchylenia z neuromodulacyjnym efektem na wyjście motoryczne. Poziom hormonu można zatem wyrazić jako funkcję aktualnego poziomu i stanów sensorycznych w następujący sposób:



Wagi kontrolera i efekt modulacji poziomu hormonu ulegają ewolucji, podczas gdy produkcja i absorpcja hormonów pozostają stałe. Jeśli, jak założono, poziom hormonu jest istotny w danej klasie sytuacji (zagrożenie), można oczekiwać, że robot wykorzysta go do ewolucji adaptacyjnych zachowań emocjonalnych.

Wyniki

Podobnie jak w innych eksperymentach koewolucji, zachowanie ofiary i drapieżnika w procesie ewolucyjnym jest współzależne i można zaobserwować cykle. Możliwa jest jednak analiza strategii i sprawności międzypokoleniowej. Ze względu na ograniczoną przestrzeń, tutaj przeanalizujemy tylko zachowanie pojedynczego pokolenia (100). W tej analizie zweryfikujemy, czy: (a) poziom hormonalny można uznać za zmienną zbiorczą dynamiki interakcji, tj. pozwala nam śledzić sytuacje, w których ofiara znajduje się między ścianą a drapieżnikiem, (b) poziom hormonalny działa jako parametryczne odchylenie dla kontrolera neuronalnego, aby generować tendencję do działania, która zmienia relację ze środowiskiem (którego funkcją jest ochrona obiektu zainteresowania ofiary, tj. ucieczka) oraz (c) wynikające z tego zachowanie wykazuje stopień elastyczności mierzony jako odporność na nieprzewidziane okoliczności. Rysunek 2 przedstawia zachowanie ofiary i jego związek z poziomem hormonów. Wysoki poziom hormonów moduluje normalne zachowanie (kołowe), powodując prosty, szybki ruch (po prawej). Ta zmiana w zachowaniu jest skorelowana z sytuacjami niebezpiecznymi (uwięzienie między drapieżnikiem a ścianą). Ofiara jest zatem zdolna do oceny sytuacji istotnych dla zagrożenia, poprzez dostrojenie się za pomocą odpowiedniej zmiennej zbiorczej reprezentowanej przez symulowaną funkcję fizjologiczną. Dalszą analizę tego zachowania i dynamiki kontroli można znaleźć w pracy (Carlos Herrera, Ziemke i Moffat, 2006). Jeśli chodzi o elastyczność, nasza hipoteza głosiła, że w każdym scenariuszu, w którym istotność zagrożenia robota jest reprezentowana przez taką zmienną, zdolność ofiary do ucieczki nie powinna być poważnie ograniczona. Przetestowaliśmy wydajność ofiary i drapieżnika z jedną i dwiema przeszkodami umieszczonymi w losowych pozycjach, przez 1000 przebiegów (należy zauważyć, że pierwotny proces ewolucyjny przebiegał bez przeszkód). Biorąc pod uwagę, że wyewoluowany drapieżnik nie jest w stanie określić, czy ofiara ukrywa się za przeszkodą, wykluczamy przebiegi, w których drapieżnik wpadł na przeszkodę, nie wchodząc w zasięg czujników ofiary. Jak pokazuje tabela, zmiany środowiskowe wpływają na zdolność ofiary do ucieczki. Obecność przeszkód ma ograniczony wpływ na funkcjonalność behawioralnej strategii ucieczki ofiary, chociaż odsetek przypadków, w których ofiara zderza się z przeszkodą, znacząco wzrasta. Porównując elastyczność z elastycznością wyewoluowanych kontrolerów reaktywnych, odkryliśmy, że wskaźnik udanych ucieczek spada szybciej na korzyść złapania drapieżnika, podczas gdy liczba zderzeń pozostaje stabilna (Carlos. Herrera, 2006). Możemy wyciągnąć analogię między tymi wynikami a rzeczywistym zachowaniem emocjonalnym: jeśli reagujemy emocjonalnie na niebezpieczne sytuacje, będziemy bardziej skłonni do ucieczki, ale także do wyrządzenia sobie krzywdy. Uczestnictwo w szybkiej ucieczce oznacza, że ryzyko zderzenia się z kolejnym zagrożeniem wzrasta. Jest to zgodne z teorią emocji: "nie wszystkie zachowania wywołane przez wydarzenia emocjonalne można uznać za działania polegające na radzeniu sobie z nimi… Zachowania instrumentalne również wykazują cechy dysfunkcjonalne lub niefunkcjonalne, w tym wyraźne objawy zaburzeń, takie jak zmniejszona precyzja ruchów wymagających umiejętności".

PRZYSZŁE TRENDY

Pomimo rosnącego zainteresowania modelowaniem emocji w robotyce, pozostaje ono jednym z filarów sztucznej inteligencji. W niniejszym artykule przedstawiliśmy podejście dynamicznie ucieleśnione. Niektóre z oczywistych ograniczeń tego początkowego eksperymentu powinny zostać pominięte w dalszych pracach. Na przykład, interesujące byłoby umożliwienie współewolucji lub współrozwoju kontroli "gruczołu dokrewnego", a także modulacji zachowania, oraz zbadanie roli, jaką ewolucja i uczenie się mogą odgrywać w dostrojeniu emocjonalnym. Wymagałoby to badań nad zdolnością sieci neuronowych do uczenia się wzorców czasowych istotnych dla danej sytuacji. Rozważaliśmy tutaj również układ fizjologiczny wyłącznie w jego relacji z układem nerwowym, a nie w jego relacji z dynamiką ciała, pomijając układ autonomiczny i jego rolę w mobilizacji energii. Pozwoliło nam to na funkcjonalne zastąpienie układu fizjologicznego jednowymiarowym poziomem hormonalnym. Należy zbadać bardziej złożone fizjologie robotyczne, badając relacje między stanami ciała i ich związkiem z czujnikami, motoryką i układem nerwowym. Istnieją dwa krótkoterminowe cele eksperymentalne dla dalszych prac. Po pierwsze, biorąc pod uwagę, że projektant nie zawsze jest w stanie zidentyfikować sytuacje istotne dla problemu i możliwe sposoby ich śledzenia za pomocą mechanizmów wewnętrznych, a także dążąc do zwiększenia autonomii robotów, planujemy znaleźć techniki samoorganizujące się, aby osiągnąć podobne rezultaty. W szczególności rozważamy wykorzystanie ewolucji i uczenia się, a także nowych mechanizmów, takich jak sieci antycypacyjne i maszyny ciekłego stanu, aby umożliwić wewnętrznej strukturze identyfikację takich sytuacji i uzyskanie na nie wrażliwości. Niezbędny jest również bardziej realistyczny model zaangażowanych systemów fizjologicznych, ponieważ można argumentować, że przedstawiona tutaj architektura sterowania jest "tylko" formą rekurencyjnej sieci neuronowej. Na koniec zbadamy rolę układu regulacji hormonalnej w ramach atraktorów behawioralnych, aby móc przeprowadzić szczegółową analizę dynamiczną systemów pod kątem uprzedzeń parametrycznych/behawioralnych i wynikających z nich tendencji w działaniu.

WNIOSKI

W niniejszym artykule proponujemy inspirowane biologią podejście do elastycznych zachowań poprzez modelowanie emocji. Uważamy, że emocje wyłaniają się z relacyjnej interakcji ciała, układu nerwowego i świata, poprzez sensoryczno-motoryczne dostrojenie parametrów wewnętrznych do relacji istotnych dla danej sytuacji. Interpretujemy te relacje za pomocą pojęć zmiennej zbiorowej i parametrów kontrolnych. Przedstawione tutaj wstępne eksperymenty wskazują na wykonalność modelu i potencjalne korzyści dla elastyczności behawioralnej robotów. Jeśli interakcję między agentem a otoczeniem można postrzegać jako system dynamiczny z pewnymi zmiennymi zbiorowymi, warto rozważyć możliwość ucieleśnienia przez agenta mechanizmów emocjonalnych, które pozwalają mu śledzić takie zmienne zbiorowe. Przedstawione podejście obejmuje alternatywny sposób rozpatrywania problemu adaptacji i poznania z perspektywy systemu dynamicznego.

o Zmienne zbiorowe i parametry kontrolne są uważane za przydatne w konstrukcji adaptacyjnych systemów dynamicznych.
o Percepcja nie jest ukierunkowana wyłącznie na obiektywne cechy otoczenia, ale przede wszystkim na ustalenie relacji agent/środowisko i dostrojenie tendencji działania.
o Po trzecie, przetwarzanie neuronowe/obliczeniowe nie jest jedynym mechanizmem ekstrakcji takich globalnych cech, ale fizjologiczne aspekty ucieleśnienia, np. modulacja hormonalna, mogą również pełnić istotne funkcje przetwarzania informacji.

Podsumowując, podejście to sugeruje, że zamiast traktować bodźce sensoryczne jako podstawową podstawę percepcji, proprioceptywne sprzężenie zwrotne odgrywa konstytutywną rolę w uzyskiwaniu odpowiednich informacji o relacjach między podmiotem a otoczeniem, a tym samym o samym środowisku. Podejście to może rzucić światło na pojęcie "gorącego poznania" i jego związek ze standardowymi mechanizmami poznawczymi/percepcyjnymi oraz treścią reprezentacyjną.

WSTĘP

Samoorganizujące się sieci neuronowe starają się zachować topologię przestrzeni wejściowej poprzez konkurencyjne uczenie się. Zdolność ta została wykorzystana między innymi do reprezentacji obiektów i ich ruchu. W niniejszej pracy wykorzystujemy rodzaj samoorganizującej się sieci, tzw. Growing Neural Gas, do reprezentacji deformacji obiektów wzdłuż sekwencji obrazów. W wyniku procesu adaptacyjnego obiekty są reprezentowane przez graf reprezentujący topologię, który stanowi indukowaną triangulację Delaunaya ich kształtów. Mapy te dostosowują zmiany w topologii obiektów bez resetowania procesu uczenia się.

TŁO

Mapy samoorganizujące się, poprzez konkurencyjne uczenie się, dokonują adaptacji wektorów odniesienia neuronów, a także sieci połączeń między nimi; uzyskując odwzorowanie, które stara się zachować topologię przestrzeni wejściowej. Poza tym są one zdolne do ciągłego procesu readaptacji, nawet jeśli wprowadzone zostaną nowe wzorce, bez konieczności resetowania procesu uczenia. Zdolności te zostały wykorzystane do reprezentacji obiektów (rysunek 1)



i ich ruchu za pomocą rosnącego gazu neuronowego (GNG) , który charakteryzuje się bardziej elastycznym procesem uczenia się niż inne modele samoorganizujące się, takie jak mapy Kohonena . Te dwa zastosowania - reprezentacja obiektów i ich ruch - w wielu przypadkach mają ograniczenia czasowe, dlatego interesujące jest przyspieszenie procesu uczenia się. W zastosowaniach wizji komputerowej warunek finalizacji algorytmu GNG jest powszechnie definiowany poprzez wprowadzenie predefiniowanej liczby neuronów. Wybór tej liczby może wpływać na jakość adaptacji, mierzoną jako zachowanie topologii przestrzeni wejściowej . W tej pracy GNG zostało wykorzystane do reprezentacji deformacji kształtu obiektów dwuwymiarowych w sekwencjach obrazów, uzyskując topologię reprezentującą graf, która może być wykorzystana do wielu zadań, takich jak reprezentacja, klasyfikacja czy śledzenie. Gdy deformacje w topologii obiektów są niewielkie i stopniowe pomiędzy kolejnymi klatkami w sekwencji obrazów, możemy wykorzystać informacje z poprzednich map do rozmieszczenia neuronów bez resetowania procesu uczenia. Wykorzystując tę cechę GNG, osiągamy znaczne przyspieszenie procesu reprezentacji. Jednym ze sposobów wybierania punktów zainteresowania w kształtach dwuwymiarowych jest użycie mapowania topograficznego, w którym mapa niskowymiarowa jest dopasowywana do rozmaitości wielowymiarowej kształtu, przy jednoczesnym zachowaniu struktury topograficznej danych. Powszechnym sposobem osiągnięcia tego celu jest wykorzystanie samoorganizujących się sieci neuronowych, w których wzorce wejściowe są rzutowane na sieć jednostek neuronowych w taki sposób, że podobne wzorce są rzutowane na jednostki sąsiadujące w sieci i odwrotnie. W wyniku tego mapowania uzyskuje się reprezentację wzorców wejściowych, która na etapach przetwarzania końcowego pozwala na wykorzystanie relacji podobieństwa wzorców wejściowych. Takie modelebyły z powodzeniem stosowane w aplikacjach takich jak przetwarzanie mowy , robotyka oraz przetwarzanie obrazu. Jednak większość powszechnych podejść nie jest w stanie zapewnić dobrego sąsiedztwa i zachowania topologii, jeśli logiczna struktura wzorca wejściowego nie jest znana a priori. W rzeczywistości, najpopularniejsze podejścia określają z góry liczbę neuronów w sieci i graf reprezentujący relacje topologiczne między nimi, na przykład dwuwymiarową siatkę, i poszukują najlepszego dopasowania do danej rozmaitości wzorca wejściowego. W przeciwnym razie sieci nie zapewniają dobrego zachowania topologii, jak na przykład w przypadku algorytmu Kohonena.

REPREZENTACJA I ŚLEDZENIE OBIEKTÓW NIESZTYWNYCH ZA POMOCĄ SIECI NEURONOWYCH ZACHOWUJĄCYCH TOPOLOGIĘ

Ta sekcja jest zorganizowana w następujący sposób: najpierw przedstawiamy szczegółowy opis algorytmu uczenia się topologii GNG. Następnie wyjaśniamy, jak GNG można zastosować do reprezentacji obiektów zmieniających kształt w sekwencji obrazów. Na koniec przedstawiono zestaw wyników eksperymentalnych z wykorzystaniem GNG do reprezentacji różnych przestrzeni wejściowych. Podejście przedstawione w niniejszym artykule opiera się na samoorganizujących się sieciach trenowanych z wykorzystaniem metody uczenia się Growing Neural Gas , przyrostowego algorytmu uczenia. Połączenia między jednostkami w sieci są ustanawiane poprzez konkurencyjne uczenie hebbowskie . W rezultacie algorytm może być stosowany w przypadkach, gdy struktura topologicznawzorca wejściowego nie jest znana a priori i daje mapy rozmaitości cech zachowujące topologię . Najnowsze badania przedstawiły pewne modyfikacje oryginalnego algorytmu GNG mające na celu poprawę odporności analizy skupień jednak żadne z nich nie wykorzystuje struktury mapy jako punktu wyjścia do przedstawienia deformacji w sekwencji kształtów obiektów.

Rosnący gaz neuronowy

W przypadku rosnącego gazu neuronowego (GNG) proces wzrostu odbywa się od minimalnego rozmiaru sieci, a nowe jednostki są sukcesywnie wstawiane przy użyciu określonego typu kwantyzacji wektorowej . Aby określić, gdzie wstawić nowe jednostki, podczas procesu adaptacji gromadzone są miary błędów lokalnych, a każda nowa jednostka jest wstawiana w pobliżu jednostki o najwyższym skumulowanym błędzie. Na każdym etapie adaptacji tworzone jest połączenie między zwycięzcą a drugą najbliższą jednostką, zgodnie z konkurencyjnym algorytmem uczenia się Hebba. Proces ten jest kontynuowany do momentu spełnienia warunku końcowego, na przykład oceny optymalnej topologii sieci na podstawie określonej miary. Warunek końcowy może również polegać na wstawieniu predefiniowanej liczby neuronów lub na ograniczeniu czasowym. Ponadto w sieciach GNG parametry uczenia są stałe w czasie, w przeciwieństwie do innych metod, których uczenie opiera się na zanikających parametrach. W dalszej części tej sekcji opisujemy algorytm rosnącego gazu neuronowego i warunek końcowy zastosowany w niniejszej pracy. Sieć jest zdefiniowana jako: zbiór N węzłów (neuronów). Każdy neuron c ∈ N ma powiązany z nim wektor odniesienia w_c ∈ R_d. Wektory odniesienia można traktować jako pozycje w przestrzeni wejściowej odpowiadających im neuronów. Zestaw krawędzi (połączeń) między parami neuronów. Połączenia te nie są ważone, a ich celem jest zdefiniowanie struktury topologicznej. Schemat starzenia się krawędzi służy do usuwania połączeń, które są nieprawidłowe z powodu ruchu neuronu podczas procesu adaptacji. Algorytm uczenia GNG, który zbliża sieć do rozmaitości wejściowej, jest następujący:

1. Rozpocznij od dwóch neuronów a i b w losowych pozycjach w_a i w_b w R_d.
2. Wygeneruj losowy wzór wejściowy ξ zgodnie z rozkładem danych P(ξ) każdego wzoru wejściowego. W naszym przypadku, ponieważ przestrzeń wejściowa jest dwuwymiarowa, wzorem wejściowym jest współrzędna (x, y) punktów należących do obiektu. Zazwyczaj do treningu sieci generujemy od 1000 do 10000 wzorów wejściowych, w zależności od złożoności przestrzeni wejściowej.
3. Znajdź najbliższy neuron (neuron zwycięski) s₁ i drugi najbliższy s₂, używając kwadratu odległości euklidesowej.
4. Zwiększ wiek wszystkich krawędzi wychodzących z s₁
5. Dodaj kwadrat odległości między sygnałem wejściowym a neuronem zwycięskim do błędu licznika s₁, takiego jak:

Δerror(s₁)=|w_s1 - ξ||²

Przesuń neuron zwycięski s1 i jego topologicznych sąsiadów (neurony połączone z s1) w kierunku ? o krok uczenia odpowiednio ?w i ?n całkowitej odległości:



Jeśli s₁ i s₁₂ są połączone krawędzią, ustaw wiek tej krawędzi na 0. Jeśli nie istnieje, utwórz ją.
6. Usuń krawędzie większe niż amax. Jeśli spowoduje to odizolowanie neuronów (bez krawędzi emanujących), usuń je również.
7. Po wygenerowaniu określonej liczby λ sygnałów wejściowych,

o wstaw nowy neuron w następujący sposób: Określ neuron q z maksymalnym skumulowanym błędem.
o Wstaw nowy neuron r między q a jego dalszym sąsiadem f:

w_r = 0,5(w_q+w_f)

Wstaw nowe krawędzie łączące neuron r z neuronami q i f, usuwając starą krawędź między q i f.
o Zmniejsz zmienne błędu neuronów q i f, mnożąc je przez stałą ?. Zainicjuj zmienną błędu r nową wartością zmiennej błędu q i f.
8. Zmniejsz wszystkie zmienne błędu, mnożąc je przez stałą β
9. Jeśli kryterium zatrzymania nie zostało jeszcze spełnione, przejdź do kroku 2. (W naszym przypadku kryterium jest liczba wstawionych neuronów)

Reprezentacja obiektów 2D za pomocą GNG

Na danym obrazie I(x,y) ∈ R wykonujemy transformację Y_T=T(I(x,y)) która przypisuje każdemu pikselowi prawdopodobieństwo przynależności do obiektu, zgodnie z właściwością T. Na przykład, na rysunku 2

, ta transformacja jest funkcją progową

Jeśli weźmiemy pod uwagę ξ = (x, y) i P(x) = y_T(x), możemy zastosować algorytm uczenia się sieci GNG do obrazu I, tak aby sieć dostosowała swoją topologię do obiektu. Ten proces adaptacji jest iteracyjny, więc sieć GNG reprezentuje obiekt podczas całego uczenia. W wyniku uczenia się sieci GNG otrzymujemy graf, graf zachowujący topologię TPG =, , ze zbiorem wierzchołków (neuronów) N i zbiorem krawędzi C, które je łączą . Ta TPG ustanawia triangulację Delaunaya indukowaną przez obiekt

Reprezentowanie deformacji topologii w obiektach

Model jest w stanie scharakteryzować różne części obiektu lub kilka obiektów obecnych na scenie, które miały te same wartości dla właściwości wizualnej T, bez resetowania różnych struktur danych dla każdego z obiektów. Wynika to ze zdolności GNG do podziału na różne części podczas usuwania neuronów i może być bardzo przydatne do reprezentowania obiektów, które zmieniają swoją strukturę topologiczną, dzieląc się na małe fragmenty lub zmieniając kształt wzdłuż sekwencji obrazów. W takim przypadku należy wprowadzić modyfikację w oryginalnym algorytmie GNG, generując w kroku 2 większą liczbę sygnałów wejściowych w celu adaptacji z poprzedniej mapy do nowego obrazu, unikając kroków 8 i 9, w których neurony są usuwane lub dodawane w razie potrzeby. Żadna z modyfikacji oryginalnego algorytmu GNG mających na celu poprawę odporności analizy skupień nie wykorzystuje struktury mapy jako punktu wyjścia do reprezentacji deformacji w sekwencji kształtów obiektów. W tej pracy GNG został użyty do reprezentacji deformacji kształtu obiektów dwuwymiarowych w sekwencjach obrazów, uzyskując topologię reprezentującą graf. Gdy deformacje w topologii obiektów są niewielkie i stopniowe między kolejnymi klatkami w sekwencji obrazów, możemy wykorzystać informacje z poprzednich map do rozmieszczenia neuronów bez resetowania procesu uczenia. Wykorzystując tę cechę GNG, osiągamy duże przyspieszenie procesu reprezentacji. Na przykład na rysunku 3 przedstawiono kilka obiektów, których wspólną cechą jest kolor na obu obrazach, które reprezentują te same obiekty, ale jako pierwszy plan w kolorze białym po lewej stronie i jako tło w kolorze czarnym po prawej stronie.



Eksperymenty

Aby zilustrować możliwości GNG w zakresie reprezentacji deformacji topologicznych obiektów, dostosowaliśmy mapy do kształtu obiektu, który zmienia swoją topologię ze zwartego kwadratu na cztery małe kwadraty w czterech krokach (ramkach), uzyskując grafy reprezentujące topologię kształtu obiektu wzdłuż sekwencji obrazów, ale bez resetowania procesu uczenia dla żadnego obrazu. Rysunek 4 przedstawia oryginalną sekwencję obrazów wykorzystaną jako przestrzeń wejściowa dla samoorganizującej się mapy, gdzie z jednorodnego kwadratu na pierwszym obrazie (po lewej) tworzone są cztery małe kwadraty na ostatnim obrazie (po prawej).



Na dole rysunku przedstawiono wyniki adaptacji GNG, ustanawiającej kolor biały jako właściwość wizualną obiektów do reprezentacji. Z pierwszej mapy (po lewej) uzyskiwane są nowe mapy na podstawie poprzedniej, bez resetowania procesu uczenia. Ta cecha GNG pozwala na przyspieszenie reprezentacji sekwencji obrazów. Jak widać na sekwencji obrazów, mapa jest w stanie podzielić neurony na cztery grupy reprezentujące różne kwadraty na oryginalnych obrazach, gdy odległość między nimi jest większa niż średnia długość krawędzi łączących neurony. Rysunek 5 przedstawia sekwencję deformacji od małego okręgu do elipsy, a ostatecznie do kwadratu używanego jako przestrzeń wejściowa dla GNG. Przedstawiono wyniki adaptacji mapy bez resetowania algorytmu uczenia się między klatkami. Parametry użyte do symulacji to: N = 100, λ = 1000 dla pierwszej mapy i 10000-20000 dla kolejnych map, ε_w = 0,1, ε_n = 0,001, α = 0,5, β = 0,95, ?_max = 250. Koszt obliczeniowy reprezentacji sekwencji deformacji jest bardzo niski w porównaniu z metodami opartymi na adaptacji nowej mapy do dowolnej klatki sekwencji, ponieważ nasza metoda nie resetuje algorytmu dla nowych klatek. Ta cecha zapewnia metodzie możliwości pracy w czasie rzeczywistym.

PRZYSZŁE TRENDY

Iteracyjna i równoległa wydajność prezentowanego modelu reprezentacji stanowi punkt wyjścia do rozwoju wysokowydajnych architektur, które zapewniają charakteryzację i śledzenie obiektów niesztywnych w zależności od dostępnego czasu.

WNIOSKI

W niniejszym artykule zademonstrowaliśmy możliwości GNG w zakresie reprezentacji obiektów dwuwymiarowych. Po ustaleniu odpowiedniej funkcji transformacji, model jest w stanie dostosować swoją topologię do kształtu obiektu. Uzyskuje się wówczas prostą, ale bardzo bogatą reprezentację obiektów. Model, poprzez własny proces adaptacji, jest w stanie podzielić się, aby móc scharakteryzować różne fragmenty obiektu lub różne obiekty na tym samym obrazie. Ponadto GNG może reprezentować deformacje w topologii obiektów, reprezentując je wzdłuż sekwencji obrazów, bez konieczności resetowania procesu uczenia. Ta cecha przyspiesza proces reprezentacji i śledzenia obiektów.

WSTĘP

Zaproponowana w 1962 roku, transformata Hougha (HT) była szeroko stosowana i badana pod kątem wykrywania krzywych, kształtów i ruchów w dziedzinie przetwarzania obrazu i wizji komputerowej. HT ma jednak kilka wad, w tym wysoki koszt obliczeniowy, niską dokładność detekcji, podatność na szumy i możliwość pomijania obiektów. Wiele wysiłków od dziesięcioleci koncentruje się na rozwiązaniu niektórych problemów, podczas gdy kluczowa idea pozostaje mniej więcej ta sama. Zaproponowana w 1989 roku i rozwijana później, losowa transformata Hougha (RHT) w znacznym stopniu przezwycięża te wady dzięki innowacjom w podstawowych mechanizmach, z losowym próbkowaniem zamiast skanowania pikseli, mapowaniem zbieżnym zamiast mapowania rozbieżnego oraz dynamicznym przechowywaniem zamiast akumulacji macierzy. Niniejszy artykuł przedstawia przegląd postępów i zastosowań RHT w ciągu ostatnich półtorej dekady.

TŁO

Biorąc za przykład wykrywanie linii prostych, górna część rys. 1 przedstawia kluczową ideę transformacji Hougha (HT) . Zbiór punktów na linii y=kx+b na obrazie jest odwzorowywany na zbiór linii przechodzących przez punkt (k, b) w przestrzeni parametrów. Jednorodna siatka znajduje się w oknie w przestrzeni (k, b), z akumulatorem a(k, b) w każdym pojemniku. Ponieważ każdy punkt (x, y) na obrazie jest odwzorowywany na linię w przestrzeni (k, b), każdy powiązany akumulator a(k, b) jest zwiększany o 1. Możemy wykryć linie, znajdując każdy akumulator, którego wynik a(k, b) jest większy od danego progu. Transformacja Hougha została przedstawiona w głównym nurcie społeczności zajmującej się przetwarzaniem obrazów przez Rosenfelda (1969). Następnie Duda i Hart (1972) nie tylko wprowadzili technikę parametryzacji biegunowej dla wydajniejszego wykrywania linii, ale także zademonstrowali, jak można wykryć okrąg. Kimme, Ballard i Sklansky (1975) znacznie usprawnili wykrywanie krzywych kołowych, wykorzystując informacje o gradiencie pikseli. Merlin i Faber (1975) pokazali, jak można uogólnić HT, aby wykrywać dowolny kształt w danej orientacji i skali. Ballard (1981) ostatecznie uogólnił HT, aby wykrywać krzywe o dowolnym kształcie dla dowolnej orientacji i skali. Od tego czasu w literaturze opublikowano wiele zastosowań, wariantów i rozszerzeń HT. Przegląd tych osiągnięć HT przedstawiają Illingworth i Kittler (1988). HT ma jednak kilka istotnych wad, takich jak:

a. Wszystkie piksele są mapowane, a każdy kosz w siatce wymaga akumulatora. Jeśli istnieje d parametrów, z których każdy jest reprezentowany przez M koszy lub punktów siatki, potrzebnych jest M^d akumulatorów.
b. Aby zmniejszyć koszt obliczeniowy, rozdzielczość kwantyzacji nie może być wysoka, co powoduje rozmycie pików i prowadzi do niskiej dokładności detekcji.
c. Każdy piksel aktywuje każdy akumulator znajdujący się na linii, ale tylko jeden reprezentuje właściwy akumulator, podczas gdy wszystkie pozostałe są zakłóceniami.
d. Jeśli okno siatki jest ustawione nieprawidłowo, niektóre obiekty mogą znajdować się poza oknem i w związku z tym nie mogą zostać wykryte.
e. Zakłócające i zaszumione piksele powodują wiele zakłócających akumulacji.

Podejmowano wiele wysiłków w celu złagodzenia tych problemów. Jednym z nich jest wykorzystanie informacji o gradiencie pikseli. Innym jest analiza wrażliwości na szum i błędy . Trzecim jest zastosowanie hierarchicznej akumulacji głosów lub multirozdzielczości . Jeszcze innym jest poprawa efektu kwantyzacji poprzez zastosowanie jąder lub analizy propagacji błędów , a także testowania hipotez . Jednak żadna z tych sugestii nie wprowadza fundamentalnych zmian w kluczowych mechanizmach HT. Zaproponowana w 1989 roku i następnie dalej badana losowa transformacja Hougha (RHT) rozwiązuje powyższe problemy, wykorzystując fundamentalną innowację: rozbieżne odwzorowanie jeden do wielu z przestrzeni obrazu do przestrzeni parametrów (akumulatora), jak pokazano w górnej części rysunku (a), zostaje zastąpione zbieżnym odwzorowaniem wiele do jednego, jak pokazano w dolnej części rysunku (a).



Ta fundamentalna zmiana umożliwia dodatkowo kilka wspólnych ulepszeń, takich jak losowe próbkowanie zamiast skanowania pikseli, dynamiczne przechowywanie o małym rozmiarze zamiast tablicy akumulatorów Md oraz adaptacyjne wykrywanie zamiast enumeracji wszystkich pikseli i wybierania akumulatorów z wynikami większymi niż próg. W rezultacie nie tylko znacznie zmniejszono złożoność czasową i pamięci masowej, ale także znacząco poprawiono dokładność wykrywania. W związku z tym przeprowadzono wiele badań nad RHT. Z jednej strony istnieją różne rzeczywiste zastosowania, takie jak obrazy medyczne , obrazy zasięgu , detekcja ruchu, śledzenie obiektów przez mobilnego robota , robota grającego w piłkę nożną , wykrywanie min i inne. Z drugiej strony, istnieje wiele dalszych udoskonaleń w zakresie RHT, w tym wydajna parametryzacja detekcji elipsy , rozszerzenie o detekcję ruchu , wykorzystanie informacji o lokalnym gradiencie, lokalnej łączności i orientacji na sąsiada w celu dalszych ulepszeń , integracja z analizą propagacji błędów, modyfikacja losowego próbkowania na próbkowanie ważności i inne .Ze względu na ograniczenia objętości nie jest możliwe przedstawienie pełnego przeglądu w tym miejscu. Wspomniano o wczesnym przeglądzie wariantów RHT oraz o najnowszych opracowaniach na temat RHT . Warto również wspomnieć, że literatura poświęcona badaniom nad RHT często zawiera badania pod nazwą probabilistycznego HT , które również sugerują użycie losowego próbkowania w celu zastąpienia skanowania w implementacji standardowego HT, a tym samym dzielą jedną z wcześniej wspomnianych cech RHT. Jednakże, nie straci to zbyt wiele na ogólności, jeśli dla celów zrozumienia zostanie uznane za zdegenerowany przypadek RHT, choć istnieją pewne szczegółowe różnice.

PODSTAWOWE MECHANIZMY I CHARAKTERYSTYKI RHT

Jak pokazano na rysunku, jeden piksel jest mapowany na wszystkie punkty na linii przechodzącej przez (k, b) za pomocą mechanizmu mapowania rozbieżnego HT, który w rzeczywistości powoduje powyższe wady (a)-(e). RHT zastępuje ten mechanizm mechanizmem mapowania zbieżnego, tak że dwa lub więcej pikseli jest wybieranych w celu wspólnego wyznaczenia linii, tj. mapowania w jeden punkt (k, b). Dzięki temu mechanizmowi różne punkty na tej samej linii y=kx+b trafią w ten sam punkt (k, b), bez tworzenia dużej liczby fałszywych akumulacji. Ponadto funkcja mapowania w jeden punkt na raz umożliwia dynamiczne konstruowanie akumulatorów, bez konieczności nakładania siatki na wstępnie określone okno. Wystarczy akumulować a(k, b) w tych lokalizacjach, które zostały aktywowane przez mapowania zbieżne. Ponadto rozdzielczość kwantyzacji może się różnić w zależności od lokalizacji, a każdy pojemnik kwantyzacji można zastąpić jądrem. W rezultacie wady (b), (c), (d) znikają. Bez uwzględniania efektu kwantyzacji, jeśli na obrazie znajduje się linia składająca się z n pikseli, otrzymujemy pik z n zliczeniami w skumulowanych wynikach. Załóżmy, że w sąsiednim piku znajduje się kolejny pik fałszywej linii składający się z m < n pikseli, wówczas stosunek n/m opisuje stosunek sygnału do szumu dla wiarygodnego wykrycia przez HT. W RHT, zakładając, że wyczerpiemy wszystkie możliwe pary pikseli, liczba głosów dla linii będzie wynosić n(n-1)/2, podczas gdy liczba głosów dla zakłócającej fałszywej linii będzie wynosić m(m-1)/2, tj. stosunek sygnału do szumu wynosi n(n-1)/m(m-1) tzn. n-1/m-1 razy więcej w porównaniu z HT. Zatem powyższy problem (e) można również znacznie poprawić. W rzeczywistości nie jest konieczne wyczerpanie wszystkich możliwych par pikseli, aby RHT wykrył linie. Poprzez losowe próbkowanie dwóch pikseli dla odwzorowania zbieżnego, potrzebujemy tylko niewielkiej części wszystkich możliwych par, aby uzyskać stopień n(n-1)/m(m-1) z wysokim prawdopodobieństwem, co rozwiązuje powyższy problem (a) ze znaczną redukcją złożoności zarówno czasowej, jak i przestrzennej. Bardziej precyzyjne wyjaśnienie podano w Tabeli 1.



Punkt θ∈Θ wykrywamy jako linię, jeśli zostanie trafiony więcej niż k₀ razy, z ryzykiem pominięcia tej linii z małym prawdopodobieństwem P_miss. Kontrolując go poniżej wstępnie określonej częstotliwości, musimy wykonać tylko próby M > M_c. Z drugiej strony, kontrolując prawdopodobieństwo ?r przyjęcia fałszywej linii jako rozwiązania, możemy wyznaczyć górną granicę M < M_r. Nawet jeśli linia zostanie błędnie wykryta, można ją później odrzucić, oceniając wszystkie wykryte linie za pomocą rzeczywistych pikseli na obrazie. Zatem duże η_r nie wpłynie zbytnio na wydajność, a jedynie zmarnuje czas obliczeń.

POSTAĆ OGÓLNA I ROZSZERZENIA RHT

Ogólnie rzecz biorąc, RHT można zastosować do krzywej, którą można zapisać równaniem parametrycznym f (x, y, θ) = 0 z liczbą κ parametrów swobodnych. Rozwiązanie równań łączonych f (x_i, y_i, θ) = 0, i = 1,..., κ daje odwzorowanie zbieżne do punkt θ∈Θ. Ogólna postać algorytmiczna jest podana w Tabeli 2.



Możemy uzyskać warianty i rozszerzenia, modyfikując jeden lub więcej z pierwszych czterech kroków w Tabeli 2. Po pierwsze, odwzorowanie zbieżności w kroku 1 można zmienić, zmieniając sposób pobierania próbek lub sposób obliczania θ∈Θz tych próbek, lub oba. Zamiast losowego próbkowania, próbki można uzyskać, przeszukując rozwiązanie kandydackie w S_θ poprzez lokalną łączność i orientację na sąsiedztwo lub przez próbkowanie ważności. Zamiast rozwiązywania równań łączonych, jak omówiono w (Xu, 2007), rozwiązanie można również uzyskać za pomocą dopasowania najmniejszych kwadratów, dopasowania normy ,L_p lub estymacji największej wiarygodności. Czasami, może nawet uwzględniać równania z niedomiarami, pobierając mniej próbek, z których uzyskuje się parametryczną krzywą lub powierzchnię w Θ, aby wdrożyć akumulację opartą na tablicach, podobną do HT. Po drugie, istnieją również alternatywy dla kroku 2 i kroku 3. Jednym skrajnym rozwiązaniem jest powrót do akumulacji opartej na tablicach. Drugim skrajnym rozwiązaniem jest to, że wszystkie zmapowane punkty w Θ są przechowywane w obecnej postaci, a następnie przeprowadzana jest na nich analiza skupień lub estymacja gęstości oparta na jądrze, aby znaleźć centra skupień i stopnie gęstości do wykrywania krzywych lub obiektów. Pomiędzy tymi dwoma skrajnościami możemy rozważyć kompromis lub ich kombinację . Po trzecie, krok 4 można również wykonać z innymi opcjami, w tym testem pasma δ, progiem błędu dopasowania i testowaniem hipotez . Co więcej, zamiast sprawdzać rozwiązanie kandydackie za każdym razem, gdy t, możemy pozwolić procedurze działać do momentu, gdy t = M_c, umieścić te akumulatory z a(θ) > k₀ w S_θjako rozwiązania kandydackie i zbadać te rozwiązania kandydackie w kroku 4. Ponadto, sprawdzanie i badanie kandydatów może odbywać się w ustalonym wcześniej okresie. Co więcej, informacje o gradiencie na szarym obrazie mogą również poprawić mapowanie konwergencji. Co więcej, RHT zostało rozszerzone o wykrywanie obiektów za pomocą szablonu, jak pokazano na rysunku 2.



PRZYSZŁE TRENDY

Wyzwania dla RHT wynikają głównie z wpływu szumu i kwantyzacji. Dwa rodzaje szumu przedstawiono na rysunku 3.



Pierwszy typ przedstawiono na rysunku (a), gdzie dodane są zakłócające piksele, ale oryginalne piksele pozostają niezmienione. Ten rodzaj szumu może zmniejszyć stosunek sygnału do szumu, co skutkuje dłuższym czasem i przestrzenią obliczeniową. Jednak dokładność wykrytej linii nie ulegnie pogorszeniu. Drugi typ przedstawiono na rysunku(b), gdzie niektóre oryginalne piksele odbiegają od dokładnej linii. Efekt kwantyzacji można traktować jako szczególny przypadek tego typu, w którym do współrzędnych pikseli dodawany jest szum o równomiernym rozkładzie. Drugi typ nie tylko zmniejsza stosunek sygnału do szumu, ale także sprawia, że wykryta linia jest niedokładna. Jak dotąd brakuje systematycznej analizy teoretycznej dotyczącej wpływu tego drugiego typu szumu na dokładność rozwiązania. Co ważniejsze, brakuje teoretycznych wytycznych dotyczących kontroli dokładności wykrywanych krzywych i obiektów. Zadania wykrywania krzywych i obiektów można również realizować z perspektywy uczenia opartego na mieszance, które jest znacznie bardziej niezawodne w przypadku drugiego rodzaju szumu . Rozwiązywanie zadań rozpoznawania wzorców za pomocą metod uczenia maszynowego jest popularnym trendem w ostatniej dekadzie i jest nim obecnie. W rzeczywistości perspektywa uczenia maszynowego uzupełnia perspektywę gromadzenia dowodów typu HT/RHT. Trendem jest integrowanie mocnych stron obu.

WNIOSKI

Niniejszy artykuł zawiera nie tylko krótki przegląd prawie dwudziestoletniego rozwoju i zastosowań RHT w wykrywaniu krzywych, kształtów i ruchów, ale także samouczek i ponowną analizę podstawowych mechanizmów, wariantów i rozszerzeń RHT, a także wyzwań i przyszłych trendów w badaniach RHT. Niedawno opracowano i wdrożono ogólny paradygmat rozwiązywania problemów poprzez integrację pięciu podstawowych mechanizmów . Nie tylko różnicę między perspektywą uczenia maszynowego a perspektywą HT/RHT można zrozumieć poprzez obsługę dwóch powiązanych ze sobą zadań podstawowych, mianowicie łączenia dowodów i rozróżniania różnic, ale także różne implementacje tych mechanizmów i różnice w konkretnej integracji mogą przynieść nam nowe wyniki i potencjalne kierunki przyszłych badań.

WSTĘP

Robotyka Ewolucyjna to dziedzina robotyki autonomicznej, w której kontrolery realizujące zachowania są uzyskiwane za pomocą pewnego rodzaju algorytmu ewolucyjnego. Celem tej techniki jest uzyskanie kontrolerów minimalizujących ingerencję człowieka. Jest to bardzo interesujące, ponieważ pozwala na osiągnięcie złożonych zachowań bez wprowadzania "ludzkich uprzedzeń". Czujniki, ciało i siłowniki są zazwyczaj różne u człowieka i u robota, dlatego można zasadnie założyć, że najlepsza strategia opracowana przez człowieka niekoniecznie jest najlepsza dla robota. Niniejszy artykuł pokrótce opisuje robotykę ewolucyjną i jej zalety w porównaniu z innymi podejściami do robotyki autonomicznej, a także jej problemy i wady.

TŁO

Pierwsze współczesne próby stworzenia robota, którego można by nazwać "autonomicznym", czyli zdolnego do adaptacji do nieokreślonego środowiska i odpowiedniego wykonywania zadań, sięgają końca lat sześćdziesiątych i zasadniczo miały na celu odtworzenie ludzkiego rozumowania w robocie. Proces rozumowania został podzielony na kilka etapów (interpretacja danych wejściowych, modelowanie środowiska, planowanie i wykonywanie), które były wykonywane sekwencyjnie. Z biegiem czasu roboty stawały się coraz lepsze dzięki lepszemu projektowaniu i konstrukcji, większym możliwościom obliczeniowym oraz udoskonaleniom w stosowanych technikach sztucznej inteligencji. Pojawiły się jednak i pozostały pewne problemy: brak reakcji w czasie rzeczywistym, niezdolność do radzenia sobie z dynamicznym otoczeniem i niekontrolowana złożoność, ponieważ pożądane zachowania stają się coraz bardziej złożone. Pod koniec lat osiemdziesiątych wprowadzono nowe podejście, zwane robotyką opartą na zachowaniu. Kładło ono nacisk na zachowanie, niezależnie od sposobu jego uzyskania, w przeciwieństwie do tradycyjnej (opartej na wiedzy) robotyki autonomicznej, w której nacisk kładziono na modelowanie wiedzy potrzebnej do wykonania danego zachowania. To nowe podejście proponuje bezpośrednie połączenie między czujnikami a elementami wykonawczymi bez wyraźnego modelowania środowiska. Robotyka oparta na zachowaniu okazała się bardzo użyteczna przy wdrażaniu zachowań niskiego poziomu, ale również wykazała problemy przy skalowaniu do zachowań bardziej złożonych. Phil Husbands i Dave Cliff wykazali, że nie jest łatwo zaprojektować system łączący czujniki i elementy wykonawcze w celu osiągnięcia złożonych zachowań. Niezależnie od tego, czy system jest monolityczny (zaprojektowanie złożonego systemu w jednym kroku nigdy nie jest łatwe), czy modułowy, problem projektowy jest trudny, głównie ze względu na fakt, że możliwe interakcje między modułami rosną wykładniczo. Dodatkowym problemem jest to, że zaprojektowane przez człowieka kontrolery dla robotów autonomicznych niekoniecznie są najlepszym wyborem, a czasami po prostu nie są dobrym wyborem. Projektant nie może uniknąć postrzegania świata za pomocą własnych czujników i opracowywania rozwiązań problemów, biorąc pod uwagę percepcję i działania, które może wykonać. Co więcej, ludzie mają tendencję do upraszczania i modularyzacji problemów, co nie zawsze jest możliwe w złożonych środowiskach. Z powodu tych wad, na początku lat dziewięćdziesiątych niektórzy badacze zaczęli wykorzystywać algorytmy ewolucyjne w celu automatycznego uzyskiwania sterowników dla robotów autonomicznych, co doprowadziło do powstania nowej dziedziny robotyki: robotyki ewolucyjnej. Przykładami tego nurtu badawczego są prace Irmana Harveya , Phila Husbandsa , Dave′a Cliffa oraz Randalla Beera i Johna Gallaghera . Pomysł jest bardzo prosty i obiecujący, a także, jak się okazało, jest bardzo skuteczny w przypadku prostych zachowań. Jednak, nawet jeśli rozwiązuje on pewne problemy, ma również swoje własne problemy w przypadku zachowań złożonych.

ROBOTYKA EWOLUCYJNA

Podstawą robotyki ewolucyjnej jest wykorzystanie algorytmów ewolucyjnych do automatycznego pozyskiwania kontrolerów robotów. Aby to zrobić, trzeba podjąć wiele decyzji. Przede wszystkim należy zdecydować, co ma podlegać ewolucji (kontrolery, morfologia, a może jedno i drugie?). Następnie, to, co ma podlegać ewolucji, musi zostać zakodowane w chromosomach. Należy wybrać algorytm ewolucyjny. Należy zdecydować, gdzie i jak oceniać każdego osobnika itd.

Co rozwijać

Pierwszą decyzją, jaką należy podjąć, jest to, co rozwijać. Najczęstszym wyborem jest ewolucja kontrolerów dla danego robota, ale możemy również ewoluować morfologię lub oba te elementy jednocześnie. Jeśli zdecydujemy się ewoluować tylko kontrolery, musimy również zdecydować, jak zostaną zaimplementowane. Najczęstszymi wyborami są sztuczne sieci neuronowe,systemy logiki rozmytej i systemy klasyfikatorów. Systemy klasyfikatorów składają się z reguł (zestaw klasyfikatorów). Każda reguła składa się z zestawu warunków i komunikatu. Jeśli warunki zostaną spełnione,komunikat może wywołać działanie na siłowniku i jest przechowywany na liście komunikatów. Wartości czujników są również przechowywane na tej liście komunikatów. Komunikaty na liście komunikatów mogą zmieniać stan warunków, prowadząc do innego zestawu aktywowanych reguł. Istnieje system podziału punktów, który zmienia siłę każdej reguły, oraz system odkrywania reguł, w którym algorytm genetyczny generuje nowe reguły, wykorzystując istniejące reguły z zestawu klasyfikatorów iich siłę. Przykładem systemów klasyfikacyjnych jest praca Dorigo i Colombettiego . Logika rozmyta została również wykorzystana do kodowania sterowników. Możliwe wartości wyczuwalne i wartości działające są kodowane w predefiniowanych zbiorach rozmytych, a reguły, które wiążą obie rzeczy, mogą być rozwijane. Przykłady: Sztuczne sieci neuronowe są najczęstszym sposobem implementacji sterowników w robotyce ewolucyjnej. Z jednej strony są odporne na szum i awarie, a z drugiej mogą być używane jako uniwersalne aproksymatory funkcji i mogą być łatwo zintegrowane z algorytmem ewolucyjnym w celu uzyskania sterownika od podstaw. Wielu badaczy korzystało z sieci neuronowych (ANN), by wymienić tylko niektóre z nich.

Jak zakodować to, co rozwijamy

Podczas kodowania kontrolera w chromosomie, najbardziej oczywistym i najczęstszym wyborem jest kodowanie bezpośrednie. Oznacza to, że każdy parametr kontrolera staje się genem w chromosomie. Na przykład, jeśli kontrolerem jest SSN, każda waga synaptyczna, a także odchylenia i inne możliwe parametry opisujące topologię SSN odpowiadają genowi . Może to prowadzić do bardzo dużych chromosomów, ponieważ rozmiar chromosomu rośnie proporcjonalnie do kwadratu rozmiaru sieci (w przypadku sieci ze sprzężeniem zwrotnym), zwiększając wymiarowość przestrzeni poszukiwań i utrudniając uzyskanie rozwiązania w rozsądnym czasie. Innym problemem jest to, że projektant musi wstępnie zdefiniować pełną topologię (rozmiar, liczbę neuronów itp.) SSN, co na ogół nie jest oczywiste i zazwyczaj prowadzi do procedury prób i błędów. Aby rozwiązać ten problem, niektórzy badacze stosują schematy kodowania, w których długość chromosomu może zmieniać się w czasie . Inną możliwością jest kodowanie elementów, które zgodnie z zestawem reguł kodują rozwój jednostki . Niektórzy autorzy ewoluują nawet wraz z tym systemem zarówno kontroler, jak i morfologia, ale głównie dla organizmów wirtualnych lub bardzo uproszczonych, rzeczywistych robotów.

Gdzie przeprowadzić proces ewolucji

Aby określić, jak dobry jest osobnik, konieczna jest ocena tego osobnika w środowisku w określonym przedziale czasowym. Ocena ta musi zostać przeprowadzona więcej niż jeden raz, aby uniezależnić proces od warunków początkowych. Im bardziej złożone jest zachowanie, tym więcej czasu potrzeba na ocenę osobnika. Ocena osobnika jest zazwyczaj zdecydowanie najbardziej czasochłonną fazą w całym procesie ewolucji w robotyce ewolucyjnej. Ocenę można przeprowadzić w środowisku rzeczywistym, w środowisku symulowanym lub w obu. Ocena w środowisku rzeczywistym ma oczywistą zaletę, ponieważ uzyskane kontrolery będą działać bezproblemowo w rzeczywistym robocie. Jest ona jednak znacznie wolniejsza niż ocena w środowiskach symulowanych, stwarza ryzyko uszkodzenia robota i wiele ograniczeń dotyczących funkcji oceny, które można wykorzystać. Dlatego badacze rozważający ocenę w środowisku rzeczywistym najczęściej wykorzystują małe roboty w środowiskach kontrolowanych . Alternatywą jest przeprowadzenie oceny w środowisku symulowanym . Jest to szybsze i pozwala na zrównoleglanie algorytmu oraz wykorzystanie funkcji dopasowania, które są niemożliwe w rzeczywistym środowisku. Niemniej jednak, wiąże się to z dodatkowym problemem, jakim jest sposób przeprowadzenia tej symulacji w celu uzyskania kontrolerów działających w świecie rzeczywistym. Jakobi sformalizował ten problem i określił warunki, które należy uwzględnić, aby pomyślnie przenieść kontrolery uzyskane w symulacji do rzeczywistego robota. Niektórzy badacze decydują się na przeprowadzenie symulowanej oceny dla różnych generacji procesu ewolucyjnego, z wyjątkiem ostatnich generacji, w których przeprowadza się rzeczywistą ocenę, aby upewnić się, że kontrolery działają w rzeczywistym robocie. Niemniej jednak, podejście to stwarza te same problemy, choć w pewnym stopniu zredukowane, co w przypadku ewolucji w rzeczywistym środowisku

Jak oceniać

Po dokonaniu poprzednich wyborów należy zdecydować, w jaki sposób zostanie obliczona sprawność. Istnieją dwie różne perspektywy: lokalna i globalna. Pierwsza z nich polega na ustaleniu dla każdego kroku życia robota sprawności jego działań w odniesieniu do celu. Końcowa sprawność będzie sumą wartości sprawności odpowiadających każdemu krokowi. Ta strategia ma dwie główne wady. Z wyjątkiem problemów z zabawkami, bardzo trudno jest z góry określić sprawność każdego działania w odniesieniu do celu końcowego. Czasami to samo działanie może być dobre lub złe w zależności od tego, co wydarzyło się wcześniej lub później w danym kontekście. Ponadto, podejście to implikuje zewnętrzne określenie sprawności, ponieważ to projektant narzuca, poprzez te pary działanie-sprawność, jak robot ma działać. Podejście globalne natomiast implikuje zdefiniowanie kryteriów sprawności w oparciu o to, jak dobrze robot osiągnął swój cel końcowy. Projektant nie określa, jak dobra jest każda akcja, aby zmaksymalizować dopasowanie, a algorytm ewolucyjny ma znacznie większą swobodę w odkrywaniu najlepszego kontrolera końcowego. Głównym problemem jest to, że w procesie ewolucyjnym wstrzykiwana jest znacznie mniejsza wiedza, przez co ewolucja może znaleźć luki w specyfikacji problemu i w ten sposób zmaksymalizować dopasowanie, nie osiągając w rzeczywistości poszukiwanej funkcji. Istnieją dwa główne sposoby uzyskania globalnego dopasowania: zewnętrzne i wewnętrzne. Przez zewnętrzne rozumiemy dopasowanie przypisane przez kogoś lub jakiś proces spoza robota. Skrajny przykład zewnętrznej, globalnej oceny zachowania robota przedstawiono w (Lund i in., 1998). Innym możliwym podejściem jest wykorzystanie wewnętrznej reprezentacji dopasowania. Polega to na wykorzystaniu wskazówek w środowisku, którego robot jest świadomy i które może wykorzystać do oceny swojego poziomu dopasowania bez pomocy zewnętrznego ewaluatora (poza samym środowiskiem). Koncepcją często wykorzystywaną w celu wdrożenia tego podejścia jest energia wewnętrzna. Robot ma wewnętrzny poziom energii, który rośnie lub maleje zgodnie z zestawem reguł lub funkcji związanych z percepcją robota. Ostateczną sprawność robota określa poziom energii pod koniec jego żywotności.

PRZYSZŁE TRENDY

Głównym problemem ewolucyjnego podejścia do robotyki jest to, że chociaż łatwo uzyskać proste zachowania, nie skaluje się ono dobrze do zachowań naprawdę złożonych bez wprowadzenia do systemu pewnej wiedzy ludzkiej. Oczywistym rozwiązaniem tego problemu jest skrócenie czasu oceny, co powoli następuje dzięki rosnącym możliwościom obliczeniowym. Innym sposobem opanowania tego problemu jest próba uzyskania lepszego schematu kodowania za pomocą programowania. Innym problemem, który pojawia się przy próbie minimalizacji interwencji człowieka, jest to, że algorytm ewolucyjny może prowadzić do zachowania, które optymalizuje zdefiniowaną funkcję dopasowania, ale wynik nie odpowiada pożądanemu zachowaniu z powodu niekompletnej lub nieadekwatnej funkcji dopasowania. Problem ten należy rozwiązać z teoretycznego i formalnego punktu widzenia, aby metodologicznie uzyskać odpowiednie funkcje dopasowania. Wreszcie, istnieje problem wspólny dla robotyki autonomicznej: benchmarking. Porównywanie różnych podejść nie jest łatwe i zazwyczaj możemy jedynie stwierdzić, czy dane zachowanie jest satysfakcjonujące, czy nie. Trudno jest porównać je z innymi podobnymi zachowaniami lub stwierdzić, czy wyniki byłyby lepsze, gdyby zmienić coś w zastosowanym podejściu.

WNIOSKI

Robotyka ewolucyjna szybko rozwinęła się od momentu swoich narodzin na początku lat dziewięćdziesiątych XX wieku jako najpowszechniejszy sposób uzyskiwania zachowań w robotyce opartej na zachowaniu. Wykazała, że jest to najłatwiejszy sposób automatycznego uzyskiwania kontrolerów dla robotów autonomicznych, przy jednoczesnym minimalizowaniu czynnika ludzkiego, przynajmniej gdy zachowania nie są zbyt złożone, ze względu na fakt, że łatwo jest zakodować każde narzędzie używane do implementacji kontrolerów i uzyskać rozwiązanie poprzez samo zdefiniowanie funkcji dopasowania. W robotyce ewolucyjnej symulowana ewaluacja jest preferowanym sposobem oceny jak dobrego jest rozwiązanie kandydata, a sztuczne sieci neuronowe są preferowanym narzędziem do implementacji kontrolerów ze względu na ich odporność na szum i błędy oraz naturę uniwersalnego aproksymatora funkcji. Ze względu na czas potrzebny na ocenę osobników i liczbę osobników, które muszą zostać ocenione, wybór poprawnego algorytmu ewolucyjnego i jego paralelizacja są czynnikami krytycznymi.

WSTĘP

Modele sztucznej inteligencji są często klasyfikowane w kategoriach rozróżnienia koneksjonistycznego i symbolicznego. Oprócz tego, że są opisowo nieprzydatne, terminy te są zazwyczaj utożsamiane z wieloma problemami, które mogą nie mieć nic wspólnego ze zobowiązaniami wynikającymi z konkretnego modelu. Bardziej użyteczne rozróżnienie między reprezentacjami poznawczymi opiera się na pytaniu, czy są one lokalne, czy rozproszone. Tradycyjne systemy symboli (gramatyka, rachunek predykatów) wykorzystują reprezentacje lokalne: dany symbol nie ma wewnętrznej treści i znajduje się pod określonym adresem w pamięci. Choć dobrze poznane i skuteczne w wielu dziedzinach, tradycyjne reprezentacje są kruche. Liczba możliwych do reprezentacji elementów jest ustalona na pewnym, dowolnym, sztywnym limicie, a pojedyncza uszkodzona lokalizacja w pamięci lub zepsuty wskaźnik może zniszczyć całą strukturę. Z drugiej strony, w reprezentacji rozproszonej każdy byt jest reprezentowany przez wzorzec aktywności rozproszony na wiele elementów obliczeniowych, a każdy element obliczeniowy uczestniczy w reprezentowaniu wielu różnych bytów . Takie reprezentacje mają szereg właściwości, które czynią je atrakcyjnymi dla reprezentacji wiedzy : są odporne na szum, łagodnie degradują się i obsługują stopniowane porównywanie za pomocą metryk odległości. Właściwości te umożliwiają szybką pamięć asocjacyjną i efektywne porównywanie całych struktur bez rozpakowywania ich na części składowe. Niniejszy artykuł przedstawia przegląd reprezentacji rozproszonych, osadzając to podejście w jego historycznym kontekście. Opisano dwie podstawowe operacje niezbędne do zbudowania rozproszonej reprezentacji struktur - wiązanie i grupowanie. Przedstawiamy przykładowe zastosowania każdego modelu, a na koniec omawiamy aktualny stan wiedzy.

TŁO

Wynalezienie algorytmu propagacji wstecznej doprowadziło do fali badań, w których modele inspirowane neuronalnie stosowano do zadań, w których wykorzystanie tradycyjnych struktur danych i algorytmów sztucznej inteligencji (AI) powszechnie uznawano za jedyne wykonalne podejście. Przekonującą cechą tych nowych modeli było to, że mogły one "odkrywać" reprezentacje najlepiej dopasowane do dziedziny modelowania, w przeciwieństwie do reprezentacji tworzonych przez człowieka, stosowanych w tradycyjnej sztucznej inteligencji. Te odkryte lub wyuczone reprezentacje były zazwyczaj wektorami liczb w ustalonym przedziale, takim jak [0, 1], reprezentującymi wartości zmiennych ukrytych. Do takich reprezentacji można było zastosować technikę statystyczną, taką jak analiza głównych składowych, ujawniając interesujące prawidłowości w danych treningowych. Kwestie dotyczące natury reprezentacji wyuczonych przez propagację wsteczną doprowadziły do krytyki tej pracy. Najpoważniejsze z nich utrzymywały, że sieci neuronowe nie są w stanie uzyskać ani wykorzystać systematycznych, kompozycyjnych reprezentacji, takich jak te stosowane w tradycyjnej kognitywistyce i sztucznej inteligencji. Minimalnym wymaganiem, na które wskazywali krytycy, było to, że model, który mógłby reprezentować np. ideę "Jan kocha Mary", powinien być również w stanie reprezentować "Mary kocha Johna" (systematyczność) oraz reprezentować "Jan, Mary" i "kocha" indywidualnie w ten sam sposób w obu przypadkach (kompozycyjność). Krytycy twierdzili, że sieci neuronowe zasadniczo nie są w stanie spełnić tego wymogu. Systematyczność i kompozycyjność można postrzegać jako wynik dwóch podstawowych operacji: wiązania i grupowania. Wiązanie wiąże wypełniacze (Jan, Mary) z rolami (kochanek, ukochana). Grupowanie łączy powiązania ról/wypełniaczy, tworząc większe struktury. Co kluczowe, reprezentacje generowane przez wiązanie i grupowanie muszą wspierać operację odzyskiwania wypełniaczy ról: musi być możliwe zadanie pytania "Kto co komu zrobił?" i uzyskanie prawidłowej odpowiedzi. Około 1990 roku wielu badaczy zaczęło skupiać swoją uwagę na budowaniu modeli, które mogłyby niezawodnie wykonywać te operacje.

RÓŻNORODNOŚCI REPREZENTACJI ROZPROSZONEJ

W niniejszym artykule opisano różne podejścia do implementacji operacji wiązania i grupowania, spotykane w najnowszej literaturze poświęconej sieciom neuronowym. Chociaż opracowano kilka różnych modeli, można je podzielić na dwie szerokie kategorie, w zależności od sposobu reprezentacji ról oraz sposobu realizacji wiązania i grupowania.

Rekurencyjna pamięć autoasocjacyjna

W rekurencyjnej pamięci autoasocjacyjnej, czyli RAAM (Pollack 1990), wypełniacze są reprezentowane jako stosunkowo małe wektory (N = 10-50 elementów) zer i jedynek. Role są reprezentowane jako macierze N × N wartości rzeczywistych, a powiązanie rola/wypełniacz jako iloczyn wektora i macierzy. Grupowanie odbywa się poprzez dodawanie kolejnych elementów wynikowych wektorów. Zazwyczaj istnieją dwie lub trzy macierze ról, reprezentujące ogólne kategorie ról, takie jak agent i pacjent, oraz kolejna macierz N × N, niezbędna do reprezentacji predykatu (kocha, widzi, wie itp.). Ponieważ wszystkie wektory mają ten sam rozmiar N, wektory zawierające wiązania mogą być używane jako wypełniacze, wspierając struktury o potencjalnie nieograniczonej złożoności (Bill wie, że Fred powiedział, że John kocha Mary). Celem jest nauczenie się zbioru wartości macierzy (wag) do zakodowania zbioru takich struktur. Aby odzyskać wypełniacze, należy wytrenować odpowiadający im zbiór macierzy do dekodowania wektorów generowanych przez macierze kodera. Macierze kodera i dekodera tworzą razem sieć autoasocjatorową (Ackley, Hinton i Sejnowski 1985), którą można wytrenować z propagacją wsteczną. Jedynym dodatkowym ograniczeniem wymaganym dla propagacji wstecznej jest to, aby iloczyny wektorowo-macierzowe były przepuszczane przez funkcję ograniczającą, taką jak sigmoidalna funkcja "squashingu" f(x) = 1 / (1 + e^-x), której wyjście mieści się w przedziale (0,1). Rysunek przedstawia przykład uczenia autoasocjacyjnego dla prostej, hipotetycznej struktury, z wykorzystaniem trzech ról, przy N = 4.



Ta sama sieć jest pokazana na różnych etapach uczenia (poddrzewo i pełne drzewo) podczas jednej epoki wstecznej propagacji. Należy zauważyć, że sieć tworzy własne reprezentacje kompozycyjne na swojej warstwie pośredniej ("ukrytej"), w oparciu o dowolne wektory binarne wybrane przez eksperymentatora. W przeciwieństwie do tych wektorów binarnych (jednostki czarne i białe), reprezentacje pośrednie mogą mieć wartości od zera do jednego (skala szarości). Gdy sieć RAAM nauczy się zbioru struktur, podsieć dekodera powinna być w stanie rekurencyjnie rozpakować każdą nauczoną reprezentację na jej elementy składowe. Jak pokazano na rysunku 2,



dekodowanie jest procesem rekurencyjnym, który kończy się, gdy wynik dekodera jest wystarczająco podobny do ciągu binarnego, i kontynuuje w przeciwnym razie. W pierwotnej formule RAAM "wystarczająco podobny" był określany za pomocą progów: jeśli wartość jednostki przekraczała 0,8, uznawano ją za włączoną, a jeśli była poniżej 0,2, za wyłączoną. RAAM odpowiedział na wyzwanie pokazania, jak sieci neuronowe mogą reprezentować struktury kompozycyjne w sposób systematyczny. Reprezentacje odkryte przez RAAM można było porównywać bezpośrednio za pomocą metryk odległości i transformować w sposób regułowy, bez konieczności rekurencyjnej dekompozycji elementów struktury, jak w tradycyjnych modelach lokalizacyjnych . Niemniej jednak model nie skalował się niezawodnie do zbiorów danych obejmujących więcej niż kilkadziesiąt różnych struktur. To ograniczenie wynikało z testu zakończenia, który powodował szereg "problemów zatrzymania": dekodowanie często kończyło się zbyt wcześnie lub trwało w nieskończoność. Ponadto kodowania nowych struktur były zazwyczaj dekodowane do już wyuczonych struktur, co stanowiło błąd w generalizacji. Opracowano szereg rozwiązań, aby poradzić sobie z tym problemem. Jedno z rozwiązań opierało się na założeniu, że dekoder RAAM jest zasadniczo iterowanym systemem funkcji, czyli IFS . Zastosowanie sigmoidalnej funkcji spłaszczania zapewnia, że ten IFS ma atraktor, który jest nieskończonym zbiorem (pyłem Cantora) wektorów osiągalnych w nieskończonej liczbie iteracji sprzężenia zwrotnego z dowolnego wektora wejściowego do dekodera. Bardziej "naturalnym" testem zakończenia jest sprawdzenie, czy wynik jest elementem zbioru wektorów tworzących ten atraktor. Ustalenie precyzji numerycznej dekodera skutkuje skończoną liczbą wektorów reprezentowalnych i skończonym czasem dotarcia do atraktora, dzięki czemu przynależność do atraktora można efektywnie określić. To podejście do testu zakończenia doprowadziło do powstania dekodera RAAM, który mógł przechowywać w sposób dowodzący nieskończoną liczbę powiązanych struktur . Ponieważ sieć RAAM nie była już autoasocjatorem, nie było jasne, jaki algorytm mógłby zastąpić propagację wsteczną w uczeniu się określonego, skończonego zbioru struktur. Drugie rozwiązanie problemu skalowania RAAM odrzucało nieliniową funkcję sigmoidalnego squashowania i zastępowało propagację wsteczną analizą głównych składowych (PCA) jako sposobem uczenia reprezentacji wewnętrznych

Architektury Symboliczne Wektorowe

Architektury Symboliczne Wektorowe to termin ukuty przez Gaylera (2003) dla ogólnej klasy rozproszonych modeli reprezentacji, które implementują wiązanie i pakowanie bezpośrednio, bez iteracyjnego algorytmu uczenia się, takiego jak używany w RAAM. Modele te można wywieść z modelu iloczynu tensorowego Smolensky′ego (1990). Modele iloczynu tensorowego reprezentują zarówno wypełniacze, jak i role jako wektory liczb binarnych lub rzeczywistych. Wiązanie jest implementowane poprzez iloczyn tensorowy (zewnętrzny) wektora roli i wektora wypełniacza, co skutkuje obiektem matematycznym (macierzą) o jednym wymiarze więcej niż wypełniacz. Przy założeniu wektorów o wystarczającej długości, każdy iloczyn tensorowy będzie unikatowy. Podobnie jak w RAAM, pakowanie można następnie zaimplementować jako dodawanie elementów



a struktury wiązane mogą być używane jako role, co otwiera drogę do rekursji. Aby uzyskać wypełniacz (rolę) z reprezentacji iloczynu tensorowego wiązanego, iloczyn jest po prostu dzielony przez wektor roli (wypełniacza). Ponieważ wymiar iloczynu tensorowego rośnie z każdą operacją wiązania, metoda ta cierpi na dobrze znaną "klątwę wymiarowości". Wraz z coraz bardziej rekurencyjnym osadzaniem, rozmiar reprezentacji rośnie wykładniczo. Rozwiązaniem jest zwinięcie macierzy roli/wypełniacza N × N z powrotem do wektora o długości N. Jak pokazano na rysunku 4, istnieją dwa sposoby wykonania tego.



W kodowaniu rozpryskowym (ang. Spatter Coding, BSC) zachowywane są tylko elementy wzdłuż głównej przekątnej, a pozostałe są odrzucane. Jeśli używane są wektory bitowe, operacja ta jest taka sama, jak wykonanie operacji wyłącznej lub (XOR) dwóch wektorów. W zredukowanych reprezentacjach holograficznych (ang. Holographic Reduced Representations, HRR) brana jest suma każdej przekątnej, a splot kołowy (zawijanie) zachowuje równą długość wszystkich przekątnych. Oba podejścia wykorzystują bardzo duże (N > 1000 elementów) wektory wartości losowych pobrane z ustalonego zbioru lub przedziału. Pomimo rozmiaru wektorów, podejścia VSA są wydajne obliczeniowo, nie wymagają kosztownej propagacji wstecznej ani innych algorytmów iteracyjnych i mogą być realizowane równolegle. Nawet w implementacji szeregowej podejście BSC ma złożoność O(N) dla wektora o długości N, a podejście HRR można zaimplementować za pomocą szybkiej transformaty Fouriera, która ma złożoność O(N log N). Ceną jest to, że większość kluczowych operacji (splot kołowy, dodawanie wektorów) to forma stratnej kompresji, która wprowadza szum do reprezentacji. Wprowadzenie szumu wymaga, aby proces usuwania wiązań wykorzystał "pamięć czyszczącą" w celu przywrócenia wypełniaczy do ich pierwotnej postaci. Pamięć czyszczącą można zaimplementować za pomocą autoasocjacji Hebba, takiej jak sieć Hopfielda (Hopfield 1982) lub model Brain-State-in-a-Box . W takich modelach oryginalne wypełniacze to baseny atraktorów w dynamicznej przestrzeni stanu sieci. Metody te można symulować za pomocą tabeli, która przechowuje oryginalne wektory i zwraca ten, który jest najbliższy wersji zaszumionej.

PRZYSZŁE TRENDY

Zarówno podejście RAAM, jak i VSA stały się podstawą wielu badań w dziedzinie sztucznej inteligencji i kognitywistyki. Wynalezienie uproszczonego, liniowego podejścia RAAM, trenowanego stosunkowo szybką metodą iteracyjną z wykorzystaniem głównych składowych , czyni RAAM praktycznym podejściem do reprezentacji struktury w reprezentacji rozproszonej. Najnowsze prace dotyczące modelowania akwizycji języka sugerują, że RAAM może nadal rozwijać się w swojej liniowej wersji. Z drugiej strony, prostota podejścia VSA, wykorzystującego wektorowe operacje arytmetyczne dostępne jako prymitywy w wielu środowiskach programistycznych, sprawiła, że stało się ono coraz bardziej popularne w modelowaniu różnorodnych zadań poznawczych - zwłaszcza tych wymagających integracji różnych typów informacji. Na przykład model analogii DRAMA Eliasmitha i Thagarda (2001) pokazuje, jak można wykorzystać HRR do integracji informacji semantycznych i strukturalnych w sposób, który ściśle odpowiada wynikom uzyskanym w eksperymentach analogowych z udziałem ludzi. HRR został również z powodzeniem zastosowany do ujednoliconej reprezentacji kolejności wyrazów i znaczenia, w oparciu o ekspozycję na dane językowe

WNIOSKI

W niniejszym artykule przedstawiono dwie popularne metody reprezentacji ustrukturyzowanych informacji w sposób rozproszony: rekurencyjną pamięć autoasocjacyjną (RAAM) i wektorową architekturę symboliczną (VSA). Główna różnica między tymi dwoma podejściami polega na sposobie uczenia się reprezentacji: RAAM wykorzystuje iteracyjny algorytm do zbieżności do pojedynczej stabilnej reprezentacji dla zestawu struktur, podczas gdy VSA tworzy struktury w "jednorazowym" etapie uczenia, ale reprezentacja każdej takiej struktury musi być przechowywana osobno. Choć mało prawdopodobne jest, aby pojedyncze podejście rozwiązało wszystkie, a nawet większość problemów stojących przed sztuczną inteligencją, nie ma wątpliwości, że zalety oferowane przez rozproszone reprezentacje - odporność na szum, szybkie porównywanie bez rozkładu i inne realistyczne psychologicznie cechy - nadal będą czynić je atrakcyjnymi dla każdego, kto interesuje się tym, jak działa umysł.

WSTĘP

Pracując nad sztuczną inteligencją, jednym z zadań, które możemy realizować, jest optymalizacja możliwych rozwiązań problemu. Pojawiają się problemy optymalizacyjne. W problemach optymalizacyjnych poszukujemy najlepszego lub wystarczająco dobrego rozwiązania problemu spośród wielu alternatyw. Problemy, które próbujemy rozwiązać, są powszechne w życiu codziennym. Każdy człowiek stale rozwiązuje problemy optymalizacyjne, np. znalezienie najszybszej drogi z domu do pracy, biorąc pod uwagę ograniczenia ruchu. Ludzie mogą skutecznie znajdować rozwiązania tych problemów, ponieważ są one wystarczająco proste. Niemniej jednak problemy mogą być bardziej złożone, na przykład zmniejszenie zużycia paliwa floty samolotów. Do rozwiązania tego rodzaju problemów niezbędne są algorytmy obliczeniowe. Pierwszym podejściem do ich rozwiązania jest zastosowanie metody wyczerpującego wyszukiwania. Teoretycznie ta metoda zawsze znajduje rozwiązanie, ale nie jest efektywna, ponieważ jej czas wykonania rośnie wykładniczo. Aby ulepszyć tę metodę, zaproponowano heurystykę. Heurystyki to inteligentne techniki, metody lub procedury wykorzystujące wiedzę ekspercką do rozwiązywania zadań; Starają się uzyskać wysoką wydajność, odnosząc się do jakości rozwiązania i wykorzystanych zasobów. Metaheurystyki, termin użyty po raz pierwszy przez Freda Glovera w 1986 roku, powstały w celu ulepszenia heurystyk i można je zdefiniować jako "inteligentne strategie projektowania i ulepszania bardzo ogólnych procedur heurystycznych o wysokiej wydajności". Od czasów Glovera dziedzina ta została szeroko rozwinięta. Obecnym trendem jest projektowanie nowych metaheurystyk, które ulepszają rozwiązanie danych problemów. Jednakinnym, bardzo interesującym kierunkiem jest ponowne wykorzystanie istniejących metaheurystyk w skoordynowanym systemie. W tym artykule przedstawiamy dwie różne metody podążające tym tropem.

TŁO

Kilka badań wykazało, że heurystyki i metaheurystyki są skutecznymi narzędziami do dostarczania stosunkowo dobrych rozwiązań (w niektórych przypadkach doskonałych) przy użyciu umiarkowanej liczby zasobów. Krótki przegląd najnowszej literatury ujawnia szeroką gamę problemów i metod, które pojawiają się w ramach ogólnego tematu optymalizacji heurystycznej. W tym kontekście interesującym trendem jest pozyskiwanie strategii, które współpracują ze sobą równolegle. Zainteresowanie to wynika z dwóch powodów: możliwe jest rozwiązanie większych instancji problemów oraz uzyskanie solidnych narzędzi, oferujących wysokiej jakości rozwiązania pomimo zmienności charakterystyki instancji. Istnieją różne sposoby uzyskania tej współpracy. Jednym z nich są systemy kolonii mrówek oraz metody oparte na roju, które wydają się być jednymi z pierwszych mechanizmów kooperacyjnych inspirowanych naturą. Niemniej jednak, zasada współpracy, którą do tej pory przedstawili, jest zbyt sztywna, aby można ją było wykorzystać w modelu ogólnego przeznaczenia . Innym sposobem są równoległe metaheurystyki, które otwierają bardzo interesujące perspektywy. To właśnie tę linię będziemy podążać. Podejmowano ogromne wysiłki w celu paralelizacji różnych metaheurystyk. Możemy zatem znaleźć synchroniczne implementacje tych metod, w których informacje są udostępniane w regularnych odstępach czasu z wykorzystaniem przeszukiwania z tabu oraz z wykorzystaniem symulowanego wyżarzania. W ostatnich latach pojawiły się wielowątkowe, asynchroniczne implementacje kooperacyjne lub wielopoziomowe kooperacyjne przeszukiwania , które, według raportów , zapewniają lepsze wyniki niż implementacje synchroniczne. Wydaje się jednak, że strategia kooperacyjna oparta na jednej metaheurystyce nie obejmuje wszystkich możliwości i zaleca się stosowanie strategii łączących różne metaheurystyki. Artykuł jest dobrym przykładem. Otwiera to zupełnie nowy obszar badań. Pojawiają się pytania takie jak: "jaka będzie rola każdej metaheurystyki?" lub "Jakie mechanizmy współpracy należy zastosować?". W ramach metaheurystyk równoległych skupimy się, zgodnie z klasyfikacją , na metaheurystykach wielowyszukiwań, w których kilka strategii współbieżnie przeszukuje przestrzeń rozwiązań. Wśród nich koncentrujemy się na technikach znanych jako kooperacyjne metaheurystyki wielowyszukiwań, w których każda strategia wymienia informacje z pozostałymi w trakcie wykonywania. Kooperacyjne metaheurystyki wielowyszukiwań uzyskują rozwiązania lepszej jakości niż metody niezależne. Jednak wcześniejsze badania pokazują, że metody kooperacyjne z nieograniczonym dostępem do współdzielonych informacji mogą doświadczać problemów przedwczesnej konwergencji. Wydaje się, że wynika to ze stabilizacji współdzielonych informacji, stabilizacji spowodowanej intensywną wymianą lepszych rozwiązań. Interesujące byłoby zatem znalezienie sposobu kontrolowania tej wymiany informacji. W tym kontekście proponujemy dwa podejścia do kontrolowania wymiany informacji: jedno wykorzystujące pamięć do rozwiązania tego problemu, a drugie wykorzystujące proces ekstrakcji wiedzy. Pierwsze podejście proponuje strategię kooperacyjną, w której agent koordynujący, modelowany przez zestaw reguł rozmytych "ad hoc", otrzymuje informacje od zestawu agentów rozwiązujących i wysyła do każdego z nich instrukcje, jak kontynuować. Każdy agent rozwiązujący implementuje metaheurystykę Fuzzy Adaptive Neighbourhood Search (FANS) jako klon. FANS jest postrzegany jako adaptacyjna metaheurystyka oparta na rozmytym sąsiedztwie. Jego własne cechy pozwalają FANS uchwycić jakościowe zachowanie kilku metaheurystyk i dlatego może być uważany za "framework" metaheurystyk. Drugie podejście wykorzystuje tę samą strukturę, ale łączy zestaw różnych metaheurystyk, które współpracują w ramach jednego skoordynowanego schematu, w którym agent koordynujący, modelowany przez zestaw reguł rozmytych, otrzymuje informacje z różnych metaheurystyk i wysyła instrukcje do każdej z nich. Różnica w stosunku do poprzedniego systemu polega na sposobie pozyskiwania reguł. W tym przypadku, w wyniku procesu ekstrakcji wiedzy

DWIE WSPÓŁPRACUJĄCE METAHEURYSTYKI WIELOKROTNEGO WYSZUKIWANIA

Współpracująca metaheurystyka wielokompromisowa wykorzystująca pamięć i reguły rozmyte .Ideę pierwszej strategii można wyjaśnić za pomocą diagramu na rysunku



Mając konkretny problem do rozwiązania, mamy zestaw solverów. Każdy solver opracowuje konkretną strategię rozwiązania problemu niezależnie, a cały zestaw solverów pracuje jednocześnie, bez bezpośredniej interakcji. W celu koordynowania solverów istnieje koordynator, który zna wszystkie ogólne aspekty danego problemu i poszczególne funkcje solvera. Koordynator otrzymuje raporty od solverów z uzyskanymi wynikami i zwraca im zamówienia. Wewnętrzne działanie strategii jest dość proste. W pierwszym kroku koordynator określa początkowe zachowanie (zestaw parametrów) dla każdego solvera, który modeluje konkretną strategię optymalizacji. To zachowanie jest przekazywane do każdego solvera, który następnie jest wykonywany. Dla każdego solvera koordynator przechowuje dwa ostatnie raporty zawierające ich czasy oraz odpowiadające im rozwiązania w tych czasach. Na podstawie zestawu informacji o solverze koordynator oblicza miary wydajności, które zostaną wykorzystane do dostosowania bazy reguł rozmytych. Ta baza reguł rozmytych jest generowana ręcznie zgodnie z zasadą: Jeśli solver działa dobrze, należy go zachować; ale jeśli solver wydaje się być w pułapce, należy coś zrobić, aby zmienić jego zachowanie. Solvery działają asynchronicznie, wysyłając i odbierając informacje. Koordynator sprawdza, który solver dostarczył nowe informacje i decyduje, czy jego zachowanie wymaga dostosowania za pomocą bazy reguł rozmytych. Jeśli tak, uzyska nowe zachowanie i prześle je do solverów. Działanie solvera jest dość proste: po rozpoczęciu wykonywania, informacje o wydajności są wysyłane, a polecenia adaptacji od koordynatora są odbierane naprzemiennie. Każdy wątek solvera jest implementowany za pomocą metaheurystyki FANS. Używamy tej metaheurystyki z trzech głównych powodów:

o FANS jest zasadniczo techniką lokalnego wyszukiwania z akceptacją progową, a zatem jest łatwa do zrozumienia i wdrożenia oraz nie wymaga dużych zasobów obliczeniowych.
o FANS może być używany jako szablon heurystyczny. Każdy zestaw parametrów implikuje inne zachowanie metody, a zatem można symulować jakościowe zachowanie innych lokalnych technik wyszukiwania.
o Poprzedni punkt umożliwia budowanie różnych schematów wyszukiwania oraz łatwe sterowanie procedurami dywersyfikacji i intensyfikacji.

Dlatego nie musimy implementować różnych algorytmów, a jedynie używać FANS jako szablonu. Kooperacyjna metaheurystyka wielowyszukiwawcza wykorzystująca eksplorację danych do otrzymywania reguł rozmytych Idea drugiej strategii jest bardzo podobna do pierwszej i można ją zobaczyć na rysunku 2.



Mając konkretny problem do rozwiązania, mamy zestaw solverów. Każdy solver implementuje inną metaheurystykę i musi rozwiązać problem, jednocześnie koordynując się z pozostałymi metaheurystykami. Aby umożliwić współpracę, używamy agenta koordynującego, który kontroluje i modyfikuje zachowanie agentów. Do komunikacji między różnymi metaheurystykami wykorzystywany jest zaadaptowany model tablicy. W tym modelu każdy agent kontroluje część tablicy, gdzie zapisuje informacje o swojej wydajności i okresowo aktualizuje znalezione rozwiązanie. Koordynator konsultuje się z tablicą, aby monitorować zachowanie każdej metaheurystyki i decydować, jak je zmodyfikować. Aby zapewnić koordynatorowi inteligencję, proponujemy wykorzystanie zestawu reguł rozmytych uzyskanych w wyniku procesu metodologicznego zaproponowanego przez (Cadenas, Garrido, Hernández i Muñoz, 2006), (Cadenas, Díaz-Valladares, Garrido, Hernández i Serrano, 2006) i opartego na procesie ekstrakcji wiedzy. Proces ekstrakcji wiedzy przedstawiono na rysunku



i podzielono na następujące fazy:

1. Przygotowanie danych. W tej fazie staramy się uzyskać bazę danych zawierającą użyteczne informacje, aby można było zastosować eksplorację danych (Data Mining). Metaheurystyki, które zostaną użyte w systemie, są wybierane i stosowane do rozwiązania zbiorów instancji problemu, ekstrahując z tych wykonań interesujące dane, takie jak parametry każdej metaheurystyki lub uzyskane rozwiązania. Następnie, zaleca się zastosowanie preprocesu do bazy danych w celu uzyskania bardziej istotnych atrybutów i instancji.
2. Eksploracja danych. W drugiej fazie, techniki eksploracji danych są stosowane do informacji uzyskanych w poprzedniej fazie w celu uzyskania modelu koordynatora systemu. Najpierw wybiera się technikę eksploracji danych, następnie stosuje się ją do bazy danych, a na końcu, wykorzystując uzyskane modele, dedukuje się zestaw reguł rozmytych.
3. Ewaluacja. W tej fazie testujemy wydajność modelu koordynatora i sprawdzamy, czy działa on efektywnie w odniesieniu do kosztów obliczeniowych i uzyskanych rozwiązań.

W niniejszym artykule przedstawiamy synchroniczną implementację tego modelu, w której wykorzystano trzy metaheurystyki: algorytm genetyczny, przeszukiwanie z tabu oraz symulowane wyżarzanie. Ostatecznie uzyskany system działa w następujący sposób: najpierw koordynator ustala początkowy zestaw parametrów dla każdej metaheurystyki, zgodnie z uprzednio wyekstrahowaną wiedzą. Następnie każdy solver rozpoczyna wyszukiwanie, okresowo wszystkie solvery zatrzymują się i zapisują swoje rozwiązania, a następnie koordynator je ocenia i, korzystając z rozmytej bazy reguł, decyduje, jak należy zmienić rozwiązania i parametry każdej metaheurystyki. Do sformułowania bazy reguł wykorzystaliśmy uprzednio zdefiniowany proces ekstrakcji wiedzy, którego faza eksploracji danych została przeprowadzona z wykorzystaniem rozmytych drzew decyzyjnych.

Wyniki uzyskane dzięki tym metodom

Po przeanalizowaniu obu systemów przedstawimy uzyskane przez nie wyniki. Obie strategie zostały przetestowane przy rozwiązywaniu problemu plecakowego, którego formuła matematyczna jest następująca:



gdzie n to liczba przedmiotów, xj wskazuje, czy przedmiot j znajduje się w plecaku, czy nie, p_j to zysk związany z przedmiotem j, w_j ∈ [0, …, r] to waga przedmiotu j, a C to pojemność plecaka. Zakładamy również, że w_j < C, ∀j (każdy przedmiot mieści się w plecaku), a



(cały zestaw elementów nie pasuje). Wybraliśmy problem plecakowy, ponieważ możemy skonstruować instancje testowe o różnym stopniu trudności w zależności od trzech cech: rozmiaru instancji, rodzaju korelacji między wagami a zyskami oraz zakresu wartości dostępnych dla wag. Ostatecznie przeprowadziliśmy testy z implementacją każdego systemu. Implementacja systemu opartego na pamięci wykorzystała sześć solverów, z których każdy implementował algorytm FANS z różnymi parametrami i był wykonywany przez 30 sekund . Implementacja systemu opartego na eksploracji danych, jak wspomniano wcześniej, wykorzystała trzy solvery, z których każdy implementował inną metaheurystykę (algorytm genetyczny, przeszukiwanie z tabu i symulowane wyżarzanie) i był wykonywany przez 60 sekund



Aby przetestować wydajność systemów, wykonaliśmy również każdą metaheurystykę indywidualnie (FANS, przeszukiwanie z tabu, symulowane wyżarzanie, algorytm genetyczny) przez 180 sekund. W tabeli 1 przedstawiamy średni błąd uzyskany dla różnych typów i rozmiarów instancji, porównując podejście oparte na pamięci z indywidualnymi FANS-ami oraz podejście oparte na DM ze średnimi wynikami trzech metaheurystyk, które je tworzą. Jak widać, każda strategia zapewnia lepsze wyniki niż jej komponenty.

PRZYSZŁE TRENDY

Po tych pracach pojawia się kilka kierunków badań. W odniesieniu do pierwszej strategii, zagadnieniem jest rodzaj informacji przechowywanych w pamięci koordynatora i sposób, w jaki jest ona wykorzystywana do kontrolowania globalnego zachowania strategii w zakresie wyszukiwania. W odniesieniu do drugiej, proces ekstrakcji wiedzy wymaga udoskonalenia i przetestowania z wykorzystaniem różnych technik eksploracji danych. W przypadku obu strategii, kolejnym tematem do omówienia jest poprawa bazy reguł rozmytych. Ostatnią kwestią jest obszar zastosowań. Problem plecakowy jest uważany za jeden z "najłatwiejszych" problemów NP-trudnych, dlatego interesujące byłoby zastosowanie tych strategii do bardziej złożonych problemów, takich jak p-mediana, p-mediana huba czy porównanie struktur białek.

WNIOSKI

W niniejszym artykule zaproponowano dwie strategie radzenia sobie z problemami konwergencji, które występują w kooperacyjnych metaheurystykach multiwyszukiwania. Pierwsza strategia sugeruje wykorzystanie pamięci w celu zdefiniowania zestawu reguł rozmytych, które kontrolują wymianę rozwiązań powiązanych ze skoordynowanym schematem, w którym współpracują podobne metaheurystyki. Druga strategia proponuje zastosowanie procesu ekstrakcji wiedzy w celu uzyskania zbioru reguł rozmytych, które kontrolują wymianę rozwiązań w skoordynowanym systemie, w którym współpracują różne metaheurystyki. Oba podejścia zostały przetestowane i wykazały dobrą skuteczność.

WSTĘP

Inteligencja człowieka nabywana jest poprzez długi okres dojrzewania i wzrostu, podczas którego pojedyncza zapłodniona komórka jajowa najpierw przekształca się w embrion, następnie rozwija się w noworodka, a ostatecznie staje się dorosłym osobnikiem - który zazwyczaj przed starzeniem się i śmiercią rozmnaża się. Proces rozwoju jest z natury solidny i elastyczny, a organizmy biologiczne wykazują w trakcie rozwoju niezwykłą zdolność do opracowywania strategii adaptacyjnych i rozwiązań, aby radzić sobie ze zmianami środowiskowymi i zagwarantować sobie przetrwanie. Ponieważ ewolucja wybrała rozwój jako proces, poprzez który realizuje się niektóre z najnowocześniejszych znanych form inteligencji, można zasadnie założyć, że rozwój jest mechanistycznie kluczowy dla naśladowania takiej inteligencji w artefaktach stworzonych przez człowieka.

TŁO

Pomysł, że rozwój może być dobrym sposobem na zrozumienie i skonstruowanie poznania, nie jest nowy. Już Turing (1950) sugerował, że zastosowanie pewnego rodzaju podejścia rozwojowego może być dobrą strategią. W kontekście robotyki wiele pierwotnych idei można prześledzić do ucieleśnionej sztucznej inteligencji (embodied AI), ruchu zapoczątkowanego przez Rodneya Brooksa na początku lat 80. XX wieku (Brooks i in., 1998), oraz koncepcji działania (enactment), zgodnie z którą struktury poznawcze wyłaniają się z powtarzających się wzorców sensomotorycznych, które umożliwiają percepcyjne kierowanie działaniem. Badacze ucieleśnionej sztucznej inteligencji uważają, że inteligencja może pochodzić jedynie z wzajemnej interakcji w wielu skalach czasowych między mózgiem i ciałem podmiotu a jego otoczeniem. W pewnym sensie, przez całe życie nabywamy doświadczenia i zdrowego rozsądku, który następnie wspiera bardziej złożone rozumowanie. To ogólne bootstrapping inteligencji zostało nazwane "inkrementalizmem poznawczym".

ROBOTYKA ROZWOJOWA

Robotyka rozwojowa (znana również jako robotyka epigenetyczna lub ontogenetyczna) to wysoce interdyscyplinarna dziedzina robotyki, w której idee ze sztucznej inteligencji, psychologii rozwojowej, neuronauki i teorii systemów dynamicznych odgrywają kluczową rolę w motywowaniu badań. Robotyka rozwojowa ma na celu modelowanie rozwoju coraz bardziej złożonych procesów poznawczych w systemach naturalnych i sztucznych oraz zrozumienie, jak takie procesy powstają poprzez interakcje fizyczne i społeczne. Ideą jest realizacja sztucznych systemów poznawczych nie poprzez proste programowanie ich do rozwiązania określonego zadania, ale poprzez inicjowanie i podtrzymywanie procesu rozwojowego, podczas którego systemy oddziałują zarówno ze swoim otoczeniem fizycznym (tj. poprzez swoje ciała lub narzędzia), jak i ze swoim otoczeniem społecznym (tj. z ludźmi lub innymi robotami). Poznanie jest przecież wynikiem procesu samoorganizacji (spontanicznego powstawania porządku) i współrozwoju rozwijającego się organizmu z otaczającym go środowiskiem. Chociaż niektórzy badacze wykorzystują symulowane środowiska i modele obliczeniowe , roboty często służą jako platformy testowe dla teoretycznych modeli rozwoju zdolności poznawczych - uzasadnieniem jest to, że jeśli model zostanie urzeczywistniony w systemie oddziałującym ze światem rzeczywistym, można dowiedzieć się wiele o jego mocnych i potencjalnych wadach . W przeciwieństwie do robotyki ewolucyjnej, która operuje na filogenetycznych skalach czasowych i populacjach wielu osobników, robotyka rozwojowa wykorzystuje "krótkie" (ontogenetyczne) skale czasowe i pojedyncze osobniki (lub małe grupy osobników).

OBSZARY ZAINTERESOWANIA

Spektrum badań nad robotyką rozwojową można z grubsza podzielić na cztery główne obszary zainteresowania. Chociaż mogą istnieć przypadki, które mieszczą się w wielu kategoriach, sugerowane grupowanie powinno zapewnić przynajmniej pewien porządek w szerokim spektrum zagadnień poruszanych przez robotyków rozwojowych. Interakcja zorientowana społecznie: Ta kategoria obejmuje badania nad robotami, które komunikują się lub uczą określonych umiejętności poprzez interakcje społeczne z ludźmi lub innymi robotami. Przykładami są uczenie się przez naśladowanie, komunikacja i nabywanie języka, dzielenie się uwagą, zachowanie związane z kolejnością oraz regulacja społeczna . Interakcja niespołeczna: Badania nad robotami charakteryzującymi się bezpośrednim i silnym sprzężeniem między procesami sensomotorycznymi a lokalnym otoczeniem (np. przedmiotami nieożywionymi), ale które nie wchodzą w interakcje z innymi robotami ani ludźmi. Przykładami są chwytanie i manipulacja sterowana wzrokowo, używanie narzędzi, kategoryzacja percepcyjna i nawigacja . Kontrola sensomotoryczna skoncentrowana na agencie: W tych badaniach roboty służą do badania eksploracji możliwości cielesnych, wpływu zmian morfologicznych na nabywanie umiejętności motorycznych, a także schematów uczenia się pod nadzorem własnym, niezwiązanych z żadnym celem funkcjonalnym. Przykłady obejmują samoeksplorację, kategoryzację wzorców ruchowych, gaworzenie ruchowe oraz naukę chodzenia lub raczkowania . Mechanizmy i zasady: Ta kategoria obejmuje badania nad zasadami, mechanizmami lub procesami, które rzekomo zwiększają adaptacyjność systemu behawioralnego. Przykładami są: plastyczność rozwojowa i neuronalna, neurony lustrzane, motywacja, zatrzymywanie i uwalnianie stopni swobody oraz synergie; charakterystyka złożoności i wyłaniania się, badanie wpływu adaptacji i wzrostu oraz praca praktyczna nad budową lub rozwojem ciała .

ZASADY SYSTEMÓW ROZWOJOWYCH

W przeciwieństwie do tradycyjnych dyscyplin, takich jak fizyka czy matematyka, które opisywane są przez dobrze znane, podstawowe zasady, fundamentalne zasady rządzące dynamiką systemów rozwojowych pozostają nieznane. Czy istnieją prawa rządzące systemami rozwojowymi lub teoria? Chociaż podejmowano różne próby , można śmiało powiedzieć, że do tej pory nie wyłoniła się żadna taka teoria. W tym miejscu, w drodze do takiej teorii, wskazujemy zbiór potencjalnych zasad. Podejście oparte na zasadach jest preferowane w przypadku konstruowania inteligentnych systemów autonomicznych, ponieważ pozwala na uchwycenie pomysłów projektowych i heurystyk w zwięzły i trafny sposób, unikając ślepej próby i błędów. Zasady można abstrahować od systemów biologicznych, a ich inspiracja może mieć miejsce na kilku poziomach, od "wiernej" replikacji mechanizmów biologicznych po dość ogólną implementację zasad biologicznych, pozostawiającą miejsce na dynamikę inherentną artefaktom, ale nieobecną w systemach naturalnych. W dalszej części podsumowujemy pięć kluczowych zasad ujawnionych w obserwacjach rozwoju człowieka, które mogą być wykorzystane do konstruowania robotów rozwojowych.

Zasada Wartości

Obserwacje: Systemy wartości to struktury neuronalne, które pośredniczą w wartościowaniu i znaczeniu, i występują u praktycznie wszystkich gatunków kręgowców. Są one niezbędne do adaptacji behawioralnej organizmu do istotnych (znaczących) sygnałów środowiskowych. Łącząc zachowanie z neuroplastycznością, systemy wartości są niezbędne do podejmowania decyzji, co zrobić w danej sytuacji.

Lekcje dla robotyki: Działanie systemów wartości - poprzez adaptacyjne zmiany w połączeniach i bodźcach sensoryczno-motorycznych - umożliwia ucieleśnionemu agentowi uczenie się strategii działania bez zewnętrznego nadzoru, zwiększając prawdopodobieństwo, że "dobry" wzorzec ruchu powtórzy się w tym samym kontekście behawioralnym. Systemy wartości mogą być również wykorzystywane do kierowania procesem eksploracji, a tym samym pozwalają systemowi uczyć się wzorców sensoryczno-motorycznych wydajniej w porównaniu z eksploracją czysto losową lub systematyczną. Narzucając ograniczenia poprzez zależną od wartości modulację wyrazistości, przestrzeń poszukiwań może zostać znacznie zmniejszona. Przykładami systemów wartości w mózgu są układy dopaminergiczny, cholinergiczny i noradrenergiczny; na ich podstawie zaimplementowano i osadzono kilka modeli w robotach rozwojowych.

Zasada samostrukturyzacji informacji

Obserwacje: Niemowlęta często angażują się w powtarzalne (pozornie nudne) wzorce zachowań: patrzą na przedmioty, chwytają je, wkładają do ust, uderzają nimi o podłogę itd. To właśnie poprzez takie interakcje rozwija się inteligencja u ludzi, gdy dzieci dorastają, wchodząc w interakcje ze swoim otoczeniem .

Wnioski dla robotyki: Pierwszą ważną lekcją jest to, że przetwarzanie informacji (kodowanie neuronowe) należy rozpatrywać w kontekście zakorzenienia organizmu w jego niszy ekologicznej. Oznacza to, że roboty i organizmy są narażone na lawinę danych sensorycznych kształtowanych przez interakcje sensomotoryczne i morfologię . Informacje nie są biernie absorbowane z otaczającego środowiska, lecz są selekcjonowane i kształtowane przez działania podejmowane w tym środowisku. Po drugie, struktura informacji nie istnieje przed wystąpieniem interakcji, lecz pojawia się dopiero w jej trakcie. Brak interakcji doprowadziłby do dużej ilości nieustrukturyzowanych danych, a w konsekwencji do silniejszych wymagań dotyczących kodowania neuronowego, a w najgorszym przypadku do niezdolności do uczenia się. Wynika z tego, że ucieleśniona interakcja leży u podstaw potężnego mechanizmu uczenia się, ponieważ umożliwia tworzenie korelacji czasowych i odkrywanie regularności wyższego rzędu, wykraczających poza indywidualne modalności sensoryczne.

Zasada stopniowej złożoności

Obserwacje: Wczesne doświadczenia niemowląt są silnie ograniczone przez niedojrzałość ich układów sensorycznego, motorycznego i neuronalnego. Takie wczesne ograniczenia, które na pierwszy rzut oka wydają się niewystarczające, w rzeczywistości są zaletą, ponieważ skutecznie zmniejszają "przeciążenie informacyjne", które w przeciwnym razie przytłoczyłoby niemowlę. Lekcje dla robotyki: Aby organizm - naturalny lub sztuczny - nauczył się kontrolować własny złożony układ mózgowo-ciałowy, dobrą strategią może być rozpoczęcie od prostych rozwiązań i stopniowe rozwijanie nabytych umiejętności. Dobrze zaplanowany i stopniowy współrozwój morfologii ciała i układu neuronalnego zapewnia stopniowe podejście do radzenia sobie ze złożonym i nieprzewidywalnym światem. Wczesne "ograniczenia morfologiczne" i "ograniczenia poznawcze" mogą prowadzić do powstania bardziej adaptacyjnych systemów, ponieważ pozwalają wykorzystać rolę, jaką doświadczenie odgrywa w kształtowaniu architektury "poznawczej". Gdyby organizm zaczynał od wykorzystania całej swojej złożoności, nigdy nie byłby w stanie niczego się nauczyć (Gómez i in., 2004). Wynika z tego, że projektanci nie powinni próbować "kodować" w pełni funkcjonalnego, gotowego do użycia modułu inteligencji bezpośrednio w sztucznym systemie. Zamiast tego system powinien być w stanie samodzielnie odkryć najskuteczniejsze sposoby składania komponentów niskiego poziomu w nowe rozwiązania

Zasada interaktywnego emergencji

Obserwacje: Rozwój nie jest determinowany wyłącznie przez mechanizmy wrodzone (innymi słowy: nie wszystko powinno być z góry zaprogramowane). Na przykład struktura poznawcza w dużej mierze zależy od historii interakcji rozwijającego się systemu ze środowiskiem, w którym jest on osadzony (Hendriks-Jansen, 1996). Wnioski dla robotyki: W tradycyjnej inżynierii projektant systemu narzuca ("na sztywno") strukturę kontrolera i systemu kontrolowanego.Projektanci robotów adaptacyjnych powinni jednak unikać implementacji struktury sterowania robota zgodnie z własną wiedzą na temat jego fizyki, lecz wyposażyć robota w środki umożliwiające mu zdobywanie własnego zrozumienia poprzez samodzielną eksplorację i interakcję z otoczeniem. Systemy zaprojektowane z myślą o emergencji są zazwyczaj bardziej adaptacyjne w odniesieniu do niepewności i zaburzeń. Zdolność do utrzymania wydajności w obliczu zmian (takich jak wzrost lub modyfikacje zadań) jest od dawna uznaną właściwością systemów żywych. Taką solidność osiąga się poprzez szereg mechanizmów: sprzężenie zwrotne, modułowość, redundancję, stabilność strukturalną i plastyczność .

Zasada rusztowania poznawczego

Obserwacje: Rozwój zachodzi u osobników tego samego gatunku o podobnych układach wewnętrznych i podobnych ciałach zewnętrznych . Na przykład niemowlęta ludzkie od najmłodszych lat są wyposażone w narzędzia do angażowania się w proste, ale mimo to kluczowe interakcje społeczne, np. preferują ludzkie twarze, zapachy i mowę, a także naśladują wysuwanie języka, uśmiechy i inne mimiki .

Lekcje dla robotyki: Interakcja społeczna niesie ze sobą wiele potencjalnych korzyści dla robotów rozwojowych: (a) zwiększa różnorodność zachowań systemu poprzez mimikrę i imitację ; (b) wspiera rozwój języka i komunikacji oraz ugruntowanie symboli (Steels, 2006); oraz (c) pomaga strukturować otoczenie robota poprzez uproszczenie i przyspieszenie uczenia się zadań oraz nabywania umiejętności. Rodzice i opiekunowie często stosują rusztowania (celowo lub nie) w celu wspierania, kształtowania i kierowania rozwojem niemowląt. Podobnie, świat społeczny robota powinien być przygotowany do nauczania robota coraz bardziej nowych i złożonych zadań, nie przytłaczając jego sztucznej struktury poznawczej [Lungarella (2004; "zasada interakcji społecznej"); Mareschal i inni (2007; "społeczność"); Smith i Breazeal (2007; "sprzężenie z inteligentnymi innymi")].

PRZYSZŁE TRENDY

Dalszy sukces robotyki rozwojowej będzie zależał od tego, w jakim stopniu teoretycy i eksperymentatorzy będą w stanie zidentyfikować uniwersalne zasady obejmujące wiele poziomów funkcjonowania systemów rozwojowych. W niniejszym artykule krótko wskazujemy kilka "gorących" kwestii, które należy poruszyć w drodze do teorii systemów rozwojowych. Semiotyka: Konieczne jest zmierzenie się z kwestią, w jaki sposób roboty rozwojowe (i ogólnie ucieleśnione podmioty) mogą przypisywać znaczenie symbolom i konstruować systemy semiotyczne. Obiecującym podejściem, badanym pod nazwą "dynamiki semiotycznej", jest to, że takie systemy semiotyczne i związana z nimi struktura informacyjna są stale wymyślane i negocjowane przez grupy ludzi lub podmioty, a także wykorzystywane do komunikacji i organizacji informacji.

Wiedza podstawowa: Organizm nie może się rozwijać bez pewnych wbudowanych zdolności. Jeśli jednak wszystkie zdolności są wbudowane, organizm również się nie rozwija. Dlatego ważne będzie zrozumienie, w jaki rodzaj wiedzy podstawowej i zachowań eksploracyjnych musi być wyposażony system rozwojowy, aby mógł autonomicznie rozwijać nowe umiejętności. Jednym z największych wyzwań będzie identyfikacja zdolności podstawowych i ich interakcji w trakcie rozwoju w budowaniu umiejętności podstawowych .

Motywy podstawowe: Konieczne jest przeprowadzenie badań nad ogólnymi zdolnościami, takimi jak kreatywność, ciekawość, motywacje, wybór działań i przewidywanie (tj. zdolność przewidywania konsekwencji działań). W idealnym przypadku żadne zadania nie powinny być z góry określone dla robota, a jedynie wyposażony w wewnętrzną, abstrakcyjną funkcję nagrody i zestaw podstawowych popędów motywacyjnych (lub emocjonalnych), które mogłyby go motywować do ciągłego opanowywania nowej wiedzy i umiejętności .

Samoeksploracja: Kolejnym ważnym wyzwaniem jest samoeksploracja lub samoprogramowanie . Teoria sterowania zakłada, że wartości i stany docelowe są początkowo dostarczane przez projektanta systemu, podczas gdy w biologii takie cele są tworzone i stale korygowane przez sam system. Taka spontaniczna "samostanowiąca ewolucja" lub "autonomiczny rozwój" wykracza poza zakres obecnej teorii sterowania i wymaga uwzględnienia w przyszłych badaniach.

Przyczynowość uczenia się: W środowisku naturalnym żaden nauczyciel nie jest w stanie dostarczyć szczegółowego sygnału uczenia się i wystarczających danych szkoleniowych. Konieczne będzie stworzenie mechanizmów charakteryzujących uczenie się w "kontekście ekologicznym" oraz umożliwiających rozwijającemu się podmiotowi samodzielne gromadzenie odpowiedniego materiału edukacyjnego. Jedną z istotnych możliwości w przyszłości będzie wyposażenie systemów w możliwość rozpoznawania coraz dłuższych łańcuchów przyczynowo-skutkowych .

Wzrost: Jak wspomniano we wstępie, inteligencja jest nabywana poprzez proces samoorganizacji, wzrostu i dojrzewania. Ważne będzie zbadanie, jak wzrost fizyczny, zmiana kształtu i składu ciała, a także właściwości materiałowe czujników i siłowników wpływają na rozwój zdolności poznawczych i nim kierują. Pozwoli to na połączenie robotyki rozwojowej z obliczeniową biologią rozwoju

WNIOSKI

Badania inteligentnych systemów rodzą wiele fundamentalnych, ale jednocześnie bardzo trudnych pytań. Czy maszyny potrafią myśleć i czuć? Czy mogą autonomicznie nabywać nowe umiejętności? Czy interakcję ciała, mózgu i środowiska można wykorzystać do odkrywania nowych i kreatywnych rozwiązań problemów? Robotyka rozwojowa może być sposobem na zgłębienie takich długotrwałych problemów. Obecnie dziedzina ta tętni życiem. Jej popularność wynika po części z niedawnych postępów technologicznych, które umożliwiły projektowanie robotów, których "złożoność kinematyczna" jest porównywalna ze złożonością kinematyczną człowieka . Sukces robotyki rozwojowej będzie ostatecznie zależał od tego, czy uda się skrystalizować jej główne założenia w formie teorii. Choć z pewnością potrzeba wielu dodatkowych prac, aby dojść do ogólnej teorii inteligencji, a nawet się do niej zbliżyć, na horyzoncie rysują się początki nowej syntezy. Być może w końcu zbliżymy się do zrozumienia i zbudowania (rozwoju) inteligencji na miarę ludzkiej. Nadchodzą ekscytujące czasy.

WSTĘP

Obecnie istnieje wiele obszarów badawczych, w których powstają duże, wielowymiarowe zbiory danych, które są trudne do wizualizacji w celu wydobycia przydatnych informacji. Samoorganizujące się mapy Kohonena są z powodzeniem stosowane w wizualizacji i analizie danych wielowymiarowych. W tej pracy opisano technikę projekcji, która kompresuje wielowymiarowe zbiory danych w dwuwymiarową przestrzeń przy użyciu rosnących samoorganizujących się map. Dzięki temu schematowi osadzania zaimplementowano tradycyjne metody wizualizacji Kohonena przy użyciu rosnących sieci struktur komórkowych. Nowe graficzne wyświetlanie map zostały porównane z wykresami Kohonena przy użyciu dwóch grup danych symulowanych i jednej grupy rzeczywistych danych wielowymiarowych wybranych ze sceny satelitarnej.

TŁO

Pierwszy etap eksploracji danych zwykle polega na budowaniu uproszczonych globalnych przeglądów zbiorów danych, zazwyczaj w formie graficznej . Obecnie ogromna ilość informacji i jej wielowymiarowość utrudniają możliwość stosowania technik bezpośredniej reprezentacji graficznej. Samoorganizujące się mapy dobrze wpasowują się w eksploracyjną analizę danych, ponieważ ich głównym celem jest wizualizacja i analiza nieliniowych relacji między danymi wielowymiarowymi . W tym sensie duża różnorodność technik wizualizacji SOM Kohonena oraz pewna automatyczna analiza map . W SOM Kohonena struktura sieci musi zostać określona z wyprzedzeniem i pozostaje statyczna podczas procesu uczenia. Wybór niewłaściwej struktury sieci może pogorszyć wydajność sieci. Aby uniknąć tej wady, wdrożono niektóre rosnące, samoorganizujące się mapy. Fritzke zaproponował model rosnących struktur komórkowych (GCS), ze stałą wymiarowością powiązaną z mapą wyjściową. Ujawniono rosnący gaz neuronowy, nowy model SOM, który uczy się relacji topologicznych. Mimo że sieci GNG uzyskują lepszy stopień zachowania topologii niż sieci GCS, ze względu na wielowymiarowy charakter mapy wyjściowej nie można jej używać do generowania graficznych widoków map na płaszczyźnie. Jednakże stosując model GCS możliwe jest tworzenie sieci o ustalonej wymiarowości mniejszej lub równej 3, które można rzutować na płaszczyznę . Model GCS, bez usuwania komórek, został wykorzystany do kompresji wielowymiarowych zbiorów danych biomedycznych, które mają być wyświetlane jako dwuwymiarowe kolorowe obrazy .

WIZUALIZACJA WZROSTU STRUKTURY KOMÓRKOWEJ

W tej pracy badane są sieci GCS w celu uzyskania metody osadzania umożliwiającej projekcję dwuwymiarowej mapy wyjściowej w celu wygenerowania kilku graficznych widoków map do eksploracyjnej analizy danych w trakcie i po procesie samoorganizacji.

Rosnące struktury komórkowe

Metody wizualizacji przedstawione w tej pracy opierają się na samoorganizującej się architekturze map i procesie uczenia się sieci Growing Cell Structures (GCS) Fritzkego . Architektura sieci GCS składa się z połączonych jednostek tworzących k-wymiarowe struktury hipertetraedrowe połączone między sobą. Schemat połączeń określa relacje sąsiedzkie. W procesie uczenia dodawane są nowe jednostki i usuwane zbędne, ale modyfikacje te przeprowadzane są w taki sposób, aby zachować pierwotną strukturę architektury. Algorytm uczący jest procesem iteracyjnym, który wykonuje nieliniową projekcję danych wejściowych na mapę wyjściową, starając się zachować topologię pierwotnego rozkładu danych. Proces samoorganizacji sieci GCS jest podobny jak w modelu Kohonena. Dla każdego sygnału wejściowego wyznaczana jest najlepiej pasująca jednostka (bmu), a następnie modyfikowane są wektory synaptyczne bmu i jego bezpośredniego sąsiada. W sieciach GCS każdy neuron ma przypisany zasób, który może reprezentować liczbę sygnałów wejściowych odbieranych przez neuron lub zsumowany błąd kwantyzacji powodowany przez neuron. Na każdym etapie adaptacji zasoby bmu są wygodnie modyfikowane. Nowy neuron zostaje wstawiany pomiędzy jednostkę o największym zasobie q i jej bezpośredniego sąsiada o najbardziej różnym wektorze odniesienia f, po ustalonej liczbie kroków adaptacyjnych. Nowy jednostkowy wektor synaptyczny jest interpolowany z wektorów synaptycznych q i f, a wartości zasobów q i f również podlegają redystrybucji. Dodatkowo modyfikowane są sąsiednie połączenia w celu zapewnienia wyjściowej struktury architektury. Gdy wszystkie wektory uczące zostaną zaprezentowane ustała ustaloną liczbę razy (epoka), neurony, których wektory odniesienia wpadają w obszary o bardzo małej gęstości prawdopodobieństwa, są usuwane. Aby zapewnić odpowiednią strukturę architektury, modyfikowane są także niektóre sąsiednie połączenia. Wartość estymacji względnej znormalizowanej gęstości prawdopodobieństwa zaproponowana została wykorzystana w tej pracy do określenia jednostek, które należy usunąć. Wartość ta zapewnia lepszą interpretację niektórych parametrów treningowych, poprawiając usuwanie komórek i zachowanie topologii sieci. Po usunięciu zbędnych jednostek na mapie wyjściowej może pojawić się kilka oddzielnych siatek. Po zakończeniu rosnącego procesu samoorganizacji wektory synaptyczne jednostek wyjściowych wraz z sąsiednimi połączeniami można wykorzystać do wizualnej analizy różnych właściwości przestrzeni wejściowej.

Wizualizacja sieci: Konstruowanie mapy topograficznej

Zdolność do rzutowania wielowymiarowych danych wejściowych na niskowymiarową siatkę jest ważną właściwością map obiektów Kohonena. Rysując mapę wyjściową na płaszczyźnie, możliwa będzie wizualizacja złożonych danych i odkrycie nieoczekiwanych z góry właściwości lub relacji wejściowej przestrzeni wektorowej. Warstwa wyjściowa map obiektów Kohonena może być łatwo wydrukowana na płaszczyźnie, malując prostokątną siatkę, w której każda komórka reprezentuje neuron wyjściowy, a sąsiednie komórki odpowiadają sąsiednim jednostkom wyjściowym. Sieci GCS mają mniej regularne połączenia jednostek wyjściowych niż sieci Kohonena. Gdy używany jest współczynnik architektury k=2, warstwa wyjściowa GCS jest zorganizowana w grupy połączonych ze sobą trójkątów. Pomimo dwuwymiarowego charakteru tych siatek, nie jest oczywiste, jak osadzić tę strukturę w płaszczyźnie, aby ją zwizualizować. Fritzke zaproponował model fizyczny do konstruowania dwuwymiarowego osadzania podczas procesu samoorganizacji sieci GCS. Każdy neuron wyjściowy jest modelowany przez dysk o średnicy d wykonany z elastycznego materiału. Dwa krążki o odległości d między środkami stykają się ze sobą, a dwa krążki o odległości mniejszej niż d odpychają się. Każde połączenie sąsiedzkie jest modelowane jako elastyczny sznurek. Dwa połączone, ale nie stykające się dyski są przyciągane do siebie. Wreszcie wszystkie dyski są naładowane dodatnio i znoszą się nawzajem. Za pomocą tego modelu można uzyskać dwuwymiarowe współrzędne topograficzne każdego neuronu wyjściowego, a tym samym wydrukować dwuwymiarowe siatki wyjściowe na płaszczyźnie. W celu uzyskania jednostek wyjściowych dwuwymiarowych współrzędnych mapy topograficznej (dla k=2) w artykule wykorzystano nieco zmodyfikowaną wersję tego modelu fizycznego. Na początku procesu uczenia pierwsze trzy neurony wyjściowe są umieszczane w płaszczyźnie w kształcie trójkąta. Za każdym razem, gdy wstawiany jest nowy neuron, jego położenie w płaszczyźnie znajduje się dokładnie w połowie położenia dwóch sąsiednich neuronów, pomiędzy którymi został wstawiony. Następnie dla każdego neuronu wyjściowego obliczane są siły przyciągania i odpychania, a następnie przesuwane są jego pozycje. Siłę przyciągania jednostki oblicza się jako sumę indywidualnych sił przyciągania, jakie wywierają na nią wszystkie sąsiednie połączenia. Siłę przyciągania pomiędzy dwoma sąsiednimi neuronami i oraz j, ze współrzędnymi pi i pj na płaszczyźnie oraz odległością euklidesową e, oblicza się jako (e-d)/2, jeśli e≥d, i 0 w przeciwnym razie. Siłę odpychania jednostki oblicza się jako sumę poszczególnych sił odpychania, jakie wywierają na nią wszystkie niesąsiadujące neurony wyjściowe. Siłę odpychania między dwoma niesąsiadującymi neuronami i i j oblicza się jako d/5, jeśli 2dj-p_i)/e) i współczynnik przyciągania 0,1 (zamiast 1). Na koniec siła odpychania między dwoma neuronami i i j jest mnożona przez normalizację odległości ((p_i-p_j)/e) i współczynnik odpychania 0,05 (zamiast 0,2). Wynik zastosowania tej metody projekcji pokazano na rys. 1. W przypadku usuwania komórek różne siatki są pokazane w sposób niepowiązany. Bez żadnych innych dodatkowych informacji ta metoda projekcji umożliwia wykrywanie klastrów

Metody wizualizacji

Wykorzystując ujawnioną metodę projekcji, można wdrożyć tradycyjne metody wizualizacji Kohonena przy użyciu sieci GCS z k=2. Każdy neuron wyjściowy jest malowany jako okrąg w kolorze określonym przez główny parametr. Kiedy używana jest skala szarości, zwykle ciemne i wyraźne tony są kojarzone odpowiednio z wysokimi i niskimi wartościami. Skale szarości odnoszą się do wartości maksymalnych i minimalnych przyjętych przez parametr. Charakter danych użytych do obliczenia parametru determinuje trzy ogólne typy metod przeprowadzania analizy wizualnej map samoorganizujących się: odległości między synaptycznymi wektory, projekcja wzorców uczenia na neurony oraz indywidualne informacje o wektorach synaptycznych. Wszystkie eksperymenty przeprowadzono z wykorzystaniem dwóch grup danych symulowanych i jednej grupy danych rzeczywistych dane wielowymiarowe wybrane ze sceny zarejestrowanej przez czujnik ETM+ (Landsat 7). Sygnały wejściowe są zdefiniowane przez sześć pasm widmowych ETM+ o tej samej rozdzielczości przestrzennej: TM1 do TM5 i TM7. Zbiór danych wejściowych ma całkowitą liczbę 1800 pikseli, 1500 starannie wybranych z oryginalnej sceny i 300 wybranych losowo. Wektory wejściowe są powiązane z sześcioma kategoriami pokrycia terenu.

Wyświetlanie odległości

Proces adaptacji sieci GCS umieszcza wektory synaptyczne w obszarach o dużej gęstości prawdopodobieństwa, usuwając jednostki umieszczone w obszarach o bardzo małej gęstości prawdopodobieństwa. Graficzna reprezentacja odległości między wektorami synaptycznymi będzie użytecznym narzędziem do wykrywania klastrów w przestrzeni wejściowej. Zaimplementowano mapę odległości, ujednoliconą mapę odległości (mapa U) i mapę dodawania odległości w celu przedstawienia informacji o mapie odległości w sieciach GCS. Na mapie odległości obliczana jest średnia odległość między wektorem synaptycznym każdego neuronu a wektorami synaptycznymi wszystkich jego bezpośrednich sąsiadów. Mapa U przedstawia te same informacje co mapa odległości, ale dodatkowo zawiera odległość pomiędzy wszystkimi sąsiednimi neuronami (namalowaną w formie koła pomiędzy każdą parą sąsiednich jednostek). Na koniec, podczas generowania mapy dodawania odległości, obliczana jest suma odległości między wektorem synaptycznym neuronu a wektorami synaptycznymi pozostałych jednostek. Na mapie odległości i mapie U ciemne strefy reprezentują skupiska, a wraz z nimi wyraźne granice stref. Na mapie dodawania odległości neurony z wektorami bliskimi synaptycznymi mają podobny kolor, a granice można wykryć analizując regiony, w których występuje znaczna zmienność kolorów. Używając sieci GCS, oddzielne siatki reprezentują zwykle różne klastry wejściowe. Ryc. 3 przedstawia przykład tych trzech wykresów w porównaniu z tradycyjnymi mapami Kohonena, gdy używany jest zbiór danych o rozmieszczeniu jedenastu oddzielnych regionów. Sieć GCS wyraźnie reprezentuje jedenaście klastrów na trzech wykresach. Mapa odległości i mapa U w programie sieciowym Kohonena jedenaście skupisk też, ale na mapie dodawania odległości nie da się ich rozróżnić. Wyświetlanie projekcji Technika ta uwzględnia wzorce rozkładu sygnału wejściowego w celu wygenerowania różnych wartości przypisanych do każdego neuronu. Dla sieci GCS zaimplementowano histogramy danych i mapy błędów kwantyzacji. Generując histogram, uzyskuje się liczbę wzorców uczenia powiązanych z każdym neuronem. Jeśli jednak trzeba wygenerować wykres błędu kwantyzacji, obliczana jest suma odległości między wektorem synaptycznym neuronu a wektorami wejściowymi leżącymi w jego obszarze Woronoja. Na obu wykresach ciemne i jasne strefy odpowiadają odpowiednio obszarom o wysokiej i niskiej gęstości prawdopodobieństwa, dlatego można je wykorzystać w analizie skupień. Korzystając z modelu Kohonena, trudno jest rozróżnić liczbę skupień występujących w przestrzeni wejściowej. Z drugiej strony model GCS wygenerował trzy siatki wyjściowe, z których dwie reprezentują jeden pierścień.

Wyświetlanie komponentów

Technika wyświetlania komponentów analizuje każdy wektor synaptyczny lub komponent wektora odniesienia w indywidualny sposób. Tego rodzaju wykresy umożliwiają wizualną analizę zachowania topologii sieci i możliwą detekcję korelacji i zależności pomiędzy komponentami danych uczących. Dla sieci GCS zaimplementowano bezpośrednią wizualizację wektorów synaptycznych i wykresów płaszczyzn składowych. Mapa wizualizacji bezpośredniej przedstawia każdy neuron w formie okręgu w jego wektorze synaptycznym w sposób graficzny. Wykres ten można uzupełnić dowolnym z opisanych w poprzednich rozdziałach, wzbogacając jego interpretację. Mapa płaszczyzny składowej wizualizuje indywidualną składową wszystkich wektorów synaptycznych. Po wygenerowaniu wszystkich płaszczyzn składowych można ocenić zależności pomiędzy wagami, jeśli podobne struktury pojawią się w identycznych miejscach dwóch różnych płaszczyzn składowych. Na rys. 5 przedstawiono przykład tych dwóch sposobów wyświetlania przy wykorzystaniu wielopasmowych danych obrazu satelitarnego. Mapa wizualizacji bezpośredniej pokazuje podobieństwo między sąsiednimi jednostkami wektorów synaptycznych oraz, co ciekawe, wyróżnia się faktem, że wszystkie neurony w klastrze mają podobne kształty synaptyczne. Co więcej, zintegrowane informacje o mapie dodawania odległości pokazują, że nie ma znaczących różnic kolorystycznych wewnątrz tego samego klastra. Wykresy płaskie sześciu składowych wykazują możliwe zależności obejmujące składowe wektorów wejściowych TM1, TM2 i TM3, a także składowe TM5 i TM7.

Wyniki

Przeszkolono kilka sieci Kohonena i GCS w celu oceny i porównania uzyskanych wykresów wizualizacyjnych. Ze względu na miejsce uwzględniono tutaj tylko kilka z tych map. Ryc. 3 i ryc. 4 porównują wizualizacje Kohonena i GCS przy użyciu mapy odległości, mapy U, mapy dodawania odległości, histogramów danych i mapy błędów kwantyzacji. Można zaobserwować, że model GCS oferuje znacznie lepsze wyniki graficzne w analizie skupień niż sieci Kohonena. Usunięcie jednostek i połączeń w obszarach dystrybucji o niskim prawdopodobieństwie powoduje, że sieć GCS prezentuje w ramach danego klastra tę samą jakość informacji, co Sieć Kohonena w odniesieniu do całej mapy. Jak już wspomniano, skala szarości stosowana na wszystkich mapach odnosi się do wartości maksymalnych i minimalnych, jakie przyjmuje badany parametr. We wszystkich przypadkach zakres wartości przyjętych przez obliczony współczynnik stosuje się GCS jest czymś mniejszym niż używanie map Kohonena. Wyeksponowane metody wizualizacji zastosowane do wizualnej analizy wielowymiarowych danych satelitarnych dały bardzo zadowalające wyniki (ryc. 5). Wszystkie przeszkolone sieci GCS były w stanie wygenerować w warstwie wyjściowej sześć podmap (w niektórych przypadkach było ich nawet osiem), które identyfikują sześć klas pokrycia terenu występujących w próbce danych. Mapa wizualizacji bezpośredniej i składowe wykresy płaskie okazały się użytecznym narzędziem do wydobywania wiedzy z danych wielozmysłowych.

PRZYSZŁE TENDENCJE

Zaproponowana metoda wizualizacji wiedzy oparta na sieciach GCS stanowi przydatne narzędzie do wielowymiarowej analizy danych. Aby ocenić jakość wyszkolonych sieci, uważamy za konieczne opracowanie pewnych technik pomiarowych (jakościowych i ilościowych w formacie numerycznym i graficznym) w celu analizy uzyskanego zachowania topologii. W ten sposób będziemy mogli zweryfikować informacje zwizualizowane metodami przedstawionymi w tym artykule. Interesujące byłoby również sprawdzenie tych metod wizualizacji za pomocą nowych zbiorów danych o bardzo wielowymiarowym charakterze. Musimy zbadać wykonalność analizy skupień za pomocą tej techniki projekcji, gdy używana jest ta klasa próbek danych.

WNIOSEK

Metoda naświetlonego osadzania umożliwia wyświetlanie wielowymiarowych danych w postaci dwuwymiarowych szarych obrazów. Zdolności wizualno-przestrzenne ludzkich obserwatorów mogą eksplorować te mapy graficzne w celu wyodrębnienia wzajemnych powiązań i cech charakterystycznych ze zbioru danych. W modelu GCS wielkość sieci nie musi być z góry określona. W trakcie procesu uczenia rozmiar sieci rośnie i maleje, dostosowując swoją architekturę do konkretnych cech zbioru uczącego. Choć w sieciach GCS konieczne jest wyznaczenie większej liczby czynników uczących niż w modelu Kohonena, to stosując model z modyfikowanym uczeniem upraszcza się dostrajanie wartości czynników uczących. W rzeczywistości przeprowadzono kilka eksperymentów na zbiorach danych o różnym charakterze, stosując te same wartości dla wszystkich czynników uczących i dając doskonałe wyniki we wszystkich przypadkach. Szczególnie godne uwagi jest wykrywanie klastrów podczas procesu samoorganizacji bez żadnych innych dodatkowych informacji.

WSTĘP

Sukces organizacji w coraz większym stopniu zależy od posiadanej wiedzy, kosztem innych tradycyjnie decydujących czynników, takich jak praca czy kapitał (Tissen, 2000). Sytuacja ta skłoniła organizacje do zwrócenia szczególnej uwagi na ten nowy, niematerialny element, dlatego podejmowane są liczne wysiłki w celu jego ochrony i instytucjonalizacji. Zarządzanie wiedzą (KM) to nowa dyscyplina, odpowiadająca na to rosnące zainteresowanie; jednak pomimo swojego znaczenia, dyscyplina ta jest obecnie w fazie niedojrzałej, ponieważ żadna z licznych istniejących propozycji rozwoju systemów zarządzania wiedzą (KMS) nie osiąga wystarczającego poziomu szczegółowości, aby zrealizować tak złożone zadanie. Aby złagodzić poprzednią sytuację, niniejsza praca przedstawia ramy metodologiczne dla jawnego zarządzania wiedzą. Badanie ma formalną podstawę do osiągnięcia wyższego poziomu szczegółowości, ponieważ zidentyfikowano wszystkie elementy koncepcyjne niezbędne do zrozumienia i przedstawienia wiedzy w dowolnej dziedzinie. Wymagany charakter opisowy uzyskuje się, opierając proces na tych elementach, dzięki czemu można skuteczniej kierować rozwojem systemów.

KONTEKST

W ostatnich latach powstało wiele ram metodologicznych rozwoju KMS, z których najważniejsze to propozycje Junnarkara, Wiiga i inni, Daniela i inni, Holsapple i Joshiego , Liebowitza i Beckmana , Stabba i Schnurra, Tiwany oraz Maté i inni. Niemniej jednak istniejące propozycje nie zaspokajają w wystarczającym stopniu potrzeb wiedzy organizacji ze względu na ich niedojrzałość, głównie z następujących powodów:

1. Wysiłki badawcze koncentrowały się głównie na definicji procesu rozwoju KMS, ignorując badanie obiektu, którym zarządzają: wiedzy.
2. Definicja takiego procesu w większości przypadków pomijała czynnik ludzki i ograniczała się jedynie do technologicznego punktu widzenia zarządzania wiedzą (KM).

Pierwszy aspekt dotyczy niezbędnego badania wiedzy jako podstawy do zdefiniowania struktury Pamięci Korporacyjnej (Korporate Memory); badanie to powinno zidentyfikować (i) rodzaj wiedzy, która musi znaleźć się w tym repozytorium, oraz (ii) jej właściwości opisowe, aby Pamięć Korporacyjna (KMS) zawierała wszystkie cechy przechowywanych w niej elementów wiedzy. Definicja tej struktury umożliwiłaby również zdefiniowanie procesu opisowego tworzenia KMS z wykorzystaniem różnych cech i rodzajów wiedzy. Jednakże, pomimo wpływu, jaki obiekt, którym zarządzamy, wywiera na proces zarządzania, jedynie propozycja Wiig zwraca uwagę na jego badanie. Propozycja ta identyfikuje niewielki zestaw deskryptorów, które wspierają formalizację (ujawnienie) wiedzy, chociaż (i) jej identyfikacja nie wynika z wyczerpujących badań oraz (ii) nie umożliwia pełnej formalizacji, ponieważ ogranicza się jedynie do pewnych ogólnych właściwości. Drugi krok sugeruje, że cały proces rozwoju KMS powinien uwzględniać zarówno wizję technologiczną, jak i ludzką. Pierwszy koncentruje się na sposobie pozyskiwania, przechowywania i udostępniania istotnej wiedzy istniejącej w organizacji, poprzez tworzenie Pamięci Korporacyjnej i komputerowego systemu wsparcia. Druga wizja obejmuje nie tylko stworzenie atmosfery współpracy w organizacji w celu osiągnięcia zaangażowania pracowników w program zarządzania wiedzą (KM), ale także tendencję do dzielenia się swoją wiedzą i korzystania z wiedzy już dostarczonej przez innych członków. Pomimo powyższego, zdecydowana większość analizowanych podejść koncentruje się wyłącznie na technologicznej perspektywie zarządzania wiedzą (KM), co zagraża sukcesowi KMS . W rzeczywistości, spośród wcześniej wymienionych propozycji, jedynie propozycja Tiwany (2000) wyraźnie uwzględnia perspektywę ludzką, uwzględniając jej konkretną fazę. W rezultacie obu tych aspektów obecne propozycje ograniczają się do zestawu ogólnych wytycznych dotyczących wdrażania zarządzania wiedzą (KM), co znacznie różni się od formalnej i szczegółowej wizji, której się domaga. Innymi słowy, obecne podejścia wskazują, co należy zrobić, ale nie jak to zrobić (punkt widzenia normatywny kontra opisowy/proceduralny). W tym scenariuszu twórcy tego typu systemów muszą opracować własne, doraźne podejście, osiągając rezultaty zależne jedynie od doświadczenia i możliwości zespołu programistów.

ROZWÓJ SYSTEMÓW ZARZĄDZANIA WIEDZĄ

W tej sekcji przedstawiono ramy metodologiczne jawnego zarządzania wiedzą (KM), które rozwiązują wcześniej wspomniane problemy. Przeprowadzono badanie obiektu, którym ma zarządzać firma, w celu uzyskania schematu formalizacji wiedzy, tj. poznania odpowiednich elementów wiedzy oraz cech/właściwości, które powinny zostać ujawnione. Wykorzystując wyniki uzyskane w ramach tego badania, zdefiniowano ramy metodologiczne tworzenia KMS. Oba aspekty omówiono poniżej.

Proponowany schemat formalizacji

Język naturalny jest językiem par excellence do dzielenia się wiedzą. Z tego powodu, trafna identyfikacja wszystkich niezbędnych elementów do konceptualizacji (rozumienia) wiedzy w dowolnej dziedzinie (a zatem tych, dla których należy zapewnić odpowiednie mechanizmy formalizacji) może zostać przeprowadzona poprzez analizę różnych kategorii gramatycznych języka naturalnego: rzeczowników, przymiotników, czasowników, przysłówków, lokucji i innych wyrażeń językowych. Niniejsze badanie, którego szczegółowy opis i zastosowania zostały opisane w kilku pracach (Andrade, 2006; Andrade, 2008), ujawnia, że wszystkie zidentyfikowane elementy konceptualne można umieścić na następujących poziomach wiedzy zgodnie z ich funkcją w danej dziedzinie:

o Statyczny. Dotyczy on strukturalnej lub operacyjnej dziedziny wiedzy, co oznacza fakty, które są prawdziwe i mogą być wykorzystywane w niektórych operacjach jako pojęcia, właściwości, relacje i ograniczenia.
o Dynamiczny. Jest on związany z wydajnością domeny, czyli funkcjonalnością, działaniem, procesem lub kontrolą: wnioskowaniem, obliczeniami i sekwencją kroków. Poziom ten można podzielić na dwa podpoziomy:

o Strategiczny. Obejmuje on to, co należy zrobić, kiedy i w jakiej kolejności (tj. faktoryzacja kroków).
o Taktyczny. Określa, jak i kiedy uzyskać nową wiedzę operacyjną (tj. opis danego kroku).

Każdy z tych poziomów odnosi się do innego fragmentu wiedzy organizacji, choć wszystkie są ze sobą oczywiście powiązane; w rzeczywistości poziom strategiczny kontroluje poziom taktyczny, ponieważ dla każdego ostatniego poziomu/elementarnego kroku (wiedza strategiczna) należy wskazać zakłócenia i kalkulacje (wiedza taktyczna). Również poziom wiedzy operacyjnej jest kontrolowany przez pozostałe dwa, ponieważ określa, jak ustalane są nie tylko punkty rozwidlenia lub alternatywy wykonania (wiedza strategiczna), ale także jak przeprowadzane są zakłócenia i kalkulacje (wiedza taktyczna). Dlatego KMS musi zapewniać wsparcie dla wszystkich tych poziomów. Jak widać w Tabeli 1, główny schemat formalizacji został podzielony, z jednej strony, na kilka indywidualnych schematów odpowiadających każdemu ze zidentyfikowanych poziomów wiedzy, a z drugiej strony, na schemat wspólny dla tych trzech poziomów, zapewniający globalną wizję wiedzy organizacji. Dlatego formalizacja wiedzy obejmuje schemat dynamiczny, obejmujący strategiczne i taktyczne schematy indywidualne, schemat dynamiczny, obejmujący schemat operacyjny, oraz schemat wspólny, opisujący wspólne aspekty niezależnie od poziomu. Każdy indywidualny schemat składa się również z pewnych komponentów. Katalog terminów jest wspólnym komponentem schematów, dostarczającym synonimów i skrótów identyfikujących każdy zasób wiedzy w organizacji. Schemat strategiczny opisuje podział funkcjonalny każdej operacji KMS, a także każdego zidentyfikowanego kroku. Ponieważ opis różni się w zależności od tego, czy krok jest końcowy, czy nie (krok elementarny), potrzebne są dwa różne komponenty, aby uwzględnić wszystkie cechy tego poziomu. Podejście - na przykład proceduralne lub algorytmiczne - powinno być szczegółowo opisane dla każdego zasobu uwzględnionego w katalogu kroków końcowych. Wszystkie te informacje znajdują się w katalogu kroków taktycznych. Wreszcie, schemat statyczny składa się z katalogu pojęć - obejmującego pojęcia zidentyfikowane i ich opis - katalogu relacji - opisującego zidentyfikowane relacje i ich znaczenie - oraz katalogu właściwości - odnoszącego się do właściwości wcześniej wspomnianych pojęć i relacji. Szczegółowy opis tego badania, wraz z deskryptorami każdego komponentu, można znaleźć w publikacji.

PROPONOWANE RAMY METODOLOGICZNE

Proponowany proces, którego podstawową strukturę przedstawiono na rysunku 1, został opracowany z uwzględnieniem problemów zidentyfikowanych w dyscyplinie zarządzania wiedzą (KM) i wspomnianych już w niniejszej pracy. Proces ten obejmuje następujące fazy:

1. Utworzenie komisji zarządzania wiedzą (KM): kierunek definiuje komisję zarządzania wiedzą (KM), która będzie monitorować i realizować projekt zarządzania wiedzą (KM).
2. Identyfikacja zakresu. Problem, który należy rozwiązać, zostanie określony poprzez określenie, na czym powinien się skupić obecny cykl projektu zarządzania wiedzą (KM). Aby to osiągnąć, ramy proponują wykorzystanie analizy SWOT (mocnych stron, słabych stron, szans i zagrożeń) wraz z propozycją Zacka (1999).
3. Pozyskiwanie wiedzy, w tym:

3.1. Identyfikacja domen wiedzy. Potrzeby w zakresie wiedzy dotyczące danego obszaru tematycznego są określane podczas różnych spotkań z udziałem zespołu programistycznego, komitetu ds. zarządzania wiedzą (KM) oraz osób odpowiedzialnych za każdą operację, która ma zostać przeprowadzona.

3.2. Gromadzenie odpowiedniej wiedzy. Pozyskiwanie wszelkiej możliwej wiedzy związanej z daną operacją opiera się na zidentyfikowanych domenach. Odbywa się to poprzez:

(a) Identyfikację miejsca, w którym znajduje się wiedza. Komisja ds. zarządzania wiedzą (KM) odpowiada za identyfikację i udostępnienie ludzkich i pozaludzkich źródeł wiedzy, które będą analizowane.
(b) Określenie wiedzy, która ma zostać pozyskana. Jak w poprzednim punkcie, należy mieć na uwadze wiedzę strategiczną, taktyczną i operacyjną.
(c) Pozyskiwanie wiedzy.

Oczywiście, gdy w organizacji nie ma całej potrzebnej wiedzy, należy ją wygenerować lub zaimportować.

4. Asymilacja wiedzy, obejmująca:

4.1. Konceptualizację wiedzy. Jej celem jest zrozumienie pozyskanej wiedzy. Zaleca się rozpoczęcie od wiedzy strategicznej, aby następnie skupić się na wiedzy taktycznej. W miarę rozumienia elementów strategicznych i taktycznych, konieczne byłoby przyswojenie elementów powstałych na poziomie operacyjnym.

4.2. Reprezentacja wiedzy. Odpowiednia wiedza musi zostać ujawniona i sformalizowana, zgodnie z komponentami (Andrade, 2008) podsumowanymi w tabeli 1. Jest to jeden z głównych punktów wyróżniających przedstawioną tutaj propozycję, ponieważ proponowany schemat formalizacji wskazuje konkretne deskryptory potrzebne do prawidłowej i pełnej formalizacji wiedzy.

5. Konsolidacja wiedzy, w tym:

5.1. Weryfikacja wiedzy. Aby wykryć błędy i pominięcia związane z reprezentowaną wiedzą, należy wziąć pod uwagę:

(a) Aspekty ogólne. Należy sprawdzić, czy każdy element wiedzy (strategiczny, taktyczny i operacyjny) znajduje się w katalogu terminów, czy każdy zawarty tam termin został wyraźnie określony zgodnie z rodzajem wiedzy oraz czy wszystkie pola zostały wypełnione.
(b) Aspekty strategiczne. Należy zweryfikować, czy (i) każda decyzja dotycząca wykonania jest podejmowana zgodnie z istniejącą wiedzą operacyjną,
(ii) każdy krok ostatniego poziomu jest powiązany z istniejącą wiedzą taktyczną oraz (iii) każdy krok niekońcowy jest poprawnie podzielony. Wszystkie poprzednie fakty można uzyskać poprzez sprawdzenie zgodności między podzielonym drzewem a treścią schematu formalizacji końcowej wiedzy strategicznej. (c) Aspekty taktyczne. Należy zweryfikować, czy: (i) cała wiedza taktyczna jest wykorzystywana w niektórych krokach ostatniego poziomu wiedzy strategicznej i czy wszelka wiedza operacyjna związana z wiedzą taktyczną jest dostępna. Aby to osiągnąć, elementy wiedzy operacyjnej będą reprezentowane jako węzły na mapie wiedzy. Ten typ map umożliwia graficzną wizualizację sposobu, w jaki nowe elementy są uzyskiwane z istniejących. Po utworzeniu mapy należy ją przeszukać pod kątem uwzględnienia całej wiedzy operacyjnej.

(d) Aspekty operacyjne. Należy potwierdzić, że:

(i) nie ma izolowanych pojęć, (ii) nie ma atrybutów niezwiązanych z pojęciem lub relacją, (iii) nie ma relacji łączących nieistniejące pojęcia lub relacje oraz (iv) cała wiedza operacyjna jest wykorzystywana w części wiedzy taktycznej i/lub w procesie decyzyjnym w zakresie kontroli przepływu wiedzy strategicznej. Aby przeprowadzić trzy pierwsze weryfikacje, zostanie opracowany diagram relacji, który graficznie zobrazuje istniejące relacje między różnymi elementami wiedzy operacyjnej. Składnia tego typu diagramów jest analogiczna do składni diagramów klas stosowanych w metodologiach obiektowego tworzenia oprogramowania. Weryfikacja ostatniej propozycji zostanie przeprowadzona z wykorzystaniem mapy wiedzy; w weryfikacji zostaną również wykorzystane struktury wykonawcze zawarte w treści schematu formalizacji dla wiedzy strategicznej ostatniego poziomu, odnoszącej się do każdego procesu (pozostałe poziomy niższe są zawarte w poziomie wyższym). Za pomocą tych dwóch wspomnianych reprezentacji graficznych można zweryfikować, czy każdy element operacyjny jest zawarty w co najmniej jednej z reprezentacji.

5.2. Walidacja wiedzy. Aby zweryfikować reprezentowaną i zweryfikowaną wiedzę, zespół programistów, komisja ds. zarządzania wiedzą (KM) i zaangażowane strony dokonają przeglądu:

(a) Drzewa podziału wiedzy
(b) Mapy wiedzy
(c) Diagramu relacji
(d) Funkcjonalnego drzewa podziału wiedzy
(e) Treści schematu formalizacji

6. Stworzenie systemu wsparcia, który dzieli się na:

6.1. Definicja mechanizmów włączania. Komisja ds. zarządzania wiedzą i zespół programistów określają adekwatność rodzaju włączania (pasywnego, aktywnego lub ich kombinacji) na podstawie kryteriów takich jak względy finansowe lub przechowywana wiedza.

6.2. Definicja mechanizmów powiadamiania.

Komisja ds. zarządzania wiedzą i zespół programistów ustalą najodpowiedniejszą metodę powiadamiania o nowo włączonej wiedzy. Powiadomienie może być pasywne lub aktywne; można rozważyć nawet brak powiadomienia.

6.3. Definicja mechanizmów lokalizacji wiedzy. Oceniono kilka alternatyw, takich jak konieczność uwzględnienia inteligentnych wyszukiwań lub metawyszukiwań.

6.4. Rozwój systemu wsparcia zarządzania wiedzą (KM). Konieczne będzie zdefiniowanie i wdrożenie pamięci korporacyjnej, mechanizmów komunikacji oraz aplikacji do współpracy i pracy zespołowej.

6.5. Zaludnianie pamięci korporacyjnej. Po opracowaniu systemu zarządzania wiedzą (KM), zgromadzona, przyswojona i skonsolidowana wiedza zostanie włączona do pamięci korporacyjnej.

7. Stworzenie środowiska współpracy. Głównym celem tego etapu jest promowanie i doskonalenie wkładu wiedzy oraz jej późniejszego wykorzystania przez organizację. Należy pamiętać o ryzyku związanym z wykorzystaniem nieodpowiedniej kultury organizacyjnej lub nieodpowiednich narzędzi awansu i nagradzania. Zamiast tego należy stosować następujące strategie:

o Uznawanie pracownika za wartościowego w stosunku do jego/jej wkładu w wiedzę organizacji
o Wspieranie i nagradzanie wykorzystania istniejącej wiedzy organizacyjnej
o Promowanie swobodnego dialogu między pracownikami z różnych dziedzin
o Promowanie dobrej atmosfery wśród pracowników
o Zaangażowanie wszystkich pracowników

PRZYSZŁE TRENDY

Jak wskazano, dyscyplina zarządzania wiedzą (KM) pozostaje w niedojrzałym stadium rozwoju z powodu nieodpowiedniego punktu widzenia: braku rygorystycznych badań pozwalających określić odpowiednią wiedzę i cechy, które powinny być wspierane. Taka sytuacja doprowadziła do istotnego niedoboru szczegółów w istniejących propozycjach dotyczących rozwoju KMS, które obecnie zależą wyłącznie od indywidualnej, dobrej pracy programistów. Niniejsza propozycja oznacza nowe spojrzenie na rozwój tego typu systemów. Nadal jednak pozostaje wiele do zrobienia. Ponieważ autorzy zdają sobie sprawę z wysokiego poziomu biurokracji, która może być potrzebna do wdrożenia niniejszej propozycji, należy ją przyspieszyć i scharakteryzować dla konkretnych dziedzin. Niemniej jednak, ten punkt widzenia można uznać za klucz do osiągnięcia konkretnych ontologii dla zarządzania wiedzą w każdej dziedzinie.

WNIOSKI

W niniejszym artykule przedstawiono ramy metodologiczne dla rozwoju KMS, które, w odróżnieniu od istniejących propozycji, opierają się na rygorystycznych badaniach wiedzy, którą należy zarządzać. Cecha ta zapewniła systemowi wyższy poziom szczegółowości proceduralnej niż obecne propozycje, ponieważ zidentyfikowano i sformalizowano elementy koncepcyjnie niezbędne do zrozumienia i przedstawienia wiedzy z dowolnej dziedziny.

WSTĘP

Wczesne próby implementacji systemów rozumiejących wiedzę zdroworozsądkową dotyczyły bardzo ograniczonych dziedzin. Na przykład system Planes znał rzeczywiste fakty dotyczące floty samolotów i potrafił odpowiadać na pytania na ich temat zadawane mu w języku angielskim. Nie posiadał jednak żadnych zachowań, nie potrafił interpretować faktów, wyciągać z nich wniosków ani rozwiązywać problemów innych niż te związane ze zrozumieniem pytań. Z drugiej strony, system SHRDLU rozumiał sytuacje w swojej domenie dyskursu (postrzeganej wizualnie), akceptował polecenia w języku naturalnym, aby wykonywać zachowania w tej domenie i rozwiązywać problemy pojawiające się podczas wykonywania poleceń; wszystkie te możliwości były jednak ograniczone do sztucznego świata kolorowych klocków SHRDLU. Zatem w zaimplementowanych systemach wydaje się, że może istnieć kompromis między stopniem realizmu domeny a liczbą możliwości, które można zaimplementować. W debacie "rama kontra logika" , prawdziwym problemem, zdaniem Israela (1983), nie jest sam formalizm reprezentacji, ale raczej to, że fakty ze świata zdrowego rozsądku nie zostały sformułowane, a to jest ważniejsze niż wybór konkretnego formalizmu. Godną uwagi próbą sformułowania "faktów ze świata zdrowego rozsądku" jest praca Hayesa w ramach fizyki naiwnej. Praca ta wykorzystuje rachunek predykatów pierwszego rzędu do reprezentacji wiedzy zdroworozsądkowej o codziennym świecie fizycznym. Autor niniejszego przeglądu podjął podobne wysiłki w odniesieniu do wiedzy biznesowej opartej na zdrowym rozsądku . Niektóre szersze próby sformułowania baz wiedzy zdroworozsądkowej są cytowane w rozdziale "Bazy wiedzy zdroworozsądkowej".

ZDROWY ROZSĄDEK I SYSTEMY EKSPERCKIE

Pewność, że systemy eksperckie nie są obecnie wystarczające do reprezentacji zdroworozsądkowej, jest wzmacniana przez świadome unikanie w tej dziedzinie problemów zdroworozsądkowych. Doskonałym przykładem jest następująca maksyma dotycząca budowy systemów eksperckich:

Skoncentruj się na wąskiej dziedzinie specjalistycznej, która nie wymaga dużej wiedzy zdroworozsądkowej. ….zbudowanie systemu posiadającego wiedzę specjalistyczną w kilku dziedzinach jest niezwykle trudne, ponieważ prawdopodobnie wymagałoby to różnych paradygmatów i formalizmów. W tym sensie wiele praktycznych prac nad systemami eksperckimi odeszło od tradycji dążenia do ogólności w badaniach nad sztuczną inteligencją, czego dobrym przykładem jest General Problem Solver oraz prace nad przetwarzaniem języka naturalnego. Z drugiej strony, badania oparte na zdrowym rozsądku wydają się idealnie wpisywać w tradycję sztucznej inteligencji, ponieważ do atrybutów zdrowego rozsądku (Zdroworozsądkowa Reprezentacja Wiedzy I) konieczne jest dodanie jeszcze jednego niejawnego atrybutu, a mianowicie zdolności do zastosowania dowolnej wiedzy opartej na zdrowym rozsądku w DOWOLNEJ istotnej dziedzinie. Ta potrzeba ogólności wydaje się być jedną z największych trudności w reprezentowaniu zdrowego rozsądku. Rozważmy na przykład zdroworozsądkowe informacje o pomiarach; znajomość właściwych miar, ich przeliczeń i okresu ich stosowalności jest niezbędna w tak różnych dziedzinach, jak medycyna, biznes i fizyka. Jednak każdy system ekspercki reprezentuje wiedzę, w tym niezbędną wiedzę o skalach pomiarowych, w sposób najwygodniejszy dla jego konkretnych celów. Żadna taka reprezentacja prawdopodobnie nie będzie zbyt użyteczna w żadnym innym systemie w tej samej dziedzinie, a już na pewno nie w systemach w innych dziedzinach. Wydaje się zatem, że przyczyną niezdolności systemów eksperckich w obecnej formie do reprezentowania ogólnego zdrowego rozsądku jest przede wszystkim funkcja ogólności zdrowego rozsądku w porównaniu ze specyfiką systemów eksperckich. Z pozytywnego punktu widzenia, jednym z głównych celów systemów zdroworozsądkowych musi być reprezentacja wiedzy w taki sposób, aby mogła być użyteczna w każdej dziedzinie; tj. gdy strategie przechowywania nie mogą opierać się na wcześniejszych informacjach o tym, do czego wiedza zostanie wykorzystana. Na tym właśnie polega główna różnica między systemami eksperckimi a systemami zdroworozsądkowymi; podczas gdy te pierwsze zajmują się głównie konkretną wiedzą i zachowaniami w ściśle ograniczonym zakresie działalności, zdrowy rozsądek musi obejmować wszystkie obszary wiedzy i zachowań, które nie są wyraźnie przypisane do grona ekspertów. System ekspercki, który zna się na medycynie wewnętrznej, nie zna się na chorobach skóry ani toksykologii, a tym bardziej na platformach wiertniczych czy górnictwie węglowym. Z drugiej strony, systemy oparte na zdrowym rozsądku powinny wiedzieć o przeziębieniach, bólach głowy, samochodach, pogodzie, supermarketach, restauracjach, "kredzie i serze, laku do pieczęci, kapuście i królach".

WDROŻENIA BAZY WIEDZY ZDROWOTNEJ

Biorąc pod uwagę znaczenie wiedzy zdroworozsądkowej i fakt, że jest ona niezbędna w szerokim zakresie zastosowań, podjęto szereg wysiłków w celu zbudowania uniwersalnych baz wiedzy opartej na zdrowym rozsądku. Trzy z najbardziej znanych to Cyc, ConceptNet i WordNet.

Cyc

Projekt Cyc został zainicjowany w 1984 roku przez Douglasa Lenata, który od tamtej pory kieruje jego pracami. Celem projektu było zbudowanie bazy wiedzy obejmującej całą wiedzę zdroworozsądkową niezbędną do zrozumienia zbioru artykułów w encyklopedii. W 2005 roku baza wiedzy zawierała około 15 000 predykatów, 300 000 pojęć i 3 200 000 asercji - faktów, reguł praktycznych i heurystyk do wnioskowania o przedmiotach i zdarzeniach codziennego użytku. Projekt jest nadal aktywny, a baza wiedzy stale się rozrasta. Formalizm zastosowany w Cyc to rachunek predykatów, a asercje są wprowadzane ręcznie.

ConceptNet

ConceptNet to zdroworozsądkowa baza wiedzy i zestaw narzędzi do przetwarzania języka naturalnego, który wspiera wiele praktycznych zadań związanych z rozumowaniem tekstowym. Zamiast ręcznego rejestrowania twierdzeń, jak w Cyc, w ConceptNet są one generowane automatycznie z 700 000 zdań projektu Open Mind CommonSense Project (Singh, 2002), dostarczonych przez ponad 14 000 autorów. Dostępna jest wersja zwięzła zawierająca 200 000 twierdzeń oraz wersja pełna zawierająca 1,6 miliona twierdzeń. ConceptNet jest skonstruowany jako sieć semantyczna.

WordNet

WordNet jest opisany następująco : "Rzeczowniki, czasowniki, przymiotniki i przysłówki są pogrupowane w zestawy synonimów kognitywnych (synsetów), z których każdy wyraża odrębne pojęcie. Synsety są ze sobą powiązane za pomocą relacji konceptualno-semantycznych i leksykalnych. Powstała sieć sensownie powiązanych słów i pojęć może być przeglądana za pomocą przeglądarki. … Struktura WordNet czyni go użytecznym narzędziem w lingwistyce komputerowej i przetwarzaniu języka naturalnego". WordNet zawiera około 155 000 słów, 118 000 synsetów i 207 000 par słowo-znaczenie.

PRZYSZŁE TRENDY I WNIOSKI

Każdy system zaprojektowany do przetwarzania języka naturalnego musi zawierać wiedzę opartą na zdrowym rozsądku, podobnie jak wiele innych typów systemów. W związku z tym rozwój baz wiedzy opartej na zdrowym rozsądku z pewnością będzie kontynuowany. Ponieważ kompletna baza wiedzy oparta na zdrowym rozsądku musi zawierać bardzo duże ilości wiedzy, jej rozwój jest bardzo długotrwałym procesem, który musi być kumulatywny, aby osiągnąć swój cel. W związku z tym implementacje baz wiedzy opartej na zdrowym rozsądku będą się rozwijać i udoskonalać w długim okresie czasu.

WSTĘP

Znaczący postęp w dziedzinie sztucznej inteligencji, w tym maszyny, które grają w szachy na poziomie mistrzowskim lub stawiają diagnozy medyczne, uwypukla intrygujący paradoks. Podczas gdy systemy mogą konkurować z wysoko wykwalifikowanymi ekspertami w wielu dziedzinach, znacznie mniejszy postęp nastąpił w konstruowaniu maszyn wykazujących się prostym zdrowym rozsądkiem, jakiego można oczekiwać od każdego normalnie inteligentnego dziecka. W rezultacie zdrowy rozsądek został uznany za jeden z najtrudniejszych i najważniejszych problemów w dziedzinie sztucznej inteligencji .

TŁO

Znaczenie zdrowego rozsądku Na początek warto wymienić kilka powodów, dla których zdrowy rozsądek jest tak ważny:

1. Każdy ogólny procesor języka naturalnego musi posiadać zdrowy rozsądek, który jest zakładany w tekście.
2. Podczas tworzenia systemów komputerowych przyjmuje się wiele założeń dotyczących sposobu ich użytkowania i wiedzy użytkowników. Im więcej zdrowego rozsądku można jawnie wbudować w systemy, tym mniej będzie on zależeć od niejawnej zgodności zdrowego rozsądku projektanta z rozsądkiem użytkownika.
3. Wiele systemów eksperckich ma wbudowaną pewną wiedzę zdroworozsądkową, z której wiele jest wielokrotnie przeformułowywanych dla podobnych systemów. Korzystne byłoby ujednolicenie wiedzy zdroworozsądkowej do wykorzystania w różnych systemach.
4. Zdrowy rozsądek ma w dużej mierze element specyficzny dla danego środowiska i kultury. Badanie i formalizacja wiedzy zdroworozsądkowej może pozwolić ludziom z różnych kultur lepiej zrozumieć wzajemne założenia.

Definicja zdrowego rozsądku

Nie będziemy tutaj podejmować próby rygorystycznej definicji zdrowego rozsądku. Intuicyjnie jednak zdrowy rozsądek ma na ogół obejmować następujące zdolności, zdefiniowane dla danej kultury:

a. znajomość powszechnie znanych faktów o świecie,
b. znajomość i zdolność do wykonywania powszechnie stosowanych zachowań oraz przewidywania ich skutków,
c. umiejętność interpretowania lub identyfikowania powszechnie występujących sytuacji w kontekście powszechnie znanych faktów - tj. rozumienia, co się dzieje,
d. umiejętność wiązania przyczyn i skutków,
e. umiejętność rozpoznawania niespójności w opisach typowych sytuacji i zachowań oraz między zachowaniami a ich kontekstami sytuacyjnymi,
f. umiejętność rozwiązywania codziennych problemów.

Podsumowując, zdrowy rozsądek to wiedza, której każdy uczestnik danej kultury oczekuje od każdego innego uczestnika tej kultury, w odróżnieniu od wiedzy specjalistycznej, którą posiadają wyłącznie specjaliści. Warunki konieczne, aby formalizacja mogła rościć sobie prawo do reprezentowania zdrowego rozsądku, są zawarte w powyższej definicji; Formalizm musi wykazywać co najmniej jeden z wymienionych tam atrybutów. Praktycznie wszystkie prace w tej dziedzinie starały się spełnić jedynie pewien podzbiór kryteriów zdrowego rozsądku.

FORMALIZMY REPREZENTACJI ZDROWOTNEGO ROZSĄDKU

W badaniach nad sztuczną inteligencją prace nad zdrowym rozsądkiem są zazwyczaj ujęte w kategorii reprezentacji wiedzy. Celem niniejszego artykułu jest przegląd różnych formalizmów proponowanych do reprezentacji wiedzy zdroworozsądkowej.

FORMALIZMY REPREZENTACJI ZDROWOTNEJ

W badaniach nad sztuczną inteligencją prace nad zdrowym rozsądkiem są zazwyczaj podporządkowane terminowi Reprezentacja Wiedzy. Celem niniejszego artykułu jest przegląd różnych formalizmów proponowanych do reprezentacji wiedzy zdroworozsądkowej. W literaturze omówiono cztery główne schematy reprezentacji wiedzy - reguły produkcji, sieci semantyczne, ramy i logikę. Systemy produkcyjne są często stosowane w budowaniu systemów eksperckich. Praktycznie wszystkie dyskusje na temat reprezentacji zdroworozsądkowej dotyczą jednak sieci semantycznej, ram lub systemów logicznych. Schematy te są stosowane w ramach trzech głównych paradygmatów reprezentacji zdroworozsądkowej - propozycjonalnej, utrzymania prawdy i dyspozycyjnej



W skrócie, modele propozycjonalne to opisy reprezentacji rzeczy lub konkretnych faktów. Gdy reprezentowana wiedza jest nieprecyzyjna lub zmienna, formalizmy propozycjonalne nie są już wystarczające i należy rozważyć przekonania o świecie wygenerowane przez aktualny stan wiedzy systemu oraz uwzględnić zmiany tych przekonań w zależności od okoliczności; taka jest natura systemów podtrzymywania przekonań lub prawdy. Wreszcie, gdy wiedza jest zarówno nieprecyzyjna, jak i niefaktyczna, lecz odnosi się raczej do uczuć, spostrzeżeń i rozumienia, przywoływane są reprezentacje dyspozycyjne. W ramach każdego paradygmatu reprezentacyjnego istnieje szereg specyficznych formalizmów. Rysunek wskazuje na istnienie ośmiu różnych formalizmów reprezentacji wiedzy. Każdy z tych formalizmów przedstawiono poprzez omówienie jednego lub kilku reprezentantów. Potrzeba różnych typów formalizmów, trudności w reprezentowaniu wiedzy wielodomenowej, psychologiczne teorie różnych poziomów świadomości, fizjologiczne dowody na istnienie różnych poziomów mózgu i ich powiązania z określonymi funkcjami, specjalizacja funkcjonalna określonych obszarów mózgu oraz podobne dowody dotyczące obu półkul mózgu - wszystko to przemawia za poglądem, że umysł, czyli jaźń, składa się ze znacznej liczby współpracujących podagentów, do których Minsky (1981) odnosi się jako do społeczeństwa umysłu. Warto pamiętać o tej koncepcji podczas badania różnorodności schematów reprezentacji; sugeruje ona, że wiele takich formalizmów może współistnieć w każdym racjonalnym agencie i że niewiele można zyskać, próbując wybrać "właściwy" formalizm w jakimkolwiek ogólnym sensie.

MODELE PROPOZYCYJNE

Praktycznie wszystkie modele propozycjonalne wiedzy zdroworozsądkowej są postrzegane jako składające się z węzłów powiązanych ze słowami lub tokenami reprezentującymi koncepcje. Węzły mają strukturę hierarchiczną, przy czym węzły niższego poziomu rozwijają lub reprezentują instancje węzłów wyższego poziomu; węzły wyższego poziomu przekazują swoje właściwości tym znajdującym się poniżej, które, jak się mówi, dziedziczą te właściwości. Zatem wszystkie modele propozycjonalne są hierarchicznie ustrukturyzowanymi sieciami składającymi się z węzłów i łuków łączących węzły. Od tego momentu struktury reprezentacyjne zaczynają się rozchodzić w zależności od rozkładu informacji między łukami a węzłami. Z jednej strony węzły są samodzielnymi opisami pojęć, z jedynie hierarchicznymi relacjami między pojęciami wyrażonymi w łukach; ramy i skrypty mają taką naturę. Z drugiej strony węzły zawierają tylko nazwy, a treść opisowa znajduje się w wielości typów relacji, które nadają znaczenie nazwom. Ta ostatnia forma jest ogólnie nazywana siecią semantyczną. Pomiędzy skrajnościami znajdują się reprezentacje, w których wiedza opisowa jest rozłożona między węzły i relacje. Opisane reprezentacje można omawiać jako modele teoretyczne lub implementacje komputerowe, które zazwyczaj wywodzą się z jednego z modeli teoretycznych .

Sieci semantyczne

Sieci semantyczne zostały opracowane w celu reprezentowania zdań i ich struktury składniowej, a nie wiedzy zawartej w zdaniach. Sieć semantyczna składa się z trójek węzłów, łuków łączących węzły i etykiet (Rich, 1983). Słowa zdania są zawarte w węzłach, a jego struktura składniowa jest ujęta w łukach oznaczonych etykietami.

Ramki

W środowisku wykorzystującym ramki (lub schematy) wydaje się, że panuje powszechna zgoda co do tego, że ramki definiują pojęcia poprzez zawartość slotów, które określają komponenty pojęć. Zawartość slotu może być instancją, wartością domyślną lub zwykłą, warunkiem lub podschematem. Ostatnia z tych zawartości slotów generuje ogólnie akceptowaną hierarchiczną naturę reprezentacji pojęć.

Skrypty

W swoim przełomowym artykule na temat ramek Minsky (1975) sugeruje, że ramki nie są dokładnie tym samym, co skrypty Schanka (1981). Główna różnica polega na reprezentowanych koncepcjach. Skrypty opisują czasowe sekwencje zdarzeń reprezentowane przez sekwencję slotów w skrypcie. W tym przypadku struktura slotów ma znaczenie. W przypadku ramek opisujących obiekty dokładna kolejność slotów prawdopodobnie nie ma znaczenia. Czasowa kolejność slotów jest niezbędna w wielu innych reprezentacjach, w tym w reprezentacjach większości zachowań. Podsumowując, ramki, skrypty i sieci semantyczne są logicznie równoważne. Wszystkie trzy są hierarchiami składającymi się z węzłów i relacji; różnią się one położeniem informacji w sieci. Skrypty dodatkowo różnią się czasowym i przyczynowym porządkiem slotów w węzłach.

Rachunek predykatów

Rachunek predykatów pierwszego rzędu jest metodą reprezentacji i przetwarzania wiedzy propozycjonalnej i został opracowany specjalnie w tym celu. Wielu badaczy w tej dziedzinie uważa ten formalizm za najbardziej odpowiedni do reprezentacji wiedzy w sposób zdroworozsądkowy. Omawiając logikę jako narzędzie reprezentacji wiedzy, należy rozróżnić użycie logiki jako formalizmu reprezentacyjnego od użycia języków logistycznych do implementacji. Języki logistyczne mogą implementować dowolny formalizm reprezentacyjny, logistyczny lub inny. Należy również dokonać rozróżnienia między użyciem logiki do wnioskowania a jej użyciem do reprezentacji (Hayes, 1979). Zatem można zastosować wnioskowanie logiczne do dowolnej reprezentacji wiedzy, pod warunkiem, że jest ona podatna na tego rodzaju manipulację; wiedza wyrażona w rachunku predykatów jest najbardziej podatna na taką manipulację. Ożywione debaty w dziedzinie sztucznej inteligencji koncentrowały się na wyborze ram lub logiki do reprezentacji wiedzy w sposób zdroworozsądkowy. Za ramami opowiadali się ci, którzy próbowali wdrożyć schematy reprezentacji wiedzy . Argument jest dwojaki: po pierwsze, formalizmy logistyczne nie mają wystarczającej mocy ekspresyjnej, aby adekwatnie reprezentować wiedzę zdroworozsądkową. Dotyczy to w szczególności dynamicznego dostosowywania tego, co uznaje się za prawdę, w miarę zdobywania nowych informacji. Logika klasyczna nie dopuszcza reinterpretacji w miarę poznawania nowych faktów - jest monotoniczna. Po drugie, argument ten zakłada, że ludzka reprezentacja wiedzy nie podlega regułom logiki formalnej, a zatem logika jest nieadekwatna psychologicznie, a także ekspresyjnie. Logicy odpowiadają na pierwszy argument, że w logice można wyrazić wszystko, ale czasami może to być trudne; szkoła ta nie zgadza się z twierdzeniem, że paradygmat ram ma większą moc ekspresyjną. Hayes (1979) twierdził, że "większość "ram" to jedynie nowa składnia dla elementów logiki pierwszego rzędu". Zatem wszystkie formalizmy reprezentacyjne wydają się mieć wiele wspólnego, nawet jeśli nie są całkowicie równoważne. Odpowiedź na drugi argument brzmi, że przedmiotem badań jest sztuczna inteligencja, zatem przyjęte formalizmy nie muszą przypominać mechanizmów ludzkich. Jednym z punktów porozumienia, który wydaje się wyłaniać między obiema stronami, jest to, że klasyczny rachunek predykatów rzeczywiście nie ma wystarczającej mocy ekspresywnej. Dowodem na to są liczne próby rozszerzenia formalizmów logicznych w celu zapewnienia wystarczającej mocy ekspresywnej, zwłaszcza poprzez złagodzenie niektórych ograniczeń monotoniczności. Istotą monotoniczności jest to, że jeśli teoria A zostanie rozszerzona o dodatkowe aksjomaty, aby stać się teorią B, to wszystkie twierdzenia teorii A pozostają twierdzeniami teorii B. Zatem wnioski w logice monotonicznej są nieodwracalne i to ograniczenie musi zostać złagodzone, aby logiczny system wnioskowania mógł ponownie oceniać swoje wnioski po poznaniu nowych faktów. Wnioski logiki niemonotonicznej są traktowane jako przekonania lub dyspozycje oparte na aktualnej wiedzy i podatne na zmianę w razie potrzeby. Próby przezwyciężenia ograniczeń monotoniczności obejmują rozumowanie niemonotoniczne McCarthy′ego (1980), logiki niemonotoniczne , logikę rozmytą i podejście funkcjonalne reprezentowane przez języki KL-One i KRYPTON. Należy zauważyć, że logika niemonotoniczna działa nie poprzez zmianę reprezentacji logicznej, ale raczej poprzez wzmacnianie

REPREZENTACJE LOGISTYCZNE: SYSTEMY PODTRZYMYWANIA PRZEKONAŃ

Logika rozmyta (Zadeh, 1983)

Obszerna praca Zadeha nad zastosowaniem logiki rozmytej do reprezentacji wiedzy opiera się na założeniu, że rachunek predykatów jest nieadekwatny do reprezentacji wiedzy w rozumieniu potocznym, ponieważ nie dopuszcza predykatów rozmytych (np. mały, tani) ani kwantyfikatorów rozmytych (np. wiele, większość), jak w zdaniu "najbardziej małe ptaki latają". Logika rozmyta postępuje w reprezentacji dyspozycji, wykonując następujące kroki:

1. Propozycja jest traktowana jako zbiór (zwykle niejawnych) ograniczeń rozmytych.
2. Baza danych wyjaśniająca zawiera listy próbek przedmiotu propozycji wraz ze stopniem spełnienia każdego predykatu lub ograniczenia. Dane te służą do obliczania wyników testów określających stopień spełnienia każdego ograniczenia. Wyniki te stają się następnie znaczeniem ograniczeń rozmytych.

Ograniczenie (McCarthy, 1980)

Ograniczenie to forma rozumowania niemonotonicznego (w odróżnieniu od logiki niemonotonicznej), która redukuje kontekst zdania do wszystkiego, co da się wydedukować z samego zdania, i nic więcej. Bez takiego mechanizmu każde stwierdzenie może odwoływać się do całej wiedzy, jaką posiada system, związanej z tematem stwierdzenia, z czego wiele prawdopodobnie byłoby nieistotnych. Pytanie "Wrony i kanarki to ptaki; dlaczego Tweetie boi się wron?" mogłoby skłonić do rozważenia faktu, że strusie i pingwiny również są ptakami, a strusie nie latają i chowają głowy w piasek, podczas gdy pingwiny pływają i jedzą ryby, co jest nieistotne dla rozpatrywanego problemu. Celem ograniczenia jest ograniczenie oceny stwierdzeń problemowych do faktów zawartych w stwierdzeniu - co McCarthy opisuje jako zdolność do przeskakiwania w wnioskach.

Domyślne rozumowanie (Reiter, 1980)

Domyślne rozumowanie Reitera opiera się na rachunku predykatów pierwszego rzędu i stanowi próbę rozwiązania pewnego problemu, który pojawia się podczas wyrażania wiedzy zdroworozsądkowej w klasycznym formalizmie. Problem polega na wyciąganiu wniosków na podstawie niepełnej wiedzy, gdy brakujące informacje można założyć, o ile nie ma dowodów przeciwnych. Takie założenia są możliwe, ponieważ znaczna część wiedzy ze świata rzeczywistego na temat klas obiektów jest prawie zawsze prawdziwa. Zatem większość ptaków jest zdolna do lotu, z kilkoma wyjątkami, takimi jak pingwiny, strusie i kiwi, pod warunkiem, że nie cierpią na specyficzne ułomności, takie jak śmierć lub stopy wbite w beton.

Logika niemonotoniczna (McDermott i Doyle, 1980)

Logika niemonotoniczna stara się sformalizować reprezentację wiedzy w taki sposób, aby modele utrzymywane na podstawie dostarczonych przesłanek mogły się zmieniać, w razie potrzeby, wraz z dodawaniem nowych przesłanek. Zatem zamiast określać prawdziwość lub fałszywość twierdzeń, jak w logice klasycznej, logiki niemonotoniczne utrzymują przekonania oparte na aktualnym poziomie wiedzy.

MODELE DYSPOZYCYJNE

Modele dyspozycyjne próbują ustalić związek między reprezentacją wiedzy a pamięcią. Parafrazując Schanka (1981), rozumienie zdań polega na dodawaniu informacji, zazwyczaj zdroworozsądkowych, niewyrażonych wprost w zdaniu oryginalnym. Zatem pamięć pełna faktów dotyczących świata zdrowego rozsądku jest niezbędna do zrozumienia języka. Co więcej, model lub zbiór przekonań jest niezbędny, aby dostarczyć oczekiwań lub wyjaśnień dotyczących zachowania aktora. Dodanie przekonań do reprezentacji zmienia koncepcję wnioskowania z prostego dodawania informacji, aby umożliwić analizę zdań, na integrowanie danych z danym modelem pamięci; prowadzi to do badania faktów i przekonań w pamięci.

Linie K (Minsky, 1981)

Główną tezą Minsky′ego jest to, że funkcją pamięci jest odtworzenie stanu umysłu. Każde wspomnienie musi zawierać informacje, które mogą później posłużyć do odtworzenia mechanizmów aktywnych w momencie jego powstania. Zakłada się, że pamięć składa się, na najwyższym poziomie, z szeregu luźno powiązanych ze sobą specjalistów - "społeczności umysłu". Każdy ze specjalistów z kolei składa się z trzech krat z połączeniami między nimi. Najbardziej podstawowa krata składa się z "agentów mentalnych" lub węzłów P. Niektórzy z tych agentów uczestniczą w dowolnym wydarzeniu, które można zapamiętać - doświadczeniu, idei lub rozwiązaniu problemu - i zostają z nim skojarzeni. Reaktywacja niektórych z tych agentów odtwarza "częściowy stan mentalny" przypominający oryginał.Reaktywacja węzłów P i wynikające z niej odtwarzanie częściowych stanów mentalnych odbywa się za pomocą linii K połączonych z węzłami. Linie K biorą swój początek w węzłach K osadzonych w drugiej sieci, Piramidzie K. Ustanowienie linii K między węzłem K a niektórymi węzłami P następuje w momencie zapadnięcia w pamięć zdarzenia mentalnego. Informacja w Piramidzie K przepływa w dół, ale nie w górę. Trzecią strukturą w modelu Minsky′ego jest Piramida N. Jej funkcją jest umożliwienie uczenia się, a robi to poprzez konstruowanie nowych węzłów K dla P. Warto wyobrazić sobie tę strukturę jako analogiczną do kuli z kości słoniowej - sfer w sferach.

Pakiety Organizacji Pamięci: MOPS (Schank, 1981)

Chociaż Minsky przedstawia ogólną teorię pamięci bez odwoływania się do reprezentacji pojęć, model Schanka jest silnie zależny od wzajemnych relacji między reprezentacjami a pamięcią. Jest to prawdopodobnie wynikiem szczególnej dziedziny badanej przez Schanka - czasowych sekwencji zdarzeń. Scenariusze, plany, cele i tematy modelu Schanka przypominają piramidy P, K i N Minsky′ego, choć zawierają dodatkowy poziom. Próba dokładniejszego określenia tej relacji sugeruje równoważność scenariuszy z piramidą P, planów z piramidą K i celów z piramidą N. Poziom tematów wydaje się nie być uwzględniony w modelu Minsky′ego, chociaż może to odzwierciedlać "społeczeństwo umysłu", w którym każdy temat reprezentuje członka tego społeczeństwa. Oprócz różnicowania poziomów opisu, model Schanka wyróżnia cztery poziomy pamięci w zależności od stopnia szczegółowości. Poziomy te to:

1. Pamięć zdarzeń (EM) - specyficzne wspomnienia konkretnych sytuacji. Po pewnym czasie mniej istotne aspekty zdarzenia zanikają, pozostawiając zdarzenia uogólnione oraz nietypowe lub interesujące części zdarzenia pierwotnego.
2. Uogólniona pamięć zdarzeń (GEM) - zestawienia zdarzeń, których wspólne cechy zostały wyabstrahowane. To tutaj przechowywane są ogólne informacje o sytuacjach, które miały miejsce wielokrotnie - np. poczekalnia u dentysty.
3. Pamięć sytuacyjna (SM) - zawiera informacje o konkretnych sytuacjach - np. wizyta w gabinecie lekarskim.
4. Pamięć intencjonalna (IM) - wspomnienia uogólnień na wyższym poziomie niż SM - np. uzyskanie pomocy od organizacji.

Skrypty konkretnych sytuacji nie istnieją jako trwałe struktury pamięci, lecz są rekonstruowane z bardziej ogólnych struktur wyższego poziomu, aby ułatwić interpretację zdarzeń w miarę ich rozwoju. Części skryptów niezbędne do interpretacji zdarzenia są pobierane ze struktur pamięci na poziomie sytuacyjnym, zwanych Pakietami Organizacji Pamięci (ang. Memory Organization Packets - MOP). MOP to zbiory zdarzeń, które uległy uogólnieniu ("zlepieniu" - jak to ujął Schank) i są przechowywane pod nimi. MOP to sposób, za pomocą którego można pobrać odpowiedni epizod z pamięci, aby ułatwić interpretację konkretnego zdarzenia. Zatem w pamięci muszą zostać ustanowione połączenia między MOP-ami a konkretnymi zdarzeniami, które są przywoływane w celu ułatwienia przetwarzania. Połączenia te przywodzą na myśl linie K Minsky′ego. MOP wspomaga przetwarzanie zdarzenia dzięki temu, że zawiera abstrakcje podobnych, wcześniejszych zdarzeń i, wraz ze szczególnie zapadającymi w pamięć wyjątkami przechowywanymi w pamięci EM, dostarcza oczekiwań dotyczących rozwoju zdarzeń. Zatem MOP jest skryptem wysokiego poziomu i jest powiązany z MOP-ami jeszcze wyższego poziomu. W przykładzie Schanka, skrypt restauracyjny jest MOP niższego poziomu, powiązanym z MOP-ami bardziej ogólnymi, takimi jak sytuacje społeczne, kontrakty i uzyskiwanie usług. Podobnie jak MOP-y, skrypty podlegają wyszukiwaniu priorytetów czasowych, generują zależności koncepcyjne i zawierają pamięć, dlatego można je traktować jako pod-MOP-y.

PRZYSZŁE TRENDY I WNIOSKI

Chociaż włożono znaczny wysiłek w próby sformalizowania reprezentacji wiedzy opartej na zdrowym rozsądku, żadna z nich nie przyniosła jeszcze w pełni satysfakcjonujących rezultatów. W związku z tym nadal istnieje znaczne pole do popisu w tej dziedzinie. Co więcej, w ostatnich latach powstało niewiele prac teoretycznych dotyczących formalizmów reprezentacji opartej na zdrowym rozsądku. Większość wysiłków przeniosła się na projekty wykorzystujące różne formalizmy do implementacji baz wiedzy opartej na zdrowym rozsądku.

WSTĘP

Spośród wszystkich technik sztucznej inteligencji, sztuczne sieci neuronowe (ANN) okazały się bardzo potężnym narzędziem . Ta technika jest bardzo wszechstronna i dlatego została pomyślnie zastosowana w wielu różnych dyscyplinach (klasyfikacja, klasteryzacja, regresja, modelowanie itp.) (Rabu?al & Dorado, 2005). Jednak jednym z największych problemów przy korzystaniu z ANN jest duży wysiłek ręczny, który należy włożyć w ich rozwój. Wielkim mitem dotyczącym ANN jest to, że są łatwe w obsłudze, a ich rozwój odbywa się niemal automatycznie. Ten proces rozwoju można podzielić na dwie części: rozwój architektury oraz szkolenie i walidację. Ponieważ architektura sieci jest zależna od problemu, proces projektowania tej architektury był kiedyś wykonywany ręcznie, co oznaczało, że ekspert musiał testować różne architektury i szkolić je, aż znalazł taką, która osiągała najlepsze wyniki po procesie szkolenia. Ręczna natura opisanego procesu determinuje jego powolną wydajność, chociaż część szkoleniowa jest całkowicie zautomatyzowana ze względu na istnienie kilku algorytmów, które wykonują tę część. Wraz z tworzeniem narzędzi obliczeń ewolucyjnych (EC) naukowcy pracowali nad zastosowaniem tych technik do opracowywania algorytmów automatycznego tworzenia i trenowania sieci neuronowych, tak aby cały proces (lub przynajmniej jego duża część) mógł być automatycznie wykonywany przez komputery, a zatem w tym procesie trzeba było włożyć niewiele wysiłku ze strony człowieka.

TŁO

EC to zestaw narzędzi opartych na imitacji naturalnego zachowania istot żywych w celu rozwiązywania problemów optymalizacyjnych. Jednym z najbardziej typowych podzbiorów narzędzi w EC są algorytmy ewolucyjne (EA), które opierają się na naturalnej ewolucji i jej implementacji na komputerach. Wszystkie te narzędzia działają na tej samej podstawie: populacja rozwiązań danego konkretnego problemu jest tworzona losowo, a następnie stosuje się do niej proces ewolucyjny. Z tej początkowej losowej populacji ewolucja odbywa się za pomocą selekcji i kombinacji najlepszych osobników (chociaż najgorsze mają również małe prawdopodobieństwo zostania wybranymi), aby stworzyć nowe rozwiązania. Proces ten jest przeprowadzany za pomocą selekcji, krzyżowania i operatorów mutacji. Operatory te są zwykle używane w biologii w jej ewolucji w celu adaptacji i przetrwania. Po kilku pokoleniach istnieje nadzieja, że populacja zawiera dobre rozwiązanie problemu. Pierwszym EA, który się pojawił, były algorytmy genetyczne (GA) w 1975 r. Zgodnie z powyższym wyjaśnieniem działania, algorytmy genetyczne wykorzystują kodyfikację binarną (tj. każde rozwiązanie jest kodowane w ciągu bitów). Później, na początku lat 90. pojawiła się nowa technika, zwana programowaniem genetycznym (GP). Opiera się ona na ewolucji drzew, tj. każdy osobnik jest kodowany jako drzewo, a nie ciąg binarny. Pozwala to na jej zastosowanie w szerszym zestawie środowisk. Chociaż algorytmy genetyczne i algorytmy genetyczne są dwiema najczęściej używanymi technikami w algorytmach ewolucyjnych, więcej narzędzi można zaklasyfikować jako część tego świata, takie jak programowanie ewolucyjne lub strategie ewolucyjne, wszystkie z tą samą podstawą: ewolucja populacji zgodnie z naturalnymi zasadami ewolucji.

ROZWÓJ SIECI ANN Z NARZĘDZIAMI EC

Rozwój sieci neuronowych to temat, który był szeroko omawiany za pomocą bardzo różnych technik. Świat algorytmów ewolucyjnych nie jest wyjątkiem, a dowodem na to jest ogromna liczba prac, które zostały opublikowane na temat różnych technik w tej dziedzinie. Techniki te podążają za ogólną strategią algorytmu ewolucyjnego: początkowa populacja składająca się z różnych genotypów, z których każdy kodyfikuje różne parametry (zwykle wagę połączeń i/lub architekturę sieci i/lub reguły uczenia się) i jest tworzona losowo. Ta populacja jest oceniana w celu określenia sprawności każdego osobnika. Następnie populacja ta jest wielokrotnie ewoluowana za pomocą różnych operatorów genetycznych (replikacja, crossover, mutacja itp.), aż do spełnienia określonego kryterium zakończenia (na przykład, uzyskano wystarczająco dobrego osobnika lub osiągnięto z góry określoną maksymalną liczbę pokoleń). Zasadniczo proces generowania ANN za pomocą algorytmów ewolucyjnych dzieli się na trzy główne grupy: ewolucję wag, architektur i reguł uczenia się.

Ewolucja wag

Ewolucja wag zaczyna się od sieci o ustalonej topologii. W tym przypadku problemem jest ustalenie, za pomocą treningu, wartości wag połączeń sieciowych. Jest to ogólnie postrzegane jako problem minimalizacji błędu sieci, przyjmowanego na przykład jako wynik średniego błędu kwadratowego sieci między pożądanymi wynikami a wynikami osiągniętymi przez sieć. Większość algorytmów szkoleniowych, takich jak algorytm propagacji wstecznej (BP) , opiera się na minimalizacji gradientu. Ma to kilka wad , najważniejszą jest to, że dość często algorytm utknie w lokalnym minimum funkcji błędu i nie jest w stanie znaleźć minimum globalnego, zwłaszcza jeśli funkcja błędu jest multimodalna i/lub nieróżniczkowalna. Jednym ze sposobów przezwyciężenia tych problemów jest przeprowadzenie treningu za pomocą algorytmu ewolucyjnego , tj. sformułowanie procesu treningu jako ewolucji wag w środowisku zdefiniowanym przez architekturę sieci i zadanie do wykonania (problem do rozwiązania). W takich przypadkach wagi mogą być reprezentowane w materiale genetycznym osobników jako ciąg wartości binarnych lub ciąg liczb rzeczywistych. Tradycyjne algorytmy genetyczne (Holland, 1975) wykorzystują metodę kodyfikacji genotypowej w postaci ciągów binarnych. W ten sposób powstało wiele prac, które kodyfikują wartości wag za pomocą konkatenacji wartości binarnych, które je reprezentują. Dużą zaletą tych przybliżeń jest ich ogólność i to, że są bardzo proste w zastosowaniu, tj. bardzo łatwo i szybko można zastosować operatory jednorodnego krzyżowania i mutacji na ciągu binarnym. Wadą stosowania tego typu kodyfikacji jest problem permutacji. Problem ten został podniesiony po rozważeniu, że kolejność, w jakiej wagi są pobierane w ciągu, powoduje, że równoważne sieci mogą odpowiadać całkowicie różnym osobom. To sprawia, że operator krzyżowania staje się bardzo nieefektywny. Logicznie rzecz biorąc, kodyfikacja wartości wag pojawiła się również w formie konkatenacji liczb rzeczywistych, z których każda jest powiązana z określoną wagą . Za pomocą operatorów genetycznych zaprojektowanych do pracy z tym typem kodyfikacji i biorąc pod uwagę, że istniejące operatory dla ciągu bitów nie mogą być tutaj użyte, kilka badań wykazało, że ten typ kodyfikacji daje lepsze wyniki oraz większą wydajność i skalowalność niż algorytm BP.

Ewolucja architektur

Ewolucja architektur obejmuje generowanie struktury topologicznej, tj. topologii i łączności neuronów oraz funkcji przejścia każdego neuronu sieci. Architektura sieci ma ogromne znaczenie dla pomyślnego zastosowania sieci neuronowych, ponieważ ma bardzo znaczący wpływ na zdolność procesową sieci. W ten sposób, z jednej strony, sieć z niewielką liczbą połączeń i liniową funkcją przejścia może nie być w stanie rozwiązać problemu, który inna sieć mająca inne cechy (odrębną liczbę neuronów, połączeń lub typów funkcji) byłaby w stanie rozwiązać. Z drugiej strony, sieć mająca dużą liczbę nieliniowych połączeń i węzłów może być nadmiernie dopasowana i nauczyć się szumu, który jest obecny w treningu jako jego nieodłącznej części, bez możliwości rozróżnienia ich, a ostatecznie nie mieć dobrej zdolności generalizacji. Dlatego projektowanie sieci jest kluczowe, a zadanie to jest klasycznie wykonywane przez ekspertów-ludzi, wykorzystując własne doświadczenie, w oparciu o "próby i błędy", eksperymentując z różnymi zestawami architektur. Ewolucja architektur stała się możliwa dzięki pojawieniu się algorytmów konstruktywnych i destrukcyjnych. Ogólnie rzecz biorąc, algorytm konstruktywny zaczyna od minimalnej sieci (z niewielką liczbą warstw, neuronów i połączeń) i sukcesywnie dodaje nowe warstwy, węzły i połączenia, jeśli są potrzebne, podczas treningu. Algorytm destrukcyjny wykonuje odwrotną operację, tj. zaczyna od maksymalnej sieci i eliminuje niepotrzebne węzły i połączenia podczas treningu. Jednak metody oparte na algorytmach Hill Climbing są dość podatne na upadek do lokalnego minimum. Aby opracować architektury ANN za pomocą algorytmu ewolucyjnego, konieczne jest podjęcie decyzji, jak skodyfikować sieć wewnątrz genotypu, aby mogła być używana przez operatorów genetycznych. W tym celu powstały różne rodzaje kodyfikacji sieciowych. W pierwszej metodzie kodyfikacji, kodyfikacji bezpośredniej, istnieje jednoznaczna korespondencja między genami a reprezentacją fenotypową . Najbardziej typowa metoda kodyfikacji składa się z macierzy C=(c_ij) o rozmiarze NxN, która reprezentuje architekturę N węzłów, gdzie c_ij wskazuje obecność lub brak połączenia między węzłami i i j. Możliwe jest użycie c_ij=1 do wskazania połączenia i c_ij=0 do wskazania braku połączenia. W rzeczywistości c_ij może przyjmować wartości rzeczywiste zamiast wartości boolowskich, aby reprezentować wartość wagi połączenia między neuronem "i" i "j", w ten sposób architektura i połączenia mogą być rozwijane jednocześnie. Ograniczenia, które są wymagane w architekturach, można łatwo włączyć do tego schematu reprezentacyjnego. Na przykład sieć feedforward miałaby współczynniki niezerowe tylko w prawym górnym trójkącie macierzy. Tego typu kodyfikacja jest na ogół bardzo prosta i łatwa do wdrożenia. Mają jednak wiele wad, takich jak skalowalność, niemożność kodyfikacji powtarzających się struktur lub permutacja (tj. różne sieci, które są funkcjonalnie równoważne, mogą odpowiadać różnym genotypom). Jako kontrpropozycja dla tego typu bezpośredniej metody kodyfikacji istnieją również pośrednie typy kodyfikacji. W celu skrócenia długości genotypów, tylko niektóre cechy architektury są kodowane w chromosomie. W ramach tego typu kodyfikacji istnieją różne typy reprezentacji. Po pierwsze, należy wspomnieć o reprezentacjach parametrycznych. Sieć może być reprezentowana przez zestaw parametrów, takich jak liczba ukrytych warstw, liczba połączeń między dwiema warstwami itd. Istnieje kilka sposobów kodyfikacji tych parametrów wewnątrz chromosomu. Chociaż reprezentacje parametryczne mogą zmniejszyć długość chromosomu, algorytm ewolucyjny dokonuje wyszukiwania w ograniczonej przestrzeni w obrębie możliwej przestrzeni przeszukiwalnej, która reprezentuje wszystkie możliwe architektury. Inny typ kodyfikacji niebezpośredniej opiera się na systemie reprezentacyjnym o kształcie reguł gramatycznych . W tym systemie sieć jest reprezentowana przez zestaw reguł o kształcie reguł produkcyjnych, które zbudują macierz reprezentującą sieć. Inne typy kodyfikacji, bardziej inspirowane światem biologii, to te znane jako "metody wzrostu". W ich przypadku genotyp nie kodyfikuje już sieci, ale zamiast tego zawiera zestaw instrukcji. Dekodowanie genotypu polega na wykonaniu tych instrukcji, co spowoduje konstrukcję fenotypu. Te instrukcje zazwyczaj obejmują migracje neuronowe, duplikację lub transformację neuronalną oraz różnicowanie neuronalne. Wreszcie, w ramach pośrednich metod kodyfikacji, istnieją inne metody, które są bardzo różne od tych już opisanych. Andersen opisuje technikę, w której każdy osobnik populacji reprezentuje ukryty węzeł zamiast architektury. Każda ukryta warstwa jest konstruowana automatycznie za pomocą procesu ewolucyjnego, który wykorzystuje algorytm genetyczny. Ta metoda ma ograniczenie, że można konstruować tylko sieci typu feed-forward, a także istnieje tendencja do pojawiania się różnych węzłów o podobnej funkcjonalności, co wprowadza pewną redundancję do sieci, którą należy wyeliminować. Jedną z ważnych cech jest to, że ogólnie rzecz biorąc, te metody rozwijają tylko architektury, które są najczęstsze, lub architektury i wagi razem. Zakłada się, że funkcja przejścia każdego węzła architektury została wcześniej określona przez eksperta i jest taka sama dla wszystkich węzłów sieci (przynajmniej dla wszystkich węzłów tej samej warstwy), chociaż wykazano, że funkcja przejścia ma duże znaczenie dla zachowania sieci. Opracowano niewiele metod, które powodują ewolucję funkcji przejścia, a zatem miały one niewielkie reperkusje w świecie sieci neuronowych z EC.

Ewolucja reguły uczenia się

Innym interesującym przybliżeniem rozwoju sieci neuronowych za pomocą EC jest ewolucja reguły uczenia się. Pomysł ten pojawia się, ponieważ algorytm szkoleniowy działa inaczej, gdy jest stosowany do sieci o różnych architekturach. W rzeczywistości, biorąc pod uwagę, że a priori, ekspert zwykle ma bardzo niewielką wiedzę na temat sieci, lepiej jest opracować automatyczny system dostosowujący regułę uczenia się do architektury i problemu, który ma zostać rozwiązany. Istnieje kilka przybliżeń ewolucji reguły uczenia się , chociaż większość z nich opiera się tylko na tym, jak uczenie się może modyfikować lub kierować ewolucją oraz na relacji między architekturą a wagami połączeń. Właściwie istnieje niewiele prac, które skupiają się na ewolucji reguły uczenia się samej w sobie. Jedno z najczęstszych podejść opiera się na ustawieniu parametrów algorytmu BP: tempa uczenia się i pędu. Niektórzy autorzy proponują metody, w których proces ewolucyjny jest używany do znalezienia tych parametrów, pozostawiając stałą architekturę (Kim, Jung, Kim i Park, 1996). Inni autorzy z kolei proponują skodyfikowanie tych parametrów algorytmu BP wraz z architekturą sieci wewnątrz osobników populacji .

PRZYSZŁE TRENDY

Ewolucja sieci neuronowych jest tematem badań od kilku dekad. Tworzenie nowych technik EC i ogólnie nowych technik AI oraz ewolucja i ulepszanie istniejących umożliwiają rozwój nowych metod automatycznego tworzenia sieci neuronowych. Chociaż istnieją metody, które (mniej lub bardziej) automatycznie tworzą sieci neuronowe, zwykle nie są one zbyt wydajne, ponieważ ewolucja architektur, wag i reguł uczenia się jednocześnie prowadzi do posiadania bardzo dużej przestrzeni wyszukiwania, więc ta cecha zdecydowanie musi zostać ulepszona.

WNIOSEK

Świat EC dostarczył zestaw narzędzi, które można zastosować do problemów optymalizacji. W tym przypadku problemem jest znalezienie optymalnej architektury i/lub zestawu wartości wag i/lub reguły uczenia się. Dlatego rozwój sieci neuronowych został przekształcony w problem optymalizacji. Jak pokazują opisane techniki, wykorzystanie technik EC umożliwiło rozwój sieci neuronowych bez ingerencji człowieka lub przynajmniej zminimalizowało udział eksperta w tym zadaniu. Jak wyjaśniono, techniki te mają pewne problemy. Jednym z nich jest już wyjaśniony problem permutacji. Innym problemem jest utrata wydajności: im bardziej skomplikowana jest struktura do rozwinięcia (wagi, reguły uczenia się, architektura), tym mniej wydajny będzie system, ponieważ przestrzeń wyszukiwania staje się znacznie większa. Jeśli system musi rozwijać kilka rzeczy na raz (na przykład architekturę i wagi, aby rozwój ANN był całkowicie zautomatyzowany), ta utrata wydajności wzrasta. Jednak te systemy nadal działają szybciej niż cały ręczny proces projektowania i trenowania ANN kilka razy.