Badanie "r�ka-oko"

Motywacj� do wielu bada� w zakresie widzenia komputerowego, by�o dostarczenie informacji do prowadzenia ramienia robota. Poniewa� obrazy, kt�re mo�na by�o najlepiej przeanalizowa�, dotyczy�y prostych obiekt�w, takich jak bloki zabawek, prace koncentrowa�y si� na ustawieniu ramienia robota w stos i rozpakowaniu blok�w. Opisz� kilka typowych przyk�ad�w tych bada� "hand-eye", zaczynaj�c od projektu, kt�ry tak naprawd� nie obejmowa� "oka ".

W MIT

Sterowana komputerowo mechaniczna "r�ka" zosta�a opracowana przez Heinricha A. Ernsta w 1961 r. W ramach jego Electrical Engineering Sc.D. praca w MIT. (Jego doradc� by� Claude Shannon.) R�ka o nazwie MH-1 by�a "mechanicznym serwomanipulatorem [American Machine and Foundry] przystosowanym do pracy przez komputer TX-0". Wykorzysta� czujniki dotykowe zamontowane na r�ce, aby go poprowadzi�, poniewa�, jak napisa� Ernst, narz�dy wzroku s� obecnie zbyt trudne do zbudowania. W streszczeniu tezy Ernsta opisano niekt�re z mo�liwo�ci systemu:

"…program sk�adaj�cy si� z dziewi�ciu instrukcji sprawi, �e r�ka wykona nast�puj�ce czynno�ci: Przeszukaj st� w poszukiwaniu pola, zapami�taj jej pozycj�, wyszukaj blok�w na stole , we� je i umie�� w tej ramce. Po�o�enie obiekt�w nie ma znaczenia, dop�ki s� na stole. Je�li w ramach testu wbudowanej inteligencji mechanicznej pude�ko powinno zosta� zabrane i umieszczone gdzie indziej, podczas gdy r�ka szuka blok�w, MH-1 zapami�ta now� pozycj� pude�ka i kontynuuje prac� z nim, gdy tylko zda� sobie spraw� ze zmiany sytuacji, to znaczy wpad� na pude�ko, szukaj�c blok�w. Odb�dzie si� to automatycznie, bez potrzeby wspominania o tym w specjalnym programie dla tej wydajno�ci blokowej"

W rzeczywisto�ci MH-1 nie by�a pierwsz� r�k� sterowan� komputerowo, chocia� pierwszy wykorzysta� czujniki dotykowe do kierowania ruchem. Jeden zosta� opracowany i opatentowany w 1954 roku przez ameryka�skiego in�yniera George′a Devola. Opieraj�c si� na tym wynalazku, on i inny in�ynier, Joseph F. Engelberger, za�o�yli Unimation, Inc. Wkr�tce potem zainstalowali prototyp swojego pierwszego robota przemys�owego o nazwie "Unimate" w fabryce General Motors Corporation Ternstedt Division niedaleko Trenton, New Jersey. Wracaj�c do MIT, studenci Patrick Winston (p�niej profesor MIT i dyrektor AI Laboratory), Thomas O. Binford (p�niej profesor Stanford), Berthold KP Horn (p�niej profesor MIT) i Eugene Freuder (p�niej profesor University of New Hampshire) system wykorzystuj�cy rami� robota AMF Versatran do "kopiowania" konfiguracji blok�w. Scena sk�adaj�ca si� z blok�w zosta�a zeskanowana w pierwszej kolejno�ci, a linie zosta�y wyodr�bnione z obrazu za pomoc� "linijki", kt�ra by�a opracowywana przez Binforda i Horn. Za pomoc� tych linii zidentyfikowano obiekty na obrazie i wykonano plan roz�o�enia blok�w robota na scenie przez rami� robota. Rami� robota wykona�o nast�pnie ten plan i ponownie z�o�y�o bloki w ich oryginalnej konfiguracji. System zosta� zademonstrowany w grudniu 1970 r. Dla r�nych konfiguracji blok�w. Przyk�adowa konfiguracja blok�w, kt�r� pomy�lnie obs�u�y�a ich "kopia demo", pokazano na rysunku

System polega� na precyzyjnym o�wietleniu i starannie skonstruowanych blokach. Pr�by rozszerzenia zakresu widzenia komputerowego na mniej ograniczone sceny doprowadzi�y do dalszej koncentracji w MIT i innych miejscach na wczesnych etapach przetwarzania obrazu. Bardziej szczeg�owo opisz� niekt�re z p�niejszych prac nad tymi problemami

W Stanford

Tymczasem w SAIL Johna McCarthy′ego zesp� kierowany przez profesora Jerome Feldmana kontynuowa� prace nad projektami r�cznymi przy u�yciu PDP-1, a p�niej komputer�w PDP-6 i PDP-10.4 McCarthy p�niej powiedzia� mi, �e si� zainteresowa� w robotach ze wzgl�du na jego zainteresowanie wizj� komputerow�. Nie by� bardzo podekscytowany prac� w rozpoznawaniu wzor�w (by�a to raczej "dyskryminacja" ni� "opis"). "Je�li chcesz co� podnie��, musisz to opisa�, a nie tylko rozpozna�". W 1966 r. SAIL naby� elektromechaniczne rami� protetyczne Rancho Los Amigos Hospital. Wiosn� 1967 r. Karl Pingle, Jonathan Singer i Bill Wichman opracowali system d�oni i oczu, kt�ry m�g� u�ywa� kamery telewizyjnej i prymitywnych procedur wizyjnych do lokalizowania blok�w rozrzuconych na stole. Korzystaj�c z uzyskanych w ten spos�b informacji, mo�e kontrolowa� rami� w celu sortowania blok�w. Wed�ug autor�w, jedna sekcja systemu skanuje obraz telewizyjny w celu znalezienia zewn�trznej kraw�dzi obiektu, a nast�pnie �ledzi zewn�trzne kraw�dzie obiektu za pomoc� operatora gradientu [wykrywacza kraw�dzi] w celu znalezienia po�o�enia i kierunku kraw�dzi. Procedury dopasowywania krzywych dopasowuj� linie proste do listy punkt�w znajduj�cych si� na kraw�dziach i obliczaj� po�o�enie naro�nik�w…Druga sekcja systemu jest po�wi�cona kontroli ramienia.… Sekcje, kt�re j� kontroluj�, sk�adaj� si� z programu rozwi�zania, kt�ry oblicza pozycj� k�tow� wymagan� dla ka�dego si�ownika oraz programu serwo, kt�ry nap�dza rami� do po��danych pozycji…

Les Earnest napisa�, �e by� to pierwszy wizualny system sprz�enia zwrotnego z robotyki, "chocia�" zaobserwowano tylko zewn�trzne kraw�dzie blok�w, [i] r�ka musia�a zosta� usuni�ta z pola widzenia po zako�czeniu kontroli wzrokowej…" .Zademonstrowano kilka wersji tego systemu sortowania i uk�adania blok�w. W jednym system umie�ci� kolorowe bloki na stole i umie�ci� je w osobnych stosach blok�w czerwonych i niebieskich. W 1971 roku system uk�adania blok�w sterowany wizj� rozwi�za� ten problem "szale�stwa". W tej uk�adance cztery kostki, z kt�rych ka�da �ciana ma jeden z czterech r�nych kolor�w, musz� by� u�o�one w wie�y tak, aby ka�da strona wie�y mia�a cztery r�ne kolory. System dzia�aj�cy na komputerze SAIL PDP-10 , u�y� kamery telewizyjnej wyposa�onej w wie�� z czterema soczewkami i ko�em kolor�w, aby zlokalizowa� cztery kostki na blacie sto�u. Rami� podnios�o i obr�ci�o ka�d� kostk�, aby ods�oni� wszystkie twarze przed kamer�. Nast�pnie, znaj�c kolor ka�dej twarzy i po znalezieniu rozwi�zania uk�adanki rami� u�o�y�o kostki w wie�y przedstawiaj�cej rozwi�zanie. [Cichy, 16-minutowy kolorowy sze�ciominutowy lm, zatytu�owany "Natychmiastowe Szale�stwo", stworzone przez Richarda Paula i Karla Pingle′a w sierpniu 1971 r. I pokazane na drugiej Mi�dzynarodowej Wsp�lnej Konferencji na temat Sztucznej Inteligencji (IJCAI) w Londynie. Dabblal Rajagopal \ Raj "Reddy" by� pierwszym doktorantem nowego Wydzia�u Informatyki Stanforda. Jego praca dyplomowa dotyczy�a rozpoznawania mowy. Po uzyskaniu stopnia doktora w 1966 r. Reddy do��czy� na Wydzia� Stanforda i kontynuowa� badania nad rozpoznawaniem mowy w SAIL. W tym czasie bra� udzia� w projekcie sterowania uk�adem oka za pomoc� polece� g�osowych. Jak stwierdzono w przegl�dzie projektu, "Polecenia s� tak skomplikowane jak:" Podnie� ma�y blok w dolnej cz�ci lewego rogu"s� rozpoznawane, a zadania s� wykonywane przez rami� sterowane komputerowo." (System zosta� zademonstrowany w 15-minutowym, 16-minutowym kolorze z d�wi�kiem 19 mm z 1969 r., pokazuj�cym niekt�re wyniki Reddy&primelgo dotycz�ce rozpoznawania mowy. Jest zatytu�owany "Pos�uchaj", a wyprodukowali go Raj Reddy, Dave Espar i Art Eisensen. W 1969 r. Reddy przeprowadzi� si� do CMU, gdzie prowadzi� badania w mowie uznanie, a p�niej zosta� dziekanem CMU's School of Computer Science .We wczesnych latach siedemdziesi�tych zesp� Stanforda u�y� systemu wizyjnego i nowej elektromechanicznej r�ki zaprojektowanej przez studenta in�ynierii mechanicznej, Vica Scheinmana, do monta�u wy�cigowej pompy wodnej Ford "T". Zastosowano zestaw w stylu przemys�owym z narz�dziami w ustalonych miejscach, �rubami w podajniku oraz korpusem pompy i pokryw� na palecie. System d�oni {wykona� obliczony wcze�niej z�o�ony zestaw krok�w: zlokalizuj podstaw� pompy, ustaw j� w pozycji standardowej, okre�l po�o�enie chwytania za pomoc� dotyku, ustaw podstaw� pompy w pozycji standardowej, w�� dwa ko�ki do prowadnicy wyr�wnanie uszczelki i pokrywy, za�� uszczelk�, wizualnie sprawd� po�o�enie uszczelki, zlokalizuj pokryw� dotykiem, za�� pokryw� na ko�ki prowadz�ce, podnie� �rubokr�t z �bem sze�ciok�tnym, wybierz �rub� z podajnik, wkr�� pierwsze dwie �ruby, wyjmij ko�ki ustalaj�ce, wkr�� cztery ostatnie �ruby i sprawd� si�� wymagan� do obracania wirnika.

W Japonii

Prace r�czne by�y r�wnie� prowadzone w centralnym badaniu Hitachi Laboratorium w Tokio. Tam Masakazu Ejiri i wsp�pracownicy opracowali system robota o nazwie HIVIP sk�adaj�cy si� z trzech podsystem�w: EYE, BRAIN i HAND. Jedna z dw�ch kamer telewizyjnych EYE spojrza�a na rysunek przedstawiaj�cy zesp� blok�w. Drugi aparat spojrza� na kilka blok�w na stole. Nast�pnie BRAIN nauczy� si�, jak podnosi� i montowa� bloki, jak okre�lono na rysunku, a HAND wykona� monta�.

"FREDDY" z Edynburga

Na prze�omie lat 60. i 70. XX wieku badacze pod kierunkiem profesora Donalda Michie z Wydzia�u Inteligencji i Percepcji Maszyn na Uniwersytecie w Edynburgu opracowali systemy robot�w zwane og�lnie "FREDDY". Najbardziej znanym z nich by� system d�oni - system oczu FREDDY II, kt�ry mia� du�e rami� robota i dwie kamery telewizyjne zawieszone nad ruchomym sto�em. Mimo �e rami� nie porusza�o si� wzgl�dem pokoju, porusza�o si� wzgl�dem "�wiata" sto�u. Zadaniem demonstracyjnym gry FREDDY II by�o zbudowanie kompletnych zestaw�w takich jak samochodzik lub ��d�, z zestawu cz�ci zrzuconych na st�. Celem by�o opracowanie technik sztucznej inteligencji, kt�re mog�yby stanowi� podstaw� dla lepszych robot�w do monta�u przemys�owego, tj. robot�w, kt�re by�y bardziej wszechstronne, bardziej niezawodne i �atwiejsze do zaprogramowania ni� te, kt�re by�y w tym czasie u�ywane. Na pocz�tku cz�ci sk�adowe znajdowa�y si� w niezorganizowanym zbieraniu. FREDDY musia� je znale�� i zidentyfikowa�, a nast�pnie uporz�dkowa�. Po znalezieniu wszystkich potrzebnych cz�ci FREDDY mo�e nast�pnie wykona� sekwencj� monta�u, u�ywaj�c ma�ej stacji roboczej z imad�em. Wyizolowane cz�ci zosta�y rozpoznane na podstawie cech ich obrysu (naro�niki, krzywe itp.), ich otwory i ich og�lne w�a�ciwo�ci. Nauczono ich FREDDY, pokazuj�c r�ne widoki ka�dej z cz�ci na wcze�niejszym etapie szkolenia. Aby poradzi� sobie ze stertami cz�ci, FREDDY zastosowa� kilka taktyk: mo�e spr�bowa� znale�� co� wystaj�cego ze stosu, kt�re m�g�by uchwyci� i wyci�gn��; mo�e pr�bowa� podnie�� co� (nieznanego) z g�ry; lub mo�e po prostu przeora� r�k� przez stert�, aby spr�bowa� podzieli� j� na dwie mniejsze. Konstruowanie zestawu przeprowadzono zgodnie z sekwencj� instrukcji, kt�re zosta�y zaprogramowane interaktywnie podczas fazy szkolenia. Niekt�re instrukcje by�y prostymi ruchami, ale inne by�y znacznie bardziej wyrafinowane i korzysta�y z czujnik�w si�y w d�oni. Na przyk�ad, w "ograniczonym ruchu" r�ka przesuwa�aby cz��, kt�r� trzyma�a wzd�u� powierzchni, a� uderzy w op�r; w "dopasowaniu otwor�w", r�ka wsuwa�aby jedn� cz�� (np. o�) w otw�r w innej (np. ko�o) przez dotyk, tak jak ludzie. FREDDY m�g� zmontowa� zar�wno samoch�d, jak i ��d�, gdy oba zestawy by�y zmieszane razem i zrzucone na st�. Zaj�o to oko�o czterech godzin, g��wnie z powodu ograniczonej mocy dw�ch komputer�w FREDDY. G��wnym komputerem by� Elliot 4130 z 64k 24-bitowymi s�owami (p�niej uaktualniony do 128k) i z taktowanie 0,5 MHz Zosta�o zaprogramowane w j�zyku POP-2. Silniki i kamery robot�w by�y kontrolowane przez Honeywell H316, z 4k 16-bitowymi s�owami (p�niej zaktualizowane do 8k s��w, kosztem oko�o 8000 $ za dodatkowe 8k bajt�w!). Harry Barrow (1943 {), kluczowa osoba zaanga�owana w prac�, p�niej opisa� dzia�anie FREDDY:

"[A] uzyskanie obrazu z kamery telewizyjnej zaj�o kilka sekund a przetwarzanie trwa�o jeszcze d�u�ej, i w jednym przebiegu FREDDY wykona� od 100 do 150 zdj��! Robi� zdj�cie za ka�dym razem, gdy podnosi� obiekt, aby sprawdzi�, czy z powodzeniem go podni�s� i nie upu�ci�, i robi� zdj�cie za ka�dym razem, gdy k�ad� obiekt, aby sprawdzi�, czy przestrze� jest pusta. Przeanalizowa� tak�e ca�y �wiat, kt�ry wymaga� wielu zdj��) kilka razy, aby zrobi� map�, i spojrza� na ka�dy obiekt z dw�ch r�nych kamer, aby dokona� oszacowania pozycji i wielko�ci w stylu stereo. W rzeczywisto�ci system najintensywniej wykorzystywa� dane obrazu z dowolnego systemu robot�w na �wiecie. Systemy Stanford i MIT wykona�y tylko niewielk� liczb� zdj��, aby wykona� swoje zadania, i polega�y w du�ej mierze na martwych rachunkach i na niepowodzeniach. Z drugiej strony za�o�yli�my, �e co� mo�e p�j�� nie tak (przedmioty upuszczone, toczy�y si� itp.) I sprawili�my, �e nasz system jest bardzo niezawodny. Naprawd� wierz�, �e pod wieloma wzgl�dami by� to prawdopodobnie najbardziej zaawansowany system oczu w tym czasie"

FREDDY jest teraz na sta�ej wystawie w Royal Scottish Museum w Edynburgu, z ci�g�ym filmem o FREDDY sk�adaj�cym mieszane modele samochod�w i zestaw�w �odzi. Badania r�k w Edynburgu zosta�y zawieszone w po�owie lat siedemdziesi�tych, cz�ciowo ze wzgl�du na niekorzystn� ocen� jego perspektyw w badaniu zleconym przez British Science Research Council.

Historia Sztucznej InteligencjiArtificial Intelligence Experts

Badanie "r�ka-oko"