Usługa OpenAI lub Azure OpenAI: której użyć?

https://aie24.pl/

Pytanie do firm zainteresowanych badaniem GPT-3 brzmi zatem: OpenAI API czy usługa Azure OpenAI? Divakaruni utrzymuje, że wersja OpenAI API jest bardziej odpowiednia dla firm, które badają swoje możliwości, ale nie mają na myśli konkretnego wdrożenia projektu. Pod względem dostępu zdecydowanie dalej jest OpenAI, a Playground ułatwia eksperymentowanie użytkownikom indywidualnym i firmom. OpenAI API umożliwia także dostęp do najnowszych modeli eksperymentalnych i punktów końcowych API, które rozszerzają możliwości API. Z drugiej strony usługa Azure OpenAI Service jest skierowana do kohorty użytkowników z produkcyjnymi przypadkami użycia, którzy „przechodzą” z interfejsu API OpenAI lub muszą spełniać różne przepisy dotyczące zgodności i prywatności. Obie organizacje zachęcają klientów do eksperymentowania i sprawdzania swoich przypadków użycia, a następnie wzmocnij je za pomocą interfejsu API OpenAI. Jeśli ta platforma spełnia ich potrzeby, Microsoft zachęca klientów do pozostania na niej, ale gdy ich potrzeby produkcyjne staną się bardziej dojrzałe i zaczną potrzebować większej zgodności, powinni rozważyć przejście na platformę Azure.

Rady dla przedsiębiorstw

https://aie24.pl/

Divakaruni twierdzi, że przedsiębiorstwa badające usługę Azure OpenAI mogą podejść do niej tak samo, jak do każdej innej usługi w chmurze: zaczynasz od tego, co jest dla Ciebie najbardziej sensowne, a następnie sprawdzasz, czy różne technologie spełniają Twoje potrzeby. „Chociaż technologia jest fajna i z pewnością wywołuje efekt zachwytu, nadal musisz zacząć od pytania: «Gdzie może ona mieć największe zastosowanie dla mnie jako firmy, dla mojej grupy?», a następnie spróbować rozwiązać ten problem za pomocą zestawu technologii .” Następnym krokiem jest zbadanie, jak przejść od eksperymentów do produkcji: „Jakie jeszcze rzeczy musisz zbudować?” Divakaruni nazywa ten krok „klejem aplikacyjnym, który ktoś musi wstrzyknąć, aby upewnić się, że modele rzeczywiście zachowują się i mogą być użyte w scenariuszu aplikacji na żywo”. To nietrywialne zadanie, ale przedsiębiorstwa muszą się nad tym zastanowić, aby zrozumieć, jakiego rodzaju inwestycji będzie wymagać aplikacja oparta na GPT-3. Divakaruni radzi zadać sobie pytanie: „Czy ten model rzeczywiście wytwarza rzeczy, które są istotne, gdy w pobliżu jest automatyzacja? Wykorzystanie możliwości, gdy są one faktycznie wbudowane w aplikację – czy robi to, co powinno?

Inne usługi Microsoft AI i ML

https://aie24.pl/

Czy usługa Azure OpenAI będzie miała wpływ na inne usługi AI/ML z linii produktów firmy Microsoft, takie jak Azure Machine Learning Studio? Divakaruni mówi nam, że na rynku jest miejsce dla obu rozwiązań: „Zdecydowanie nie jest to rozwiązanie, w którym zwycięzca bierze wszystko. Na rynku istnieje zapotrzebowanie na wiele rozwiązań spełniających specyficzne wymagania klientów.” Wymagania klientów mogą się znacznie różnić. Być może będą musieli wygenerować, a następnie oznaczyć dane specyficzne dla ich konkretnego przypadku użycia. Mogą zbudować model od podstaw przy użyciu platform takich jak Azure ML Studio lub SageMaker, a następnie wytrenować w tym celu opracowany, mniejszy model. Oczywiście jest to nisza niedostępna dla większości ludzi. Hoder zauważa, że udostępnienie klientom możliwości analizy danych „poszerza dostęp; to demokratyzuje.” Divakaruni zgadza się z tym: „Coraz częściej będzie można zaobserwować tendencję do eksponowania większych, najbardziej wyrafinowanych modeli za pośrednictwem usług, a nie ludzi” tworzących własne. Dlaczego? „Podstawowa prawda jest taka, że wytrenowanie tych modeli wymaga ogromnej ilości obliczeń i dużej ilości danych. Firm, które mają środki na rozwój tych modeli, jest niestety niewiele. Ale naszym obowiązkiem, ponieważ [posiadamy środki] jest udostępnienie ich światu”. Ogólnie rzecz biorąc, zespoły analityki danych z firm, które mogą sobie pozwolić na kosztowne zasoby, zdecydowanie wolą tworzyć własną własność intelektualną na potrzeby konkretnych przypadków użycia, korzystając z platform uczenia maszynowego niższego poziomu, takich jak Azure Machine Learning Studio. Jest mało prawdopodobne, aby żądanie to, twierdzi Divakaruni, zniknęło.

Model jako usługa na poziomie przedsiębiorstwa

https://aie24.pl/

Chociaż usługa Azure OpenAI Service współpracuje z wieloma dużymi klientami korporacyjnymi korzystającymi z platformy, firma Microsoft nie jest gotowa na publiczne omawianie ich, powołując się na obawy dotyczące prywatności i wrażliwość opinii publicznej. To, co może teraz wymienić, to przykłady swoich usług wewnętrznych. GitHub Copilot zaczynał od interfejsu API OpenAI, ale teraz, głównie ze względu na skalę, przeszedł na usługę Azure OpenAI. Inne przykłady usług wewnętrznych działających na platformie Azure to Dynamics 365 Customer Service, Power Apps, ML to code i usługi Power BI. Divakaruni twierdzi, że widzi duże zainteresowanie ze strony branży usług finansowych i tradycyjnych przedsiębiorstw, które chcą poprawić jakość swojej obsługi klienta. „Do przetworzenia jest dużo informacji tekstowych i istnieje duża potrzeba podsumowań i pomocy analitykom, na przykład w szybkim skupieniu się na tekście, który jest dla nich istotny i znaczący. Myślę, że branża obsługi klienta również jest dużą, niewykorzystaną domeną. Istnieje ogromna ilość informacji zamknięta w dźwięku, którą można przepisać w informacjach z centrum obsługi telefonicznej, które mogą [dostarczyć] znaczących informacji dla firmy, która stara się poprawić jakość obsługi klienta”. Innym zestawem przypadków użycia, które widzą, są firmy zwiększające produktywność programistów szkoli GPT-3 w zakresie wewnętrznych interfejsów API i zestawów do tworzenia oprogramowania, aby uczynić te narzędzia bardziej dostępnymi dla swoich pracowników. Divakaruni zauważa, że wiele firm, których główna siła nie leży w sztucznej inteligencji ani uczeniu maszynowym, chce stosować sztuczną inteligencję w sposób, który dodaje znaczącą wartość do ich procesów biznesowych lub poprawia jakość obsługi klienta. Wykorzystują siłę terenową firmy Microsoft, aby pomóc im w tworzeniu rozwiązań. Zespół Azure OpenAI Service w pełni spodziewa się, że jego zaawansowane podejście oparte na modelu jako usłudze stanie się głównym nurtem, mówi Hoder. Zauważa, że Microsoft zapewnia gotowe do użycia środowisko, osadzając je w aplikacjach konsumenckich, takich jak Office i Dynamics. Klienci potrzebujący bardziej unikalnego lub dostosowanego wsparcia przechodzą na niższy poziom do usług takich jak platforma Power, która jest skierowana do użytkowników biznesowych i programistów i zapewnia sposoby dostosowywania uczenia maszynowego i sztucznej inteligencji bez użycia kodu lub z małą ilością kodu. „Jeśli zejdziesz trochę niżej, trochę bardziej spersonalizowano, trochę bardziej skupisz się na programistach, trafisz do Cognitive Services. To naprawdę był nasz model zapewniania możliwości sztucznej inteligencji za pośrednictwem usług opartych na REST API. A teraz wprowadzamy bardziej szczegółową warstwę w ramach usługi OpenAI.… A w dolnej warstwie mamy narzędzia skupione na analizie danych dzięki Azure Machine Learning” – wyjaśnia Hoder. Microsoft widzi duże zapotrzebowanie klientów na usługę Azure OpenAI Service, ale może także pochwalić się swoim dotychczasowym sukcesem w przypadku innych usług, takich jak usługi rozpoznawania mowy i moduły rozpoznawania formularzy. „Widzimy duże zapotrzebowanie możliwość zrobienia obrazu, wyodrębnienia informacji w uporządkowany sposób oraz wyodrębnienia tabel i innych informacji z plików PDF w celu automatycznego przyjmowania danych, a następnie połączenia funkcji analitycznych i wyszukiwania”. – mówi Hoder. (Zobacz na przykład to studium przypadku dotyczące sposobu, w jaki klienci korzystają z usług AI/ML opartych na interfejsie API REST firmy Microsoft.)

Bezpieczeństwo i prywatność danych

https://aie24.pl/

Chociaż Microsoft nie powiedział dotychczas zbyt wiele publicznie na temat swojego bezpieczeństwa, ivakaruni powiedział nam, że firma koncentruje się na trzech głównych punktach: filtrach treści, monitorowaniu nadużyć i podejściu stawiającym na bezpieczeństwo. Zespół pracuje nad elementami zwiększającymi bezpieczeństwo i planuje wykorzystać opinie klientów, aby dowiedzieć się, które z tych elementów będą dla użytkowników najważniejsze przed ich oficjalnym wprowadzeniem na rynek. Zespół pracuje także nad dokumentacją opisującą architekturę wdrażania polityki prywatności, która zostanie udostępniona klientom w celu zapewnienia, że Microsoft chroni dane klientów, jednocześnie dbając o to, by dotrzymywano swoich obowiązków w zakresie odpowiedzialnego korzystania ze sztucznej inteligencji. „Wielu klientów, którzy do nas przychodzą, ma wątpliwości dotyczące sposobu, w jaki jest ono obecnie wdrażane w OpenAI, ponieważ jest ono bardziej otwarte, a my rozwiązujemy [te obawy]” – mówi Divakaruni. Wprowadzono filtry treści w postaci filtrów PII (dane osobowe), które blokują treści o charakterze seksualnym i innego rodzaju, których zakres jest wciąż ustalany. „Filozofia polega na zapewnianiu klientom odpowiednich narzędzi do dostosowywania i iterowania treści dla ich konkretnej domeny” – mówi Divakaruni. Klienci korporacyjni Microsoftu są wymagający pod względem bezpieczeństwa. Zespół usługi Azure OpenAI API Service wykorzystuje pracę wykonaną w przypadku innych produktów, takich jak Bing i Office. Microsoft ma długą historię opracowywania modeli i przesuwania granic. „Office dostarcza produkty językowe już od jakiegoś czasu. Mamy więc dość rozbudowane możliwości moderowania treści… a my mamy zespół naukowy zajmujący się tworzeniem filtrów odpowiednich dla tych modeli w tej przestrzeni” – mówi Divakaruni. Użytkownicy OpenAI API często żądają geofencingu – technologii wyznaczającej wirtualną granicę wokół rzeczywistego obszaru geograficznego, tworząc silosy umożliwiające przechowywanie danych w określonej lokalizacji. Jeśli dane zostaną przeniesione poza określony promień, może to spowodować akcję w telefonie obsługującym dane geograficzne lub innym przenośnym urządzeniu elektronicznym. Może na przykład ostrzegać administratorów, gdy osoba wejdzie lub wyjdzie z geofence, a następnie wygenerować alert na urządzeniu mobilnym użytkownika w formie powiadomienia push lub wiadomości e-mail. Geofencing umożliwia firmom dokładne śledzenie, promowanie i skuteczne ostrzeganie administratorów. Prace nad funkcją geofencing na platformie Azure wciąż trwają, ale Divakaruni twierdzi, że została wdrożona eksperymentalnie dla kilku wybranych klientów, takich jak GitHub Copilot.

Zarządzanie zasobami

https://aie24.pl/

Jedna różnica między tymi dwiema usługami polega na sposobie zarządzania zasobami. Zasób to element, którym można zarządzać i który jest dostępny za pośrednictwem usługi (niezależnie od tego, czy jest to interfejs API OpenAI, czy Microsoft Azure). W kontekście OpenAI przykładami zasobów może być konto API lub pula kredytów powiązana z kontem. Platforma Azure oferuje bardziej złożony zestaw zasobów, takich jak maszyny wirtualne, konta magazynu, bazy danych, sieci wirtualne, subskrypcje i grupy zarządzania. Chociaż OpenAI oferuje jedno konto API na organizację, w ramach platformy Azure firmy mogą tworzyć wiele różnych zasobów, które mogą śledzić, monitorować i alokować do różnych centrów kosztów. „Ogólnie rzecz biorąc, jest to po prostu kolejny zasób platformy Azure” – mówi Christopher Hoder, starszy menedżer programu w Microsoft Azure OpenAI Service, co ułatwia korzystanie z niego od razu po wyjęciu z pudełka. Zarządzanie zasobami na platformie Azure to funkcja wdrażania i zarządzania, która umożliwia klientom tworzenie, aktualizowanie i usuwanie zasobów na kontach platformy Azure. Zawiera funkcje takie jak kontrola dostępu, blokady i znaczniki, które zabezpieczają i organizują zasoby klienta po wdrożeniu. Platforma Azure oferuje kilka warstw zarządzania zasobami, które umożliwiają firmom i organizacjom lepsze zarządzanie cenami i zasobami, mówi Hoder. Na wysokim poziomie istnieje organizacyjne konto Azure, w ramach którego znajduje się wiele subskrypcji platformy Azure. W ramach tego istnieją grupy zasobów, a następnie same zasoby. „Wszystkie te elementy można monitorować, segmentować i kontrolować dostęp” – dodaje Hoder, co staje się szczególnie ważne w przypadku wdrożeń na dużą skalę.

Natywny interfejs API OpenAI platformy Azure

https://aie24.pl/

OpenAI wiedziało, że konieczne będzie skalowanie podstaw chmury. Od momentu powstania interfejsu API OpenAI zawsze zamysłem było utworzenie instancji interfejsu API również na platformie Azure, aby dotrzeć do większej liczby klientów. Divakaruni wspomina, że między platformami OpenAI API i Azure OpenAI Service jest więcej podobieństw niż różnic. Z technologicznego punktu widzenia cel jest bardzo podobny: zapewnić ludziom ten sam interfejs API i dostęp do tych samych modeli. Kształt usługi Azure OpenAI będzie bardziej natywny dla platformy Azure, ale Microsoft chce dorównać doświadczeniom programistów klientów OpenAI, zwłaszcza że niektórzy z nich przechodzą z interfejsu OpenAI API do usługi Azure OpenAI Service.

Studium przypadku: Usługa Microsoft Azure OpenAI

https://aie24.pl/

Algolia dojrzała na OpenAI API, ale wkrótce firma zapragnęła rozszerzyć swoją działalność na Europę, co wiązało się z koniecznością zapewnienia zgodności z RODO. Rozpoczęła współpracę z Microsoftem, który uruchamiał usługę Azure OpenAI. W następnym studium przypadku przyjrzymy się tej usłudze.

Partnerstwo, jakie miało być

Microsoft i OpenAI ogłosiły partnerstwo w 2019 roku, którego celem jest zapewnienie klientom Microsoft Azure dostępu do możliwości GPT-3. Partnerstwo opiera się na wspólnej wizji polegającej na zapewnieniu bezpiecznego wdrażania sztucznej inteligencji i AGI. Microsoft zainwestował miliard dolarów w OpenAI, finansując uruchomienie API, które działa na platformie Azure. Partnerstwo kończy się dostarczeniem interfejsu API, aby zapewnić większej liczbie osób dostęp do dużych modeli językowych. Dominic Divakaruni, główny menedżer produktów grupy i szef usługi Azure OpenAI Service, mówi, że zawsze myślał o tej współpracy jako o partnerstwie, które wydaje się być takie, jakie miało być, zauważając, że dyrektor generalny Microsoft Satya Nadella i dyrektor generalny OpenAI Sam Altman często mówili o zapewnieniu aby korzyści płynące ze sztucznej inteligencji były dostępne i szeroko rozpowszechnione. Obydwu firmom zależy także na bezpieczeństwie innowacji AI. Celem, jak mówi Divakaruni, „było wzajemne wykorzystanie mocnych stron”, w szczególności doświadczeń użytkowników OpenAI i modelowania postępu oraz istniejących relacji Microsoftu z firmami, dużymi sprzedawcami i infrastrukturą chmurową. Biorąc pod uwagę bazę klientów, zespół Microsoft Azure rozumie podstawowe wymagania klientów korzystających z chmury korporacyjnej w zakresie zgodności, certyfikatów, bezpieczeństwa sieci i powiązanych kwestii. Dla Microsoftu zainteresowanie GPT-3 zaczyna się w dużej mierze od tego, że otwiera on nowe możliwości i jest dostępny przed jakimkolwiek innym modelem z kategorii LLM. Kolejnym kluczowym czynnikiem inwestycji Microsoftu jest to, że zyskał on możliwość korzystania wyłącznie z zasobów własności intelektualnej OpenAI. Chociaż dostępne są alternatywy GPT-3, Divakaruni twierdzi, że centralizacja API OpenAI jest wyjątkowa. Zauważa, że modele usług takich jak analiza tekstu czy tłumaczenie wymagają „sporo pracy” ze strony dostawcy chmury, aby dostosować je do usługi API. OpenAI oferuje jednak „ten sam interfejs API używany do różnych zadań”, a nie „niestandardowe interfejsy API tworzone do konkretnych zadań”.

Zdobyta wiedza

https://aie24.pl/

Jeśli więc Algolia Answers musiałaby dzisiaj zaczynać od zera, co zrobiłaby inaczej? „Praca z GPT-3 może czasami być przytłaczająca” – mówi Coates. „Na wczesnych etapach rozwoju produktu zadalibyśmy niektóre z podstawowych pytań, np.: «Czy jesteśmy gotowi przyjąć cios w zakresie zrozumienia semantyki, ponieważ zakładamy taki wzrost za wszystko inne?». Myślę, że byśmy to zrobili. na początku dużo więcej myślałem o opóźnieniu i zbieżności różnych czynników rankingowych. Dodaje, że widział w projekcie „powrót do modelu opartego na BERT. Można powiedzieć, że surowa jakość nie jest taka sama, jak ta, którą uzyskamy z GPT-3. Nie można temu zaprzeczyć. Myślę jednak, że choć zakochaliśmy się w tej technologii, odkryliśmy problemy klientów, których nie rozwiązaliśmy, a technologia musi podążać za problemami klientów, a nie odwrotnie”. Jakie jest zatem stanowisko Algolii na temat przyszłości wyszukiwania? „Nie wierzymy, że komukolwiek naprawdę udało się połączyć znaczenie tekstowe i znaczenie semantyczne. To bardzo trudny problem, ponieważ mogą wystąpić sytuacje, w których pewne treści są istotne, ale tak naprawdę nie odpowiadają na pytanie” – mówi Coates. Przewiduje on „małżeństwo bardziej tradycyjnej, tekstowej podstawy, jej bardziej zrozumiałej i możliwej do wytłumaczenia strony, z bardziej zaawansowanymi modele językowe.”

Szybkość i opóźnienie

https://aie24.pl/

Szybkość ma szczególne znaczenie w Algolii; firma obiecuje swoim klientom błyskawiczne możliwości wyszukiwania z opóźnieniami ograniczonymi do zaledwie milisekund. Kiedy zespół ocenił propozycję OpenAI, był zadowolony z jakości wyników, ale opóźnienie GPT-3 było nie do przyjęcia. „W naszym tradycyjnym wyszukiwaniu wyniki pojawiają się w czasie krótszym niż 50 milisekund” – mówi Coates. „Przeszukujemy setki milionów dokumentów i musi to odbywać się w czasie rzeczywistym. Kiedy na początku pracowaliśmy z OpenAI, każde z tych zapytań zajmowało kilka minut. Algolia zdecydowała się dać szansę GPT-3 i rozpoczęła początkową fazę eksperymentów oraz wdrożenie wersji beta Algolia Answers. Jednak zmniejszenie opóźnień i kosztów finansowych wymagało dużego wysiłku. „Zaczęliśmy od całkowitego opóźnienia wynoszącego około 300, czasem 400 milisekund” – wspomina Coates, „które musieliśmy obniżyć do zakresu od 50 do 100 milisekund, aby nasi klienci mogli z niego skorzystać”. Ostatecznie w ramach projektu Algolia opracowała podświetlanie semantyczne – technikę wykorzystującą wyszkolony model pytań i odpowiedzi na podstawie GPT-3 do przeprowadzania miniwyszukiwań i znajdowania prawidłowej odpowiedzi. Połączenie GPT-3 z innymi modelami open source spowodowało zmniejszenie całkowitego opóźnienia. Jakość ich wyników jest lepsza, dodaje Helme-Guizon, ponieważ „modele są przeszkolone w znajdowaniu odpowiedzi, a nie tylko słów, które są ze sobą powiązane”. Helme-Guizon twierdzi, że kluczowym aspektem architektury Algolia Answers jest architektura wyszukiwania czytników, w której czytelnik AI „przegląda podzbiór dokumentów i czyta je, rozumie je w odniesieniu do zapytania za pomocą Ady i daje nam wynik zaufania dla wartości semantycznej.” Chociaż było to „dobre pierwsze rozwiązanie”, dodaje, wiąże się z wieloma wyzwaniami, „zwłaszcza opóźnieniami, ponieważ istnieje zależność, w wyniku której nie można przetwarzać pierwszej i drugiej partii jednocześnie” asynchronicznie. GPT-3 wykorzystuje osadzanie przewidywań do obliczenia podobieństwa cosinus, czyli matematycznej metryki używanej do określenia podobieństwa dwóch dokumentów, niezależnie od ich rozmiaru. Coates podsumowuje te wyzwania: Po pierwsze, „nie można wysłać zbyt wielu dokumentów, w przeciwnym razie odpowiedź będzie zbyt wolna lub koszty będą zbyt wysokie”. Drugim jest zarzucenie „sieci wystarczająco szerokiej, aby można było pobrać wszystkie istotne dokumenty, zachowując jednocześnie czas i koszty pod kontrolą”.