Algolia powołała specjalny zespół do pracy w tym obszarze. Kiedy OpenAI skontaktowało się z nimi, aby dowiedzieć się, czy Algolia może być zainteresowana GPT-3, zespół Coatesa porównał to z konkurencyjnymi technologiami. Inżynierka Algolia ML Claire Helme-Guizon, członkini pierwotnego zespołu Algolia Answers, wyjaśnia: „Pracowaliśmy nad modelami podobnymi do BERT, aby zoptymalizować prędkość, DistilBERT i bardziej stabilnymi modelami, takimi jak RoBERTa wraz z różnymi wariantami GPT-3 jak DaVinci, Ada itp.” Stworzyli system oceny, aby porównać jakość różnych modeli i poznać ich mocne i słabe strony. Odkryli, jak mówi Coates, że GPT-3 „działa naprawdę dobrze, jeśli chodzi o jakość zwracanych wyników wyszukiwania”. Szybkość i koszt były słabymi stronami, ale ostatecznie decydującym czynnikiem był interfejs API, ponieważ umożliwił Algolii korzystanie z modelu bez konieczności utrzymywania infrastruktury. Algolia zapytała obecnych klientów, czy mogliby być zainteresowani tego typu wyszukiwaniem, a odpowiedź była bardzo pozytywna. Nawet przy takiej jakości wyników Algolia wciąż miała mnóstwo pytań: jak by to zadziałało dla klientów? Czy architektura byłaby skalowalna? Czy było to wykonalne finansowo? Aby na nie odpowiedzieć, Coates wyjaśnia: „Opracowaliśmy konkretne przypadki użycia, które zawierały dłuższą treść tekstową”, takie jak publikacje i punkty pomocy. W niektórych przypadkach wystarczy polegać wyłącznie na GPT-3, aby uzyskać wyniki wyszukiwania, ale w innych skomplikowanych przypadkach może być konieczne zintegrowanie GPT-3 z innymi modelami. GPT-3, do pewnego momentu szkolony na danych, boryka się z przypadkami użycia związanymi z świeżością, popularnością lub spersonalizowanymi wynikami. Jeśli chodzi o jakość wyników, wyzwanie dla zespołu Algolia stanowił fakt, że wyniki podobieństwa semantycznego generowane przez GPT-3 nie były jedynym miernikiem, który miał znaczenie dla ich klientów. Musieli w jakiś sposób połączyć wyniki podobieństwa z innymi miarami, aby zapewnić klientom zadowalające wyniki. Wprowadzili więc inne modele open source, aby podkreślić najlepsze wyniki w połączeniu z GPT-3.