W całych Stanach Zjednoczonych różne hrabstwa eksperymentują z narzędziami sieci neuronowych, które oceniają przestępców pod względem ryzyka, co oznacza prawdopodobieństwo w skali 1–10, jeśli ponownie dopuszczą się przestępstwa. W jednym wyczerpującym artykule ProPublica opisano kilka przypadków działania tego rodzaju oprogramowania i wprowadzono do wnętrza dane o systemie więziennym działającym w oparciu o algorytmy. Kiedy Brisha Borden, osiemnastoletnia czarna dziewczyna, ukradła rower w drodze do szkoły została aresztowana i oskarżona o drobne kradzieże i włamania. Algorytm komputerowy analizujący jej przeszłość (cztery wykroczenia nieletnich) przyznał jej ocenę 8/10, co oznacza, że istnieje duże prawdopodobieństwo, że powtórzy przestępstwo. Tymczasem Vernon Prater, 41-letni biały mężczyzna, który dopuścił się jednej próby i dwóch dokonanych napadów z bronią w ręku, został aresztowany za kradzież w sklepie z Home Depot i otrzymał ocenę 3/10 w tym samym systemie. Dwa lata później Vernon podjął próbę kradzieży, ale Brisha nie zrobił nic więcej, co oznacza, że algorytm się pomylił. Dlaczego? Ludzki umysł nie rozumie prawidłowo prawdopodobieństwa i sprawia sobie wiele kłopotów, próbując określić szanse. Kiedy do mieszanki zostaje wprowadzona technologia, staje się ona dodatkowym źródłem zamieszania, ponieważ technologia nigdy nie jest doskonała. Podobnie jak zobaczysz w późniejszym rozdziale dotyczącym dozownika mydła, technologia ma działać niezawodnie przy pewnym akceptowalnym zakresie danych wejściowych, ale w skrajnych przypadkach może to prowadzić do przypadkowych awarii. Co więcej, prawdopodobieństwa się zwiększają, więc jeśli użyjemy niedokładnej technologii do ponownego sprawdzenia naszego szacunkowego wyniku, przewidywanie będzie znacznie bardziej niedokładne niż w przypadku zwykłego domysłu. Brzmi to dziwnie, ale matematyka się sprawdza. Wyobraź sobie, że tworzysz policyjny punkt kontrolny, aby łapać pijanych kierowców. Jazda pod wpływem alkoholu to niegodziwe przestępstwo – któremu można całkowicie zapobiec dzięki samochodom autonomicznym, które w razie potrzeby zabiją kierowcę – i które zagraża życiu bez ważnego powodu, dlatego mamy szlachetny cel i nie przeszkadzamy kierowcom. Wyobraź sobie także najnowocześniejszy alkomat, który ma 99% dokładności. Brzmi idealnie, prawda? Załóżmy jednak, że tylko jeden na tysiąc kierowców jeździ pod wpływem alkoholu. Jakie są szanse na złapanie faceta? Przemyśl dokładnie odpowiedź. Jeśli zatrzymasz i przetestujesz 1000 kierowców, alkomat, który myli się w 1% przypadków, wykaże, że dziesięciu z nich jest pijanych, a tylko jeden jest faktycznie pijany. Dlatego alkomat ma 90% współczynnika wyników fałszywie pozytywnych i właśnie fałszywie oskarżył dziewięć osób o jazdę pod wpływem alkoholu. Najgorsze jest to ,że kierowcy będą zazwyczaj tak przytłoczeni poczuciem winy, że nie odważą się spojrzeć na alkomat. W końcu jest to najnowocześniejszy sprzęt, więc jak mógłby popełniać jakiekolwiek błędy, a co dopiero tak wiele? W połączeniu z czymś takim jak SCS fałszywe oskarżenie o jazdę pod wpływem alkoholu może prowadzić do kaskady nieszczęśliwych wypadków, które całkowicie rujnują czyjeś życie, a to oznacza użycie alkomatu, który jest dokładny w 99%! Okazuje się, że jeśli zdarzenie nie jest zbyt częste, technologia zastosowana do jego wykrycia musi mieć margines błędu mniejszy niż ryzyko wystąpienia, w przeciwnym razie korzystanie z tej technologii w ogóle nie będzie korzystne. W rzeczywistości im mniej powszechne jest zdarzenie, tym bardziej niedokładne są wyniki wykrywania i przewidywania. W tym eksperymencie myślowym możesz pobawić się częstotliwością jazdy pod wpływem alkoholu, a zobaczysz, że tylko wtedy, gdy 90% kierowców jeździ pod wpływem alkoholu, margines błędu alkomatu jest równy wskaźnikowi wykrycia wykroczeń. Okazuje się, że ludzie są znacznie bardziej precyzyjni niż technologia; wyobraź sobie alkomat, który ma dokładność 50% lub mniejszą. Policja i sądy wiedzą, jak często zdarzają się fałszywe alarmy, ale mimo to naciskają, ponieważ opinia publiczna musi zobaczyć, że podejmuje się działania w związku z przestępczością, aby uspokoić ich układ limbiczny, mimo że karani są całkowicie niewinni ludzie. To ćwiczenie myślowe pokazuje również, że wszystkie te obowiązkowe punkty kontrolne dla kierowców pod wpływem alkoholu są całkowicie bez znaczenia, ponieważ przeszkadzamy 999 kierowcom, aby złapali tego jednego, który prowadzi pod wpływem alkoholu. Dlatego ten bardzo prosty eksperyment myślowy pokazał nam, że matematyka jest zawsze ostatecznym arbitrem wydajności, który przecina emocjonalny nonsens i pozbawienie praw człowieka. Zawsze należy kwestionować wyniki technologii wykorzystywanej do udowodnienia czegoś, opierając się na tym, że: a) operator nie był wystarczająco wykwalifikowany, b) technologia może przypadkowo zawieść oraz c) rzadkich zdarzeń nie można wiarygodnie wykryć. Wyniki Brishy i Vernona nie mają nic wspólnego z faktem, że ona była czarną dziewczyną, a on białym mężczyzną, jak subtelnie to ujął artykuł, ale najprawdopodobniej drobne kradzieże zdarzają się znacznie częściej niż napady z bronią w ręku, co oznacza, że algorytm przypisywali mu znacznie większe prawdopodobieństwo ponownego wystąpienia. Te algorytmiczne oceny ryzyka są już stosowane w salach sądowych od Arizony po Wisconsin, a wyniki są przekazywane sędziom podczas wydawania wyroku. Chodzi o to, aby uzyskać liczbę pokazującą prawdopodobieństwo, że resocjalizacja będzie skuteczna w przypadku danego oskarżonego. W więzieniach federalnych tego rodzaju oceny staną się obowiązkowe. Zgodnie z oczekiwaniami osobistości polityczne przyczepiają się do „algorytmicznej nieuczciwości” jako przedłużenia systemowego rasizmu i uprzedzeń, ale wydaje się, że wyjaśnienie jest znacznie prostsze — narzędzie stosowane do oceny ryzyka jest po prostu do niczego. Algorytm przewidywania przestępstw używany do oceny Brishy i Vernora, stworzony przez firmę nastawiona na zysk Northpointe, był uznawany za zastrzeżony i dlatego nie można go było zbadać. Wiemy o nim tyle, że oskarżony odpowiedział na 137 pytań lub zostały one pobrane bezpośrednio z jego akt, np. na temat poziomu wykształcenia i aktualnego statusu zatrudnienia. Utworzona przez profesora statystyki firma została później sprzedana innej firmie za nieujawnioną kwotę. Jeśli tego rodzaju narzędzie stanie się obowiązkowe na salach sądowych, ktoś zarobi mnóstwo pieniędzy. Wcześniej sędziowie mieli dużą swobodę w sposobie traktowania oskarżonego, ale presja polityczna, aby lepiej traktować mniejszości, wiązała im ręce – to znaczy do czasu, gdy zaczęli stosować algorytmy oceny ryzyka. Wyniki te, często dołączane jako poufne dokumenty przed wydaniem wyroku w celu ustalenia uprawnień do zawieszenia w zawieszeniu, okazały się trafne w przewidywaniu recydywy w około 61% przypadków, z pewnymi różnicami w zależności od tego, czy oskarżony był biały, czy czarny. Jednak sędziowie zaczęli je wykorzystywać do wydawania wyroków, a w niektórych wyrokach nawet wyraźnie podano wynik oceny ryzyka jako główny powód surowego wyroku. Zostały one zakwestionowane i skutecznie zredukowane. Na Florydzie w hrabstwie Broward na podstawie oceny ryzyka ustala się, czy oskarżonego można wypuścić za kaucją, co algorytm może również zalecić w celu uniknięcia przepełnienia więzień. Algorytm oceny ryzyka nie bierze pod uwagę tego, że ludzie mogą zmienić się na lepsze ani że mają wolną wolę. Właściwie dość łatwo podważyć algorytm: jeśli jest trafny, to wolna wola nie istnieje, a kara nie ma sensu, bo działania oskarżonego były z góry ustalone; jeśli nie jest dokładny, nie powinien być w ogóle używany – sprawa zostaje oddalona, a oskarżony może swobodnie chodzić i może rozważyć karierę prawniczą. Głównym sposobem zwalczania wadliwej technologii jest kwestionowanie wszystkich wniosków wyciągniętych na jej podstawie, proszenie o wgląd w surowe dane w oparciu o prawa do należytego procesu oraz zlecenie sprawdzenia tej kwestii ekspertowi lub nawet ogółowi społeczeństwa.