Idea hakowania odnosi się do taniego, skalowalnego i niezawodnego sposobu wprowadzenia niepewności do dowolnego systemu komputerowego w celu uzyskania nieoczekiwanego rezultatu. Ze względu na sposób programowania systemy komputerowe zwykle ulegają katastrofalnym awariom w obliczu niedopuszczalnych danych wejściowych. Jednym z przykładów może być przepełnienie bufora, które ma miejsce wtedy, gdy coś w rodzaju pola tekstowego na stronie internetowej pozwala każdemu odwiedzającemu wprowadzić dowolną liczbę jako wiek; haker może majstrować przy wprowadzaniu danych, dopóki nie znajdzie tak dziwnej liczby, że spowoduje to zawieszenie witryny lub umożliwienie całkowitego dostępu do zaplecza. Zwykle w pośpiechu do produkcji strony internetowe i oprogramowanie nie sprawdzają wszystkich możliwych danych wejściowych ani nawet ich nie ograniczają, ponieważ samo uruchomienie wszystkiego zajmuje dużo czasu i wysiłku. Przynajmniej po ataku hakerskim właściciel oprogramowania lub strony internetowej załata dziurę, prawda? W wystarczająco dużych systemach komputerowych właściciel może nie mieć nawet zasobów ani siły woli, aby na bieżąco naprawiać luki w kodzie, pozostawiając klientów samym sobie. W przypadkach, gdy system został po cichu zinfiltrowany w sposób niezauważalny dla klienta, właściciel może nawet chętnie go zignorować i skupić się na problemach, które mogą doprowadzić do pozwu zbiorowego. Jak wspomniano wcześniej, minimalnie opłacalny produkt. Z inżynierskiego punktu widzenia „hakowanie czegoś” odnosi się do zbierania różnych skrawków i ciekawostek w celu stworzenia przydatnego narzędzia lub produktu, co nie powinno być możliwe. Jeśli chodzi o hakowanie, chodzi o pokonanie przeszkody lub rozwiązanie problemu przy mniejszym wysiłku i zasobach, jakich potrzebowałby człowiek, aby stworzyć tę przeszkodę lub problem. W zastosowaniu do dowolnej dziedziny życia hakowanie staje się sposobem myślenia skoncentrowanym na wydajności — jak można to teraz sprawić, aby zadziałało? Nie ma ograniczeń co do tego, co można wykorzystać w hakowaniu. Wszędzie tam, gdzie system komputerowy jest wzmocniony przez człowieka, którego zadaniem jest ponowne sprawdzenie systemu, haker może liczyć na lenistwo lub przestrzeganie zasad. W zależności od czujników stosowanych w urządzeniach IoT osoby o ciemniejszym odcieniu skóry mogą nie być w stanie z nich korzystać. W jednym przypadku [42] łazienkowy dozownik mydła zainstalowany w siedzibie Facebooka nie mógł rozpoznać czarnej osoby machającej pod nim ręką, aby spuścić mydło, ale działał dobrze, gdy zrobiła to biała osoba. Rozwiązaniem jest wzięcie arkusza białego papierowego ręcznika i pomachanie nim pod czujnikiem, po czym zadziała zgodnie z przeznaczeniem. Nie jest to zamierzona wada projektowa, ale zaniedbanie ze strony inżynierów, którzy zbudowali dozownik mydła. Ciemna skóra pochłania więcej światła, podczas gdy jasna skóra je odbija, co dezorientuje czujnik mierzący ilość odbitego do niej światła. Inżynierowie budujący dozownik mydła nie sprawdzili wystarczającej liczby skrajnych przypadków, ponieważ najprawdopodobniej nalegano, aby jak najszybciej wypuścić produkt na rynek, a jednocześnie utrzymać jego koszt na niskim poziomie; zwiększenie zakresu kolorów skóry wykrywanych przez dozownik mydła prawdopodobnie spowodowałoby wzrost kosztów i częstsze błędy. Prawdopodobnie patrzymy w przyszłość wypełnioną eleganckimi, fantazyjnymi i drogimi urządzeniami IoT, które działają tylko w wąskich okolicznościach, ale przynajmniej są to tylko dozowniki mydła, prawda? Czujniki w samochodach autonomicznych mogą działać z tą samą usterką, ponieważ nie wykrywają osób o ciemniejszej karnacji i w ten sposób w nie uderzają. Jedno z badań Uniwersytetu Georgia, przeanalizowane przez Metro.co.uk [43] wykazało, że samochody autonomiczne popełniają o 5% więcej błędów, gdy w teście biorą udział ciemnoskórzy piesi. Mówiąc najprościej, gdy inżynierowie tworzą sieć neuronową do wykrywania obiektów i pieszych, posługują się najbardziej jaskrawymi przykładami, które pomagają im stworzyć działający produkt w jak najkrótszym czasie, co oznacza białych ludzi, ponieważ to oni najbardziej się wyróżniają. Inwestorzy wydali pieniądze i chcą już teraz zobaczyć imponujące wyniki, ale jak wspomniano wcześniej, sieci neuronowe mają charakter probabilistyczny. Obecnie pojazdy wymagają ludzkich kierowców, ponieważ żadne oprogramowanie nie jest w stanie zareagować w szerokiej gamie zróżnicowanych sytuacji, w których proste działanie lub brak działania może mieć fatalne konsekwencje, ale przynajmniej możemy przypisać im winę. Kiedy sieć neuronowa w jednym z takich samochodów znajdzie się w zupełnie nowej sytuacji, nie wiadomo, co może się stać z Trolleyem. Problem, eksperyment myślowy, w którym człowiek musi w ułamku sekundy podjąć decyzję, kogo zabić. Problem wózka zasadniczo pyta, czy człowiek powinien zmienić kierunek jazdy pędzącego wózka, aby zabić jedną osobę zamiast pięciu, czy też nie robić nic, pozwalając na śmierć pięciu osób. W przypadku samochodu autonomicznego być może trzeba będzie podjąć taką samą decyzję, ale ta jedna osoba będzie kierowcą, a tych pięciu to przechodnie na światłach. Kiedy autonomiczny samochód zobaczy, że nie da się uniknąć potencjalnie śmiertelnej kolizji z grupą ludzi, może zdecydować się na staranowanie najbliższej bariery, prawdopodobnie niszcząc siebie i zabijając kierowcę. W połączeniu z chińską oceną wiarygodności społecznej możemy łatwo wyobrazić sobie dystopijną przyszłość, w której obywatele są szeregowani według ich wartości dla ogółu społeczeństwa, a następnie popełniają samobójstwo, gdy ktoś o większej wartości jest w niebezpieczeństwie. Hakerzy mogliby po prostu nosić czarną twarz, aby zmniejszyć ryzyko, że zostaną zauważeni przez oprogramowanie do rozpoznawania twarzy lub wykryci przez pojazdy autonomiczne, stając się niczym duchy lub usterki ignorowane przez system. Prawdziwa odpowiedź jest taka, że działający człowiek w sytuacji problemu z wózkiem powinien zrobić wszystko, co konieczne, aby ocalić wszystkich ludzi, ale nikt nie będzie go obwiniał, jeśli im się to nie uda. Wózki poruszające się z nadmierną prędkością prawie zawsze byłyby spowodowane kaskadową awarią hamulców i innych mechanizmów bezpieczeństwa, co wymagałoby zbadania i modernizacji tych mechanizmów – krótko mówiąc, tragiczne wydarzenie, takie jak to, prawdopodobnie doprowadziłoby do lepszych i silniejszych systemów, a nie tylko mechaniczna, binarna decyzja o zabiciu jednej lub pięciu osób. W 1988 r. na francuskiej stacji Gare de Lyon uciekający pociąg zderzył się z nieruchomym pociągiem, zabijając 56 osób. Jak szczegółowo opisano w odcinku Seconds from Disaster , połączenie pośpiechu pasażerów, błędów projektowych i błędów maszynisty w pociągu, w którym hamulce można było łatwo wyłączyć w wyniku przypadkowego oparcia się o niewłaściwy uchwyt, doprowadziło do trzeciego najgorszego wypadku kolejowego we Francji w czasie pokoju . Jest to tragedia, która zdarza się raz na sto lat i ostatecznie jest spowodowana błędem człowieka, ale pojazdy autonomiczne miałyby na celu całkowite wyeliminowanie człowieka z procesu decyzyjnego, co potencjalnie prowadziłoby do tego, że tego rodzaju zdarzenia miałyby miejsce raz dziennie bez żadnego wyjścia.