Złe warunki drogowe to więcej niż niedogodność dla ogółu społeczeństwa; powodują niepokój pasażerów, a także uszkodzenia pojazdów i wypadki śmiertelne. W Indiach ponad 9300 osób straciło życie, a 25 000 osób zostało rannych z powodu wypadków spowodowanych samymi wybojami w ciągu 3 lat (2015, 2016 i 2017). Dobrze utrzymane drogi mogą zmniejszyć prawdopodobieństwo wypadków. W latach 2015-2017 rząd Indii zbudował 153 647 km dróg w ramach różnych programów. Monitorowanie tych dróg pod kątem pęknięć i wybojów jest istotnym aspektem tych projektów. Dziury są jedną z głównych przyczyn wypadków drogowych. Rozszerzanie i kurczenie się wód gruntowych po wniknięciu wody do gruntu pod nawierzchnią powoduje powstawanie wybojów. Utrzymanie dobrego stanu dróg jest niezbędne dla bezpieczeństwa kierowców, a także dla organów transportowych i regulacyjnych ds. utrzymania ruchu. Stan drogi jest oceniany na podstawie pewnych istotnych informacji, takich jak właściwości jezdne, stan nawierzchni i stanu konstrukcji oraz wiele innych parametrów. Opracowano i opracowano wiele technik i metod gromadzenia informacji in situ o wyżej wymienionych parametrach i oceny jakości drogi. Wraz z ostatnimi postępami w dziedzinie sztucznej inteligencji (AI) wprowadzanych jest wiele potężnych narzędzi, które mogą uczyć się semantycznych, głębokich funkcji wysokiego poziomu, aby rozwiązać rzeczywiste problemy. Systemy oparte na sztucznej sieci neuronowej (ANN) wykorzystujące technologię głębokiego uczenia osiągnęły znaczny wzrost w różnych dziedzinach i wykazały doskonałą wydajność w wielu zastosowaniach. Głębokie uczenie to technika wspomagania systemu komputerowego w dokładnym wykonywaniu złożonej percepcji zadania. Głębokie uczenie składa się z kilku warstw nieliniowych jednostek przetwarzania służących do wyodrębniania cech, przy czym dane wyjściowe z niższej warstwy pełnią rolę danych wejściowych do kolejnej warstwy. Wielu badaczy zaczęło stosować uczenie głębokie w różnych aplikacjach. Li i inni opracowali algorytm głębokiego uczenia się do wykrywania raka piersi poprzez badania mammograficzne. Praktyczne zastosowanie metody deep learning przedstawił Kłosowski do przetwarzania i modelowania języka. Umme zaproponował sieć neuronową głębokiego uczenia złożoną z zestawu splotowych sieci neuronowych (CNN), wyprostowanej liniowej funkcji aktywacji (RELU) i w pełni połączonych warstw do ilościowego określenia reprezentacji twarzy opartej na małych zbiorach danych. Vaidya i inni zaproponowali głęboką sieć neuronową (DNN), aby zaprezentować innowacyjną metodę wykrywania znaków odręcznych w trybie offline. Chociaż zgłoszono wiele postępów technologicznych w rozwiązywaniu problemów w świecie rzeczywistych problemów zaobserwowano bardzo ograniczone wysiłki w zakresie monitorowania stanu dróg w czasie rzeczywistym. W tym rozdziale przedstawiono rozwój ram opartych na sztucznej inteligencji do wykrywania dziur w oparciu o najnowocześniejsza stacja CNN, w której nie tylko klasyfikujemy, ale także precyzyjnie lokalizujemy i liczymy ilość wykrytych dziur. Algorytm śledzi wykryte dziury, aby uniknąć wielokrotnego rejestrowania tej samej dziury. Model jest opracowywany w czasie rzeczywistym monitorowanie stanu dróg i wdrożone w komputerze jednopłytkowym Raspberry Pi do wykrywania dziur w czasie rzeczywistym. Aby przyspieszyć wnioskowanie modelu, zastosowano koprocesor Edge TPU, akcelerator Google Coral USB Accelerator wzdłuż Raspberry Pi. Główne cechy płyty to szybkie przetwarzanie możliwe przez Broadcom BCM2711 w oparciu o architekturę opartą na czterordzeniowym Cortex-A71 (ARM v8) w połączeniu z 4 GB pamięci RAM i interfejsem włączonym przez porty USB 3.0 (2 szt.), Gigabit Ethernet, micro-HDMI porty (2Nos) i gniazdo kart MicroSD. System operacyjny jest ładowany na kartę MicroSD wraz z danymi. Rekonstrukcja trójwymiarowa (3D) to metoda uchwycenia kształtu, wyglądu i głębi obiektu w świecie rzeczywistym . Rekonstrukcję sceny 3D można podzielić na metody oparte na wizji stereo , metody skanera laserowego 3D oraz wizualizację za pomocą innych urządzeń wykrywających ruch, takich jak Microsoft Kinect . Metody te wymagają zaawansowanego, kosztownego sprzętu do wizualizacji 3D i wiążą się z wysokimi kosztami obliczeniowymi. Metody oparte na wibracjach wykorzystują akcelerometry do wykrywania dziury. Mednis i inni zaproponowali wykrywanie nieprawidłowości na drodze w oparciu o smartfony. Ghadge i inni opracowali system wykrywania nierówności (Bumps Detection System, BDS) wykorzystujący grupowanie K-średnich i losowy klasyfikator lasów na danych treningowych i testowych zebranych za pomocą akcelerometru i GPS w celu oceny warunków drogowych oraz identyfikacji i wykrywania lokalizacji dziur. F. Seraj zbierał dane za pomocą czujników takich jak akcelerometr i żyroskop w smartfonie oraz klasyfikowali anomalie drogowe za pomocą maszyny wektorów nośnych (SVM). W 2D opartym na wizyjnym obrazie lub obrazie wideo wykorzystywane są dane do wykrywania dziur. Metody wykrywania dziur można podzielić na dwie kategorie: tradycyjne podejście do przetwarzania obrazu i podejście oparte na CNN. Pierwszy z nich opiera się na algorytmach, które wyodrębniają funkcje niskiego poziomu, podczas gdy drugi jest podejściem opartym na głębokim uczeniu, które rozwiązuje problem poprzez inżynierię funkcji. Dhiman i inni zaproponowali jednoklatkową metodę opartą na stereowizji i wieloramkową metodę fuzji opartą na wykrywaniu dziur. Youngtae zaproponował algorytm wykrywania wybojów przy użyciu kamery czarnoskrzynkowej, w której ekstrakcja kandydatów wyodrębnia obszary kandydujące do wybojów. Oliveira i inni zastosowali kompleksowy zestaw algorytmów przetwarzania obrazu do wykrywania pęknięć w drogach. Obecne badanie koncentruje się na technice 2D opartej na wizji komputerowej do wykrywania dziur z obrazu wideo kamery zamontowanej na przedniej szybie pojazdu. Chociaż wykrywanie dziur przy użyciu głębokiej sieci CNN było badane od kilku lat, jej wdrożenie w monitorowaniu w czasie rzeczywistym pozostaje trudnym zadaniem ze względu na kosztowny obliczeniowo charakter algorytmów. Informacje dotyczące liczby wybojów są gromadzone za pomocą algorytmów opartych na CNN, zapewniając, że każdy wybój jest rozliczany tylko raz. Zaproponowany system szacuje wskaźnik jakości drogi obliczając gęstość wybojów na odcinku drogi mierzonych co 5 minut. Przetestowaliśmy model za pomocą obrazów i filmów przed użyciem go w czasie rzeczywistym do wykrywania dziur. Wyniki eksperymentalne potwierdzają, że nasz model sprawdza się wystarczająco dobrze w wykrywaniu dziur z dokładnością do 89%. Celem naszych badań jest automatyczne wykrywanie i śledzenie dziur oraz ich liczenie. Platforma jest zaprojektowana do wysyłania liczby dziur do serwera bazy danych co 5 minut w celu obliczenia jakości drogi.