Doktorant na Uniwersytecie Ben-Guriona, Ben Nassi, przeprowadził szereg eksperymentów z systemami Mobileye 630 Pro oraz Autopilotem Tesli. Usiłował wprowadzać je w błąd wykorzystując drona oraz projektory o wartości 200-300 dolarów, by pokazać granice możliwości systemów jazdy (pół)autonomicznej.
Nie trzeba się włamywać do samochodu, żeby ogłupiać oprogramowanie
Eksperymenty polegały na sprawdzeniu, czy da się zmylić sztuczną inteligencję z wykorzystaniem obrazów rzutowanych na drogę i przydrożne obiekty. Chodziło o takie projekcje, które człowiek uznałby za fałszywe lub nieistotne.
Tesla Model X z Autopilotem (HW2.5) rozpoznawała w widocznej na ulicy postaci prawdziwą osobę i lekko przyhamowywała, gdy do niej dojeżdżała. W funkcji przywoływania (ang. Cruise), gdy auto prowadziło się samo, wyświetlone na jezdni pasy powodowały, że samochód zjechał na przeciwległą stronę ulicy, pod prąd.
Z kolei system Mobileye 630 Pro został wprowadzany w błąd przez trwające 0,125 sekundy wyświetlenie znaku, którego oczywiście w tym miejscu nie było. Człowiek, który nie patrzy w dany punkt, może dostrzeże kątem oka jakiś błysk – Mobileye zauważało i zapisywało ograniczenie szybkości.
Trudno powiedzieć, czy najnowsza platforma sprzętowa 3.0 Tesli (FSD/Autopilot HW3.0) byłaby podatna na ataki tego typu. Z nagrania łatwo też wywnioskować, że próby ogłupiania sztucznej inteligencji raczej nie powiodłyby się w dzień, a części z nich dałoby się zapobiec bardziej ufając radarowi (człowiek daje echo, projekcja – nie).
Wyraziste fałszywe pasy mogłyby zwieść także człowieka-kierowcę, jak sylwetka dziecka na nagraniu poniżej:
Na pewno warto zapamiętać, że sztuczna inteligencja widzi świat inaczej, niekiedy w niezrozumiały dla nas sposób. Dlatego na obecnym etapie można jej ufać, ale trzeba ją kontrolować.
Nota od redakcji: Warto poczytać też dyskusję na ten temat na Twitterze TUTAJ.
