En utbredd användning för AI är olika typer av bildigenkänning. Det ligger till grund för ansiktsigenkänningen i Iphone X, sjukdomsdiagnoser och förstås självkörande bilar. Men vad händer om det går att lura systemet?

En grupp forskare vid MIT har visat hur de med hjälp av optiska illusioner kan lura en AI att helt missförstå bilder. Det illustreras kanske tydligast i hur de fått en AI som Google tränat upp att tro att en 3d-utskriven sköldpadda i själva verket är ett gevär.

turtle

För dig och mig är det uppenbart att modellen förställer en sköldpadda och inget annat. Men genom att väva in ett mönster i utskriften har forskarna fullkomligt fintat det artificiella neuronnät som används för att klassificera bilden.

Det kanske låter harmlöst att klassa en sköldpadda som ett vapen. Men vad händer i det omvända scenariot – går det att lura en automatisk övervakningskamera att ett faktiskt vapen är en sköldpadda är den inte mycket att ha.

Läs också: Hur vet vi nu vem som är människa? Robot har knäckt captcha

Forskarna har tagit fram en algoritm för att skapa vad som på engelska går under namnet "adversial images", ungefär kontradiktoriska bilder. Det är en slags illusion för datorer som förvirrar AI:n.

– Fler och fler system ute i verkliga världen har börjat integrera neuronnät och det är väldigt bekymmersamt att dessa system kan gå att lura eller attackera genom kontradiktoriska exempel, säger Anish Athalye som lett forskningen i en intervju med BBC.

Det finns i dagsläget inga rapporter om att sådana attacker ska ha förekommit. Men det är lätt att se vilka förödande konsekvenser det skulle kunna få att lura exempelvis en självkörande bil.