Weaponizing Machine Learning Against ISIS vil ødelægge militære kæder af kommando

Alle på internettet havde en god tid med Tay, Microsofts Twitter-robot, der blev en racistisk Holocaust denier om et par timer (så kom tilbage og gjorde det igen). Virksomheden havde skabt et PR-klap - mere hændelse end en katastrofe - samtidig med at offentligheden fik en objektlære om fordele og ulemper ved maskinindlæring: Automatisering kan udnytte mønstre til fascinerende effekt med hurtighed, men resultaterne vil være forudsigeligt vanskelige at forudsige.

Som det ofte er tilfældet, er militæret en tidlig adopter af automatiseringsteknologi. Det er - på en gang - førende ladningen mod maskinindlæring og forsøger også desperat at holde op. Et af de vigtigste fokusområder for Pentagon er autonome robotter og hvordan de vil samarbejde med mennesker - for eksempel en R2D2-stil robotvinger. Men i denne uge understregede viceminister for forsvar Robert Work en anden opgave for A.I.: open source data crunching.

"Vi er helt sikre på, at brugen af ​​dybfaglige maskiner vil gøre det muligt for os at få en bedre forståelse af ISIL som et netværk og bedre forståelse for, hvordan vi målretter det præcist og fører til nederlaget", sagde Secretary Work, ifølge DoDs hjemmeside. Ifølge den konto, Arbejde, der talte på et arrangement arrangeret af Washington Post, havde sin epiphany, mens han så på et Silicon Valley tech firma demonstrere "en maskine, der indsamlede data fra Twitter, Instagram og mange andre offentlige kilder for at vise juli 2014 Malaysia Airlines Flight 17 nedskyde i realtid."

Private virksomheder og retshåndhævelse har forsøgt at få mening om "store data" i lang tid. Men militæret har en fordel: ressource. De har også adgang til klassificerede materialer.

Den amerikanske regering synes klar til at vædde på, at softwarealgoritmer kan sortere igennem den enorme mængde data derude for at identificere ISIS-mål, der ellers ville have fjernet dem, og opdage og forstyrre tomter, før planlæggerne kan udføre dem. Regeringen forsøger allerede at studere sociale medier for at forudsige størrelsen af ​​online protester. Der er ingen tvivl om, at maskinlæring vil give intelligensanalytikere øget magt for at give mening om den rigdom af tilgængelige informationer i verden. Men når den intelligens bliver grundlaget for en dødelig strejke, bliver de etiske problemer mere komplekse, selvom de virker ligetil.

Selv om Arbejdet var hurtigt at sige, at Pentagon ikke ville "delegere dødbringende myndighed til en maskine", er det slutspillet. I mellemtiden vil mennesker forblive "i løkken", som jargonen går. Men som alle, der har kigget på en iPhone til en vejrrapport, når de står ved siden af ​​et vindue, ved det, er de forhold, vi har med vores enheder og software, ikke enkle. Vi er problematisk troværdige og let distraheret af brugergrænsefladsproblemer.

"Automation bias", tendensen for mennesker til at udskyde til maskiner, præsenterer en klar og stadigt nuværende fare. Go-to-eksemplet for at illustrere dette fænomen er, når din telefon fortæller dig at tage en rejselute, som du ved er forkert, men du gør det alligevel, idet du antager, at telefonen skal vide noget, du ikke gør. Dette er et fælles problem i ikke-militære sammenhænge. Hvad Pentagon ser ud til at være tættere på, er dog trusselsrapporter sammensat af kunstig intelligens. Vi ved ikke noget om det potentielle effekt af dette program ud over at det vil være svært for mennesker at gennemføre.

I et dokument fra 2001, der kigger på elev- og professionelle piloter og automatiseringsforskydning, fandt forskerne, at "i scenarier, hvor der var korrekte oplysninger til rådighed for at krydse check og opdage automatiske anomalier, blev fejlfrekvenser på ca. 55% dokumenteret på tværs af begge populationer." Undersøgelsen fandt også at tilsætte en ekstra menneskelig holdkammerat mindede ikke problemet.

Tilsvarende fandt en MIT-undersøgelse fra sidste år noget foruroligende, at computer- og videospillere havde en "højere tilbøjelighed til overstyringsautomatisering." Det kunne betyde, at jo mere tid vi bruger til at stirre på vores skærme, desto mere stoler vi på, hvad vi ser. Igen er problemet ikke med de systemer, vi bruger, men med den måde, vi bruger dem på. Fejlen er ikke i vores stjerner, men i os selv.

Store data forbliver lovende. Maskinindlæring forbliver lovende. Men når maskiner rådgiver mennesker, er resultaterne forudsigeligt uforudsigelige. Betydning Tays omdannelse til en neo-nazi-misogynist betyder, at Twitter hader jøder og kvinder? Det er svært at vide, men ret usandsynligt. Når vi ikke forstår processen ved, hvordan input bliver output, kæmper vi for at håndtere resultaterne på en rationel måde. Hvilket sætter Pentagon i en interessant position. Er de mennesker, der programmerer militærets maskinlæringssoftware til at være de, der bestiller airstrikes? Det er ikke sådan, hvordan kommandokæden fungerer, men kommandokæder bliver besværlet, når teknologien bliver involveret.