Vil selvstyrende våben sige "nej" til ulovlige ordrer?

Baynazar Mohammad Nazar var bevidstløs på betjeningsbordet, da loftet begyndte at kollapse på ham. Faderen til fire havde tjekket ind på hospitalet den foregående dag efter at være skudt i benet og gennemgik sin anden operation om to dage for at løse sin skade. Da amerikanerne begyndte at ødelægge bygningen, havde de læger, der arbejdede på ham, intet andet valg end at undslippe på egen hånd så hurtigt som de kunne.

Andrew Quilty at Udenrigspolitik fortæller historien om Baynazars liv og død i en artikel, der indeholder et billede af hans krop, der er dækket af affald på operatørbordet. Baynazar var en af ​​31 personer, som USA dræbte, da den ramte hospitalet, der blev ledet af Læger uden grænser (også kaldet MSF) i Kunduz, Afghanistan, den 2. oktober.

Efter højprofilerede krigsangreb rammer politikere og pundits, hvordan sådan en ting kan ske, og hvad der kan gøres for at sikre, at det ikke sker igen. Blandt de tilhængere af autonome våbensystemer, der undertiden hedder "killer robotter", er et populært argument, at menneskelig fejl (eller ondskab) er ansvarlig for en stor del af de forbrydelser, der begås under krigstid. Det er teoretisk muligt, de siger, at robotter kunne være mere præcise i deres målretning og mindre tilbøjelige til fejl end mennesker er.

"Faktisk kan menneskets vurdering vise sig mindre pålidelige end tekniske indikatorer i kampens varme", skriver Michael N. Schmitt, professor ved US Naval War College. "De, der tror på ellers, har ikke oplevet krigens tåge."

USA's luftangreb på MSF-hospital i Afghanistan 'forårsaget primært af menneskelig fejl' http://t.co/X9TGIA81aD pic.twitter.com/TUwit97206

- Telegraph News (@TelegraphNews) 25. november 2015

Spørgsmålet er da: Kan du programmere krigsværktøjerne for at begrænse menneskelig adfærd for at gøre strejker som Kunduz hospitalsbomberingen umulig, eller i det mindste mindre sandsynlige?

Sandsynligvis ikke - i det mindste i den nærmeste fremtid. Men nogle kunstige intelligensprogrammører har designet en robot, der kan sige nej til mennesker. Eksperimentet design er simpelt: Mennesket fortæller en robot at gå frem fra et bord, som robotten oprindeligt nægter at gøre. Når mennesket fortæller roboten, vil han fange det, robotten accepterer ordren.

Det er langt fra en halvautonomisk angrebshelikopter, der fortæller sin menneskelige besætning, at den ikke kan udføre en luftvej mod et hospital, fordi det ville være en krigsforbrydelse, men den underliggende forudsætning er stort set den samme. Som andre har påpeget, er menneskelig angst om denne meget slags udvikling i robotter almindelig i science fiction - tror HAL-9000 siger "Jeg kan ikke gøre det, Dave", når det låser mennesket uden for rumstationen i 2001: En Space Odyssey.

Hvad angår kendetegnene ved Kunduz-strejken, forbliver mange af fakta omkring angrebet uenige. Læger uden Grænser har krævet en uafhængig undersøgelse, som USA's regering modsætter sig, i stedet lovende at udføre sine egne anmeldelser.

Nogle dele af en amerikansk undersøgelse blev offentliggjort tidligere i denne måned og fandt menneskelige og mekaniske fejl ansvarlige for strejken. Men tidligere i ugen kom to tjenestemedlemmer frem for at modsige rapportens resultater. De siger strejken var ikke en fejltagelse. I deres regnskab, først rapporteret af AP, USA's særlige operationer styrker kaldes i strejken, fordi de selv om hospitalet blev brugt som Taliban kommando og kontrol center.

I den officielle version medførte et mekanisk svigt, at besætningen af ​​AC-130-gunship oprindeligt fik koordinater for et tomt felt. Besætningen søgte efter en bygning i området, der passer til den fysiske beskrivelse, de var blevet givet, og åbnede ild. Når deres instrumenter rekalibrerede, gav de besætningen de korrekte koordinater til deres mål, men besætningen fortsatte med at blive brændt på hospitalet.

Hvis denne konto er sand - at computeren i sidste ende var nøjagtig og menneskene ignorerede det - giver det en vis troværdighed til tilhængere af større autonomi i våbensystemer. Når det er sagt, er amerikansk krig mod terror fyldt med eksempler på militæret eller CIA, der rammer det rigtige mål og stadig endte med at dræbe et stort antal civile. Automatisering vil ikke løse dårlig intelligens, og forsøg på at programmere en tilnærmelse af moral vil ikke afslutte krigsforbrydelser.

Der er en stærk fristelse i USA til at sterilisere krig og automatisering ved at fjerne amerikanere fra skadeens måde, der er bestemt til at ændre selve definitionen af ​​krig. Obamas præference for drone-drab og de tilhørende forsikringer om, at droner er de mest præcise våben, der nogensinde er oprettet, er den klareste manifestation af disse mål. "De har været præcise, præcisionen rammer al-Qaida og deres datterselskaber," sagde Obama i en Google-hangout for 2012.

En 2013-regeringsundersøgelse adskiller imidlertid disse krav. Det viste sig, at droner i Afghanistan forårsagede 10 gange så mange civile dødsfald som ubemandede køretøjer. "Droner er ikke magisk bedre til at undgå civile end jagerfly", fortæller Sarah Holewinski, medforfatter af undersøgelsen. Formynderen. "Da piloter flyve jetfly blev givet klare direktiver og uddannelse om civilbeskyttelse, var de i stand til at sænke civile ulykker."

Militæret bruger millioner på at udvikle menneskelige robotteamsystemer, hvilket yderligere svækker linjerne mellem missioner udført af bemandet eller ubemandet våben. "Hvad vi ønsker at gøre på humant maskine kamp kamp er at tage det til næste niveau for at se på ting som sværmende taktik," vice forsvarsminister Bob Work fortalte den officielle DoD videnskab blog. "Kan en F-35 gå i kamp med fire ubemandede vingemænd?"

Vil disse wingmen sige nej, hvis den menneskelige pilot giver dem en ordre, der er analog med at gå væk fra et bord? Hvad med en ordre om at ødelægge et hospital eller skole? Krigens tåge vil gælde i begge tilfælde. Og hvis vi beslutter at tilsidesætte maskiner, vil udtrykket "menneskelig fejl" være et af de mere skræmmende vilkår i fremtidens konflikter.