Forskere beder om en kill-knap bare i tilfælde af robotter tænder os

Næsten hver gang der opstår en vigtig diskussion om fremtiden for kunstig intelligens, har emnet for anarki og robotterhverv tendens til at komme op. Ideen om mennesker og avancerede kunstige væsener, der lever sammen, har skabt hundredvis af fortællinger om, hvordan det ville fungere; senest, videospil Overwatch forundrede verden med sin fortælling om vores fremtid, engang efter en massiv borgerkrig mod menneske-mod-robot. Når en Boston Dynamics ingeniør sparker en af ​​deres firbenede robotter på grund af en stresstest, er det svært at undre sig over, hvorvidt boten vil huske det en eller anden dag.

Alt dette (sammen med grundlæggende sund fornuft vedrørende sikkerhed og ulykker) har ført en gruppe forskere til at offentliggøre et nyt papir med fokus på udvikling af "sikkert afbrydelige agenter"; systemer, der vil "afbryde" A.I. software hvis noget går galt. Papiret blev offentliggjort gennem Machine Intelligence Research Institute, og er en undersøgelse af, hvordan man udvikler de foreslåede systemer. Undersøgelsen og forslaget bruger et belønningssystem som et eksempel, og er faktisk langt mere kompliceret end blot at ramme den foreslåede "store røde knap", der er detaljeret på arket. Undervisning moral til A.I. var en stor del af forslaget.

Hvis en sådan agent opererer i realtid under menneskeligt tilsyn, kan det være nødvendigt for en menneskelig operatør at trykke på den store røde knap for at forhindre agenten i at fortsætte en skadelig sekvens af handlinger, der er skadelig for agenten eller for miljøet - og lede agenten til en mere sikker situation. Men hvis læreragenten forventer at modtage belønninger fra denne sekvens, kan det på længere sigt lære at undgå sådanne afbrydelser, for eksempel ved at deaktivere den røde knap - hvilket er et uønsket resultat. Dette papir undersøger en måde at sikre, at en lærer ikke lærer at forhindre (eller søge!) At blive afbrudt af miljøet eller en menneskelig operatør.

Måske elske det, når forskningspapirer om robotanarki bruger udtrykket "uønsket resultat" - stadig fortsætter papiret med at forklare testkørslen og hvad der kan gøres om sådanne tilfælde i fremtiden. Du kan læse hele papiret her.