Face the Music: Hvordan "Eye Dirigent" hjælper Paralytics Rock the Fuck Out

Andreas Refsgaard, en interaktionsdesigner og kreativ coder, der bor i Amsterdam, har designet en musikalsk grænseflade, der gør det muligt for folk med fysiske handicap at lave musik. Øjelederen bruger øjensporingssoftware og et computers webcam til at oversætte ansigtsbevægelser til forskellige komponenter i musikalsk sammensætning. Brugere kan træne sig selv til at spille ting med deres ansigt, hvilket betyder, at lammet folk - folk der ikke længere kan spille instrumenter - kan få en chance for at lave smukke (eller bare høje) lyde. Det rigtige blik rammer bogstaveligt en akkord med Refsgaards opfindelse. Det rigtige udtryk udtrykker sig højt.

Refsgaard talte til Inverse om motivationen bag sit projekt, de kampe han løb ind undervejs, og hvad han lærte, hvad han gav folk, der havde mistet evnen til at lave musik en chance.

Hvad er din baggrund med musik?

Jeg ville ikke kalde mig en musiker fordi jeg kun spiller for sjov, men jeg spiller guitar og bas. Ableton er et musikprogram, en digital arbejdsstation, der ligner optagelse af software som Logic eller Protools eller Garage Band. Jeg tog et kursus på det, og jeg var ikke så god til at lave musik med det, men jeg var fascineret af mulighederne jeg så. Derefter begyndte vi at samarbejde og gøre nogle mere kunstneriske installationstyper, hvor han ville designe lydene, og jeg ville tilslutte sensorer, for eksempel et dybdekamera, så da folk gik forbi, ville de kontrollere nogle aspekter af projektet.

Så du er en interaktionsdesigner og kreativ coder. Kan du forklare, hvad de nævnte titler betyder?

Alle de ting, jeg designer, er interaktive. Så hvis jeg skulle lave nogle slags møbler, ville det have en vis funktionalitet, der ville få det til at reagere på noget. Jeg er også en kreativ koder. Sammenlignet med mange andre mennesker - for eksempel studerede jeg i København på Københavns Institut for Interaktionsdesign, hvor folk kommer fra mange forskellige baggrunde - jeg er lidt mere i retning af kodningssiden. Jeg kalder også mig en "kreativ koder", fordi jeg ikke er en ordentlig koder. Jeg er ikke så god til det, men jeg kan gøre nogle ting virkelig hurtigt, og jeg kan forbinde ting, og jeg er god til at komme med nye ideer.

Hvad var det, der inspirerede dig til at hjælpe mennesker med fysiske handicap, lave musik?

Efter gymnasiet i to eller tre måneder var jeg en vicevært for nogen med muskeldystrofi. At være sammen med ham gjorde mig hele tiden klar over nogle af de ting, jeg ikke kunne hjælpe ham med. En af dem udtrykte sig på en kreativ måde. Det var ikke det, jeg tænkte: "Okay her er et problem, jeg skal løse," for på det tidspunkt var jeg ung og havde ingen faglige færdigheder. Men det sidder fast med mig.

Hvad med teknisk inspiration?

Et projekt kaldet Eyewriter, jeg så omkring et år siden, er et maleri program, der var designet til en fyr, der plejede at være en graffiti kunstner, men så blev lammet. Nogle af hans venner var coders og lavede et værktøj til ham med øjensporing, der fik ham til at tegne. Og siden jeg havde spillet rundt med sensorer og ting i musiksoftware, lavede jeg en forbindelse. Jeg gjorde det som mit sidste projekt i skolen.

Hvordan blev musik det kreative felt, du ønskede at udforske?

Jeg tror måske, fordi jeg nyder musik meget selv og i forhold til den tid, jeg havde for projektet. Det blev bare klart, at musik var det, jeg ville arbejde med. Så var jeg meget inspireret af Eyewriter med hensyn til at lave grafik.

Musik virker som et godt valg, fordi det er universelt. Jeg kan ikke tænke på nogen der ikke kan lide musik.

I starten ønskede jeg faktisk at teste ud, hvor vigtigt musik var for den gruppe, jeg designede til. De tidlige trin var bare at observere, hvordan mennesker med forskellige fysiske handicap interagerer med musik. Et hjem jeg besøgte havde musik torsdage. Nogle kan pege lidt eller spille lidt på et tastatur, og nogle kan slet ikke gøre noget, men faktum er, at de vises til Music Thursdays.

Mellem at observere og derefter lave enheden, hvor lang tid tog det?

Ofte i en designproces ville det være to separate ting, men jeg kan ikke lide den tilgang. Jeg kan godt lide at bygge fra starten og derefter, når jeg har samtaler om, hvad jeg har bygget. Og så ændrer eller ændrer jeg det.

Hvad var det som at se folk bruge det første gang?

Det var ganske rart, ja. Fordi nogle af befolkningen ikke kunne tale, kan forbindelsen være hård. Men så da de brugte min øjenleder, havde vi virkelig forbindelse. De kiggede på mig og smilede eller fungerede rigtig godt, eller da jeg bare demoede det var de virkelig fokuserede. Det var et smukt eksempel på, hvordan musik kan hjælpe folk med at interagere og udtrykke følelser.

Uden at blive for teknisk, hvad var det største problem, du løb ind i, mens du designede Eye Conductor?

For at systemet skal fungere, skal du sidde i samme stilling som vi sidder lige nu foran vores bærbare computere, fordi billedet du ser af mig lige nu er lige og godt til at spore mit ansigt og øjne. Men hvis du er sammen med en person i en kørestol, der ikke har kontrol over deres kropsholdning eller ryg eller nakke, så sommetider ville de sidde mere sidelæns, og systemet kunne ikke spore deres ansigtsbevægelser. Og så sommetider ville det være lidt ubehageligt for mig at forsøge at sige, "Ok for at dette skal fungere, skal du sidde rettere." Og så er det med dem, der ikke er verbale, hvordan kommunikerer vi dette?

Hvis en persons hoved var tiltet sådan, kunne du teoretisk holde computeren på en måde, der henter deres ansigtsbevægelser?

Ja. Så jeg gik ikke rigtig på at løse dette problem, men mange mennesker har computere monteret på deres kørestole, og computeren er på en pol, og så på den pol er der en monteringsenhed, og de vinkler den i den rigtige retning for at pege på personens ansigt. Der er ingen position, der er rigtigt eller forkert, det handler bare om at få sensorerne - hvilket er webcam og et øjenspor - at være lige på hovedet. Det var lidt udfordrende. Det var mere af en hardware ting, fordi ellers ville jeg være nødt til at forsøge at opbygge en struktur, og det ville være rodet. Jeg er ikke så god i det.

Har du gjort det hele alene eller har du kørt ind i tekniske problemer, som kun andre mennesker vidste, hvordan man skulle løse?

Jeg gjorde det selv, men på lyddesignsiden fik jeg hjælp fra den professor, jeg fortalte dig om. Grundlæggende bare lyd design ting. Jeg havde også en rådgiver, der gav mig nogle pointers i form af et programmeringssprog kaldet Max, som han var rigtig god til. Han hjalp mig til at være mere komfortabel med visse programmeringsdetaljer. Selvfølgelig var det meget nyt, men det grundlæggende var det, jeg allerede vidste fra tidligere erfaringer. Jeg lavede øjenleder i otte uger, og folk sagde: "Åh, det er vildt, hvordan kan du gøre det om otte uger?" Men jeg lavede nogle andre ting, der også er avancerede med hensyn til at arbejde med sensorer og musiksoftware, og det gik langt længere, fordi Jeg vidste ikke, hvordan jeg skulle gøre det. Nu da jeg ved det, er det ikke så svært, selv om dette projekt var mere kompliceret. Det er også vigtigt for mig at påpege, at det er en fuldt fungerende prototype, men det er ikke et produkt. Så folk kan ikke gå ud og købe det og installere det på min computer.

Jeg skulle spørge dig om du har planer om at sælge den?

Jeg vil faktisk ikke sælge det, jeg vil give det væk. Jeg vil gøre det til en open source ting, men jeg kan ikke love noget nu. Jeg har ikke nogen midler til det endnu, og jeg har arbejde og andre ting at gøre. Jeg fik en besked fra en fyr i Michigan, for eksempel hvem der plejede at være producent og så fik han ALS. Jeg skal gøre det på en måde tilgængelig for alle disse mennesker. Det er meget vigtigt for mig at på et tidspunkt, og jeg kan ikke love, når men forhåbentlig ganske snart pakker det på en måde, så folk enten kan downloade det hele som en ting, og det ville køre på de fleste computere eller faktisk prøve det i browseren. Ideen bag at gøre det til en browser ting ville kun kræve, at folk har en computer med onlineadgang, og så har den udskiftning af en mus, de måtte have på deres computer. Hvis jeg gør den åben kilde, kan jeg give den grundlæggende demo, og så kan folk tilføje deres egne vendinger for at gøre det til deres eget.

Det er rart at høre, at du gør det, fordi du vil hjælpe folk og ikke fordi du vil blive rig eller sådan.

Værktøjerne jeg bygget det med - i det mindste den arbejdende prototype - er åben kilde. Hvorfor vil jeg så få æren? For eksempel det ansigtssporingssystem, som jeg bruger til min prototype, som gør det muligt for folk at skabe en lyd ved at hæve deres øjenbryn eller åbne deres mund, det er en ting kaldet FaceOSC lavet af en fyr ved navn Kyle McDonald, og det er et open source-system. Jeg tror ikke, jeg ville have fået så vidt jeg gjorde uden det stykke software.