Spil og filmkomponist Sage Lewis siger ingen forstår at skrive til VR endnu

For den klassisk trænet musikalske Sage Lewis udgør teknologien en udfordring. Selvom hans kompositioner er blevet vist i annoncer til Google, Facebook og Nintendo, forbliver Lewis stødig med akustiske lyde. "Der er noget om strengkvartetten og de vigtigste akustiske instrumenter, som udtrykker så mange følelser," siger han over telefonen. "Du kan ikke rigtig udtrykke det med elektronisk musik på samme måde."

Men måske har han regnet det ud. På Syd ved Sydvest, Lewis seneste scoringer - techno-drama Operatør starring Martin Starr (Silicon Valley) og Mae Whitman, og VR-thrilleren Surrogatet - tackle vores stadigt skiftende forståelse af menneskelig interaktivitet med banebrydende teknologi. Lewis scoringer, en elektronik og akustik afspejler disse seismiske skift.

Regisseret af Logan Kibens, Operatør følger en computer programmør, der bygger en kundeservice bot bruger sin kone som en skabelon, før han tager en obsessional, destruktive sti bygget på kærlighed. Surrogatet, i mellemtiden er en VR-oplevelse fra en førstepersonsvisning, der udsætter et uroligt ægteskab. Nomineret til Interactive Innovation Award på festivalen, Surrogatet "Problematiserer begrebet fysisk tilstedeværelse og afspejler … kulturelle frygt og trængsler i den digitale tidsalder."

Før Austin-festivalen talte Lewis til Inverse og fortalte os, hvordan han komponerede en af ​​SXSWs skjulte perler og hvordan reglerne for komponering af VR stadig bliver skrevet.

På SXSW i år har du Operatør og Surrogatet. Hvad kan du fortælle mig om din forståelse af de to projekter?

Det er spændende, de er to film, der ligner deres historier, men meget forskellige i form og den måde, de er erfarne på. Begge har at gøre med teknologi, et forhold til og hvordan det forstyrrer ægte relationer i vores personlige liv. De handler om kunstig intelligens og hvor vi skal hen i fremtiden.

Teknologi og menneskelige relationer er populære temaer, der ses i ting som Hende og Sort spejl. Hvordan nærmede du din score for Operatør ?

Teknologi formidler vores kommunikation mere og mere, men hvor vi kunne gå er vores forhold ikke bare med et andet menneske, men en algoritme. Det var sjovt at arbejde på disse temaer musikalsk, sangen har et kammerensemble med en strengkvartett, klaver, akustisk guitar, trommesæt og perkussion. Så er der en hel elektronisk side, hvert elektronisk instrument kort direkte til den anden af ​​det akustiske. Vi genskabte dem fra bunden med en modulær synthesizer. Det skabte en score, der kunne udtrykke disse følelser elektronisk.

I betragtning af hvordan disse film er så afgørende for teknologi, hvorfor har du medtaget naturlige og klassiske lyde i Operatør ?

For mig handlede det om to samtidige verdener, en virtuel og en naturlig, og hvordan de eksisterer i harmoni og modstridende og kæmper over det samme rum. Det var vigtigt at have stykker. Hvis du har to ting mod hinanden i kontrast, gør det hver enkelt mere magtfuld. Elektronisk musik lyder mere elektronisk, når den er i sammenhæng med akustisk musik. Kvaliteten af ​​noget, der er naturligt, kan lyde endnu mere naturligt, når du sætter det imod noget meget unaturligt.

Hvad var din yndlingsdel af Operatør at score?

Der er nogle smukke scener i Lake Michigan, hvor tegnet, Joe, kører hver dag. Han måler sine sundhedsdata, går til Lake Michigan og tager et billede. Der er en scene hvor de var som: "Dette er en af ​​de vigtigste stykker af filmen. Dette er alt sammen, Sage. "Musikken måtte også være enkel, det fortæller ikke med mange bevægelser. Det var bare et par minutter af et par bevægelser, der var enkle at placere og virkelig kunne ramme dig i hjertet. Det var det mest spændende for mig.

Hvordan sammensætter du en subjektiv oplevelse i VR versus en film som Operatør ?

Det er spændende, fordi ingen forstår hvordan man gør det. Der er ingen steder du kan studere det, ikke engang at tjekke andre VR-projekter for at se, hvad de har gjort, fordi det stadig ikke er så tilgængeligt. Der er meget at regne selv. Vi har vores egne Oculus-headset, som vi plejede at udvikle. Nogle gange går vi til VR-konferencer for at se andet indhold, men for det meste er det et produkt, der ikke har ramt markedet endnu.

Hvad med videospil, som du har arbejdet med - og også en subjektiv teknologisk oplevelse?

På nogle måder er det ligesom videospil, men oplevelsen er anderledes. Surrogatet er ikke et spil, men en "interaktiv film", som gjorde et rigtig godt stykke arbejde ud af nye VR-områder. Det er 12 minutter langt, det er sfærisk, hvilket betyder snarere end en 16x9 ramme, du er i filmen, hvor som helst du ser bag dig op, ned, du kan gå rundt. Det er denne hybrid af CG skudt med et sfærisk kamera, med rigtige tegn. Ikke avatarer.

Som du går rundt, bruges nogle af musikken hele tiden til at understøtte fortællingen. Der er denne anden type placeret i mellemrum. Hvis du går til det rum, vil du høre det, men hvis du ikke er det, gør du det ikke. Der er meget, du skal kommunikere, når du er i en film for at få historien til at fungere, så folk ikke går glip af vigtige dele, men i VR har du ikke kontrol over brugeren. Brugeren kan vandre overalt.

Scoren i VR hjælper den følelsesmæssige bue kommunikeres, uanset om de er opmærksomme på forestillingen eller ej. Du skal bruge partituret til at bringe tingene sammen, fordi du ikke har kontrol. Dette er interessant for mig, for internt, i det tegn du er inde i, er det en psykologisk thriller for det tegn i deres sind og krop, men i omverdenen er det ikke. Det er folk der flytter rundt og taler, ikke en regelmæssig thriller med handling.

Kameravinkler i film kommunikerer fortælling og tema, hvilken musik intensiverer. I VR ser det ud til, at musik gør alt arbejdet.

Det er svært at finde ud af, for når jeg komponerer, kan jeg ikke opleve det. Jeg kan ikke demo det, fordi du ikke kan komponere med headsettet på. I en film kan du se det, lægge musikken og se den igen og få en masse mennesker at sidde sammen og tale om det.

VR ligner faktisk teater. Nogle mennesker har gode pladser, nogle mennesker har dårlige pladser. De ser på alle vinkler. Fra det musikalske perspektiv ved du, hvordan tingene skal synkroniseres. Du behøver ikke at gætte hvordan de kommer til at føle sig på scenen, når du arbejder på det. I VR du gætter, forestiller dig det i dit sind, materialer du refererer til, der hjælper med at informere dig om, hvordan tingene skal se og føle sig i slutningen.

Det er aldrig færdigt. Det holder bare ved at ændre sig. Surrogatet, vi er lige færdige med at lave den seneste opdatering til den. Så fortsætter vi med det i lang tid baseret på det vi lærer. Tingene er langsommere, fordi du er afhængig af programmører, ting bryder hele tiden inde i systemet. Det er så anderledes.

Hvor lang tid tror du det vil tage for komponister at finde rytmen til musik i VR?

At finde ud af, hvordan man skriver musik til VR, vil tage så lang tid som at finde ud af de andre elementer. Jeg tror tre til fem år, indtil det begynder at komme til et punkt, det virker og er en del af alles liv. I år vil VR være på vej til markedet. Det vil nok tage år at forbedre prototypen og finde ud af, hvordan man opretter indhold, men jeg ser det ske omkring 2020, når det er en veludviklet form. Film tog lang tid også. Der var gode film fra starten, Charlie Chaplin og ting sådan, men at udvikle teknologien tog lang tid indtil sin gyldne tidsalder. Vi er stadig langt borte fra det, men det sker nu. Vi skal begynde at se det i år. Det er spændende.