Princeton Undergrad skaber Google Deep Dream-inspireret Deepjazz A.I. Musik Maker

Ji-Sung Kim tilbragte de tidlige morgentimer i den første weekend i april forbundet med koffein og kodede på sin computer, da han udviklede deepjazz, en dyb lærende musikgenerator. Den 20-årige Princeton computer science sophomore havde kun 36 timer til at fuldføre deepjazz under hans første hackathon, HackPrinceton, afholdt den 1-3 april på universitetet. Efter at have afsluttet et kodningmaraton, oprettede han en hjemmeside for deepjazz og sendte kildekoden på GitHub.

Men meget til Kims overraskelse slog programmet af. Deepjazz trænger støt på Python og GitHub - når så højt som det øverste syvende program på GitHub overall. Det var endda fremhævet på forsiden af ​​HackerNews og frembringer stadig en livlig diskussion.

"Jeg har aldrig forventet mit første sideprojekt at være dette eksplosive med hensyn til popularitet," fortæller Kim Inverse. "Det har været ret vildt og sjovt."

deepjazz - Deep learning-drevet jazz generation med Keras & Theano! http://t.co/G5wscglzO7 #python

- Python Trending (@pythontrending) 11. april 2016

Mellem at spise, sove og afslutte andre kurser, forklarede Kim, at det tog ham om 12 timer at udvikle kildekoden til deepjazz. Men han kom op for ideen om en kunstig intelligens musikgenerator længe før HackPrinceton. Under en sommerspecialist ved University of Chicago kom han på tværs af Googles Deep Dream, en fotomaskine, der fortolker mønstrene i et billede og omdanner dem til andre objekter, som den ved. Resultatet er wonky billeder, der ligner de kom ud en vild drøm.

"Ideen om at bruge dyb lære at fortolke kunst var virkelig interessant for mig," siger Kim. "Denne form for Deep Dream-rammer, som Google præsenterede og offentliggjorde, var virkelig fascinerende, fordi du skaber nye kunstværker fra eksisterende kunstværker."

Deepjazz bruger maskinlæring til at generere jazzmusik - "en A.I. bygget til at lave jazz "som sin SoundCloud profil tilstand. Kim, som ikke har taget musikteori klasser, men har spillet klarinet i syv år, valgte jazz musik på grund af sin ukonventionelle melodier. En A.I. systemets musik, "kan have nogle usædvanlige udgange, så jeg synes, at jazz var særligt velegnet til ideen om at generere musik på flugt," siger han.

Han repurposed en eksisterende musikgenerator optimeret til jazzmusik, som hans ven Evan Chow udviklede kaldet JazzML, ved hjælp af koden for at få relevante data, men omdannede det til en binær matrix, der er kompatibel med de to dybe læringsbiblioteker Keras og Theano.

Deepjazz rammer sig selv en to-lags LSTM, som er en slags kunstig neural netværk arkitektur, beskriver Kim. Efter at den lærer en indledende baseline frø sekvens af musikalske noter (Kim brugte dele af Pat Methenys "Og så vidste jeg"), tildeler det sandsynligheder til noter og genererer den næste note baseret på disse sandsynligheder. For eksempel, hvis du foder programmet skala A, B, C, er der stor sandsynlighed for, at den næste note deepjazz genererer vil være D, forklarer Kim.

Historisk set har kritikere sagt, at kunstige intelligens musikgeneratorer plages ved at producere sange, der lyder for robot og steril - mangler den farve der høres i musik sammensat af mennesker. Jeffrey Bilmes, en tidligere MIT-studerende, der skrev en afhandling om computere, der gengiver musikalske rytmer i 1993, fortalte Inverse i november:

"Når du lærer at spille musik, og du lærer at spille jazz, er der et værktøj til intuitivt at forstå, hvad det handler om musik, der gør det menneskeligt," sagde Bilmes. "Mennesker er intuitive væsener, og mennesker kan ofte ikke beskrive, hvordan de kan gøre menneskelige ting. Jeg følte på det tidspunkt, at jeg måske overtrådte en hellig ed ved at definere disse ting til computerprogrammer."

Da Kim gjorde forskning for deepjazz kom han på tværs af mange systemer, der genererede musik, der lød robot.

"Musik og kunst er ting, som vi betragter dybt menneskelige," siger Kim. "For at få det til at lyde mere menneskeligt og mere livagtigt, er det virkelig svær at kategorisere." Kim foreslår, at generatorer kunne skabe sange, der lyder mere menneskeligt ved at programmere dem til at lyde mindre ligner det originale spor.

Andre udviklere har kontaktet Kim og er interesseret i at udvide deepjazz, så flere mennesker kan interagere med det. Kim kan se deepjazz en dag udvikle sig til en improvisationspartner, der kunstigt kan generere et backtrack for en musiker at riffe fra. Endnu længere ind i fremtiden kan han se applikationer, der skaber ny lignende lydmusik til dine yndlingsspor eller som kan foreslå nye akkorder og progressioner for musikere.

Kim indrømmer at han stadig er langt fra at være ekspert inden for dyb læring, men hans erfaring med at udvikle deepjazz og træning på praktikophold og Princeton har givet ham et værdifuldt indblik i feltet.

”A.I. er ikke længere en sci-fi-drøm mere. Det er noget, der er meget rigtigt, og det er noget, der nærmer sig i et meget hurtigt tempo, "siger Kim. "Forhåbentlig at se, at denne universitetsstuderende, som ikke engang er en opperclassman endnu, kunne gøre noget inden for en hackathon, er opmuntrende til andre studerende, der kæmper for at komme ind i datalogi."