Se forskere animere statiske billeder ved hjælp af mesmeriserende maskinlæring

Animation er smuk, men at skabe bevægelige billeder er utrolig arbejdskrævende. De visuelle og kunstafdelinger, der arbejdede på filmen Moana alene nummereret tæt på 300 personer, ifølge kreditlisterne på IMBD. Men en ny proces udviklet af forskere ved Princeton har potentialet til drastisk forenkling af nogle dele af processen, med fascinerende resultater.

Værktøjet giver i grunden brugere mulighed for at vælge en del af et statisk billede, som de ønsker at blive animeret, regndråber i en storm scene, for eksempel eller damppartikler, som bevæger sig gennem en forbrændingsmotor.

Brugeren manipulerer derefter den del af deres billede for at angive, hvor hurtigt de vil have animationen til at bevæge sig, hvorefter en algoritme overtager og ekstrapolerer deres instruktioner til alle de andre lignende objekter i billedet. Det har potentialet til at spare animatorer meget tid, samtidig med at det bliver meget lettere for amatører at lave ting som filmtekster - fotografier, hvor en enkelt del af billedet er animeret.

"Personen giver spor om, hvilke aspekter af den scene, de gerne vil animere", forklarer medforfatter Adam Finkelstein i en erklæring. "Computeren fjerner meget af det vanskeligheder og tedium, der ville være nødvendigt for at skabe animationen helt i hånden."

Det er en teknik, der var sværere at udvikle end du ville tro. Maskinindlæring er meget god til at identificere ting i fotografier, der er bundet af naturregler og forholdsvis konsistente. Billeder trukket af den menneskelige hånd er naturligvis ikke konsekvente: Hver person eller kunstner har sin egen stil.

"Der er så mange forskellige tegneformater," forklarer Nora Willett, en kandidatstuderende i Princeton's afdeling for computervidenskab og papirets hovedforfatter. "Der er ikke nok data til at træne en maskine til at genkende hver eneste fantastisk tegning."

For at overvinde denne hindring udviklede forskerne en grænseflade, der gjorde det lettere for mennesker og maskine læring at arbejde sammen. De startede med Autodesk SketchBook Motion-appen, som kan skabe animation, men kræver, at brugere enten laver dem for hånd eller kompilerer snesevis af lag gennem en anden app som Adobe Photoshop.

For at teste deres grænseflade ud rekrutterede Willets team seks personer med varierende animationserfaring, hvoraf to var gode nok til selv at lave deres egne animationer. De præsenterede deres nye metode bare i sidste uge på Association for Computing Machinery Symposium om brugergrænseflade software og teknologi.