Inside Pinscreen's Secretive Augmented Reality og CGI

Augmented reality og face-swapping synes at være varme kandidater til de næste mobile apps; bare se på Facebooks køb af MSQRD eller Snapchats køb af Looksery. Men en AR-opstart kaldet Pinscreen, der for øjeblikket understøttes til en værdi af 1,8 millioner dollar fra Lux Capital og Colopl VR Fund, søger at gøre tingene anderledes i dette område. Inverse talte udelukkende til Pinscreen-grundlæggeren Hao Li om, hvad der kunne være forude for dette hemmelige selskab.

Du har muligvis ikke hørt om Hao Li, men du har sikkert set denne USC-assistent professors forskning i aktion i flere blockbuster-film. Mens han arbejdede på visual effects studio Industrial Light & Magic, hjalp Li med at udvikle nogle værktøjer, der muliggjorde real-time performance capture. Tanken var, at en skuespiller kunne sidde foran en computer med et webkamera, udføre en scene, og så ville denne forestilling oversættes - i realtid - til en CG-karakter.

Li har også udført omfattende forskning på andre områder, herunder fremstilling af 3D-modeller af virkelige mennesker i realtid, og indfangning af vigtige dele af deres lighed, især ansigter og hår. Senest viste Li ud af forskning, som han og andre havde udført i at opfange en forestilling fra en person med kun et enkelt kamera og oversætte det til en digital karakter.

I første omgang lyder det ikke så nyt. Der er allerede en række ansigtssporingsløsninger under udvikling, både til mobilapps og langt mere sofistikerede systemer som Faceshift (købt af Apple i 2015). Men mange af disse er afhængige af dybdesensorer, som Li's teknologi ikke kræver. Denne tilgang, siger han, er meget anderledes.

"Hvis du har en dybdesensor, er alt hvad du behøver for at optimere parametrene for en ansigtsmodel, så modellen passer så tæt som muligt på 3D-indgangen," forklarer Li. "Men i tilfælde af en ren RGB-indgang projiceres hele verden på et todimensionalt billede uden kendte kameraparametre som brændvidder. Så en præcis 3D-ansigtsmodel skal udledes af dette projicerede billede og være i stand til at håndtere en bred vifte af lysforhold såvel som udseende af forskellige emner."

Derfor er betydningen af ​​Li's forskning på 3D-avatarer. Når man kortlægger et menneskes ansigt, har mange kortlægningsprogrammer problemer med at håndtere visuelle forhindringer som hår og briller. For at undgå dette problem byggede Pinscreen "et dybt konvolutionsnetværk, der kan lære at segmentere et ansigtsområde i et fuldt ubegrænset billede."

Så hvad er Pinscreen ved hjælp af denne skøre avancerede teknologi til, alligevel?

"Vi vil være en ny type sociale medier / kommunikationsplatform med nogle interessante AR-muligheder," siger Li. "Det kommer ikke til at være en app som Snapchat-objektiver eller MSQRD, som for de fleste mennesker kun er interessant i et par minutter."

Så det er ikke meget mere end buzzwords for nu. Men ser det dybere ud, tyder hans tidligere arbejde på, at de håber at udvikle evnen til at spore andres ansigt på trods af noget hår, briller eller andre genstande, som forhindrer visningen af ​​det enkelte kamera. Tilføj i nogle forstørrede virkelighed, og himlen er grænsen for film, sociale medier og spil.

Det lyder ret banebrydende, men det er vigtigt at bemærke, at Li og hans team ikke er de eneste der forsker på dette område. Disney præsenterede for nylig sin optagelse i real-time ansigtsoptræning, ligesom nogle andre forskere med et værktøj kaldet Face2Face. Theres også den førnævnte Faceshift, sammen med Facebook og Snapchat, der også er begyndt at demonstrere deres varer.

Så hvad gør Pinscreen's tech anderledes? Li foreslår, at hans virksomheds løsning er "meget mere robust og kan udlede mere præcise 3D-modeller, da vi eksplicit håndterer okklusioner."

"Vores vigtigste innovation er en teknologi, der gør det muligt for os at bygge en komplet 3D-hovedmodel, herunder hår fra ethvert billede automatisk," siger han. "Denne type opgave kræver traditionelt en dygtig CG modeler og rigger at producere, men vi kan generere dette helt automatisk. De seneste papirer præsenteret på SIGGRAPH (den førende computergrafik og interaktive teknikker) kræver også flere input-billeder som input - vi fokuserer på løsningen med det minimale inputkrav, et enkelt 2D-billede."

Selvfølgelig, indtil folk ser og bruger nogen app fra Pinscreen, vil juryen forblive ude om dens evner. Forskellen her er imidlertid, at Li helt sikkert har en solid historie om forskning og innovation bag ham, især i udformningen af ​​digitale avatarer.

Li er tydeligt sikker på Pinscreens muligheder i det sociale medierum. "Da vores teknologi vil demokratisere generationen af ​​3D-avatarer, vil den have indlysende applikationer i spil, VR / AR-applikationer til nedslående kommunikation eller AI-agenter," siger han, "men jeg tror, ​​at vi vil skabe den fedeste applikation os selv, hvilket er den sociale mediale platform, vi udvikler.

"Vigtigst," tilføjer han, "vi vil bygge noget, der gør det muligt for folk at skabe virkelig interessant indhold uden behov for dagens dyre VFX-rørledning og kan bruge rigtig sjovt AR-indhold til at forbinde med hinanden."

Det lyder som om Pinscreen vil omfatte det udvalg af teknologier Li og hans team har arbejdet på. Men, siger han, det er kun en del af planen. "Den tekniske demo er virkelig kun et træk ved det, vi planlægger at bruge," bemærker han. "Pinscreen vil være noget meget større, og teknologien vil være en interessant funktion i starten. Vi vil også være helt anderledes end andre sociale medier platform."

For nu er Pinscreen stadig lidt af et mysterium, og det ser ud til, at vi bare skal vente på at se, hvad de har i butikken.