Ny teknologi kan bytte ansigtsudtryk i realtid

$config[ads_kvadrat] not found

Culture in Decline | Episode #3 "C.V.D." by Peter Joseph

Culture in Decline | Episode #3 "C.V.D." by Peter Joseph
Anonim

Husk at Bizarro World "Myidol" app, der blev viral i foråret på grund af dets evne til at bruge ansigtsgenkendelse software til at lave en digital avatar, der ser ud og bevæger sig Nemlig mest som du gør? Det er ved at blive en realitet … slags.

Forskere ved Stanford har fundet ud af, hvordan man overfører en persons ansigtsudtryk til en anden persons realtid via video.

Modellen vist i Stanfords demonstrationsvideo bruger kun en forbruger-grade pc og dybdekamera for hver skuespiller - hvilket betyder at du ikke nødvendigvis har brug for fancy udstyr til at udføre denne tromp l'oeil, du behøver bare nogle komplekse algoritmer.

Forskerne udviklede en ny realtidsalgoritme, der tager højkvalitetsbilleder af hver deltagers ansigter og bruger dem til at transponere udtrykkene fra en "source actor" (den person, der giver ansigtsudtryk og / eller tale) til en "målskuespiller" (den person, hvis ansigt vil blive manipuleret alt efter hvad kildeskuespilleren gør). Kildeskuespillerens visuelle information går gennem programmet og bliver gengivet oven på målskuespillerens videostrøm, så det ser ud som om målskuespilleren smiler, snakker, stikker sin tunge ud eller hvad der kommer til at tænke på.

Takket være en række referencepunkter, der kortlægges rundt om ansigtet (ligner Myidol-appen), omfatter de typer af visuelle oplysninger, der måles af systemet, ansigtsform og egenskaber (som dine øjne, næse, mund og lige rynker) såvel som facial tekstur og dybde. Programmet matcher derefter kildeskuespillerens referencepunkter til målskuespilleren og overlejrer disse udtryk til målet for et hyperrealistisk videoføde.

Da dette system stadig er i værkerne (og der blev brugt et ret rudimentært udstyr) er slutresultatet stadig lidt uhyggeligt - ligesom de semi-forstyrrende faux tænder programmet overlejret inde i målets mund, så der ikke er et gabende sort hul, når det er " åben "(se ovenfor) … såvel som den slags blanke look i målets øjne. Men det er små fries i forhold til hvilke seje ting, udviklingen af ​​dette program betyder for os.

Her er et par ideer til, hvad vi kunne bruge denne teknologi til:

  • Du har en vigtig jobsamtale på Skype, og du er ikke klædt på succes. Brug bare en fancy udseende, mens du giver ansigtsudtryk og killer interviews svar.
  • Du ser et live-streamet foredrag fra en topprofessor i Tyskland - det eneste problem er, at du ikke taler tysk. Ingen bekymringer, takket være en real-time oversætter ved hjælp af denne software, kan du se prof'en aflevere sin tale på dit modersmål uden nogen forfærdelig overspilning i visuelle billeder.

Se ekspressionsbyttet i aktion:

$config[ads_kvadrat] not found