Et år i, eksemplet "På denne dag" eksemplificerer hvordan A.I. Er ved at ændre Facebook

For et år siden i dag udgav Facebook sin "On This Day" -funktion. Inverse talte med Facebook's Computer Vision Research Lead Manohar Paluri om, hvordan kunstig intelligens, maskinindlæring og computersyn gør denne funktion mere meningsfuld - og hvordan disse områder af forskning og udvikling vil fortsætte med at forbedre Facebook-oplevelsen i de kommende år.

Selvom du ikke har brugt funktionen On This Day selv, har du set disse indlæg omkring dit nyhedsfeed. du har set en ven, der deler en begivenhed fra hans eller hendes Facebook-fortid. Kan ikke tro det har været tre år siden, at tryllekunstneren tog en kanin ud af en hat! parret med et foto af tryllekunstneren, der trækker kaninen ud af hatten. Noget beslægtet med det. Og i dag deler Facebook sin egen hukommelse. På denne dag for et år siden blev Facebook lanceret på denne dag. (Nu har denne dag mere end 60 millioner daglige besøgende, og 155 millioner abonnerer på sine meddelelser.)

Men for Facebook er denne hukommelse mindre sentimental end den er en milepæl. Facebook ruller konsekvent nye funktioner ud, og disse funktioner undersøges konsekvent og tweaked. Nogle gange er det mennesker, som Paluri og hans hold, der gør tweaking; andre gange er det A.I.s. De fleste gange er det dog symbiotisk. Facebook er som en cyborg, og denne cyborg har en raison d'être: at gøre din Facebook oplevelse som behageligt som muligt.

Computersynet, indholdsforståelsen og A.I. hold på Facebook kunne ses - hvis du vil - som cyborgs bundkort. Og Paluri, for at fortsætte metaforen, er en slags centralenhed til det pågældende bundkort. Paluri har arbejdet i computersyn i mere end et årti, og han er ikke en lille stegle: han startede på SRI, flyttede videre til IBM Watson labs, og derfra hoppede over til Google. Og nu er han i Menlo Park på Facebook. Da han sluttede sig, afviklede hans praktikopgave i visuel anerkendelse som "rygraden", siger han, af Facebooks image- og videoforståelsesteknologi. Og den visuelle genkendelsesmotor bliver mere og mere central til Facebook.

"Hvis du ser på brug af Facebook over tid - og dette er et eksempel, som Mark Zuckerberg også citerer ofte - du ser rigere og rigere medier, der deles, og folk bruger det til at forbinde," siger Paluri. "Du starter fra tekst, du går til fotos; fra billeder du går til videoer, og fra videoer vi nu kommer til VR. Da kommunikationsmediet bliver rigere og rigere, er det også vigtigt, at værktøjerne indhenter, at værktøjerne forstår, hvad dette indhold er. Medmindre vi har det, vil vi ikke være i stand til at gøre det bedre i nyhedsfeedrangeringen, vi vil ikke være i stand til at gøre det bedre ved hentning af søgning, vi vil ikke være i stand til at gøre det bedre ved at beskrive fotos til blinde, vi vil ikke være kunne opbygge bedre befolkningstæthedskort."

Indlæg af zuck.

Den relativt nye centralitet af kunstig intelligens, maskinindlæring og computersyn, siger Paluri, er lidt af en "strategisk indsats" - men et væddemål, der spænder ham. Intet andet sted, hvor han har arbejdet, har en så tæt feedback- og responsløkke mellem forskning og teknik. "Ved at centralisere det behandler vi den nyeste teknologi, vi skubber state-of-the-art, og så kan produktgrupper og resten af ​​virksomheden låses på det," siger han.

Nu styrer Paluri computer vision teamet. "Det store mål for holdet er at få maskiner til at se hvordan mennesker gør det," forklarer Paluri. "Og gå ud over, faktisk - gå ud over hvad mennesker er i stand til, for eksempel som finkornet anerkendelse, for eksempel. Vi offentliggør vores resultater i topkonferencer, vi skriver tekniske blogs, og vi er meget åbne om, hvad vi arbejder på. Samlet set er vores primære mål at bringe computersynteknologi til resten af ​​produktgrupperne på Facebook."

Og det førende produkt, der høster Palisis holdets høst, sker så lige som om på denne dag.

Bag det simplistiske, uskyldige slør, der er på denne dag ligger en kompleks A.I. og computer vision system, der finjusterer din mnemonic oplevelse. Paluri, som - igen - kun er tangentielt bundet til On This Day, forklarer, hvorfor genoplivning af sociale netværksminder kan være en god ting:

"Nostalgi er et meget positivt fænomen. Så hvis du f.eks. Ser dit bryllupsbillede på en improviseret måde - når du ikke specifikt søger efter det, men det bare viser sig på dit nyhedsfeed - er det en yderst behagelig oplevelse. Især når du surfer i nutid, og en positiv hukommelse kommer ud fra fortiden."

"Nostalgi er et meget positivt fænomen."

Alligevel er der utvivlsomt nostalgi, der falder mere på den bitre side af det bittersøde spektrum. "Det første der kommer til at tænke på," siger Paluri, "skal du overlade alle minderne? Det intuitive svar er nej, fordi det afhænger af din nuværende tilstand, det afhænger af den specifikke hukommelse; der er mange, mange iboende ting. Det er her A.I. teknologien kommer ind på billedet."

Og der er to måder, hvorpå A.I. kommer ind, her: en, personliggørelse; to indholdsforståelse.

Med hensyn til sidstnævnte indholdsforståelse: "Disse minder er tekstminder, livshændelser, fotos, du uploadede eller videoer, du uploadede. Så nu har du denne overflod af indhold, som er af forskelligartethed, og forståelse for hvad der er derinde, er yderst vigtigt for at kunne lære og give det rigtige sæt af minder."

Derudover - og ikke kun for On This Day - indholdsforståelse og disse A.I. systemer hjælper med at luge gennem den overvældende mængde information, der er på Facebook hver dag. (Tænk på det: Hvis Facebooks nyhedsfeed lignede det af Instagram, vil du se måske to procent af alle indlæg. I stedet er du tilfreds med indhold, som du sandsynligvis vil lide, eller indhold, som du vil bruge meget tid på.) Og det hjælper med at filtrere udkastet indhold, som pornografi, mere end de fleste andre websteder online.

"Selv om det er tab, det bringer dem en positiv hukommelse."

Og med hensyn til den tidligere uddyber Paluri: "For dig er det måske godt at se positive minner er gode, og du kan ikke lide noget negativt. Men for en anden, måske vil de blive mindet om, at de mistede deres kat på denne dag. Selv om det er et tab, giver det dem en positiv hukommelse. "Og på en måde har hver Facebook-bruger en meget personlig, bak-scenesprofil, der ved, hvad han eller hun vil eller ikke vil gerne mindes om. "Når du interagerer med minderne - som du deler, eller som du afviser - findes der en maskinindlæringsmodel, der bruger indholdsforståelsesmodulet sammen med dine præferencer og tilpasser de fremtidige minder, der vil blive serveret til dig.”

Men vær ikke bange: Facebook vil sikre dig, at du ikke er uhyrligt mindet om en breakup eller en slægtninges forbigående. "Uanset hvor god A.I. eller maskinindlæringsteknologien er, vil vi stadig give kontrol til brugeren, for i slutningen af ​​dagen er vores mål at genoprette minder, som de kan lide. "Brugerne får en overstyringsafbryder:" Hvis de ved det mellem disse datoer, en negativ ting skete - de brød op, eller noget - vi vil give dem fuld kontrol over at ikke opføre disse minder."

Inden for præferencerne for On This Day, så kan du sige Vis mig ikke minder med det samme fordi han er et foragteligt menneske eller … fra de sidste tre år som var elendige og på ingen måde bemærkelsesværdige.

Ser frem til, Paluri forklarer hvorfor han er begejstret for at fortsætte med at udvikle disse systemer og forbedre kvaliteten af ​​Facebooks bundkort.

Du har nævnt andre applikationer allerede til visions- og indholdsforståelsessystemer i Facebook. Er der noget andet der stadig er i værkerne - der anvender disse systemer - der spænder dig?

Alle disse evner på videoer er noget, der spænder mig, helt sikkert. Det eksisterer helt sikkert allerede; det er en løbende ting, fordi videoen er temmelig stor på Facebook. Men jeg tror på et eller andet niveau, at vi vil blive rigere og rigere på at forstå det. Den nuværende computersynteknologi er stadig ikke der med hensyn til at beskrive billeder som mennesker gør. Det kan måske fortælle dig, at dette billede har disse ting, at dette er pixel, der tilhører katten, og så videre - men det er begrænset. Det forstår stadig ikke forholdet mellem ting, og det beskriver det stadig ikke på en menneskelig måde.

Der er noget arbejde derude, der beskriver billeder - det kaldes billedtekst. Der er en masse værker, der kom ud i de sidste to år. Men hvis du ser på billedteksterne, som disse systemer genererer, er de meget generelle. De er ikke beskrivende. En af de ting, som vi gerne vil have, og som kommer i fremtiden fra vores side, er at beskrive dem på en meget rigere måde. Både til billeder og video. Hvis du har en to minutters video, har du ikke brug for en en sætningsbeskrivelse; hvad du vil have er et afsnit med tidssensor til beskrivelsen, ikke? "Dette skete, så skete det, så skete det," right? Det er en god forståelse.

Så, du søger at banke mig ud af mit job, siger du. Kort sagt.

Griner Nej, absolut ikke. Jeg gør dit arbejde mere interessant.

Føler du, at Facebook er et mærkeligt sted for denne forskning, der skal ske, eller er det et perfekt sted?

Jeg synes, det er et perfekt sted, fordi indholdsforståelse er i DNA fra Facebook. Hvis du ser på eksplosionen af ​​Facebook-brug, er News Feed en af ​​søjlerne, der tillod Facebook at være et fantastisk socialt netværk sammenlignet med mange andre konkurrenter. Nyhedsfeed er stadig den største distributionskanal.

Men når du kommer til nyhedsfeed, kommer du ikke med en bestemt hensigt. Du kommer der for information. Så det er lidt vigtigt for os at vise dig de rigtige ting for at vise dig meningsfulde ting. Hvis du skal til andre tjenester, kan du måske gå med en hensigt, og i så fald er alt det, du skal gøre, svaret. Her er det som om jeg giver dig spørgsmålet og Jeg giver dig svaret. Så, du skal være virkelig, virkelig god for nogen at holde tilbage.

Derfor er A.I. og indholdsforståelse er kernen i Facebook, og hvorfor dette er det bedste sted for det. I betragtning af hvor meget medier der er - givet hvor meget indhold på Facebook handler om billeder og videoer, og skiftet mod mere og mere video og VR - er det det bedste sted at lave A.I. forskning, computersyn og maskinindlæring.

Det er ikke et mærkeligt sted: det er det placere.