Отвътре Pinscreen's Secretive Augmented Reality и CGI

Разширената реалност и размяната на лица изглеждат горещи кандидати за следващите мобилни приложения; просто погледнете покупката на Facebook на MSQRD или придобиването на Snapchat от Looksery. Но един стартиращ АР, наречен Pinscreen, който в момента е подкрепен от 1,8 милиона долара от Lux Capital и Colopl VR Fund, се опитва да направи нещата по различен начин в тази област. обратен говори изключително за основателя на Pinscreen Хао Ли за това какво може да се очаква за тази тайна компания.

Може би не сте чували за Хао Ли, но вероятно сте видели научните изследвания на този USC асистент професор в действие в няколко филми. Докато работеше в студиото за визуални ефекти Industrial Light & Magic, Li помогна да се разработят някои инструменти, които дават възможност за улавяне на изпълнението в реално време. Идеята е актьорът да може да седи пред компютър с уеб камера, да излъчва сцена, а след това да се преведе - в реално време - на CG характер.

Ли е извършил обширни проучвания и в други области, включително изработването на 3D модели на реални хора в реално време и улавяне на важни части от тяхната подобие, особено лица и коса. Съвсем наскоро, Li показа изследвания, които той и други са извършили в заснемането на изпълнение от човек само с една камера и превеждането му на цифров характер.

Първоначално това не звучи толкова ново. Вече съществуват редица решения за проследяване на лица в развитието, както за мобилни приложения, така и за много по-сложни системи като Faceshift (закупени от Apple през 2015 г.). Но много от тях разчитат на сензори за дълбочина, които технологията на Li не изисква. Този подход, казва той, е много различен.

„Ако имате сензор за дълбочина, всичко, от което се нуждаете, е да оптимизирате параметрите на лицевия модел, така че моделът да пасва възможно най-близо до 3D входа“, обяснява Ли. „Но в случая на чист RGB вход, целият свят се проектира върху двуизмерно изображение без известни параметри на камерата като фокусни разстояния. Така че точният 3D модел на лицето трябва да бъде изведен от това прожектирано изображение и да може да се справя с широк спектър от условия на осветление, както и с изяви на различни обекти."

Оттук и значението на изследванията на Ли за 3D аватари. При картографирането на човешкото лице много програми за картографиране се сблъскват с проблеми, свързани с визуални препятствия като коса и очила. За да се избегне този проблем, Pinscreen „изгради дълбока неконвертуална невронна мрежа, която може да научи как да сегментира областта на лицето в напълно неограничен образ.“

И така, какво е Pinscreen, използвайки тази луда модерна технология?

"Ние ще бъдем нов тип социална медия / комуникационна платформа с някои интересни възможности за AR", казва Ли. "Това няма да бъде приложение като Snapchat обективи или MSQRD, което е за повечето хора интересно само за няколко минути."

Така че, това не е много повече от тези думи за сега. Но ако погледне по-дълбоко, предишната му работа предполага, че те се надяват да развият способността да проследяват лицето на някого въпреки косата, очилата или други предмети, които пречат на изгледа на единичната камера. Добавете в някои разширена реалност, а небето е ограничението за филми, социални медии и игри.

Това звучи доста новаторски, но е важно да се отбележи, че Ли и екипът му не са единствените, които изследват в тази област. Disney наскоро представи своето заснемане на ефекта в лицето в реално време, както и някои други изследователи с инструмент, наречен Face2Face. Тук се намира и споменатият Faceshift, заедно с Facebook и Snapchat, които също започнаха да демонстрират своите стоки.

И какво прави технологията на Pinscreen различна? Ли предполага, че решението на компанията му е "много по-стабилно и може да изведе по-точни 3D модели, тъй като изрично се справяме с оклузиите."

„Нашата най-важна иновация е технология, която ни позволява да изградим пълен 3D модел на главата, включително косата от всяко изображение автоматично“, заявява той. „Този ​​тип задачи традиционно изискват квалифициран модератор на CG и продуцент, но ние можем да го генерираме напълно автоматично. Последните доклади, представени на SIGGRAPH (водещата конференция за компютърна графика и интерактивни техники), също изискват множество входни изображения като вход - ние се фокусираме върху решението с минимално изискване за въвеждане, еднократно 2D изображение."

Разбира се, докато хората не видят и използват някое приложение от Pinscreen, журито ще остане извън възможностите си. Разликата тук обаче е, че Li със сигурност има солидна история на научните изследвания и иновациите зад него, особено в изработването на дигитални аватари.

Ли е сигурен в възможностите на Pinscreen в пространството на социалните медии. „Тъй като нашата технология ще демократизира генерирането на 3D аватари, тя ще има очевидни приложения в игрите, VR / AR приложенията за потапяне в комуникацията или агенти за изкуствен интелект”, казва той, „но аз мисля, че ние сами ще създадем най-готиното приложение, което е социалната медийна платформа, която развиваме.

"Най-важното е," добавя той, "искаме да изградим нещо, което позволява на хората да създават наистина интересно съдържание без нуждата от днешния скъп тръбопровод VFX и да използват наистина забавно AR съдържание, за да се свързват помежду си."

Звучи така, сякаш Pinscreen ще включва гамата от технологии, върху които Ли и екипът му работят. Но, казва той, това е само част от плана. „Технологичната демонстрация е само характеристика на това, което планираме да използваме“, отбелязва той. „Pinscreen ще бъде нещо много по-голямо и технологията ще бъде интересна в началото. Също така ще бъдем доста различни от другите платформи за социални медии. ”

Засега Pinscreen е все още малко загадка и изглежда, че просто ще трябва да изчакаме да видим какво имат в магазина.