Pinscreen의 Secretary Augmented Reality와 CGI 내부에서

증강 현실과 얼굴 교환은 다음 모바일 앱의 뜨거운 후보로 보인다. 페이스 북의 MSQRD 구입 또는 Snapchat의 Looksery 구입을 살펴보십시오. 그러나 현재 럭스 캐피털 (Lux Capital)과 콜롭 VR 펀드 (Colopl VR Fund)로부터 180 만 달러의 자금을 받고있는 핀시 스크린 (Pinscreen)이라는 한 AR 창업사는이 분야에서 일을 다르게하려고하고있다. 역 Pinscreen 설립자 인 Hao Li에게 독점적으로이 비밀스러운 회사가 앞으로있을 일에 대해 이야기했습니다.

하오 리 (Hao Li)에 대해 들어 보지 못했지만 USC 조교수의 여러 블록버스터 영화에서의 연구 결과를 보셨을 것입니다. 시각 효과 스튜디오 Industrial Light & Magic에서 근무하는 동안 Li는 실시간 성능 캡처를 가능하게하는 몇 가지 도구를 개발하는 데 도움을주었습니다. 그 아이디어는 배우가 웹 카메라로 컴퓨터 앞에 앉아서 장면을 연기 할 수 있었고 그 결과는 실시간으로 CG 캐릭터로 번역 될 수있었습니다.

리는 실시간으로 실제 인물의 3D 모델을 만들고, 얼굴, 머리카락 등의 중요한 부분을 캡처하는 등 다른 분야에 대한 광범위한 연구도 수행했습니다. 가장 최근에, Li는 그와 다른 사람들이 단지 하나의 카메라로 사람의 퍼포먼스를 캡처하고 그것을 디지털 캐릭터로 변환하는 연구를 보여주었습니다.

처음에는 이것이 그렇게 소설로 들리지 않습니다. Faceshift (2015 년 Apple에서 구입)와 같은 훨씬 정교한 시스템과 모바일 앱 모두를위한 개발에서 얼굴 추적 솔루션이 이미 많이 있습니다. 그러나 이들 대부분은 Li 센서의 기술이 필요로하지 않는 깊이 센서에 의존합니다. 그 접근법은 매우 다르다.

"깊이 센서가 있으면 얼굴 모델의 매개 변수를 최적화하여 모델이 3D 입력을 가능한 한 가깝게 맞출 수 있습니다."Li는 설명합니다. 그러나 순수한 RGB 입력의 경우 전 세계가 초점 거리와 같은 알려진 카메라 매개 변수없이 2 차원 이미지에 투영됩니다. 따라서 정확한 3D 얼굴 모델을이 투사 된 이미지에서 추론 할 필요가 있으며 다양한 피사체의 외양뿐만 아니라 다양한 조명 조건을 처리 할 수 ​​있어야합니다."

그러므로 Li의 3D 아바타 연구의 중요성. 인간의 얼굴을 매핑 할 때 많은 매핑 프로그램이 머리카락이나 안경과 같은 시각 장애물을 다루는데 어려움을 겪습니다. 이러한 문제점을 피하기 위해 Pinscreen은 "완전히 구속되지 않은 이미지에서 얼굴 영역을 분할하는 방법을 배울 수있는 깊은 길쌈 신경 네트워크를 구축했습니다."

어쨌든이 미친 고급 기술을 사용하는 Pinscreen은 무엇입니까?

"우리는 흥미로운 AR 기능을 갖춘 새로운 유형의 소셜 미디어 / 커뮤니케이션 플랫폼이 될 것입니다."라고 Li는 말합니다. "Snapchat 렌즈 나 MSQRD와 같은 응용 프로그램이 될 수는 없으므로 몇 분 동안 만 흥미로워집니다."

그래서 지금은 유행어가 아닙니다. 하지만, 그의 이전 연구 결과는 하나의 카메라의 시야를 방해하는 머리카락, 안경 또는 기타 물체에도 불구하고 누군가의 얼굴을 추적 할 수있는 능력을 개발하기를 희망한다고 제안했습니다. 증강 현실을 추가하면 하늘은 영화, 소셜 미디어 및 게임의 한계입니다.

다소 획기적으로 들리 겠지만, 리와 그의 팀이이 분야에서 연구하는 유일한 사람은 아니라는 사실에 주목하는 것이 중요합니다. Disney는 최근 Face2Face라는 도구를 사용하여 일부 다른 연구자와 마찬가지로 실시간 얼굴 성능 캡처에 대한 발표를했습니다. Theres는 페이스 샵과 Snapchat과 함께 앞서 언급 한 Faceshift도 선보였습니다.

그렇다면 Pinscreen의 기술은 무엇이 다른가요? Li는 그의 회사 솔루션이 "명백하게 폐색을 처리하기 때문에 훨씬 더 강력하고 더 정확한 3D 모델을 추론 할 수 있습니다"라고 제안합니다.

"우리의 가장 중요한 혁신은 모든 이미지의 머리카락을 포함하는 완벽한 3D 헤드 모델을 자동으로 구축 할 수있는 기술입니다."라고 그는 설명합니다. "이러한 유형의 작업은 전통적으로 숙련 된 CG 모델러와 제작자가 필요하지만 우리는 이것을 완전히 자동으로 생성 할 수 있습니다. SIGGRAPH (선도적 인 컴퓨터 그래픽 및 대화식 기술 컨퍼런스)에서 발표 된 최신 논문은 입력으로 다중 입력 이미지가 필요합니다. 최소한의 입력 요구 사항과 단일 2D 이미지로 솔루션에 중점을 둡니다."

물론, 사람들이 Pinscreen의 응용 프로그램을보고 사용할 때까지 배심원은 그 기능에 관해서 나갈 것입니다. 그러나 차이점은 리가 특히 디지털 아바타 제작에있어 그의 연구와 혁신에 대한 확고한 역사를 가지고 있다는 것입니다.

Li는 분명히 소셜 미디어 공간에서 Pinscreen의 가능성을 확신합니다. "우리의 기술이 3D 아바타 세대를 민주화 할 것이기 때문에 몰입 형 커뮤니케이션을위한 VR / AR 애플리케이션 또는 AI 에이전트가 게임에서 확실한 애플리케이션을 갖게 될 것입니다."하지만 우리는 우리가 가장 멋진 애플리케이션을 만들 것이라고 생각합니다. 우리가 개발중인 사회적 중기 플랫폼.

"가장 중요한 것은 비싼 VFX 파이프 라인을 필요로하지 않고 사람들이 정말 흥미로운 콘텐츠를 만들 수 있도록하고 재미있는 AR 콘텐츠를 사용하여 서로 연결할 수있는 무언가를 만들고 싶습니다."

그것은 마치 Pinscreen이 Li와 그의 팀이 작업해온 기술 범위를 포함하는 것처럼 들립니다. 그러나 그는 그것이 계획의 일부에 불과하다고 말한다. "기술 데모는 실제로 우리가 사용할 계획의 기능 일뿐입니다."라고 그는 말합니다. "핀 스크린은 훨씬 더 커질 것이며 기술은 처음부터 흥미로운 특징이 될 것입니다. 우리는 또한 다른 소셜 미디어 플랫폼과 상당히 다를 것입니다."

현재, Pinscreen은 여전히 ​​약간의 신비로, 매장에 무엇이 있는지 기다려야하는 것처럼 보입니다.