인공 현실 시스템에서의 사용자의 동작에 맞추어 인공 현실과의 상호작용을 이루기 위해서는 다양한 인공 현실 헤드셋 내의 센서들이 활용된다. 그 중, 센서에 부착된 카메라를 이용할 경우, 캡처된 이미지를 인식하여 3차원상 위치를 추론하고, 이를 렌더링 하는 과정이 오래 걸려 이미지 프로세싱의 지연 시간이 상대적으로 길게되어 즉각적인 실시간 피드백에 한계가 존재한다.
도 1 오큘러스 퀘스트 2
따라서 페이스북은 본 발명을 통하여 인공 현실 시스템과의 상호작용을 지원하는 가상현실 기기는 핸드-헬드 컨트롤러를 포함시켜 카메라를 통한 정보 인식이 아닌 패스 스루 시각 정보의 형태로 사용자의 신체 일부를 시각화 및 동기화한다. 이를 통해 신체의 현재 포지션 및 지향 방향이 실시간으로 동기화되어 지연 시간이 낮은 빠른 렌더링을 가능하게 한다.
도 2는 가상 환경을 렌더링하기 위한 예시적인 모듈을 도시한다. 프리프로세서(202)는 인공 현실 헤드셋의 외부를 향한 카메라들에 의해 입체적으로 캡처된 좌측 및 우측 이미지들을 수신할 수 있으며, 이러한 이미지들은 콘트라스트를 증가시키기 위해 전처리된다. 전처리된 이미지들은 하나 이상의 선, 모서리, 꼭지점 등의 피처(feature)들을 식별하기 위해 피처 추출기(204)에 의해 분석되고, 지오메트리 모델러(206)는 식별된 피처들에 기초하여 외부 환경을 나타내는 피처 지오메트리(feature geometry)를 생성한다. 깊이 추정기(208)는 피처 지오메트리를 향상시키고 기하학적 재구성을 생성하기 위해 깊이 정보를 보간 또는 외삽한다. 위치 추적기 모듈(210)은 사용자가 보유한 컨트롤러의 포지션 및 지향 방향을 실시간으로 추적하는 것에 기초하여 정의된 로케이터들의 포지션 및 지향 방향을 실시간으로 추적하도록 구성된다. 추정한 위치 및 방향은 변환 모듈(212)에서 시간 t에 해당하는 위치 및 방향으로 결정되며 변형 모듈(214)은 사용자의 신체 부분에 대응하는 영역의 가상 환경을 현재 시간에 각각의 로케이터에 기초한 포지션 및 지향 방향으로 변형하도록 한다.
도 2 가상 환경을 렌더링하기 위한 예시적인 모듈
도 3은 깊이 추정기(208)에서 3차원상에서 손(302), 손목(304) 및 다수의 정점들(402)의 3차원 정점들을 근사화한 삼각형 메쉬를 나타낸다. 메쉬는 해당 정점들과 정점들을 이은 폴리 리안들(404)로 구성되어 사용자의 손과 손목 주변 영역의 기하학적 구조에 가까운 표면을 형성한다. 사용자 손의 위치, 방향 이동에 따른 외부 환경의 기하학적 구조 변화는 하나 이상의 로케이터들(302 또는 304)과 연관된 하나 이상의 정점들(402)의 포지션 또는 지향 방향을 수정으로 연관된다.
도 3 예시적인 삼각형 메쉬
도 4는 해당 삼각형 메쉬의 변형을 나타낸다. 로케이터들의 포지션 및 지향 방향은 임의의 주어진 시간 t에서 컨트롤러 및 변환 모듈의 추적을 통해 알려지게 된다. 변형 모듈은 임의의 이전 시간 t1에서 로케이터들의 저장된 포지션 및 지향 방향에 대해 변환 모듈에 질의하며 현재 시간 t에서의 로케이터들의 포지션 및 지향 방향과 이전 시간 t1에서의 로케이터들의 포지션 및 지향 방향에 기초하는 변위 벡터(506)를 계산한다. 이후, 변형 모듈은 현재 시간 t에서 신체 부분의 포지션과 함께 외부 환경에 대응하는 삼각형 메쉬(504)를 결정하기 위해 이전 시간 t1에 대응하는 삼각형 메쉬(502)를 수정하는 변환 함수를 계산 및 메쉬를 수정한다.
도 4예시적인 삼각형 메쉬의 변형
도 5는 가상 환경을 렌더링할 때 지연 시간 보상을 위한 예시적인 방법을 도시한다. 먼저 제 1 시간에는 사용자의 신체 부분을 포함하는 이미지 데이터가 수신되며(610), 신체 부분과 연관된 모션 센서에 의해 제 1 시간에 행해진 측정들로부터 제 1 추적 데이터를 수신한다(520). 이후, 해당 이미지 데이터에 기초하여 신체부분과 연관된 메쉬 형태의 모델 표현이 생성되며(630) 변환 모듈의 추적을 통해 제 2 추적 데이터가 수신(640), 변형 모듈에서 메쉬 모델 표현의 변형이 결정된다(650). 변형 모듈에서 계산된 변환 함수는 렌더링되는 입체 이미지에 적용되어 디스플레이 된다(660).
도 5 가상 환경을 렌더링할 때 지연 시간 보상을 위한 예시적인 방법
최근 페이스북 창업자 마크 저커버그는 가상현실 기술을 적용한 인피니트 오피스를 통해 5년 안에 페이스북을 가상공간 기업으로 바꾸겠다는 비전을 제시하였다. 증강현실 및 가상현실 등 다양한 인공 현실에서의 자유로운 활동을 위해서 본 발명과 같은 기술들이 계속해서 개발될 것으로 기대된다.
특허법인ECM
변리사 김시우
swkim@ecmpatent.com
02-568-2670
인공 현실 시스템에서의 사용자의 동작에 맞추어 인공 현실과의 상호작용을 이루기 위해서는 다양한 인공 현실 헤드셋 내의 센서들이 활용된다. 그 중, 센서에 부착된 카메라를 이용할 경우, 캡처된 이미지를 인식하여 3차원상 위치를 추론하고, 이를 렌더링 하는 과정이 오래 걸려 이미지 프로세싱의 지연 시간이 상대적으로 길게되어 즉각적인 실시간 피드백에 한계가 존재한다.
도 1 오큘러스 퀘스트 2
따라서 페이스북은 본 발명을 통하여 인공 현실 시스템과의 상호작용을 지원하는 가상현실 기기는 핸드-헬드 컨트롤러를 포함시켜 카메라를 통한 정보 인식이 아닌 패스 스루 시각 정보의 형태로 사용자의 신체 일부를 시각화 및 동기화한다. 이를 통해 신체의 현재 포지션 및 지향 방향이 실시간으로 동기화되어 지연 시간이 낮은 빠른 렌더링을 가능하게 한다.
도 2는 가상 환경을 렌더링하기 위한 예시적인 모듈을 도시한다. 프리프로세서(202)는 인공 현실 헤드셋의 외부를 향한 카메라들에 의해 입체적으로 캡처된 좌측 및 우측 이미지들을 수신할 수 있으며, 이러한 이미지들은 콘트라스트를 증가시키기 위해 전처리된다. 전처리된 이미지들은 하나 이상의 선, 모서리, 꼭지점 등의 피처(feature)들을 식별하기 위해 피처 추출기(204)에 의해 분석되고, 지오메트리 모델러(206)는 식별된 피처들에 기초하여 외부 환경을 나타내는 피처 지오메트리(feature geometry)를 생성한다. 깊이 추정기(208)는 피처 지오메트리를 향상시키고 기하학적 재구성을 생성하기 위해 깊이 정보를 보간 또는 외삽한다. 위치 추적기 모듈(210)은 사용자가 보유한 컨트롤러의 포지션 및 지향 방향을 실시간으로 추적하는 것에 기초하여 정의된 로케이터들의 포지션 및 지향 방향을 실시간으로 추적하도록 구성된다. 추정한 위치 및 방향은 변환 모듈(212)에서 시간 t에 해당하는 위치 및 방향으로 결정되며 변형 모듈(214)은 사용자의 신체 부분에 대응하는 영역의 가상 환경을 현재 시간에 각각의 로케이터에 기초한 포지션 및 지향 방향으로 변형하도록 한다.
도 2 가상 환경을 렌더링하기 위한 예시적인 모듈
도 3은 깊이 추정기(208)에서 3차원상에서 손(302), 손목(304) 및 다수의 정점들(402)의 3차원 정점들을 근사화한 삼각형 메쉬를 나타낸다. 메쉬는 해당 정점들과 정점들을 이은 폴리 리안들(404)로 구성되어 사용자의 손과 손목 주변 영역의 기하학적 구조에 가까운 표면을 형성한다. 사용자 손의 위치, 방향 이동에 따른 외부 환경의 기하학적 구조 변화는 하나 이상의 로케이터들(302 또는 304)과 연관된 하나 이상의 정점들(402)의 포지션 또는 지향 방향을 수정으로 연관된다.
도 3 예시적인 삼각형 메쉬
도 4는 해당 삼각형 메쉬의 변형을 나타낸다. 로케이터들의 포지션 및 지향 방향은 임의의 주어진 시간 t에서 컨트롤러 및 변환 모듈의 추적을 통해 알려지게 된다. 변형 모듈은 임의의 이전 시간 t1에서 로케이터들의 저장된 포지션 및 지향 방향에 대해 변환 모듈에 질의하며 현재 시간 t에서의 로케이터들의 포지션 및 지향 방향과 이전 시간 t1에서의 로케이터들의 포지션 및 지향 방향에 기초하는 변위 벡터(506)를 계산한다. 이후, 변형 모듈은 현재 시간 t에서 신체 부분의 포지션과 함께 외부 환경에 대응하는 삼각형 메쉬(504)를 결정하기 위해 이전 시간 t1에 대응하는 삼각형 메쉬(502)를 수정하는 변환 함수를 계산 및 메쉬를 수정한다.
도 4예시적인 삼각형 메쉬의 변형
도 5는 가상 환경을 렌더링할 때 지연 시간 보상을 위한 예시적인 방법을 도시한다. 먼저 제 1 시간에는 사용자의 신체 부분을 포함하는 이미지 데이터가 수신되며(610), 신체 부분과 연관된 모션 센서에 의해 제 1 시간에 행해진 측정들로부터 제 1 추적 데이터를 수신한다(520). 이후, 해당 이미지 데이터에 기초하여 신체부분과 연관된 메쉬 형태의 모델 표현이 생성되며(630) 변환 모듈의 추적을 통해 제 2 추적 데이터가 수신(640), 변형 모듈에서 메쉬 모델 표현의 변형이 결정된다(650). 변형 모듈에서 계산된 변환 함수는 렌더링되는 입체 이미지에 적용되어 디스플레이 된다(660).
도 5 가상 환경을 렌더링할 때 지연 시간 보상을 위한 예시적인 방법
최근 페이스북 창업자 마크 저커버그는 가상현실 기술을 적용한 인피니트 오피스를 통해 5년 안에 페이스북을 가상공간 기업으로 바꾸겠다는 비전을 제시하였다. 증강현실 및 가상현실 등 다양한 인공 현실에서의 자유로운 활동을 위해서 본 발명과 같은 기술들이 계속해서 개발될 것으로 기대된다.
특허법인ECM
변리사 김시우
swkim@ecmpatent.com
02-568-2670