가상 현실(VR), 증강 현실(AR) 및/또는 혼합 현실(MR) 시스템들에서의 헤드 마운트 디스플레이들은 종종 사용자들에게 소리를 제공하는 스피커들 또는 개인용 오디오 디바이스들과 같은 기능들을 포함한다. 스피커들은 기본적으로 귀를 덮거나 귀 속에 놓여 사용자의 불편함을 야기하여 몰입을 방해하거나 주변의 큰일이 생기더라도 반응이 어려워 안전함에 문제가 생길 수 있다. 그뿐만 아니라, 개인마다 고유한 귀의 모양에 따라 디바이스의 디자인이 특정 사용자에게는 불편함을 초래할 수 있다.
도 1 귀를 막는 헤드 마운트 디스플레이 및 오디오 디바이스
따라서 페이스북에서는 본 발명을 통하여 귀를 열어두면서 소리를 전달하는 사용자 맞춤형 연골 전도 오디오 디바이스의 제작 방법을 제공한다. 디바이스의 각 변환기는 사용자의 귓등을 진동시켜 소리를 생성하고, 이는 사용자 귀의 연골을 진동시켜 수신된 오디오 콘텐츠에 대응하는 음파들을 생성한다.
도 2는 연골 전도 오디오 디바이스 제작 프로세스의 흐름도이며 도3은 예시적인 연골 전도 오디오 디바이스(200)이다. 먼저 제작과정은 사용자의 귀에 부합하는 가볍고 인체 공학적인 오디오 디바이스를 제공하기 위해, 제작 시스템은 사용자의 귀모양을 기술하는 3차원 데이터를 획득한다(110). 오디오 디바이스(200)는 디바이스 본체 (205), 하나 이상의 변환기(들)(210), 및 마이크로폰과 같은 음향 센서(215)로 구성되며 사용자의 귓볼(255)을 포함하는 귀(250) 둘레를 감싼다. 각각의 변환기(210)는 연골 진동을 통해 압력파를 생성하며, 이는 소리를 귀(250)의 외이도(260)로 전달하는 데 사용된다. 음질은 서로에 대해 그리고 또한 사용자의 귀 및 외이도(360)에 대한 각각의 변환기(210)로 부터의 힘의 위치, 포지션 및/또는 방향에 의해 영향을 받는다. 따라서, 외이도(260)로의 소리 전달을 최적화하기 위해, 일 실시예에서, 제작 시스템은 도 3에 도시된 바와 같이 외이도(260)의 입구에 대응하는 위치에 인접하게 음향 센서(215)를 위치시킨다(120). 이후, 음향 센서(215)로부터의 피드백을 사용하여, 시스템은 귀(250)의 외부 뒤쪽 부분을 따르는 하나 이상의 변환기들(210)에 대한 위치들을 선정한다(130). 각 위치 선정 과정에 있어서는 피드백에서 추출되는 성능 메트릭이 임계값을 만족시키도록 조정된다. 그리고, 시스템은 하나 이상의 변환기들(210) 각각에 대해 식별된 위치들과 함께 사용자의 귀(250)의 모양을 사용하여 연골 전도 오디오 디바이스(200)에 대한 디바이스 본체(205)를 생성하고(140), 시스템은 각각의 변환기(210)를 디바이스 본체(205)에 삽입함으로써 변환기(210)를 디바이스 본체(205) 내의 대응하는 위치들에 제공한다(150).
도 2 연골 전도 오디오 디바이스 제작 프로세스
도 3 연골 전도 디바이스
도 4는 일 실시예에 따른 아이웨어 디바이스(500)에 통합된 연골 전도 오디오 디바이스를 예시하는 예이다. 실시예에서, 아이웨어 디바이스(500)는 헤드-마운 트 디스플레이(HMD)로, 프레임(505), 렌즈(510), 변환기(410), 음향 센서(420), 및 제어기(430)로 구성된다. 아이웨어 디바이스(500)는 사용자의 시력을 교정 또는 향상시키고, 사용자의 눈을 보호하거나, 또는 사용자에게 이미지들을 제공할 수 있다. 프레임(505)은 렌즈(510)를 고정하는 전방부 및 사용자에게 부착되는 엔드 피스로 구성된다. 렌즈(510)는 아이웨어 디바이스(500)를 착용한 사용자에게 빛을 제공하거나 전달한다. 센서 디바이스(515)는 위치 센서 및 관성 측정 유닛을 포함하여 아이웨어 디바이스(500)의 초기 위치에 대한 아이웨어 디바이스(500)의 현재 위치를 추정한다. 오디오 디바이스는 도 3과 같이 변환기(410), 음향 센서(420), 및 제어기(430)로 구성되어 사용자의 귀 연골을 진동시켜 소리를 귀를 막지 않고 전달한다.
도 4 아이웨어 디바이스(500)에 통합된 연골 전도 오디오 디바이스
이러한 VR 기기의 몰입도 및 안정성을 향상시키는 기술의 개발은 VR 컨텐츠의 수요와 공급이 증가함에 따라 더 활발해질 것으로 기대된다. 특히 최근 페이스북은 이러한 컨텐츠의 일환으로 다양한 자전거, 홈트레이닝 등의 운동 강의를 온라인으로 제공하는 펠로톤에 주목하여 해당 구독 서비스에 VR 도입의 가능성을 제시하였다. 즉 게임을 넘어서는 다양한 매체들에 대한 수요는 VR 개발을 더 앞당길 것이라 해석된다.
특허법인ECM
변리사 김시우
swkim@ecmpatent.com
02-568-2670
가상 현실(VR), 증강 현실(AR) 및/또는 혼합 현실(MR) 시스템들에서의 헤드 마운트 디스플레이들은 종종 사용자들에게 소리를 제공하는 스피커들 또는 개인용 오디오 디바이스들과 같은 기능들을 포함한다. 스피커들은 기본적으로 귀를 덮거나 귀 속에 놓여 사용자의 불편함을 야기하여 몰입을 방해하거나 주변의 큰일이 생기더라도 반응이 어려워 안전함에 문제가 생길 수 있다. 그뿐만 아니라, 개인마다 고유한 귀의 모양에 따라 디바이스의 디자인이 특정 사용자에게는 불편함을 초래할 수 있다.
도 1 귀를 막는 헤드 마운트 디스플레이 및 오디오 디바이스
따라서 페이스북에서는 본 발명을 통하여 귀를 열어두면서 소리를 전달하는 사용자 맞춤형 연골 전도 오디오 디바이스의 제작 방법을 제공한다. 디바이스의 각 변환기는 사용자의 귓등을 진동시켜 소리를 생성하고, 이는 사용자 귀의 연골을 진동시켜 수신된 오디오 콘텐츠에 대응하는 음파들을 생성한다.
도 2는 연골 전도 오디오 디바이스 제작 프로세스의 흐름도이며 도3은 예시적인 연골 전도 오디오 디바이스(200)이다. 먼저 제작과정은 사용자의 귀에 부합하는 가볍고 인체 공학적인 오디오 디바이스를 제공하기 위해, 제작 시스템은 사용자의 귀모양을 기술하는 3차원 데이터를 획득한다(110). 오디오 디바이스(200)는 디바이스 본체 (205), 하나 이상의 변환기(들)(210), 및 마이크로폰과 같은 음향 센서(215)로 구성되며 사용자의 귓볼(255)을 포함하는 귀(250) 둘레를 감싼다. 각각의 변환기(210)는 연골 진동을 통해 압력파를 생성하며, 이는 소리를 귀(250)의 외이도(260)로 전달하는 데 사용된다. 음질은 서로에 대해 그리고 또한 사용자의 귀 및 외이도(360)에 대한 각각의 변환기(210)로 부터의 힘의 위치, 포지션 및/또는 방향에 의해 영향을 받는다. 따라서, 외이도(260)로의 소리 전달을 최적화하기 위해, 일 실시예에서, 제작 시스템은 도 3에 도시된 바와 같이 외이도(260)의 입구에 대응하는 위치에 인접하게 음향 센서(215)를 위치시킨다(120). 이후, 음향 센서(215)로부터의 피드백을 사용하여, 시스템은 귀(250)의 외부 뒤쪽 부분을 따르는 하나 이상의 변환기들(210)에 대한 위치들을 선정한다(130). 각 위치 선정 과정에 있어서는 피드백에서 추출되는 성능 메트릭이 임계값을 만족시키도록 조정된다. 그리고, 시스템은 하나 이상의 변환기들(210) 각각에 대해 식별된 위치들과 함께 사용자의 귀(250)의 모양을 사용하여 연골 전도 오디오 디바이스(200)에 대한 디바이스 본체(205)를 생성하고(140), 시스템은 각각의 변환기(210)를 디바이스 본체(205)에 삽입함으로써 변환기(210)를 디바이스 본체(205) 내의 대응하는 위치들에 제공한다(150).
도 2 연골 전도 오디오 디바이스 제작 프로세스
도 3 연골 전도 디바이스
도 4는 일 실시예에 따른 아이웨어 디바이스(500)에 통합된 연골 전도 오디오 디바이스를 예시하는 예이다. 실시예에서, 아이웨어 디바이스(500)는 헤드-마운 트 디스플레이(HMD)로, 프레임(505), 렌즈(510), 변환기(410), 음향 센서(420), 및 제어기(430)로 구성된다. 아이웨어 디바이스(500)는 사용자의 시력을 교정 또는 향상시키고, 사용자의 눈을 보호하거나, 또는 사용자에게 이미지들을 제공할 수 있다. 프레임(505)은 렌즈(510)를 고정하는 전방부 및 사용자에게 부착되는 엔드 피스로 구성된다. 렌즈(510)는 아이웨어 디바이스(500)를 착용한 사용자에게 빛을 제공하거나 전달한다. 센서 디바이스(515)는 위치 센서 및 관성 측정 유닛을 포함하여 아이웨어 디바이스(500)의 초기 위치에 대한 아이웨어 디바이스(500)의 현재 위치를 추정한다. 오디오 디바이스는 도 3과 같이 변환기(410), 음향 센서(420), 및 제어기(430)로 구성되어 사용자의 귀 연골을 진동시켜 소리를 귀를 막지 않고 전달한다.
도 4 아이웨어 디바이스(500)에 통합된 연골 전도 오디오 디바이스
이러한 VR 기기의 몰입도 및 안정성을 향상시키는 기술의 개발은 VR 컨텐츠의 수요와 공급이 증가함에 따라 더 활발해질 것으로 기대된다. 특히 최근 페이스북은 이러한 컨텐츠의 일환으로 다양한 자전거, 홈트레이닝 등의 운동 강의를 온라인으로 제공하는 펠로톤에 주목하여 해당 구독 서비스에 VR 도입의 가능성을 제시하였다. 즉 게임을 넘어서는 다양한 매체들에 대한 수요는 VR 개발을 더 앞당길 것이라 해석된다.
특허법인ECM
변리사 김시우
swkim@ecmpatent.com
02-568-2670