2020년 LG전자는 지하 1층에서 지상 3층까지 규모의 “LG 씽큐 홈”을 판교에 구축하였다. “LG 씽큐 홈”은 집 안에서 안전하고 편리한 삶을 누릴 수 있도록 다양한 홈 통합 솔루션을 제공한다 (그림 1). 이는 혁신적인 가전제품, IoT 공간 솔루션 및 차별화된 에너지 솔루션 등을 융합한 통합 솔루션이다. 이 솔루션은 (1) 효율적으로 에너지 사용, (2) 거주자가 일상의 가치에 집중할 수 있는 구조, (3) 에너지 절감 등의 장점을 가지고 있다. 또한, 홈 통합 솔루션은 집의 거주자들의 생활 패턴을 학습한다. 이 패턴 정보를 기반으로 에너지 발전, 저장 및 사용 등을 예측하여 상황에 맞춰 에너지를 효율적으로 사용한다. 이 솔루션은 조명 및 센서 등과 같은 다양한 홈 IoT 제품과 연계하여 제어할 수 있다. 또한, 집안 내 설치된 복합 센서가 측정하는 정보들 (온도, 습도, 조도 등)을 활용하여 환경을 조절할 수 있다. 본 특허는 홈 통합 솔루션의 가치를 조금 더 높일 수 있는 홈 모니터링 시스템에 대한 내용이다.
그림 1. LG 씽큐 홈의 내부 전경
그림 2는 홈 모니터링 시스템을 도시한 도면이다. 홈 모니터링 시스템은 복수의 홈 IoT 기기(110 내지 140), 복수의 카메라 (111 내지 151) 및 홈 IoT 서버 (100)으로 구성되어 있다. 복수의 홈 IoT 기기 (110 내지 140)는 내부 공간에 배치될 수 있다. 예를 들어, 복수의 홈 IoT 기기 (110 내지 140)는 평판 디스플레이 장치, 세탁기, 냉장고, 가스레인지, 전기레인지, 로봇 청소기, 스타일러, 전기밥솥, 보일러, 스마트폰 및 자동차 등을 포함하며, 모든 사물이 5G 네트워크에 연결될 수 있다. 복수의 카메라 (111 내지 151)는 내부 공간과 복수의 홈 IoT 기기 (110 내지 140)의 주변을 촬영한다. 제1 카메라 (111)는 제1 IoT 기기 (110)를 중심으로 주변 공간을 촬영한다. 제2 카메라 (121)는 제2 IoT 기기 (120)를 중심으로 주변 공간을 촬영한다. 제3 카메라 (131)는 제3 IoT 기기 (130)를 중심으로 주변 공간을 촬영한다. 제4 카메라 (141)는 제4 IoT 기기 (140)를 중심으로 주변 공간을 촬영한다. 제5 카메라 (151)는 내부 공간 중 위험 공간 (DA)을 촬영할 수 있다. 위험 공간 (DA)을 촬영하기 위해 제5 카메라 (151)는 사용자에 의해 설정된 위험 공간의 주변에 배치된다. 여기서 위험 공간은 창문, 베란다 등과 같은 공간일 수 있다.
그림 2. 홈 모니터링 시스템
그림 3은 홈 IoT 서버와 AI 장치가 연계된 시스템을 설명하기 위한 도면이다. 홈 IoT 서버 (100)는 AI 프로세싱이 필요한 데이터를 통신부를 통해 AI 장치 (20)로 전송할 수 있다. 딥 러닝 모델 (26)을 포함하는 AI 장치 (20)는 딥 러닝 모델 (26)을 이용한 AI 프로세싱 결과를 홈 IoT 서버 (100)로 전송할 수 있다.
홈 IoT 서버 (100)는 메모리 (140), 프로세서 (170), 전원 공급부 (190)를 포함할 수 있으며, 프로세서 (170)는 AI 프로세서 (261)를 갖추고 있다. 프로세서 (170)는 메인 제어부이다. 메모리 (140)는 프로세서 (170)와 전기적으로 연결된다. 메모리 (140)는 홈 IoT 기기에 대한 기본 데이터, 홈 IoT 기기의 동작 제어를 위한 제어 데이터, 입출력되는 데이터를 저장할 수 있다. 또한, 이 (140)는 프로세서 (170)에서 처리된 데이터를 저장할 수도 있다. 전원 공급부 (190)는 홈 IoT 서버 (100)에 전원을 공급한다. 통신부 (220)는 복수의 카메라로부터 내부 영상 또는 주변 영상을 전송 받고, 복수의 홈 IoT 기기에 제어 신호 또는 안전 신호를 전송하고, 등록된 사용자에게 경고 신호를 전송할 수 있다.
그림 3. 홈 IoT 서버와 AI 장치가 연계된 시스템
그림 4는 홈 모니터링 시스템의 순서도이다. 메인 제어부 (170)는 내부 영상을 기초하여 기설정된 범위에 포함된 사람이 움직이는 상황과 관련된 움직임 정보를 획득하고, 획득된 움직임 정보로부터 특징값을 추출한다 (단계 (S210)). 예를 들어, 메인 제어부 (170)는 적어도 하나의 센서 (감지 센서 등)로부터 움직임 정보를 수신한다. 단계 (S220)에서 메인 제어부 (170)는 특징값들을 위험 상황 또는 경고 상황을 판단하도록 트레이닝 된 인공 신경망 (ANN) 분류기에 입력되어 제어할 수 있다. 여기서 인공 신경망 (ANN) 분류기는 경고 가능 상황 판단 분류 모델이다. 메인 제어부 (170)는 단계 (S230)에서 인공 신경망의 출력값을 분석하고, 인공 신경망 출력값에 기초하여 경고 상황 또는 위험 상황인지 여부를 판단한다 (그림 5). 마지막으로 메인 제어부 (170)는 판단 결과에 기반하여 안전 신호 또는 경고 신호를 생성한다 (단계 (S240)).
그림 4. 홈 모니터링 시스템의 순서도
그림 5. 홈 모니터링 시스템의 다양한 예
LG전자는 “씽큐 홈”을 글로벌 거래처에게 혁신적인 LG의 제품과 홈 통합 솔루션을 선보일 장소로 활용할 예정이다. 미래의 집을 구현할 정도의 제품과 솔루션이 사람들의 삶에 얼마나 잘 스며들지 지켜봐야 할 대목이다.
특허법인ECM
변리사 김시우
swkim@ecmpatent.com
02-568-2670
2020년 LG전자는 지하 1층에서 지상 3층까지 규모의 “LG 씽큐 홈”을 판교에 구축하였다. “LG 씽큐 홈”은 집 안에서 안전하고 편리한 삶을 누릴 수 있도록 다양한 홈 통합 솔루션을 제공한다 (그림 1). 이는 혁신적인 가전제품, IoT 공간 솔루션 및 차별화된 에너지 솔루션 등을 융합한 통합 솔루션이다. 이 솔루션은 (1) 효율적으로 에너지 사용, (2) 거주자가 일상의 가치에 집중할 수 있는 구조, (3) 에너지 절감 등의 장점을 가지고 있다. 또한, 홈 통합 솔루션은 집의 거주자들의 생활 패턴을 학습한다. 이 패턴 정보를 기반으로 에너지 발전, 저장 및 사용 등을 예측하여 상황에 맞춰 에너지를 효율적으로 사용한다. 이 솔루션은 조명 및 센서 등과 같은 다양한 홈 IoT 제품과 연계하여 제어할 수 있다. 또한, 집안 내 설치된 복합 센서가 측정하는 정보들 (온도, 습도, 조도 등)을 활용하여 환경을 조절할 수 있다. 본 특허는 홈 통합 솔루션의 가치를 조금 더 높일 수 있는 홈 모니터링 시스템에 대한 내용이다.
그림 1. LG 씽큐 홈의 내부 전경
그림 2는 홈 모니터링 시스템을 도시한 도면이다. 홈 모니터링 시스템은 복수의 홈 IoT 기기(110 내지 140), 복수의 카메라 (111 내지 151) 및 홈 IoT 서버 (100)으로 구성되어 있다. 복수의 홈 IoT 기기 (110 내지 140)는 내부 공간에 배치될 수 있다. 예를 들어, 복수의 홈 IoT 기기 (110 내지 140)는 평판 디스플레이 장치, 세탁기, 냉장고, 가스레인지, 전기레인지, 로봇 청소기, 스타일러, 전기밥솥, 보일러, 스마트폰 및 자동차 등을 포함하며, 모든 사물이 5G 네트워크에 연결될 수 있다. 복수의 카메라 (111 내지 151)는 내부 공간과 복수의 홈 IoT 기기 (110 내지 140)의 주변을 촬영한다. 제1 카메라 (111)는 제1 IoT 기기 (110)를 중심으로 주변 공간을 촬영한다. 제2 카메라 (121)는 제2 IoT 기기 (120)를 중심으로 주변 공간을 촬영한다. 제3 카메라 (131)는 제3 IoT 기기 (130)를 중심으로 주변 공간을 촬영한다. 제4 카메라 (141)는 제4 IoT 기기 (140)를 중심으로 주변 공간을 촬영한다. 제5 카메라 (151)는 내부 공간 중 위험 공간 (DA)을 촬영할 수 있다. 위험 공간 (DA)을 촬영하기 위해 제5 카메라 (151)는 사용자에 의해 설정된 위험 공간의 주변에 배치된다. 여기서 위험 공간은 창문, 베란다 등과 같은 공간일 수 있다.
그림 2. 홈 모니터링 시스템
그림 3은 홈 IoT 서버와 AI 장치가 연계된 시스템을 설명하기 위한 도면이다. 홈 IoT 서버 (100)는 AI 프로세싱이 필요한 데이터를 통신부를 통해 AI 장치 (20)로 전송할 수 있다. 딥 러닝 모델 (26)을 포함하는 AI 장치 (20)는 딥 러닝 모델 (26)을 이용한 AI 프로세싱 결과를 홈 IoT 서버 (100)로 전송할 수 있다.
홈 IoT 서버 (100)는 메모리 (140), 프로세서 (170), 전원 공급부 (190)를 포함할 수 있으며, 프로세서 (170)는 AI 프로세서 (261)를 갖추고 있다. 프로세서 (170)는 메인 제어부이다. 메모리 (140)는 프로세서 (170)와 전기적으로 연결된다. 메모리 (140)는 홈 IoT 기기에 대한 기본 데이터, 홈 IoT 기기의 동작 제어를 위한 제어 데이터, 입출력되는 데이터를 저장할 수 있다. 또한, 이 (140)는 프로세서 (170)에서 처리된 데이터를 저장할 수도 있다. 전원 공급부 (190)는 홈 IoT 서버 (100)에 전원을 공급한다. 통신부 (220)는 복수의 카메라로부터 내부 영상 또는 주변 영상을 전송 받고, 복수의 홈 IoT 기기에 제어 신호 또는 안전 신호를 전송하고, 등록된 사용자에게 경고 신호를 전송할 수 있다.
그림 3. 홈 IoT 서버와 AI 장치가 연계된 시스템
그림 4는 홈 모니터링 시스템의 순서도이다. 메인 제어부 (170)는 내부 영상을 기초하여 기설정된 범위에 포함된 사람이 움직이는 상황과 관련된 움직임 정보를 획득하고, 획득된 움직임 정보로부터 특징값을 추출한다 (단계 (S210)). 예를 들어, 메인 제어부 (170)는 적어도 하나의 센서 (감지 센서 등)로부터 움직임 정보를 수신한다. 단계 (S220)에서 메인 제어부 (170)는 특징값들을 위험 상황 또는 경고 상황을 판단하도록 트레이닝 된 인공 신경망 (ANN) 분류기에 입력되어 제어할 수 있다. 여기서 인공 신경망 (ANN) 분류기는 경고 가능 상황 판단 분류 모델이다. 메인 제어부 (170)는 단계 (S230)에서 인공 신경망의 출력값을 분석하고, 인공 신경망 출력값에 기초하여 경고 상황 또는 위험 상황인지 여부를 판단한다 (그림 5). 마지막으로 메인 제어부 (170)는 판단 결과에 기반하여 안전 신호 또는 경고 신호를 생성한다 (단계 (S240)).
그림 4. 홈 모니터링 시스템의 순서도
그림 5. 홈 모니터링 시스템의 다양한 예
LG전자는 “씽큐 홈”을 글로벌 거래처에게 혁신적인 LG의 제품과 홈 통합 솔루션을 선보일 장소로 활용할 예정이다. 미래의 집을 구현할 정도의 제품과 솔루션이 사람들의 삶에 얼마나 잘 스며들지 지켜봐야 할 대목이다.
특허법인ECM
변리사 김시우
swkim@ecmpatent.com
02-568-2670