일반적인 기계 학습 애플리케이션에서, 데이터는 훈련 데이터를 얻기 위해 사용되는 캡처 장비의 특성에 모델을 과적합하는 것을 방지하기 위해 다양한 방식으로 증가될 수 있다. 예를 들어 동일한 객체에 대해서 다양한 스케일, 다양한 초점 거리, 다양한 렌즈 유형, 다양한 전처리 또는 후처리, 다양한 소프트웨어 환경, 센서 어레이 하드웨어 등과 같은 다양한 센서 특성에 의해 캡처된 이미지를 학습시키면 훈련된 모델의 견고성을 높일 수 있다.
도 1 자율주행 자동차
테슬라는 본 발명을 통해 자율주행 자동차의 이미지 식별을 위해서 사용되는 증강 데이터 기법을 제시하고자 한다. 해당 실시예는 하나 이상의 이미지 수집 시스템에 부착된 동안 캡처된 이미지 세트를 식별하는 단계, 각 이미지에 대한 훈련 출력을 식별하는 단계, 각 이미지의 카메라 속성을 유지하는 이미지 조작 함수으로 이미지를 수정하여 증강 이미지 세트를 생성하는 단계, 증강 훈련 이미지를 이미지의 훈련 출력과 연관시키는 단계를 수행함으로써, 증강 이미지 세트에 대한 증강 이미지를 생성하는 단계, 이미지 및 증강 이미지 세트를 포함하는 이미지 훈련 세트에 기초하여 예측 컴퓨터 모델을 훈련하는 단계로 구성된다.
도 2는 실시예에 따른 컴퓨터 모델 훈련 및 배치를 위한 환경이다. 이미지 수집 시스템(140)은 모델 애플리케이션 시스템에 의해 배치되고 사용될 수 있는 컴퓨터 모델을 훈련할 때 모델 훈련 시스템(130)에 의해 사용될 수 있는 이미지를 캡처한다. 이러한 시스템은 이러한 장치가 통신하는 다양한 무선 또는 유선 통신 링크를 나타내는 인터넷과 같은 네트워크(120)를 통해 연결된다. 모델 애플리케이션 시스템(110)은 이미지 수집 시스템과 동일하거나 실질적으로 동일한 센서 특성을 갖는 센서 세트를 갖는 시스템이며 모델 적용 후, 모델 애플리케이션 시스템(110)은 모델의 출력을 다양한 목적으로 사용할 수 있다.
도 2 실시예에 따른 컴퓨터 모델 훈련 및 배치를 위한 환경의 블록도
도 3은 실시예에 따른 모델 훈련 시스템(130)의 구성 요소를 도시한다. 모델 교육 시스템은 컴퓨터 모델 교육을 위한 다양한 모듈과 데이터 저장소로 구성된다. 데이터 입력 모듈(310)은 이미지 수집 시스템(140)으로부터 이미지를 수신하여 데이터 저장소(350)에 저장한다. 라벨링 모듈(320)은 이미지 데이터(350) 내의 이미지에 라벨을 식별하거나 적용한다. 이미지 증강 모듈(330)은 이미지 수집 시스템(140)에 의해 캡처된 이미지에 기초하여 추가 이미지를 생성한다. 모델 훈련 모듈(340)은 이미지 수집 시스템(140)에 의해 캡처된 이미지 및 이미지 증강 모듈(330)에 의해 생성된 증강 이미지에 기초하여 컴퓨터 모델을 훈련한다. 훈련 후, 모델 분배 모듈(380)은 훈련된 모델을 시스템에 분배하여 훈련된 모델을 적용시킨다.
도 3 실시예에 따른 모델 훈련 시스템의 구성 요소의 블록도
도 4는 실시예에 따른 라벨링 된 훈련 이미지(400)에 기초한 증강 이미지의 예시적인 생성을 도시한다. 훈련 이미지(410)는 라벨링 된 훈련 이미지(400)의 라벨링 된 데이터에 대응하는 연관된 훈련 출력(420A)을 갖는, 증강되지 않은 훈련 이미지(410A) 및 이미지 조작 함수를 적용하여 생성된 증강 이미지(410B, 410C)와 연관되는 훈련 출력(420B, 420C)으로 구성된다. 이미지 조작함수는 카메라의 물리적 캡처 특성 또는 카메라의 위치에 영향을 받을 수 있는 환경 뷰의 배율, 원근, 방향 및 기타 특성을 유지하여 캡처하는 카메라의 속성을 유지하면서 이미지를 조작한다. 그 예로는 자르기, 색도, 채도, 색상 조절, 흑백 노이즈 도입, 흐림 및 도메인 이전 등이 있다.
다양한 실시예에서, 자르기는 다양한 파라미터 및 구성으로 적용될 수 있으며, 이는 훈련 이미지 및 이미지에서 훈련 출력의 위치에 따라 달라질 수 있다. 예를 들어, 자르기 함수는 유사한 크기의 여러 자르기를 적용하거나 범위 내에서 서로 다른 반 무작위 크기의 여러 자르기를 적용할 수 있다. 여러 자르기를 사용하고 크기를 변경함으로써, 자르기는 객체 뷰에 대한 다양한 크기의 실제 장애물의 효과를 보다 밀접하게 시뮬레이션 할 수 있고 훈련된 모델이 특정 크기의 자르기를 보상하는 방법을 배우는 것을 방지할 수 있다. 자르기 영역에 대한 대체 이미지 데이터는 단색이거나 가우스 노이즈와 같은 일정 패턴이거나, 폐쇄 또는 다른 장애물을 나타내기 위해, 동일한 이미지 유형 또는 라벨을 갖는 다른 이미지의 이미지 데이터 패치일 수 있다. 또한 자르기가 이루어진 경계는 주변 영역과 포아송 블렌딩과 같은 블렌딩을 통해 대체 데이터를 환경과 구별하기 더 어렵게 하여 실제 장애물과 더 유사한 예를 제공할 수 있다.
도 4 실시예에 따른 라벨링 된 훈련 이미지에 기초하여 증강 이미지를 생성하는 예를 보여주는 데이터 흐름도
이러한 테슬라의 증강 데이터 기반 기계학습은 더욱 다양한 상황에서도 자율주행 자동차가 완고하게 기능을 수행할 수 있도록 한다. 각국에서 자율주행 자동차의 실시 단계를 높여가고 있는 오늘날, 더욱 견고하고 돌발적인 상황에 안전하게 대응할 수 있도록 하는 안전시스템 및 안전한 학습 모델이 필요한 시점이다.
특허법인ECM
변리사 김시우
swkim@ecmpatent.com
02-568-2670
일반적인 기계 학습 애플리케이션에서, 데이터는 훈련 데이터를 얻기 위해 사용되는 캡처 장비의 특성에 모델을 과적합하는 것을 방지하기 위해 다양한 방식으로 증가될 수 있다. 예를 들어 동일한 객체에 대해서 다양한 스케일, 다양한 초점 거리, 다양한 렌즈 유형, 다양한 전처리 또는 후처리, 다양한 소프트웨어 환경, 센서 어레이 하드웨어 등과 같은 다양한 센서 특성에 의해 캡처된 이미지를 학습시키면 훈련된 모델의 견고성을 높일 수 있다.
도 1 자율주행 자동차
테슬라는 본 발명을 통해 자율주행 자동차의 이미지 식별을 위해서 사용되는 증강 데이터 기법을 제시하고자 한다. 해당 실시예는 하나 이상의 이미지 수집 시스템에 부착된 동안 캡처된 이미지 세트를 식별하는 단계, 각 이미지에 대한 훈련 출력을 식별하는 단계, 각 이미지의 카메라 속성을 유지하는 이미지 조작 함수으로 이미지를 수정하여 증강 이미지 세트를 생성하는 단계, 증강 훈련 이미지를 이미지의 훈련 출력과 연관시키는 단계를 수행함으로써, 증강 이미지 세트에 대한 증강 이미지를 생성하는 단계, 이미지 및 증강 이미지 세트를 포함하는 이미지 훈련 세트에 기초하여 예측 컴퓨터 모델을 훈련하는 단계로 구성된다.
도 2는 실시예에 따른 컴퓨터 모델 훈련 및 배치를 위한 환경이다. 이미지 수집 시스템(140)은 모델 애플리케이션 시스템에 의해 배치되고 사용될 수 있는 컴퓨터 모델을 훈련할 때 모델 훈련 시스템(130)에 의해 사용될 수 있는 이미지를 캡처한다. 이러한 시스템은 이러한 장치가 통신하는 다양한 무선 또는 유선 통신 링크를 나타내는 인터넷과 같은 네트워크(120)를 통해 연결된다. 모델 애플리케이션 시스템(110)은 이미지 수집 시스템과 동일하거나 실질적으로 동일한 센서 특성을 갖는 센서 세트를 갖는 시스템이며 모델 적용 후, 모델 애플리케이션 시스템(110)은 모델의 출력을 다양한 목적으로 사용할 수 있다.
도 2 실시예에 따른 컴퓨터 모델 훈련 및 배치를 위한 환경의 블록도
도 3은 실시예에 따른 모델 훈련 시스템(130)의 구성 요소를 도시한다. 모델 교육 시스템은 컴퓨터 모델 교육을 위한 다양한 모듈과 데이터 저장소로 구성된다. 데이터 입력 모듈(310)은 이미지 수집 시스템(140)으로부터 이미지를 수신하여 데이터 저장소(350)에 저장한다. 라벨링 모듈(320)은 이미지 데이터(350) 내의 이미지에 라벨을 식별하거나 적용한다. 이미지 증강 모듈(330)은 이미지 수집 시스템(140)에 의해 캡처된 이미지에 기초하여 추가 이미지를 생성한다. 모델 훈련 모듈(340)은 이미지 수집 시스템(140)에 의해 캡처된 이미지 및 이미지 증강 모듈(330)에 의해 생성된 증강 이미지에 기초하여 컴퓨터 모델을 훈련한다. 훈련 후, 모델 분배 모듈(380)은 훈련된 모델을 시스템에 분배하여 훈련된 모델을 적용시킨다.
도 3 실시예에 따른 모델 훈련 시스템의 구성 요소의 블록도
도 4는 실시예에 따른 라벨링 된 훈련 이미지(400)에 기초한 증강 이미지의 예시적인 생성을 도시한다. 훈련 이미지(410)는 라벨링 된 훈련 이미지(400)의 라벨링 된 데이터에 대응하는 연관된 훈련 출력(420A)을 갖는, 증강되지 않은 훈련 이미지(410A) 및 이미지 조작 함수를 적용하여 생성된 증강 이미지(410B, 410C)와 연관되는 훈련 출력(420B, 420C)으로 구성된다. 이미지 조작함수는 카메라의 물리적 캡처 특성 또는 카메라의 위치에 영향을 받을 수 있는 환경 뷰의 배율, 원근, 방향 및 기타 특성을 유지하여 캡처하는 카메라의 속성을 유지하면서 이미지를 조작한다. 그 예로는 자르기, 색도, 채도, 색상 조절, 흑백 노이즈 도입, 흐림 및 도메인 이전 등이 있다.
다양한 실시예에서, 자르기는 다양한 파라미터 및 구성으로 적용될 수 있으며, 이는 훈련 이미지 및 이미지에서 훈련 출력의 위치에 따라 달라질 수 있다. 예를 들어, 자르기 함수는 유사한 크기의 여러 자르기를 적용하거나 범위 내에서 서로 다른 반 무작위 크기의 여러 자르기를 적용할 수 있다. 여러 자르기를 사용하고 크기를 변경함으로써, 자르기는 객체 뷰에 대한 다양한 크기의 실제 장애물의 효과를 보다 밀접하게 시뮬레이션 할 수 있고 훈련된 모델이 특정 크기의 자르기를 보상하는 방법을 배우는 것을 방지할 수 있다. 자르기 영역에 대한 대체 이미지 데이터는 단색이거나 가우스 노이즈와 같은 일정 패턴이거나, 폐쇄 또는 다른 장애물을 나타내기 위해, 동일한 이미지 유형 또는 라벨을 갖는 다른 이미지의 이미지 데이터 패치일 수 있다. 또한 자르기가 이루어진 경계는 주변 영역과 포아송 블렌딩과 같은 블렌딩을 통해 대체 데이터를 환경과 구별하기 더 어렵게 하여 실제 장애물과 더 유사한 예를 제공할 수 있다.
도 4 실시예에 따른 라벨링 된 훈련 이미지에 기초하여 증강 이미지를 생성하는 예를 보여주는 데이터 흐름도
이러한 테슬라의 증강 데이터 기반 기계학습은 더욱 다양한 상황에서도 자율주행 자동차가 완고하게 기능을 수행할 수 있도록 한다. 각국에서 자율주행 자동차의 실시 단계를 높여가고 있는 오늘날, 더욱 견고하고 돌발적인 상황에 안전하게 대응할 수 있도록 하는 안전시스템 및 안전한 학습 모델이 필요한 시점이다.
특허법인ECM
변리사 김시우
swkim@ecmpatent.com
02-568-2670