| 출원번호 | 10-2017-0114979 |
| 출원일자 | 2017.09.08 |
| 출원인 | 에스케이하이닉스 주식회사 |
| 공개/등록번호(일자) | 10-2018-0028966 (2018.03.19) |
| 발명의 명칭 | 신경망 하드웨어 가속기 아키텍처 및 그 동작 방법 |
인공지능 (AI)을 다양한 분야에 보급하고자 신경망 가속칩과 같은 AI처리에 특화된 반도체가 필수적인 시대가 되었다 (그림 1). 신경망 가속칩은 기존의 CPU보다 낮은 전력, 빠른 연산량을 수행할 수 있으므로 스마트 기기 및 PC 등 다양한 분야에 적용하고자 주목 받고 있다. 신경망 가속칩의 장점은 클라우딩 컴퓨팅에 의존했던 AI처리를 디바이스에서 처리할 수 있다는 점이다. 이에 따라 신경망 가속칩은 디바이스 내 데이터를 클라우드에 전송하고, 결과값을 받아오는 과정에서 발생하는 시간을 감소시킬 수 있다. 또한, 이 칩은 데이터를 전송하며 발생할 수 있는 유출 가능성을 줄일 수 있을 뿐만 아니라 음성/영상인식 등을 실시간으로 처리할 수 있다.
GPU (Graphics Processing Unit)가 매우 높은 계산 성능 및 유연성을 입증하였지만, AI처리에 최적의 성능 또는 에너지를 제공하지 못하므로 모바일 디바이스에 탑재할 수 없다. 현재까지 다양한 인공 신경망 기술들이 제안되었지만, 계산 복잡도, 뉴런에 대한 메모리 대역폭 고려, 시냅틱 가중치 (synaptic weight)들에 대한 가속화 방법이 필요하다. 즉, 최적화된 아키텍처를 위한 신경망 하드웨어 가속기 아키텍처 및 동작 방법이 필요하다. 본 특허는 신경망 가속기의 성능 및 효율을 향상시킬 수 있는 신경망 하드웨어 가속기 아키텍처 및 그 동작 방법에 대한 내용이다.
그림 1. 인텔이 개발한 신경망 가속칩
그림 2는 다양한 타입의 인공 신경망 (Artificial Neural Network; ANN)들을 개략적으로 도시하는 최상위 블록도이다. ANN은 DNN (Deep Neural Network) (210) 또는 Deep Learning과 같이 완전히 연결된 단순한 신경망이다. DNN (210)은 입력 층 (214)과 출력 층 (216) 사이의 단위들의 다수의 숨겨진 (hidden) 층들 (212)을 가질 수 있고, 이들 사이의 복잡한 비선형 관계들을 모델링 할 수 있다. 입력 층 (214)은 다수의 입력들 (218)을 포함할 수 있으며, 입력들 (218)의 각각은 다수의 숨겨진 층들 (212)을 통해 처리된다. 출력들 (220)은 입력 층 (214)의 입력들 (218)의 층 구성 (layered composition)으로서 표현될 수 있다.
ANN은 컨벌루션 신경망 (Convolutional Neural Network; CNN) (230)일 수 있다. CNN (230)은 컨볼루션 층들 (232) 및 풀링 층들 (234)을 포함하는 수용 필드 (receptive field)들의 다수의 층들을 포함한다. 컨볼루션 층들 (232)은 학습 가능한 필터들의 세트를 통해 입력 (236)의 체적의 전체 깊이까지 작은 수용 필드를 연장한다. 풀링 층들 (234)은 입력 (236) 이미지를 겹치지 않는 직사각형들의 세트로 분할하고, 각각의 하위 영역에 대해 최대치를 출력한다. 풀링 층들 (234)의 기능은 표현의 공간 크기를 점진적으로 감소시켜, 네트워크 내의 파라미터 및 계산의 수를 감소시키고, 오버피팅 (overfitting)을 제어하는 것이다. CNN (230)에서의 고 레벨 추론은 완전히 연결된 층(238)을 통해 수행되며, 완전히 연결된 층 (238)의 뉴런은 이전 층들의 모든 활성화에 대해 완전한 연결을 가진다.
동일한 층 또는 이전의 층/층들 상의 뉴런들 간에 일부 피드백들이 존재한다면, ANN은 RNN (Recurrent Neural Network)일 수 있다. RNN (250)은 역전파 (252)를 통한 에러들로부터 학습할 뿐만 아니라, 애플리케이션에 도움이 되는 현재 입력들 (256)의 바로 이전의 앞선 입력들 (254)으로부터도 학습한다. 뉴런 레이 (258)는 앞선 입력들 (254) 및 역전파 (252)로부터 학습할 수 있다. RNN (250)은 세그먼트화되지 않은 필적, 연속 음성 인식 및 자연어 변환과 같은 시퀀스에서 유용하게 사용된다.
DBN (Deep Belief Network) (270)은, 고 레벨에서, 스택된 (stacked) RBM (Restricted Boltzmann Machine)들을 사용한다. DBN은 가중치들을 미세 조정하기 위해 라벨링 된 데이터세트들에 의한 감독된 트레이닝을 사용하도록 감독되지 않은 사전 트레이닝 (pre-training)에 의한 DNN을 지칭한다. 여기서, RBM은 입력들의 세트에 걸친 확률 분포를 학습할 수 있는 생성적인 확률적(generative stochastic) 인공 신경망이다. DBN (270)은 트레이닝 시간을 실질적으로 향상시킬 수 있다. 층 (i)에서의 RBM의 숨겨진 층들 (274) 중 하나는 층 (i+1)에서의 RBM의 후속 숨겨진 층들 (274)에 입력된다. RBM (276)의 마지막 층은 DBN (270)의 출력을 나타낸다.
그림 2. 다양한 타입의 인공 신경망들
그림 3은 인공 신경망 (Artificial Neural Network; ANN)들의 신경망 트레이닝/추론 배치 흐름(Neural Network Training/Inference Deployment Flow)을 도시하는 흐름도이다. 새로운 트레이닝 데이터 (310)가 ANN들에 공급된다. 새로운 트레이닝 데이터 (310)는 트레이닝 데이터 세트들 (302)에 따라 트레이닝 모듈 (304)에서 처리된다. 트레이닝 모듈 (304)은 데이터 주석 모듈 (312), NN 후보자 설계 (314) 및 시뮬레이터/데이터 생성 모듈 (316)과 같은 다수의 서브 기능 모듈들을 포함되어 있다. 서브 기능 모듈들의 처리 된 결과들은 트레이닝 모듈 (318)에서 트레이닝 데이터 세트들 (302)과 같은 라벨링 된 데이터 세트에서 트레이닝 된다. 에러 발생 시, 리트레이닝을 위한 에러 데이터 피드백은 에러들이 최소치 및 어떤 변경 임계값 이하로 수렴할 때까지 여러번 반복된다. 만족된 트레이닝 결과들은 검증/배치를 위해 검증 모듈 (306)로 전송된다. 마지막으로 가중치들 및 파라미터들은 자가-운전 차량 (self-driving car)들 또는 자율적인 무인 항공기 (autonomous drone)들과 같이 배치를 위해 실제 애플리케이션 디바이스들 (308)로 전달된다.
그림 3. 인공 신경망들의 신경망 트레이닝/추론 배치 흐름도
그림 4에는 ReRAM 기반 SNN LIF 및 Time-Multiplexed STDP 아키텍처의 동작 방법을 도시하는 흐름도가 도시된다. 블록 (1002)은 처리 유닛에 결합된 반도체 메모리 디바이스들을 제공하는 단계이다. 반도체 메모리 디바이스들은 블록 (1004)에서 처리 유닛에 의해 실행되는 명령어를 포함한다. 여기서 반도체 메모리 디바이스들을 제공하는 단계는 양의 가중치 행렬 및 음의 가중치 행렬을 포함하는 가중치 행렬을 Axon들 및 Neuron들에 연결하는 단계이다. 가중치 행렬은 메모리 셀의 행 및 열로 구성되고, 동일한 행의 메모리 셀의 입력들은 Axon들 중 하나에 연결된다. 동일한 열의 메모리 셀의 출력은 블록 (1006)에서 Neuron들 중 하나에 연결된다. 블록 (1008)은 Axon들 및 Neuron들의 타임스탬프를 타임스탬프 레지스터에 등록하는 단계이다. 조회 테이블로부터 조정 값을 조회하는 단계로서 조회 테이블의 조정 값은 블록 (1010)에서 타임스탬프에 따라 인덱싱 및 조정 값을 조회한다. 조회 테이블의 조정 값은 블록 (1012)에서 처리 유닛에 의해 조정 값에 따라 가중치 행렬을 업데이트하는 단계를 포함한다.
그림 4. ReRAM 기반 SNN LIF 및 Time-Multiplexed STDP 아키텍처의 동작 방법
AI를 기반으로 하는 기법들이 실생활에 다양하게 적용되기 시작하면서 신경망 가속칩은 필수적인 세상이 도래하였다. 국내외 반도체 회사들이 모든 장소에서 AI를 구현할 수 있도록 신경망 가속칩을 탑재한 필드프로그래머블게이트어레이 (FPGA) 및 시스템온칩 (SoC) 등을 출시하고 있다. 이는 AI를 디바이스에서 사용할 수 있는 시장에서 주도권을 확보하기 위한 각 기업들의 행보이다. 국내 기업들도 외국 기업들이 우수한 기술력을 침해할 수 없도록 특허 출원/등록으로 보호하고, 새로운 시장에서 점유율을 선점할 수 있기를 기대해본다.
특허법인ECM
변리사 김시우
swkim@ecmpatent.com
02-568-2670
인공지능 (AI)을 다양한 분야에 보급하고자 신경망 가속칩과 같은 AI처리에 특화된 반도체가 필수적인 시대가 되었다 (그림 1). 신경망 가속칩은 기존의 CPU보다 낮은 전력, 빠른 연산량을 수행할 수 있으므로 스마트 기기 및 PC 등 다양한 분야에 적용하고자 주목 받고 있다. 신경망 가속칩의 장점은 클라우딩 컴퓨팅에 의존했던 AI처리를 디바이스에서 처리할 수 있다는 점이다. 이에 따라 신경망 가속칩은 디바이스 내 데이터를 클라우드에 전송하고, 결과값을 받아오는 과정에서 발생하는 시간을 감소시킬 수 있다. 또한, 이 칩은 데이터를 전송하며 발생할 수 있는 유출 가능성을 줄일 수 있을 뿐만 아니라 음성/영상인식 등을 실시간으로 처리할 수 있다.
GPU (Graphics Processing Unit)가 매우 높은 계산 성능 및 유연성을 입증하였지만, AI처리에 최적의 성능 또는 에너지를 제공하지 못하므로 모바일 디바이스에 탑재할 수 없다. 현재까지 다양한 인공 신경망 기술들이 제안되었지만, 계산 복잡도, 뉴런에 대한 메모리 대역폭 고려, 시냅틱 가중치 (synaptic weight)들에 대한 가속화 방법이 필요하다. 즉, 최적화된 아키텍처를 위한 신경망 하드웨어 가속기 아키텍처 및 동작 방법이 필요하다. 본 특허는 신경망 가속기의 성능 및 효율을 향상시킬 수 있는 신경망 하드웨어 가속기 아키텍처 및 그 동작 방법에 대한 내용이다.
그림 1. 인텔이 개발한 신경망 가속칩
그림 2는 다양한 타입의 인공 신경망 (Artificial Neural Network; ANN)들을 개략적으로 도시하는 최상위 블록도이다. ANN은 DNN (Deep Neural Network) (210) 또는 Deep Learning과 같이 완전히 연결된 단순한 신경망이다. DNN (210)은 입력 층 (214)과 출력 층 (216) 사이의 단위들의 다수의 숨겨진 (hidden) 층들 (212)을 가질 수 있고, 이들 사이의 복잡한 비선형 관계들을 모델링 할 수 있다. 입력 층 (214)은 다수의 입력들 (218)을 포함할 수 있으며, 입력들 (218)의 각각은 다수의 숨겨진 층들 (212)을 통해 처리된다. 출력들 (220)은 입력 층 (214)의 입력들 (218)의 층 구성 (layered composition)으로서 표현될 수 있다.
ANN은 컨벌루션 신경망 (Convolutional Neural Network; CNN) (230)일 수 있다. CNN (230)은 컨볼루션 층들 (232) 및 풀링 층들 (234)을 포함하는 수용 필드 (receptive field)들의 다수의 층들을 포함한다. 컨볼루션 층들 (232)은 학습 가능한 필터들의 세트를 통해 입력 (236)의 체적의 전체 깊이까지 작은 수용 필드를 연장한다. 풀링 층들 (234)은 입력 (236) 이미지를 겹치지 않는 직사각형들의 세트로 분할하고, 각각의 하위 영역에 대해 최대치를 출력한다. 풀링 층들 (234)의 기능은 표현의 공간 크기를 점진적으로 감소시켜, 네트워크 내의 파라미터 및 계산의 수를 감소시키고, 오버피팅 (overfitting)을 제어하는 것이다. CNN (230)에서의 고 레벨 추론은 완전히 연결된 층(238)을 통해 수행되며, 완전히 연결된 층 (238)의 뉴런은 이전 층들의 모든 활성화에 대해 완전한 연결을 가진다.
동일한 층 또는 이전의 층/층들 상의 뉴런들 간에 일부 피드백들이 존재한다면, ANN은 RNN (Recurrent Neural Network)일 수 있다. RNN (250)은 역전파 (252)를 통한 에러들로부터 학습할 뿐만 아니라, 애플리케이션에 도움이 되는 현재 입력들 (256)의 바로 이전의 앞선 입력들 (254)으로부터도 학습한다. 뉴런 레이 (258)는 앞선 입력들 (254) 및 역전파 (252)로부터 학습할 수 있다. RNN (250)은 세그먼트화되지 않은 필적, 연속 음성 인식 및 자연어 변환과 같은 시퀀스에서 유용하게 사용된다.
DBN (Deep Belief Network) (270)은, 고 레벨에서, 스택된 (stacked) RBM (Restricted Boltzmann Machine)들을 사용한다. DBN은 가중치들을 미세 조정하기 위해 라벨링 된 데이터세트들에 의한 감독된 트레이닝을 사용하도록 감독되지 않은 사전 트레이닝 (pre-training)에 의한 DNN을 지칭한다. 여기서, RBM은 입력들의 세트에 걸친 확률 분포를 학습할 수 있는 생성적인 확률적(generative stochastic) 인공 신경망이다. DBN (270)은 트레이닝 시간을 실질적으로 향상시킬 수 있다. 층 (i)에서의 RBM의 숨겨진 층들 (274) 중 하나는 층 (i+1)에서의 RBM의 후속 숨겨진 층들 (274)에 입력된다. RBM (276)의 마지막 층은 DBN (270)의 출력을 나타낸다.
그림 2. 다양한 타입의 인공 신경망들
그림 3은 인공 신경망 (Artificial Neural Network; ANN)들의 신경망 트레이닝/추론 배치 흐름(Neural Network Training/Inference Deployment Flow)을 도시하는 흐름도이다. 새로운 트레이닝 데이터 (310)가 ANN들에 공급된다. 새로운 트레이닝 데이터 (310)는 트레이닝 데이터 세트들 (302)에 따라 트레이닝 모듈 (304)에서 처리된다. 트레이닝 모듈 (304)은 데이터 주석 모듈 (312), NN 후보자 설계 (314) 및 시뮬레이터/데이터 생성 모듈 (316)과 같은 다수의 서브 기능 모듈들을 포함되어 있다. 서브 기능 모듈들의 처리 된 결과들은 트레이닝 모듈 (318)에서 트레이닝 데이터 세트들 (302)과 같은 라벨링 된 데이터 세트에서 트레이닝 된다. 에러 발생 시, 리트레이닝을 위한 에러 데이터 피드백은 에러들이 최소치 및 어떤 변경 임계값 이하로 수렴할 때까지 여러번 반복된다. 만족된 트레이닝 결과들은 검증/배치를 위해 검증 모듈 (306)로 전송된다. 마지막으로 가중치들 및 파라미터들은 자가-운전 차량 (self-driving car)들 또는 자율적인 무인 항공기 (autonomous drone)들과 같이 배치를 위해 실제 애플리케이션 디바이스들 (308)로 전달된다.
그림 3. 인공 신경망들의 신경망 트레이닝/추론 배치 흐름도
그림 4에는 ReRAM 기반 SNN LIF 및 Time-Multiplexed STDP 아키텍처의 동작 방법을 도시하는 흐름도가 도시된다. 블록 (1002)은 처리 유닛에 결합된 반도체 메모리 디바이스들을 제공하는 단계이다. 반도체 메모리 디바이스들은 블록 (1004)에서 처리 유닛에 의해 실행되는 명령어를 포함한다. 여기서 반도체 메모리 디바이스들을 제공하는 단계는 양의 가중치 행렬 및 음의 가중치 행렬을 포함하는 가중치 행렬을 Axon들 및 Neuron들에 연결하는 단계이다. 가중치 행렬은 메모리 셀의 행 및 열로 구성되고, 동일한 행의 메모리 셀의 입력들은 Axon들 중 하나에 연결된다. 동일한 열의 메모리 셀의 출력은 블록 (1006)에서 Neuron들 중 하나에 연결된다. 블록 (1008)은 Axon들 및 Neuron들의 타임스탬프를 타임스탬프 레지스터에 등록하는 단계이다. 조회 테이블로부터 조정 값을 조회하는 단계로서 조회 테이블의 조정 값은 블록 (1010)에서 타임스탬프에 따라 인덱싱 및 조정 값을 조회한다. 조회 테이블의 조정 값은 블록 (1012)에서 처리 유닛에 의해 조정 값에 따라 가중치 행렬을 업데이트하는 단계를 포함한다.
그림 4. ReRAM 기반 SNN LIF 및 Time-Multiplexed STDP 아키텍처의 동작 방법
AI를 기반으로 하는 기법들이 실생활에 다양하게 적용되기 시작하면서 신경망 가속칩은 필수적인 세상이 도래하였다. 국내외 반도체 회사들이 모든 장소에서 AI를 구현할 수 있도록 신경망 가속칩을 탑재한 필드프로그래머블게이트어레이 (FPGA) 및 시스템온칩 (SoC) 등을 출시하고 있다. 이는 AI를 디바이스에서 사용할 수 있는 시장에서 주도권을 확보하기 위한 각 기업들의 행보이다. 국내 기업들도 외국 기업들이 우수한 기술력을 침해할 수 없도록 특허 출원/등록으로 보호하고, 새로운 시장에서 점유율을 선점할 수 있기를 기대해본다.
특허법인ECM
변리사 김시우
swkim@ecmpatent.com
02-568-2670