[ML] RNN (Recurrent Neural Network)

RNN 또는 순환 신경망은 시계열(time series, 일정 시간 간격으로 배치된 데이터들의 수열), 주식 가격 및 NLP 텍스트와 같은 데이터 시퀀스에서 패턴을 인식하기 위해 설계된 인공 신경망 (Artificial Neural Network)의 한 유형이다. 이러한 네트워크의 "순환, 반복적(recurrent)" 특성은 RNN의 아키텍처에서 비롯되는데, 정보가 지속될 수 있는 루프(loop)를 가지고 있어 입력 데이터 포인트의 순서와 컨텍스트가 중요한 작업에 매우 적합하다.

 

RNN과 관련된 몇 가지 주요 특징 및 개념에 대해 알아보자.

 

1. Memory Cells (메모리 셀)
   : Feed-Forward 네트워크와 같은 전통적인 신경망은 이전 입력에 대한 메모리가 없다. 반면, RNN은 메모리 셀을 가지고 있어 연속적인 데이터를 처리하는 데 능숙하다.
2. Vanishing and Exploding Gradient Problem (기울기 소실 또는 폭주)
   : RNN이 훈련되면 특히 긴 시퀀스의 경우 기울기의 소식 또는 폭주 문제가 발생할 수 있다. 이로 인해 깊은 RNN의 training이 어렵다.
3. LSTM 및 GRU 
   : 기울기 소실 문제를 해결하기 위해 RNN의 변형인 Long-Short-Term Memory (LSTM) 및 Gated Recurrent Units (GRU)이 개발 됐다. 이것들은 네트워크가 긴 시퀀스에서 더 잘 배우고(learning) 기억할 수 있도록 게이트와 메커니즘을 도입한다.
4. Sequential Processing (순차 처리)
   : RNN은 입력을 순차적으로 처리해 시계열 예측, 자연어 처리 및 음성 인식과 같은 작업에 적합하다.
5. Backpropagation Through Time (BPTT, 시간을 통한 역전파)
   : RNN은 역전파를 통하나 시간이라는 특별한 버전의 역전파 알고리즘을 사용해 훈련된다. 이 접근법은 데이터의 시퀀스 특성을 고려한다.
6. Bidirectional RNNs (양방향 RNN)
   : 양방향 RNN은 두 방향 (시작에서 끝까지 및 그 반대)에서 데이터를 처리해 과거와 미래의 컨텍스트를 모두 고려하는 RNN의 한 유형이다. 특히 기계 번역 (machine translation)과 같은 작업에 유용하다.
7. 한계점
   : RNN의 순차 처리 능력에도 불구하고 Vanila RNN은 이미 언급된 기울기 문제로 인해 장기 종속성에 어려움이 있다.이것이 LSTM 및 GRU와 같은 고급 버전이 종종 선호되는 이유다.

요약하자면, RNN은 NLP 및 음성 처리와 같은 분야에서의 진보를 위한 길을 열였으며 연속적인 데이터를 이해하는 데 필요한 작업에 강력한 도구다. 그러나 모든 모델과 마찬가지로 그 효과는 작업과 데이터의 성격에 따라 달라진다.