RNN(순환 신경망)은 순차적 입력을 특정 순차적 출력으로 변환하도록 훈련된 딥 러닝 신경망입니다. 기존의 신경망은 과거의 데이터를 기억할 수 없다는 점에서 RNN이 더 유용합니다.
신경망은 인간의 뇌 구조를 모방한 인공 뉴런으로 구성된 연산 시스템입니다. 이러한 네트워크는 인간의 의사 결정 프로세스를 복제하도록 설계되었습니다. 그러나 기존의 신경망은 일반적으로 데이터의 시퀀스나 컨텍스트를 고려할 수 있는 능력이 없어 각 입력을 독립적으로 처리합니다. 예를 들어, "빨간 사과"라는 단어를 처리할 때 표준 신경망은 "빨간"을 사과를 설명하는 속성으로 인식하지 못하여 둘 사이를 연결하는 컨텍스트를 완전히 놓치게 됩니다.
이것은 중요한 한계이며, 지능으로 간주될 수 있는 수준에 가까운 기계를 개발하는 것이 쉽지 않으리라는 하나의 근거가 되었습니다. 이러한 단점을 해결하기 위해 연구자들은 RNN(순환 신경망)을 개발했습니다. 기존 모델과 달리, RNN은 일정 기간 동안 정보를 유지하는 메커니즘을 통합하여 이전 입력의 메모리를 유지할 수 있습니다. 이 역량을 통해 RNN은 데이터 내의 시퀀스와 컨텍스트를 이해할 수 있으므로 언어 처리나 시계열 분석과 같이 순서가 중요한 작업에 특히 유용합니다.
순환 신경망은 데이터가 표시되는 순서를 인식하고 유지할 수 있는 AI 의사 결정의 한 형태로 설계되었습니다. 이는 텍스트, 숫자 또는 시계열 데이터와 같은 순차적 정보를 처리하는 데 중요한 기능입니다. 각 입력을 독립적으로 처리하는 기존 신경망과 달리 RNN은 이전 정보를 현재 입력에 연결하여 데이터 시퀀스의 미묘한 차이를 이해할 수 있습니다.
순환 신경망의 개념은 도입 당시 딥 러닝 모델 생성의 기반을 마련하는 등 큰 변화를 가져왔지만, 현재는 트랜스포머 기반 인공 지능과 LLM(대규모 언어 모델)으로 대체되고 있습니다. 이러한 새로운 개발은 순차적 데이터 처리에 더 효율적입니다.
RNN은 개별 요소들 사이의 관계와 의존성을 인식하여 데이터의 시퀀스를 처리할 수 있는 능력으로 구별됩니다. 모든 RNN이 이 기본적인 특성을 공유하지만, 다음의 각 범주는 특정 유형의 데이터 처리 문제를 해결하도록 설계되었습니다. 다음은 네 가지 주요 유형입니다.
일대일
RNN의 가장 단순한 형태인 일대일은 하나의 입력을 처리하여 하나의 출력을 생성하는 네트워크를 의미합니다. 이 모델은 더 복잡한 RNN 아키텍처의 기초가 됩니다.일대다
이 구성에서는 하나의 입력으로 여러 개의 출력을 생성합니다. 이 유형의 RNN은 하나의 입력으로 서로 연관되어 있지만 별개의 출력을 트리거할 수 있는 작업에 적합합니다. 예를 들어, 하나의 서술적 단어로 문장을 생성하거나 음표로 멜로디를 생성하는 작업이 여기에 해당합니다.다대일
다대일 모델은 여러 개의 입력 데이터를 처리하여 하나의 출력을 생성합니다. 이 모델은 감정 분석과 같은 분야에서 주로 사용되는데, 문구나 문서의 전체적인 감정(출력)을 결정하는 데 다양한 단어(입력)가 관여합니다.다대다
이 마지막 변형은 입력과 출력 모두에서 시퀀스를 처리합니다. 한 언어로 된 단어의 입력 시퀀스를 다른 언어의 출력 시퀀스로 변환하는 언어 번역과 같은 작업에 적합합니다. 이 모델은 입력 및 출력 시퀀스의 길이가 다른 상황도 처리할 수 있습니다.
루핑 노드가 없는 신경망을 순방향 신경망이라고 합니다. 이런 종류의 신경망은 다수의 상호 연결된 노드를 통해 인간과 같은 방식으로 데이터를 처리한다는 점에서 RNN과 유사합니다. 그러나 순방향 신경망은 정보를 전달만 할 뿐 과거의 입력 정보를 기억하지 못합니다. 위의 예를 사용하면, 이 모델은 사과를 처리할 때 빨간색을 기억하지 못합니다.
대신, 순방향 신경망은 입력 레이어에서 출력 레이어로 정보를 이동시키는 방식으로 작동하는데, 여기에는 히든 레이어도 포함됩니다. 이 유형의 모델은 입력과 출력이 독립적인 이미지 분류에 적합합니다. 그러나 이 신경망은 순환 신경망처럼 시퀀스를 기억할 수 없다는 점에서 RNN 신경망과는 다릅니다.
RNN 아키텍처에는 세 가지 주요 변형이 있으며, 각 변형은 특정 작업의 기능과 성능을 향상시키기 위해 기본 구조에서 각기 다르게 적용됩니다. 이러한 설계의 유연성은 다양한 데이터 시퀀스 처리 작업의 고유한 요구를 충족하는 데 도움이 됩니다. 다음 변형은 데이터를 처리하고 출력하는 방식을 수정하여 다양한 분야에서 더 전문화된 응용이 가능하도록 합니다.
BRNN(양방향 순환 신경망)은 데이터 시퀀스를 앞뒤로 처리합니다. 순방향 레이어는 RNN의 첫 번째 레이어와 매우 유사하게 작동하지만, 역방향 레이어는 정보를 두 번째 방향으로 이동시키기 위해 다르게 작동합니다. 두 레이어를 결합하면 예측 정확도가 향상됩니다.
LSTM(장단기 메모리)은 더 긴 메모리를 전달하도록 설계된 모델입니다. 기본 RNN은 마지막 입력만 기억할 수 있습니다. LSTM은 이전 시퀀스의 입력을 사용하여 예측 정확도를 높일 수 있습니다. 다음의 간단한 데이터 입력 예시를 고려해 보세요. "사과는 빨갛다. Ann은 빨간 사과만 좋아한다." LSTM은 이 상황에서 어떤 종류의 사과가 중요한지에 대한 정보를 처리할 때 사과가 빨간색이라는 것을 기억합니다. RNN은 사과가 빨간색이라는 것을 기억하지 못하는데, 해당 정보가 이전 시퀀스에서 제시되었기 때문입니다.
GRU(게이트 순환 유닛)는 메모리 유지와 관련된 몇 가지 한계를 해결하도록 정교하게 설계된 표준 순환 신경망의 변형입니다. GRU에는 정보의 흐름을 조절하는 메커니즘인 게이트가 통합되어 있습니다. 여기에는 과거 정보(이전 단계에서 얻은 정보)를 얼마나 유지할지 결정하는 업데이트 게이트와 과거 정보를 얼마나 잊을지 결정하는 재설정 게이트가 포함됩니다. 이를 통해 GRU는 정보를 선택적으로 유지하거나 삭제할 수 있으므로, 상황이나 사건의 순서를 이해하는 것이 중요한 작업에 매우 효과적입니다.
RNN은 시퀀스와 관련된 데이터를 다룰 때 다방면에 유용하게 사용되므로 다양한 분야에 적용할 수 있습니다. 가장 일반적인 사용 사례는 다음과 같습니다.
언어 모델링 및 텍스트 생성
RNN은 이전 단어를 기반으로 문장의 다음 단어를 예측할 수 있기 때문에 검색 엔진의 자동 완성이나 읽을 수 있는 텍스트의 자동 생성 등의 작업에 매우 중요합니다.음성 인식
이러한 네트워크는 시간 경과에 따른 오디오 데이터를 처리할 수 있으므로, 가상 어시스턴트나 모바일 음성-텍스트 변환 애플리케이션에서 본 것처럼 실시간으로 음성 단어를 인식하고 텍스트로 변환하는 데 이상적입니다.기계 번역
RNN은 한 언어로 된 단어의 시퀀스를 분석하여 다른 언어로 변환할 수 있으며, 번역 과정에서 문법 및 문맥의 정확성을 유지할 수 있습니다.이미지 인식
이 작업에서 CNN과 같은 다른 모델만큼 일반적이지는 않지만, RNN은 필기 텍스트를 읽거나 비디오 프레임을 순차적으로 처리하는 등 이미지 내의 시퀀스를 분석하는 데 사용할 수 있습니다.시계열 예측
RNN은 과거 데이터를 기반으로 시계열의 미래 값을 예측하는 데 적합하며 주식 시장 예측, 날씨 예측, 소매업의 수요 예측과 같은 분야에 적용할 수 있습니다.
RNN을 사용하면 몇 가지 문제가 발생하는데, 이것이 새로운 신경망과 변형으로 대체하는 이유 중 하나입니다. 순환 신경망을 사용할 때 부딪치는 가장 큰 장애물 네 가지는 다음과 같습니다.
기울기 폭주
기울기는 모델의 매개변수에 해당하는 오류율의 민감도를 나타냅니다. 기울기가 기하급수적으로 증가하면 불안정해질 수 있습니다. 이런 현상을 기울기 폭주로 간주합니다. 이러한 유형의 오류는 과적합으로 이어질 수 있는데, 이는 모델이 훈련 데이터로 정확하게 예측할 수 있지만 실제 데이터로는 동일하게 예측할 수 없는 현상입니다.기울기 소실
이 문제는 훈련 과정에서 기울기 값이 거의 0에 가까워져 학습 프로세스가 상당히 느려지거나 아예 멈출 때 발생합니다. 기울기 소실은 RNN이 훈련 데이터를 효과적으로 캡처하고 학습하기 어렵게 만들어, 모델이 새로운 데이터를 원활하게 일반화하지 못하는 과소적합으로 이어지는 경우가 많습니다.긴 시퀀스 처리의 어려움
RNN은 긴 데이터 시퀀스를 처리하지 못할 수 있습니다. 이러한 한계는 관련 정보가 긴 시퀀스에 걸쳐 희석되어 해당 데이터로부터 효과적으로 학습하는 것을 방해하기 때문에 발생합니다.느린 훈련 시간
RNN은 데이터를 순차적으로 처리하기 때문에 많은 양의 정보를 동시에 처리할 수 없습니다. 이러한 순차적 처리 방식으로 인해 훈련 시간이 길어지고 트랜스포머와 같이 데이터를 병렬로 처리할 수 있는 다른 모델에 비해 RNN의 효율성이 떨어집니다.
정보를 순차적으로 처리하는 기능 외에도, 순환 신경망에 기반하면 몇 가지 다른 주요 이점이 있습니다.
RNN은 장기간에 걸쳐 정보를 기억할 수 있는 LSTM(장단기 메모리) 유닛과 같은 구조를 갖추고 있습니다. 이 기능은 미래의 이벤트를 정확하게 예측하기 위해 과거의 컨텍스트를 이해해야 하는 작업에 매우 중요합니다.
RNN을 CNN(컨볼루션 신경망)과 결합하면 이미지나 비디오와 같은 공간 데이터를 처리하는 능력을 향상시킬 수 있습니다. 이러한 조합을 통해 RNN은 시간 경과에 따른 패턴을 인식할 수 있을 뿐 아니라 픽셀 데이터의 "시야"를 확장하여 시각적 입력의 시퀀스 분석을 강화할 수 있습니다.
다른 많은 신경망 아키텍처와 달리, RNN은 입력의 재구성이나 크기 조정 없이 다양한 길이의 입력 시퀀스를 처리할 수 있습니다. 따라서 입력 데이터의 길이가 크게 달라질 수 있는 음성 인식과 같은 응용 분야에 매우 유용합니다.
RNN은 본질적으로 이벤트 간의 타이밍이 중요한 시퀀스를 처리하도록 설계되었습니다. 따라서 미래 예측에 있어 과거 데이터 포인트의 시퀀스와 타이밍이 중요한 주가 예측, 음악 작곡, 기타 시간에 민감한 분석과 같은 응용 분야에 매우 적합합니다.
앞서 언급했듯이 RNN은 인간의 의사 결정을 모방하도록 설계된 인공 뉴런으로 구성되어 있습니다. 이 인공 뉴런은 복잡한 작업을 수행하기 위해 함께 작동하는 데이터 처리 노드입니다. 뉴런은 입력, 출력, 히든 레이드 등 몇 가지 주요 레이어로 구성되어 있습니다. 입력 레이어는 처리할 정보를 수신하고 출력 레이어는 결과를 제공합니다. 데이터 처리와 분석, 그리고 예측은 히든 레이어에서 이루어집니다.
RNN은 수신한 순차적 데이터를 히든 레이어를 통해 한 번에 한 단계씩 전달하는 방식으로 작동합니다. 그러나 히든 레이어에는 반복 워크플로우 또는 자체 루핑 기능이 있습니다. 히든 레이어는 단기 메모리에서 미래 예측을 위해 이전 입력을 기억하고 활용할 수 있습니다. 현재 입력은 다음 시퀀스를 예측하기 위해 메모리에 저장됩니다.
예를 들어 다음 시퀀스를 고려해 보세요. "비가 오면 축축하다." 사용자가 입력으로 "비"를 받으면 RNN이 "추축하다"라는 아이디어를 예측하기를 원한다고 가정해 보겠습니다. 히든 레이어는 "비"라는 아이디어를 처리하고 저장합니다. 복사본이 그 메모리에 저장됩니다. 그런 다음 "축축하다"라는 단어를 받으면 그 메모리에 있는 "비"라는 단어를 불러와 전체 시퀀스를 만들 수 있습니다. 그 정보는 정확도를 높이는 데 사용될 수 있습니다. 이 기능 덕분에 RNN을 음성 인식, 번역, 기타 언어 모델링 작업에 유용하게 사용할 수 있습니다.
머신 러닝 엔지니어는 RNN과 같은 신경망을 훈련하기 위해 모델 훈련 데이터를 입력한 다음 그 성능을 개선하는 경우가 많습니다. 신경망 모델의 뉴런에는 "가중치"가 부여되는데, 이는 훈련 과정에서 학습된 정보가 출력을 예측할 때 얼마나 영향을 미치는지를 나타냅니다. RNN의 각 레이어는 처음에는 동일한 가중치를 공유합니다.
그런 다음 엔지니어는 모델이 학습하면서 예측 정확도를 결정하도록 가중치를 조정합니다. 이를 위해 엔지니어는 BPTT(시간 방향으로 펼친 신경망의 역전파)라는 기법을 사용하여 모델 오류를 계산하고 그에 따라 가중치를 조정합니다. 엔지니어는 이 방법을 통해 시퀀스에서 어떤 숨겨진 상태가 심각한 오류를 유발하는지 파악하고 오류 범위를 줄이기 위해 가중치를 재조정할 수 있습니다.
머신 러닝 엔지니어는 Python과 같이 원하는 코딩 언어를 사용하여 순환 신경망을 구축합니다. 어떤 방법을 선택하든, RNN을 구현하는 일반적인 단계는 다음과 같습니다.
입력 레이어 생성
첫 번째 단계는 입력 데이터를 수집할 수 있는 레이어를 만드는 것입니다. 이 레이어는 인공 뉴런으로 구성됩니다.히든 상태 생성
RNN 모델은 신경망에서 실제 처리를 수행하는 여러 개의 히든 레이어를 가질 수 있습니다. 이러한 레이어들도 서로 연결된 인공 뉴런으로 구성되어 있습니다. 그 덕분에 인간의 예측 능력을 모방할 수 있을 뿐 아니라 시퀀싱도 가능해집니다.출력 레이어 생성
이 마지막 레이어는 결과를 예측합니다. 일부 모델은 다운스트림에 추가 레이어를 포함할 수 있습니다.가중치로 훈련
정확한 매개변수와 오류 범위는 엔지니어가 데이터로 모델을 훈련시킨 후에 생성됩니다. 가중치를 정확하게 조정하고 기울기 소멸이나 폭주를 피하는 데는 시간이 걸릴 수 있습니다.
순환 신경망은 순차적 데이터 처리를 위한 강력한 토대가 되었습니다. 그러나 여기에도 한계가 있기 때문에 많은 기업들이 필요에 따라 더욱 발전된 새로운 모델과 인공 지능에 의존하고 있습니다. 이것이 바로 ServiceNow의 Now Platform®이 고급 머신 러닝과 생성형 AI를 사용하는 이유입니다. 여기에는 머신 러닝 프레임워크, 자연어 이해, 검색 및 자동화, 분석 및 프로세스 마이닝이 포함되며, 이 모든 기술은 비즈니스 성장을 위해 함께 작동하는 혁신적인 최첨단 AI 기술입니다.
지금 ServiceNow 데모를 시청하고 새로운 신경망 솔루션이 어떻게 성공을 향한 다음 단계가 될 수 있는지 확인해 보세요.