2008년 글로벌 금융위기의 여파로 전 세계가 경기침체에 빠져있다. 이는 10여년이 지난 현재에도 지속되어 여전히 뚜렷한 회복세에 접어드는 모습을 보여주지 못하고 있다. 국제무역에서 해상운송이 차지하는 비율은 90% 이상이다. 즉, 국제무역에서 발생하는 해상운송수요를 주요 수익원으로 삼는 해운업의 특성상 이와 같은 글로벌 경기침체에 부정적인 영향을 받을 수밖에 없다. 세계해운경기 침체의 증거로 2017년의 한진해운 파산, 대대적인 해운동맹의 재편성, 부정기선 공동연합에 소속된 선복량의 증가 등을 예로들 수 있다. 특히, 해운경기를 대표하는 지표인 건화물운임지수(Baltic Dry Index: 이하 BDI)는 기존보다 더욱 심한 변동성을 보여주며, 2016년 2월에 역사상 최저점인 290 포인트를 기록하였다.

현재와 같은 해운시장의 불확실성이 뚜렷한 상황을 타개하고 보다나은 해운기업의 경영을 영위하기 위해 관련 산업계와 학계에서는 미래 경기추세와 예측에 대한 연구가 강조되고 있는 실정이다. 이에 특히, 상기에 언급한 BDI에 관련된 연구들이 꾸준히 이루어지고 있다. 해당 연구들은 기존보다 합리적이고 과학적인 해운기업들의 의사결정, 미래에 대한 투자, 그리고 리스크 관리 등을 위해 기준지표 또는 보조지표로서의 BDI 시계열 예측을 연구한다. 본 연구에서는 이를 위해 인공신경망(Artificial Neural Network)을 활용한 BDI 시계열 예측을 진행할 것이다.

본 연구의 순서는 다음과 같다. 우선, BDI의 특성에 따라 연구의 대상이 되는 해운시장의 범위를 정의하고 건화물 운송시장의 특징과 BDI와의 경제적 관계를 탐구한다. 이후 관련 선행연구들을 응용통계와 인공신경망 기반의 방법론으로 구분지어 착안점 및 한계점을 도출한다. 다음으로 본 논문에서 활용하고자하는 인공신경망 모델들의 간략한 소개, BDI 시계열을 예측하기 위한 투입변수선정 및 데이터 설명, 그리고 인공신경망 모델들을 학습시키기 위해 본 연구에서 설정한 기본 전제들을 정의한다. 연구의 예측 단계에서는 실증예측을 위해 BDI 시계열에 이동시계열 분석기법’(sliding-window method)을 적용한 일별 예측을 진행한다. 연구의 대상이 되는 기간은 2009.04.01.부터 2017.07.31.까지이다. 결론에서는 모델들 간 예측결과 값 비교 및 연구의 시사점을 도출할 것이다.

인공신경망에는 네트워크의 구성 또는 형태와 해당 네트워크 고유의 특성 등에 따라 다양한 모델들로 구분할 수 있다. 본 연구에서는 MLP, RNN, LSTM을 통해 BDI 시계열 예측을 진행한다. MLP는 모든 인공신경망 모델들의 전신이 되는 퍼셉트론(perceptron)을 최소 3개의 층으로 구성하여 은닉층(hidden layer)의 각 노드에 특정 활성화함수(activation function)들이 있는 구조이다. 일반적으로 회귀문제에 대한 MLP의 학습에는 지도학습법을 사용한다. 지도학습법은 해결하고자하는 문제에서 기존에 주어진 투입벡터와 산출벡터 간에 존재하는 모든 해법, 즉 가설공간(hypothesis space) 상에 존재하는 무수한 관계식 중 비용함수(cost function)를 최소화할 수 있는 특정 함수식으로 근사하는 일련의 방법이다. 인공신경망의 지도학습을 위한 일반적인 방법으로 오차역전파법(backpropagation)을 사용한다. 오차역전파법을 통해 함수근사를 위한 여러 가지 알고리즘이 존재하나 그 중에 가장 효율적으로 알려진 경사하강법(gradient descent)을 사용한다. 인공신경망의 층별 노드들은 가중치로 표현되는 강도로 서로 이어져있는데 이를 해당 알고리즘을 통해 순전파(feed-forward)와 역전파(feed-backward)를 반복적으로 계산하여 갱신하는 방식으로 학습이 진행된다.

RNN의 기본 아이디어는 Jordan(1986)에 의해 개발되었다. 해당 인공신경망은 출력층의 값을 전달하는 상태유닛(state unit)이 존재하여 t시점의 학습 시, (t–1)시점의 출력 값 y_(t–1)과 t 시점의 상태유닛U_h을 함께 고려해주어 MLP보다 장기간의 데이터를 학습할 수 있는 구조적 이점이 있다. 이후에 Jordan의 모델을 개량하여 Elman(1990)의 연구에서는 상황유닛(context unit)이라는 독립된 층을 두어, 매 학습마다 출력층의 값과는 별개로 (t–1)시점의 은닉층의 값 h_(t–1)을 저장하여 t시점의 상황유닛 U_h과 곱해줌으로서 t시점의 은닉층의 값을 갱신한다. 두 모델 모두 재귀적인 방식으로 과거의 값을 반복해가며 학습하는 공통점이 있으나, Elman의 모델은 독립적 상황유닛의 존재로 장기간의 값을 더욱 잘 기억하여 자연어 처리, 시계열 예측 등의 분야에 활용되고 있다. 본 연구에서 활용할 RNN 모델은 Elman의 RNN 모델이다[식 (2)]. W_h와 σ_h는 은닉층의 가중치와 활성화함수이며, σ_y는 출력층의 활성화함수 그리고 b_h와 b_y는 은닉층과 출력층의 bias-term이다.

RNN은 그 구조에 따라 과거에 발생한 (t–n)시점까지의 상황유닛들을 고려하며 학습이 이루어져야하기 때문에 특수한 형태의 오차역전파법인 BackPropagation Through Time(BPTT)라는 알고리즘을 적용한다. 해당 알고리즘은 매번의 가중치 업데이트마다 과거의 모든 오차항에 대해 계산을 실행하기 때문에 학습 대상기간이 길어질수록 계산 량이 지수(exponential)증가한다. 또한 인공신경망의 학습에는 소수(decimal)로 나타나는 벡터들의 내적(dot product)이 계속 이루어지기 때문에 이가 반복될수록 함수근사가 수렴(converge)하지 않아 학습이 이루어지지 않는 ‘기울기 소실 또는 발산 문제’(vanishing or exploding gradient problem)가 발생할 수 있는 맹점을 갖고 있다(Hochreiter, Bengio, Frasconi, Schmidhuber 2001). Hochreiter, Schmidhuber(1997)는 RNN의 문제점을 극복한 장․단기 메모리(Long Short-Term Memory: 이하 LSTM)를 개발하였다. LSTM은 기존의 RNN에서 셀(cell)과 게이트(gate)의 개념이 추가된 구조이다. t시점에 셀의 출력 값은 셀 상태(cell state) c_(t–1)로서 다음 셀로 전달되며 t시점에 셀의 은닉층의 값은 은닉상태(hidden state) h_(t–1)로서 다음 셀로 전달된다. 게이트는 각각의 셀 안에 존재하며 입력 게이트(input gate[i_t]), 출력 게이트(output gate[o_t]), 그리고 망각 게이트(forget gate[f_t])로 나뉜다. 해당 게이트와 게이트에 존재하는 활성화함수들의 조합으로 인공신경망 학습의 장기기억력이 증대되는 장점이 있다.

LSTM 모델의 식은 다음과 같다[식 (3)].³⁾ W_f,i,o와 b_f,i,o는 각 게이트 별 가중치와 bias-term이며, σ_g,c는 활성화함수이다.

LSTM의 입력 게이트에는 시그모이드(sigmoid)와 쌍곡선 탄젠트(hyperbolic tangent)[식 (7)]로 불리는 두 개의 함수가 동시에 존재한다. 본 논문에서는 시그모이드 함수 대신 Courbariaux, Hubara, Soudry, El-Yaniv, Bengio(2016)의 연구에서 개발된 하드 시그모이드(hard sigmoid)[식(6)] 함수를 사용한다. 해당 함수는 기존 시그모이드 함수의 특성은 그대로 유지하면서도 인공신경망의 학습 시 계산이 빠른 이점이 있다. 해당 모델의 학습은 ‘기울기 소실 또는 발산 문제’를 일부 해결한 BPTT 알고리즘의 개량형인 Truncated Backpropagation Through Time(TBPTT)(Williams, Peng 1990)을 사용하여 진행한다. 연구에 사용된 모든 인공신경망 모델들의 비용함수로는 시계열 예측과 같은 회귀분석 문제에서 일반적으로 사용되는 최소자승법(Least Square Method: LSM)을 사용할 것이다. LSTM의 입력 게이트를 제외한 기타 게이트들과 MLP, RNN의 활성함수로는 시그모이드 함수를 사용한다.

본 연구의 예측은 두 단계로 진행된다. 해당 연구는 LSTM을 BDI 시계열에 적용한 최초의 연구로서 해당 시계열에 대한 특정 인공신경망(LSTM)의 적합성(goodness of fitness)을 확인할 필요가 있다. 따라서 예측의 첫 번째 단계로 연구의 대상이 되는 전체기간(2009.04.01. ~ 2017.07.31.)에 대해 학습과 테스트 데이터 셋(BDI 예측을 위해 인공신경망을 활용한 선행연구들에서 일반적으로 보여주는 7:3)⁴⁾으로 분리하여 인공신경망 모델 간의 BDI 시계열에 대한 예측 적합성을 확인할 것이다. 두 번째의 실증예측 단계에서는 인공신경망의 일반화 능력을 이용해서 첫 번째 단계에서 최적으로 결정된 인공신경망 모델들의 네트워크 구조를 그대로 사용할 것이다. 해당 단계에서는 BDI 시계열의 1년간의 기간(2015.02.03. ~ 2017.07.31.)에 대한 일별예측을 위해 이동시계열 분석기법을 적용할 것이다. 이를 위해 인공신경망의 학습과 테스트에 사용될 모든 x변수들의 시점을 의도적으로 (t–1)로 조정하여 전날의 x변수들의 조합에 의해 t시점의 y변수가 발생된 것으로 가정한다. 따라서 두 번째 예측 단계의 경우는 실증예측 대상이 되는 1년의 기간을 테스트 데이터 셋으로 하고 나머지 과거의 기간을 학습에 사용한다. 본 연구에서는 총 8개의 투입변수 x를 사용하여 1개의 y변수를 예측할 것이다. y변수는 일별 BDI 시계열 자료이고, x변수들은 선행연구들에서 식별된 건화물운송시장 관련 지수 및 통계량을 사용한다. 해당 변수들은 BDI를 구성하는 4개의 보조지표, 선박의 연료의 가격지표인 Bunker Price Index(BIX), 해운경기 연구기관인 Clarkson 사(社)에서 발표하는 일별 건화물 운송량인 Total Bulk Carrier Deliveries(DWT), 평균 건화물운송수익인 Clarksons Average Bulker Earnings($/전체 선형의 평균), 선형별(vessel type) 가중평균 수익인 ClarkSea Index($)를 포함한다. 신경망 모델들의 학습과 테스트에 사용된 모든 데이터 셋은 데이터 전처리 과정의 일환으로 해당 데이터 셋들이 정규분포를 따른다고 가정하고 최소-최대 정규화(min-max normalization)를 적용하여 0 ~ 1의 실수 값을 갖도록 하였다. 모델 간의 예측 정확도 평가단계에서는 실측값으로 비교하기 위해 원래의 데이터 범위로 복구한 값을 사용하였다(revert min-max normalization). LSTM 모델의 학습에는 과적합(over-fitting)을 방지하기 위해 정규화(regularization)기법으로 drop-out과 recurrent drop-out을 적용하였다. 예측의 결과는 MSE(Mean Squared Error), RMSE(Root Mean Squared Error), MAE(Mean Absolute Error), MAPE(Mean Absolute Percentage Error)의 지표를 사용하여 실제 BDI 값과의 차이를 비교하였다.

제 4장에서 서술하였듯이 첫 번째 단계의 예측은 인공신경망 모델들의 BDI 시계열에 대한 적합성 검증과 동시에 두 번째 실증예측단계에서 사용할 인공신경망 모델들의 구조를 결정하기 위한 단계이다. Figure 1.은 학습 데이터만을 사용해 학습을 진행한 뒤 학습에 사용되지 않은 나머지 기간에 해당하는 테스트 데이터를 투입하여 얻은 결과값을 나타내었다. LSTM은 연구대상이 되는 기간 전체에 걸쳐 실제 값에 가까운 경향을 보여준다. 하지만, 다른 기간에 비해 3개의 모델 모두 2016년도 경기침체 구간에서 예측력이 떨어지는 것을 보여준다. 해당 구간은 본 연구의 대상이 되는 기간 중에서 인공신경망의 학습에 사용된 기간의 평균치에 한참 못 미치는 값일 뿐만 아니라, BDI 시계열이 발표된 이후로 역사상 최저치를 기록한 구간이다. 즉, 해당 값은 이상치(outlier)로 치부할 수 있으며, 인공신경망의 약점 중 하나인 학습과정에 보지 못한 데이터 또는 이상치에 대한 함수추론에 취약하다는 점에서 해당 학습결과 값의 원인을 추론할 수 있다. 그럼에도 불구하고 LSTM은 해당 구간에서 상대적으로 양호한 예측치를 보여주었다. RNN은 구조상 이점으로 MLP보다 나은 결과 값을 도출해낼 수 있을 것으로 예상되었으나, 대부분의 기간에서 MLP에 비해 낮은 예측 정확도를 보여주었다. 해당 결과 값에 대한 명확한 원인분석은 인공신경망의 근본적인 한계점(black box) 때문에 불가능하지만, RNN의 문제점인 ‘기울기 소실 또는 발산 문제’로부터 발생한 것으로 추측할 수 있다. Table 1.에서 확인할 수 있듯이 테스트 데이터 셋의 예측 값과 실제 값 간의 절대평균 오차 값의 백분율을 나타내는 MAPE에서 LSTM이 13.9%의 오차율로 가장 우수했으며, 다음으로 MLP(17.5%)와 RNN(24.8%)의 순으로 나타났다. RNN과 LSTM 간의 MAPE⁵⁾를 비교해보면 LSTM이 가지는 구조적 이점으로 약 11%, MLP와 LSTM 간의 경우는 3.7% 가량의 향상률을 보여준다. 첫 번째 단계를 통해 설정된 최적의 인공신경망 모델들의 구조는 Table 2.와 같다. 본 연구는 실제 비즈니스 레벨에서 사용할 수 있는 어플리케이션을 개발하는 것이 목적이 아니기 때문에 해당 구조의 결정은 시행 착오법(trial and error)을 통해 모델들의 학습과 테스트를 반복하며 최적의 구조를 찾아내었다. 따라서 함수근사를 통해 해법을 찾는 인공신경망의 특성상 해당 구조는 최적의 해법이 아닐 수 있다.

두 번째 실증예측 단계의 결과 값은 Figure 2.에 나타내었다. 해당 단계에서도 마찬가지로 LSTM 예측의 정확도가 가장 높으나, 많은 구간에서 MLP 또는 RNN이 우세한 경우도 보여준다. 첫 번째 단계에서와 마찬가지로 극단값(침체 구간)에서 강세를 보인 LSTM이 두 번째 단계에서도 극단 값(호황 또는 회복 구간)에서 우세하였다. 첫 번째 단계와의 차이점은 3개의 모델들 전부가 모든 구간에서 양호한 예측 결과 값을 보여준다는 것이다. 특히 RNN은 기존과 다르게 MLP보다 양호한 예측 값을 도출한 구간들이 많다. 이는 첫 번째 단계에 비해 학습에 사용할 수 있는 데이터가 많아졌으며, 상대적으로 단기간의 예측이기에 ‘기울기 소실 또는 발산 문제’가 감소함과 동시에 MLP와 차별되는 RNN의 구조적 이점으로 인해 해당 현상이 나타나는 것으로 생각할 수 있다. Table 3.의 MAPE를 확인해보면 LSTM이 3.5%의 오차율로 가장 우수했으며, 다음으로 RNN(4.3%)과 MLP(4.8%)의 순으로 나타났다. RNN과 LSTM 간의 MAPE를 비교해보면 LSTM이 약 0.7%, MLP와 LSTM 간의 경우는 1.3% 가량의 향상률을 보여준다.

본 연구는 시계열 예측의 대전제인 ‘과거의 추세가 미래에도 계속될 것이다.’라는 관점에서 과거의 특징들을 학습하는데 우세한 것으로 알려진 RNN과 LSTM을 적용하여 기존의 통계 및 인공신경망 기반의 BDI 시계열 연구들의 한계점을 극복하고자 하였다. BDI 예측의 첫 번째 단계에서는 해당 인공신경망 모델들의 BDI 시계열에 대한 적합성 검증 및 신경망들의 구조를 결정하였고, 두 번째 실증예측 단계에서는 첫 번째 단계에서 결정된 신경망들의 구조를 그대로 사용하되 1년의 기간을 대상으로 (t–1) 시점의 x변수들을 사용하여 t시점의 BDI 시계열, 즉 일별 예측을 진행하였다. 그 결과로 기존 연구들에 비해 우수한 BDI 예측결과 값을 도출할 수 있었을 뿐만 아니라 LSTM의 BDI 시계열에 대한 적용가능성까지 확인할 수 있었다. 해당 결과 값으로 다음 날의 해운경제시장에 대한 추세를 가늠해 볼 수 있어 단기간에 한정지어 해운의사결정의 보조지표로 활용할 수 있다. 하지만 자본집약적인 해운산업의 특성상 해당 연구를 실무에 적용하려면 중․장기 이상의 기간에 대한 예측을 필요로 한다. 따라서 추후 연구과제로서 보다 세밀한 변수설정 및 다양한 인공신경망 최적화 기법 등의 적용을 통한 중․장기 예측에 대한 연구가 필요하다. 본 연구를 통해 건화물운송시장, 더 나아가 해운산업 전반의 의사결정과 미래에 대한 투자 등에 있어서 하나의 참고점이 될 수 있기를 기대한다.