| Home | E-Submission | Sitemap | Editorial Office |  
top_img
Journal of the Korean Society for Quality Management > Volume 47(3); 2019 > Article
Long Short-Term Memory를 활용한 건화물운임지수 예측

Abstract

Purpose

The purpose of this study is to overcome limitations of conventional studies that to predict Baltic Dry Index (BDI). The study proposed applications of Artificial Neural Network (ANN) named Long Short-Term Memory (LSTM) to predict BDI.

Methods

The BDI time-series prediction was carried out through eight variables related to the dry bulk market. The prediction was conducted in two steps. First, identifying the goodness of fitness for the BDI time-series of specific ANN models and determining the network structures to be used in the next step. While using ANN's generalization capability, the structures determined in the previous steps were used in the empirical prediction step, and the sliding-window method was applied to make a daily (one-day ahead) prediction.

Results

At the empirical prediction step, it was possible to predict variable y(BDI time series) at point of time t by 8 variables (related to the dry bulk market) of x at point of time (t–1). LSTM, known to be good at learning over a long period of time, showed the best performance with higher predictive accuracy compared to Multi-Layer Perceptron (MLP) and Recurrent Neural Network (RNN).

Conclusion

Applying this study to real business would require long-term predictions by applying more detailed forecasting techniques. I hope that the research can provide a point of reference in the dry bulk market, and furthermore in the decision-making and investment in the future of the shipping business as a whole.

1. 서 론

2008년 글로벌 금융위기의 여파로 전 세계가 경기침체에 빠져있다. 이는 10여년이 지난 현재에도 지속되어 여전히 뚜렷한 회복세에 접어드는 모습을 보여주지 못하고 있다. 국제무역에서 해상운송이 차지하는 비율은 90% 이상이다. 즉, 국제무역에서 발생하는 해상운송수요를 주요 수익원으로 삼는 해운업의 특성상 이와 같은 글로벌 경기침체에 부정적인 영향을 받을 수밖에 없다. 세계해운경기 침체의 증거로 2017년의 한진해운 파산, 대대적인 해운동맹의 재편성, 부정기선 공동연합에 소속된 선복량의 증가 등을 예로들 수 있다. 특히, 해운경기를 대표하는 지표인 건화물운임지수(Baltic Dry Index: 이하 BDI)는 기존보다 더욱 심한 변동성을 보여주며, 2016년 2월에 역사상 최저점인 290 포인트를 기록하였다.
현재와 같은 해운시장의 불확실성이 뚜렷한 상황을 타개하고 보다나은 해운기업의 경영을 영위하기 위해 관련 산업계와 학계에서는 미래 경기추세와 예측에 대한 연구가 강조되고 있는 실정이다. 이에 특히, 상기에 언급한 BDI에 관련된 연구들이 꾸준히 이루어지고 있다. 해당 연구들은 기존보다 합리적이고 과학적인 해운기업들의 의사결정, 미래에 대한 투자, 그리고 리스크 관리 등을 위해 기준지표 또는 보조지표로서의 BDI 시계열 예측을 연구한다. 본 연구에서는 이를 위해 인공신경망(Artificial Neural Network)을 활용한 BDI 시계열 예측을 진행할 것이다.
본 연구의 순서는 다음과 같다. 우선, BDI의 특성에 따라 연구의 대상이 되는 해운시장의 범위를 정의하고 건화물 운송시장의 특징과 BDI와의 경제적 관계를 탐구한다. 이후 관련 선행연구들을 응용통계와 인공신경망 기반의 방법론으로 구분지어 착안점 및 한계점을 도출한다. 다음으로 본 논문에서 활용하고자하는 인공신경망 모델들의 간략한 소개, BDI 시계열을 예측하기 위한 투입변수선정 및 데이터 설명, 그리고 인공신경망 모델들을 학습시키기 위해 본 연구에서 설정한 기본 전제들을 정의한다. 연구의 예측 단계에서는 실증예측을 위해 BDI 시계열에 이동시계열 분석기법’(sliding-window method)을 적용한 일별 예측을 진행한다. 연구의 대상이 되는 기간은 2009.04.01.부터 2017.07.31.까지이다. 결론에서는 모델들 간 예측결과 값 비교 및 연구의 시사점을 도출할 것이다.

2. 이론적 배경

2.1 건화물 운송시장의 정의와 특징

해운산업이 발달하며 운송의 대상이 되는 화물의 종류와 특징에 따라서 시장의 세분화가 이루어졌다. 오늘날 해운산업의 운송시장은 크게 정기선 운송시장과 부정기선 운송시장으로 나뉜다. 정기선 운송시장과 가장 대비되는 부정기선 운송시장의 특징은 ‘산발적인 시장의 수요와 공급’이다. 부정기선 운송시장의 주요취급 화물은 원자재로 국제무역의 관점에서 해당 시장의 특성은 ‘원자재 생산지와 수요지의 불균형’으로부터 기인한다. 이 때문에 해당 시장은 철저히 화물수요자의 필요에 의해 발생하는 운송계약에 따라 공급이 이루어진다. 따라서 정기선 운송시장과 달리 운송일정, 품목, 물량, 기항지 등이 계약에 따라 상이하다. 부정기선 운송시장은 운송품목에 따라 세부적으로 건화물 운송시장과 액체화물 운송시장으로 나눌 수 있다. 본 연구에서 예측하고자하는 BDI는 1차적으로 건화물 운송시장에 대한 시황지표이지만, 해운산업 전반의 시황에 대한 지표로도 활용할 수 있다. 또한 더 나아가 경기선행지수로서 여타 세계경제시장에서의 활용법에 관련된 연구들도 활발히 이루어지고 있다. 하지만 본 논문의 기본적인 연구목적은 BDI 시계열을 예측하고자함에 있으므로 해당 지수를 건화물 운송시장 시황지표로서의 의의에 주안점을 둔다. 따라서 본 논문의 연구대상이 되는 해운시장은 건화물 운송시장으로 한정 짓는다.
Papailias, Thomakos, Liu(2017)는 건화물 운송시장의 대표적인 특징을 ‘내생성’(endogeneity)과 ‘공급의 지연’(supply lags)으로 정의하고 해당 요인들로 인해 해운경기의 미래추세를 예측하기 어렵다고 주장하고 있다. ‘내생성’은 해운업에서 발생하는 비용과 세계경제는 밀접한 관계가 있어 실시간으로 상호영향을 주고받으며 그 복잡성이 매우 높아 단순히 현시점의 세계 경기만으로는 해운시장의 현황과 이후 추세를 쉽사리 예측할 수 없음을 의미한다. ‘공급의 지연’은 해상화물운송의 수요는 즉각적이며 불규칙적으로 전 세계에서 발생하는 데에 반해 선박의 투입부터 운송의 완료까지 걸리는 시간의 지연뿐만 아니라 추가 선복량의 공급에는 통상 2년 이상의 시간과 막대한 자본의 투입을 요하므로 시장에 공급이 즉각 반영되지 않음을 의미한다. Kavussanos, Alizadeh-M(2001)은 건화물 운송시장의 스팟(spot)운임과 기간용선(time charter)운임에서 발생하는 계절성에 대한 연구를 진행하였다. 그 결과 해당 시장은 불규칙한 추상적 움직임이 아닌 계절성(seasonality)이 존재하며, 이는 세계 경제상황에 따른 해상물동량의 변화에 따라 지속적으로 주기성(cyclicity)을 띄며 나타남을 규명하였다. Thorsen(2010)은 건화물 운송시장의 시황에서 나타나는 단-장기의 주기성과 운임률 간의 관계를 연구하였다. 그 결과로 건화물 운송시장의 변동성은 단기적, 장기적 추세 모두에서 세계시장에서 수요와 공급에 영향을 미치는 다양한 요인들로부터 기인하는 세계경제지수와 밀접한 관계성을 띄는 것으로 나타났다. Scarsi(2007)의 연구에서는 건화물 운송시장의 시장균형에 대해서 논하고 있다. 저자는 기타 경기요인이나 추세 등으로 향후 해운시황을 충분히 예측할 수 있는 패턴 또는 규칙이 존재함에도 불구하고, 선주들이 합리적이고 과학적인 의사결정이 아닌, 단순히 경쟁자의 전략을 모방하거나 경험에 의한 투자를 감행하는 경우가 빈번히 발생함을 비판하고 있다.

2.2 BDI에 대한 이해

BDI는 1985년 처음 개발된 이후로 해운시황과 세계 경기의 변화에 따라 몇 차례의 개정을 거치며 2009년 7월 1일 이후로 4개의 보조지수1)들의 산술가중평균으로 구성된 (통합)BDI가 일별 단위로 발표되고 있다.2) BDI의 산정은 발틱거래소가 선정한 전 세계 선형별 주요항로들의 Time Charter Equivalent(TCE)의 산술가중평균에 의해 정해진다. 용선계약 수익률의 산전방식은 용선계약의 형태에 따라 상이한데, TCE는 모든 용선계약들의 수익을 기간용선 산출방법으로 표준화하여 특정 기간에 대한 용선운용 포트폴리오의 성과를 평가할 수 있게 해준다. 해당 지표는 운항수익에서 운항지출을 제하고 일별 단위의 항차를 나눔으로서 식 (1)과 같이 일일용선수익을 계산할 수 있다. 건화물 운송시장에서는 대부분의 수요가 용선계약에 의해 발생한다. 따라서 TCE를 바탕으로 산출되는 BDI는 건화물 운송시장 상에서 이루어지는 계약, 즉 시장 전체의 수요와 공급을 반영하는 실질적 지표로서의 의미를 갖는다.
(1)
Voyage Revenues ($USD) - Voyage Expenses ($USD)Round Trip Duration in Days
BDI가 가지는 경제적 의의와 관련된 연구로 Bakshi, Panayotov, Skoulakis(2012)의 문헌이 있다. 해당 연구에서는 세계경제활동과 BDI는 밀접한 상관관계가 있다고 주장하였다. 연구결과 BDI는 특정 주식에 대해 예측지표로서의 역할을 할 수 있으며 심지어 원자재 가격의 회복 이전에 BDI가 먼저 반응하는 선행지표로서의 역할 또한 하는 것으로 밝혀졌다. Lin, Sim(2013)의 연구에서는 BDI와 GDP 그리고 ‘최빈개도국에서 발생하는 무역’ 간의 상관관계를 분석하여 무역비용을 산정하는 새로운 방식을 제시하였다. 그들은 해당국들의 무역부문에서 1%의 성장이 발생할 때마다 일인당 국내 총 생산량이 평균 0.5% 가량 상승한다고 밝혀냈다. Geman, Smith(2012)의 연구에서는 BDI 고유의 내생변수를 규명하고자 확산모델(diffusion model)을 적용하여 BDI의 움직임과 세계 경기와의 상관관계를 분석해내었다. 결과로 BDI는 대부분의 경제상품(원자재, 주식, 전기, etc.)들보다 변동성이 최대 60%까지 높은 것으로 나타났다. 이와 같은 높은 변동성은 해운산업의 공급인 운송서비스가 가지는 특성에 기인한다고 저자는 주장하고 있다. 운송서비스는 서비스 그 자체로서, 실물상품의 경우처럼 물리적 재고를 저장하여 추후에 판매하는 방식이 아니라 해당 수요를 충족시킬 수 있는 가용선박이 있다고 가정할 경우 소비자의 수요가 발생 했을 때 공급이 즉각 이에 반응하기 때문이다. 이 외에도 Zeng, Qu(2014), Chistè, Van Vuuren(2014) 등, BDI가 건화물운송시장 뿐만 아니라 세계 경기에서 가지는 의미를 분석하고 해당 지수를 활용하고자한 다양한 연구들이 있다.
결론적으로 해당 지표를 바탕으로 산출되는 BDI는 완전경쟁시장에 근접하며 수요와 공급의 법칙에 따라 시장균형을 향해 끊임없이 변동하는 건화물 운송시장의 시황을 가장 잘 반영하는 지수라고 할 수 있다. 본 장에서 서술한 연구들을 통해 건화물 운송시장은 계절성, 주기성, 그리고 높은 변동성 등의 특징을 갖고 있는 것을 알 수 있었다. 또한 세계 경기와 밀접한 상관관계성이 있으며 해운시황에 영향을 미치는 다양한 요인들을 연구함으로서 해당 시장이 예측 불가의 영역이 아님을 증명할 수 있었다. 그럼에도 불구하고 비합리적이고 과학적이지 못한 의사결정과 과도한 투자로 인해 현재까지 해운시장의 침체가 이어지고 있어 보다 과학적인 의사결정이 요구되고 있는 실정이다.

3. 선행연구

3.1 응용통계 기반의 BDI 예측

BDI 시계열에 대한 실증 분석을 행한 Papailias, Thomakos, Liu(2017)의 연구가 있다. 해당 연구는 BDI 시계열의 주기성을 반영하기 위해 삼각법 회귀(trigonometric regression)를 사용하였다. 다양한 세계경제지표들과 원자재지수들을 종속변수로 활용하여 BDI 시계열의 연간 성장률을 예측하였다. 해당 연구에서도 마찬가지로 BDI 시계열은 3~5년 사이의 주기로 강한 순환성을 갖고 있는 것으로 나타났다. 삼각법 회귀를 통한 12달 기간까지의 예측에서 다른 예측모델(자동회귀, 이동 시계열 접근법, 시계열 모멘텀 방법)들에 비해 뛰어난 예측결과 값을 보여주었으며, 또한 순환성을 고려한 예측이 그렇지 않은 예측결과 값보다 더욱 뛰어난 예측 정확도를 보여주었다. Bakshi, Panayotov, Skoulakis(2012)의 연구에서는 세밀한 선행연구를 통해 다양한 경기지수들과 BDI 간의 상관관계를 파악하고, BDI의 3개월 성장률을 활용하여 주식과 상품시세지수를 예측하기 위해 Generalized Autoregressive Conditional Hetero-skedasticity(GARCH) 모델을 적용하였다. 해당 논문에서는 GARCH 모델의 분산으로 BDI 시계열의 변동성을 사용하였다. 이를 통해 유의미한 예측결과 값을 도출할 수 있었으며, 저자들은 BDI 시계열의 변동성은 원자재의 세계 무역량을 즉각 반영하기 때문에 해당 지수를 실물경제의 선행지표로 활용할 수 있다고 주장하였다. Tsioumas, Papadimitriou, Smirlise, Zahran(2017)의 연구에서는 다양한 외생 변수를 활용한 다변량 벡터자기 회귀를 통해 BDI를 예측하고 단변량 ARIMA(Autoregressive Integrated Moving Average) 모델의 예측 값보다 뛰어난 결과를 보여주었다. 이 외에도 BDI가 개정되기 이전의 건화물운임지수인 BFI 시계열 예측을 위해 단변량 ARIMA를 적용한 연구, 다양한 통계적 기법들을 활용하여 해운거래소에서 발표되는 특정 지표들을 예측하고 이를 바탕으로 한 운임선도거래 투자의 가능성을 보여준 연구, 그리고 BFI의 보조지수 중 하나인 BCI를 GARCH 모델을 활용해 예측하고자한 연구(Cullinane, Mason, and Cape 1999; Goulas 2010; Fan, Xing, and Yang 2014) 등 다양한 통계적 기법을 활용하여 건화물 운송시장과 그 관련 경제상황들을 예측하고자한 논문들이 있다.

3.2 인공신경망 기반의 BDI 예측

통계적 기반의 BDI 예측에 비해 인공신경망 방법론을 적용한 연구들은 상대적으로 적게 이루어지고 있는 실정이다. Zeng, Qu(2014)Zeng, Qu, Ng, Zhao(2016)의 연구에서는 신호처리에서 사용되는 Empirical Mode Decomposition(EMD)을 사용하여 BDI 시계열을 단-장기 추세로 분해하고 인공신경망 모델 중 다층 퍼셉트론(Multi-Layer Perceptron: 이하 MLP)을 통한 예측을 실시하였다. 결과로 벡터자기회귀를 통한 예측 값과 비교하였을 때 훨씬 뛰어난 예측 정확도를 보여주었다. Leonov, Nikolov(2012)의 연구에서는 BDI 보조지수 중 하나인 BPI의 산정에 사용되는 특정 항로들에 대한 예측을 시행하였다. 해당 연구는 건화물 운송시장에서 발생하는 높은 변동성을 제어하기 위해 Wavelet transform을 적용하여 BDI 시계열을 분해 후 인공신경망을 통한 예측을 실시하였다. 결과로 해당 모델을 GARCH 모델과 비교했을 때 Wavelet transform을 통해 전처리 과정을 거친 뒤에 인공신경망을 적용한 경우가 더욱 높은 정확도를 보여주었다. 상기 연구들 외에도 컨테이너, 유류 등의 해운시장지수들을 인공신경망을 통해 예측하고자한 다양한 시도들이 있다(Kavussanos and Alizadeh-M 2002; Li and Parsons 1997; Lyridis, Zacharioudakis, Mitrou, and Mylonas 2004; Uyar, Ilhan, and İlhan 2016). 해당 연구들도 마찬가지로 응용통계 기반의 예측과 비교하여 높은 예측 정확성을 보여주었다.

3.3 선행연구 분석결과 및 한계점

선행연구 분석을 통해 다음과 같은 점들을 파악할 수 있었다. 첫 째, BDI는 세계 경기와 매우 밀접한 상관관계가 있어 해당 지수의 예측을 통해 건화물시장 또는 해운시장 전체, 더 나아가 세계 경기의 미래추세를 파악할 수 있다. 둘 째, 해당 지수가 가지는 특징(변동성, 주기성, 계절성)으로 인해 예측이 어렵기 때문에 데이터의 전처리부터 분석 및 예측까지 보다 세밀하고 과학적인 방법론들이 적용되어야 한다는 것이다. 마지막으로 인공신경망 기반의 연구들은 공통적으로 인공신경망의 특성상 BDI 시계열이 갖는 복잡성과 높은 변동성을 제어하고 데이터 내의 특정 패턴을 파악하는데 용이하여 통계적 기반의 예측보다 뛰어난 결과 값을 도출할 수 있다고 주장하고 있다. 하지만 선행연구들에 사용된 인공신경망 모델들은 구조적인 한계점을 갖고 있다. 대부분의 연구들이 MLP를 활용하여 예측을 진행하였는데, 해당 모델의 특성상 과거의 추세가 미래에도 계속된다는 시계열 예측의 대전제를 고려하지 못한 연구들이라 할 수 있다. 물론, 선행연구들은 응용․혼합모델의 활용뿐만 아니라 기본전제, 변수설정, 네트워크의 구성 등에 있어서 다양한 접근법을 보여주기 때문에, 동일 조건 하에서 정밀한 실험을 진행해보지 않는 이상 어떤 방법론이 BDI 시계열 예측에 가장 뛰어나다고 단정 짓기는 어렵다. 또한 해당 연구기간 동안에 좋은 예측성능을 보여준 모델이 미래에도 그에 준하는 성능을 낼 것이라는 보장은 없다. 따라서 다양한 모델들을 적용한 연구를 시도해볼 필요가 있다. 이에 본 연구에서는 MLP와 비교하여 장기기억 학습능력이 뛰어난 순환신경망(Recurrent Nerual Network: 이하 RNN)과 장․단기 메모리(Long Short-Term Memory: 이하 LSTM)를 통해 BDI 시계열 예측을 진행한다.

4. 연구방법론

인공신경망에는 네트워크의 구성 또는 형태와 해당 네트워크 고유의 특성 등에 따라 다양한 모델들로 구분할 수 있다. 본 연구에서는 MLP, RNN, LSTM을 통해 BDI 시계열 예측을 진행한다. MLP는 모든 인공신경망 모델들의 전신이 되는 퍼셉트론(perceptron)을 최소 3개의 층으로 구성하여 은닉층(hidden layer)의 각 노드에 특정 활성화함수(activation function)들이 있는 구조이다. 일반적으로 회귀문제에 대한 MLP의 학습에는 지도학습법을 사용한다. 지도학습법은 해결하고자하는 문제에서 기존에 주어진 투입벡터와 산출벡터 간에 존재하는 모든 해법, 즉 가설공간(hypothesis space) 상에 존재하는 무수한 관계식 중 비용함수(cost function)를 최소화할 수 있는 특정 함수식으로 근사하는 일련의 방법이다. 인공신경망의 지도학습을 위한 일반적인 방법으로 오차역전파법(backpropagation)을 사용한다. 오차역전파법을 통해 함수근사를 위한 여러 가지 알고리즘이 존재하나 그 중에 가장 효율적으로 알려진 경사하강법(gradient descent)을 사용한다. 인공신경망의 층별 노드들은 가중치로 표현되는 강도로 서로 이어져있는데 이를 해당 알고리즘을 통해 순전파(feed-forward)와 역전파(feed-backward)를 반복적으로 계산하여 갱신하는 방식으로 학습이 진행된다.
RNN의 기본 아이디어는 Jordan(1986)에 의해 개발되었다. 해당 인공신경망은 출력층의 값을 전달하는 상태유닛(state unit)이 존재하여 t시점의 학습 시, (t–1)시점의 출력 값 y(t–1)t 시점의 상태유닛Uh을 함께 고려해주어 MLP보다 장기간의 데이터를 학습할 수 있는 구조적 이점이 있다. 이후에 Jordan의 모델을 개량하여 Elman(1990)의 연구에서는 상황유닛(context unit)이라는 독립된 층을 두어, 매 학습마다 출력층의 값과는 별개로 (t–1)시점의 은닉층의 값 h(t–1)을 저장하여 t시점의 상황유닛 Uh과 곱해줌으로서 t시점의 은닉층의 값을 갱신한다. 두 모델 모두 재귀적인 방식으로 과거의 값을 반복해가며 학습하는 공통점이 있으나, Elman의 모델은 독립적 상황유닛의 존재로 장기간의 값을 더욱 잘 기억하여 자연어 처리, 시계열 예측 등의 분야에 활용되고 있다. 본 연구에서 활용할 RNN 모델은 Elman의 RNN 모델이다[식 (2)]. Whσh는 은닉층의 가중치와 활성화함수이며, σy는 출력층의 활성화함수 그리고 bhby는 은닉층과 출력층의 bias-term이다.
(2)
ht = σh (Whxt + Uhht-1 + bh)yt = σy (Wyht + by)
RNN은 그 구조에 따라 과거에 발생한 (tn)시점까지의 상황유닛들을 고려하며 학습이 이루어져야하기 때문에 특수한 형태의 오차역전파법인 BackPropagation Through Time(BPTT)라는 알고리즘을 적용한다. 해당 알고리즘은 매번의 가중치 업데이트마다 과거의 모든 오차항에 대해 계산을 실행하기 때문에 학습 대상기간이 길어질수록 계산 량이 지수(exponential)증가한다. 또한 인공신경망의 학습에는 소수(decimal)로 나타나는 벡터들의 내적(dot product)이 계속 이루어지기 때문에 이가 반복될수록 함수근사가 수렴(converge)하지 않아 학습이 이루어지지 않는 ‘기울기 소실 또는 발산 문제’(vanishing or exploding gradient problem)가 발생할 수 있는 맹점을 갖고 있다(Hochreiter, Bengio, Frasconi, Schmidhuber 2001). Hochreiter, Schmidhuber(1997)는 RNN의 문제점을 극복한 장․단기 메모리(Long Short-Term Memory: 이하 LSTM)를 개발하였다. LSTM은 기존의 RNN에서 셀(cell)과 게이트(gate)의 개념이 추가된 구조이다. t시점에 셀의 출력 값은 셀 상태(cell state) c(t–1)로서 다음 셀로 전달되며 t시점에 셀의 은닉층의 값은 은닉상태(hidden state) h(t–1)로서 다음 셀로 전달된다. 게이트는 각각의 셀 안에 존재하며 입력 게이트(input gate[it]), 출력 게이트(output gate[ot]), 그리고 망각 게이트(forget gate[ft])로 나뉜다. 해당 게이트와 게이트에 존재하는 활성화함수들의 조합으로 인공신경망 학습의 장기기억력이 증대되는 장점이 있다.
LSTM 모델의 식은 다음과 같다[식 (3)].3) Wf,i,obf,i,o는 각 게이트 별 가중치와 bias-term이며, σg,c는 활성화함수이다.
(3)
ft = σg (Wfxt + Ufht-1 + bf)it = σg (Wixt + Uiht-1 + bi)ot = σg (Woxt + Uoht-1 + bo)ct = ft ct-1 +  it σc (Wcxt + Ucht-1 + bc)ht = ot σc ( ct)
LSTM의 입력 게이트에는 시그모이드(sigmoid)와 쌍곡선 탄젠트(hyperbolic tangent)[식 (7)]로 불리는 두 개의 함수가 동시에 존재한다. 본 논문에서는 시그모이드 함수 대신 Courbariaux, Hubara, Soudry, El-Yaniv, Bengio(2016)의 연구에서 개발된 하드 시그모이드(hard sigmoid)[식(6)] 함수를 사용한다. 해당 함수는 기존 시그모이드 함수의 특성은 그대로 유지하면서도 인공신경망의 학습 시 계산이 빠른 이점이 있다. 해당 모델의 학습은 ‘기울기 소실 또는 발산 문제’를 일부 해결한 BPTT 알고리즘의 개량형인 Truncated Backpropagation Through Time(TBPTT)(Williams, Peng 1990)을 사용하여 진행한다. 연구에 사용된 모든 인공신경망 모델들의 비용함수로는 시계열 예측과 같은 회귀분석 문제에서 일반적으로 사용되는 최소자승법(Least Square Method: LSM)을 사용할 것이다. LSTM의 입력 게이트를 제외한 기타 게이트들과 MLP, RNN의 활성함수로는 시그모이드 함수를 사용한다.
(6)
xtb = +1 with probability p = σg(xt)-1 with probability 1-p,whereσg(xt) = clip(xt+12, 0, 1) = max(0, min(1, xt+12))
(7)
σc(xt) = sin(xt)cos(xt) = ext-e-xtext+e-xt
본 연구의 예측은 두 단계로 진행된다. 해당 연구는 LSTM을 BDI 시계열에 적용한 최초의 연구로서 해당 시계열에 대한 특정 인공신경망(LSTM)의 적합성(goodness of fitness)을 확인할 필요가 있다. 따라서 예측의 첫 번째 단계로 연구의 대상이 되는 전체기간(2009.04.01. ~ 2017.07.31.)에 대해 학습과 테스트 데이터 셋(BDI 예측을 위해 인공신경망을 활용한 선행연구들에서 일반적으로 보여주는 7:3)4)으로 분리하여 인공신경망 모델 간의 BDI 시계열에 대한 예측 적합성을 확인할 것이다. 두 번째의 실증예측 단계에서는 인공신경망의 일반화 능력을 이용해서 첫 번째 단계에서 최적으로 결정된 인공신경망 모델들의 네트워크 구조를 그대로 사용할 것이다. 해당 단계에서는 BDI 시계열의 1년간의 기간(2015.02.03. ~ 2017.07.31.)에 대한 일별예측을 위해 이동시계열 분석기법을 적용할 것이다. 이를 위해 인공신경망의 학습과 테스트에 사용될 모든 x변수들의 시점을 의도적으로 (t–1)로 조정하여 전날의 x변수들의 조합에 의해 t시점의 y변수가 발생된 것으로 가정한다. 따라서 두 번째 예측 단계의 경우는 실증예측 대상이 되는 1년의 기간을 테스트 데이터 셋으로 하고 나머지 과거의 기간을 학습에 사용한다. 본 연구에서는 총 8개의 투입변수 x를 사용하여 1개의 y변수를 예측할 것이다. y변수는 일별 BDI 시계열 자료이고, x변수들은 선행연구들에서 식별된 건화물운송시장 관련 지수 및 통계량을 사용한다. 해당 변수들은 BDI를 구성하는 4개의 보조지표, 선박의 연료의 가격지표인 Bunker Price Index(BIX), 해운경기 연구기관인 Clarkson 사(社)에서 발표하는 일별 건화물 운송량인 Total Bulk Carrier Deliveries(DWT), 평균 건화물운송수익인 Clarksons Average Bulker Earnings($/전체 선형의 평균), 선형별(vessel type) 가중평균 수익인 ClarkSea Index($)를 포함한다. 신경망 모델들의 학습과 테스트에 사용된 모든 데이터 셋은 데이터 전처리 과정의 일환으로 해당 데이터 셋들이 정규분포를 따른다고 가정하고 최소-최대 정규화(min-max normalization)를 적용하여 0 ~ 1의 실수 값을 갖도록 하였다. 모델 간의 예측 정확도 평가단계에서는 실측값으로 비교하기 위해 원래의 데이터 범위로 복구한 값을 사용하였다(revert min-max normalization). LSTM 모델의 학습에는 과적합(over-fitting)을 방지하기 위해 정규화(regularization)기법으로 drop-out과 recurrent drop-out을 적용하였다. 예측의 결과는 MSE(Mean Squared Error), RMSE(Root Mean Squared Error), MAE(Mean Absolute Error), MAPE(Mean Absolute Percentage Error)의 지표를 사용하여 실제 BDI 값과의 차이를 비교하였다.

5. 연구결과 및 결론

제 4장에서 서술하였듯이 첫 번째 단계의 예측은 인공신경망 모델들의 BDI 시계열에 대한 적합성 검증과 동시에 두 번째 실증예측단계에서 사용할 인공신경망 모델들의 구조를 결정하기 위한 단계이다. Figure 1.은 학습 데이터만을 사용해 학습을 진행한 뒤 학습에 사용되지 않은 나머지 기간에 해당하는 테스트 데이터를 투입하여 얻은 결과값을 나타내었다. LSTM은 연구대상이 되는 기간 전체에 걸쳐 실제 값에 가까운 경향을 보여준다. 하지만, 다른 기간에 비해 3개의 모델 모두 2016년도 경기침체 구간에서 예측력이 떨어지는 것을 보여준다. 해당 구간은 본 연구의 대상이 되는 기간 중에서 인공신경망의 학습에 사용된 기간의 평균치에 한참 못 미치는 값일 뿐만 아니라, BDI 시계열이 발표된 이후로 역사상 최저치를 기록한 구간이다. 즉, 해당 값은 이상치(outlier)로 치부할 수 있으며, 인공신경망의 약점 중 하나인 학습과정에 보지 못한 데이터 또는 이상치에 대한 함수추론에 취약하다는 점에서 해당 학습결과 값의 원인을 추론할 수 있다. 그럼에도 불구하고 LSTM은 해당 구간에서 상대적으로 양호한 예측치를 보여주었다. RNN은 구조상 이점으로 MLP보다 나은 결과 값을 도출해낼 수 있을 것으로 예상되었으나, 대부분의 기간에서 MLP에 비해 낮은 예측 정확도를 보여주었다. 해당 결과 값에 대한 명확한 원인분석은 인공신경망의 근본적인 한계점(black box) 때문에 불가능하지만, RNN의 문제점인 ‘기울기 소실 또는 발산 문제’로부터 발생한 것으로 추측할 수 있다. Table 1.에서 확인할 수 있듯이 테스트 데이터 셋의 예측 값과 실제 값 간의 절대평균 오차 값의 백분율을 나타내는 MAPE에서 LSTM이 13.9%의 오차율로 가장 우수했으며, 다음으로 MLP(17.5%)와 RNN(24.8%)의 순으로 나타났다. RNN과 LSTM 간의 MAPE5)를 비교해보면 LSTM이 가지는 구조적 이점으로 약 11%, MLP와 LSTM 간의 경우는 3.7% 가량의 향상률을 보여준다. 첫 번째 단계를 통해 설정된 최적의 인공신경망 모델들의 구조는 Table 2.와 같다. 본 연구는 실제 비즈니스 레벨에서 사용할 수 있는 어플리케이션을 개발하는 것이 목적이 아니기 때문에 해당 구조의 결정은 시행 착오법(trial and error)을 통해 모델들의 학습과 테스트를 반복하며 최적의 구조를 찾아내었다. 따라서 함수근사를 통해 해법을 찾는 인공신경망의 특성상 해당 구조는 최적의 해법이 아닐 수 있다.
두 번째 실증예측 단계의 결과 값은 Figure 2.에 나타내었다. 해당 단계에서도 마찬가지로 LSTM 예측의 정확도가 가장 높으나, 많은 구간에서 MLP 또는 RNN이 우세한 경우도 보여준다. 첫 번째 단계에서와 마찬가지로 극단값(침체 구간)에서 강세를 보인 LSTM이 두 번째 단계에서도 극단 값(호황 또는 회복 구간)에서 우세하였다. 첫 번째 단계와의 차이점은 3개의 모델들 전부가 모든 구간에서 양호한 예측 결과 값을 보여준다는 것이다. 특히 RNN은 기존과 다르게 MLP보다 양호한 예측 값을 도출한 구간들이 많다. 이는 첫 번째 단계에 비해 학습에 사용할 수 있는 데이터가 많아졌으며, 상대적으로 단기간의 예측이기에 ‘기울기 소실 또는 발산 문제’가 감소함과 동시에 MLP와 차별되는 RNN의 구조적 이점으로 인해 해당 현상이 나타나는 것으로 생각할 수 있다. Table 3.의 MAPE를 확인해보면 LSTM이 3.5%의 오차율로 가장 우수했으며, 다음으로 RNN(4.3%)과 MLP(4.8%)의 순으로 나타났다. RNN과 LSTM 간의 MAPE를 비교해보면 LSTM이 약 0.7%, MLP와 LSTM 간의 경우는 1.3% 가량의 향상률을 보여준다.
본 연구는 시계열 예측의 대전제인 ‘과거의 추세가 미래에도 계속될 것이다.’라는 관점에서 과거의 특징들을 학습하는데 우세한 것으로 알려진 RNN과 LSTM을 적용하여 기존의 통계 및 인공신경망 기반의 BDI 시계열 연구들의 한계점을 극복하고자 하였다. BDI 예측의 첫 번째 단계에서는 해당 인공신경망 모델들의 BDI 시계열에 대한 적합성 검증 및 신경망들의 구조를 결정하였고, 두 번째 실증예측 단계에서는 첫 번째 단계에서 결정된 신경망들의 구조를 그대로 사용하되 1년의 기간을 대상으로 (t–1) 시점의 x변수들을 사용하여 t시점의 BDI 시계열, 즉 일별 예측을 진행하였다. 그 결과로 기존 연구들에 비해 우수한 BDI 예측결과 값을 도출할 수 있었을 뿐만 아니라 LSTM의 BDI 시계열에 대한 적용가능성까지 확인할 수 있었다. 해당 결과 값으로 다음 날의 해운경제시장에 대한 추세를 가늠해 볼 수 있어 단기간에 한정지어 해운의사결정의 보조지표로 활용할 수 있다. 하지만 자본집약적인 해운산업의 특성상 해당 연구를 실무에 적용하려면 중․장기 이상의 기간에 대한 예측을 필요로 한다. 따라서 추후 연구과제로서 보다 세밀한 변수설정 및 다양한 인공신경망 최적화 기법 등의 적용을 통한 중․장기 예측에 대한 연구가 필요하다. 본 연구를 통해 건화물운송시장, 더 나아가 해운산업 전반의 의사결정과 미래에 대한 투자 등에 있어서 하나의 참고점이 될 수 있기를 기대한다.

NOTES

1) 건화물 운송시장에 투입되는 선형별(vessel type)지수로서 Baltic Capesize Index(BCI), Baltic Panamax Index(BPI), Baltic Supramax Index(BSI), Baltic Handysize Index(BHSI)가 있다.

2) 본 논문이 작성되고 있는 현 시점(2019년)에 발표되고 있는 지수는 2018.03.01.의 개정이 최신이나, 연구대상기간(2009.04.01. ~ 2017.07.31)에 포함되지 않으므로 논외로 한다. 최신 개정기준으로 보조지수들 중 BCI, BPI, BSI만 BDI 산정에 고려되고 있다.

3) RNN과 LSTM의 구조 및 학습 알고리즘에 대한 자세한 설명은 HAN, Minsoo. 2019. “Prediction of Baltic Dry Index by Applications of Long Short-Term Memory Recurrent Neural Network Architectures.” M.S. thesis., Korea Maritime and Ocean University.)의 연구를 참고할 것.

4) 해당 비율의 학습 데이터 셋은 본 연구의 두 번째 단계에서 실시할 실증예측의 대상기간(2015.02.03. ~ 2017.07.31.)에 포함되지 않아 첫 번째 단계를 통해 도출할 인공신경망 모델들의 구조결정에 실증예측기간의 데이터를 사전에 노출시키지 않는 적합한 비율임.

5) MAPE는 이미 백분율(%) 단위이므로 다른 정확성 평가지표들과는 달리 모델들 간의 차이 값으로 계산하였다. 나머지 예측정확도 평가지표들은 LSTM을 기준으로 MLP 또는 RNN 대비 LSTM 모델의 향상률(%)로 나타내었다.

REFERENCES

Scarsi, Roberta 2007. "The Bulk Shipping Business: Market Cycles and Shipowners’ Biases." Maritime Policy & Management 34(6):577-590.
crossref
Chistè, Claudio, and Van Vuuren, Gary 2014. "Investigating the Cyclical Behavior of the Dry Bulk Shipping Market." Maritime Policy & Management 41(1):1-19.
crossref
Courbariaux, Matthieu, and et al 2016. "Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1." arXiv, preprint arXiv:1602.02830:1-11.

Cullinane, K. P. B., Mason, K. J., and Cape, M. 1999. "A Comparison of Models for Forecasting the Baltic Freight Index: Box-Jenkins Revisited." International Journal of Maritime Economics 1(2):15-39.
crossref pdf
Elman, Jeffrey L. 1990. "Finding Structure in Time." Cognitive Science 14(2):179-211.
crossref
Fan, Yong Hui, Yu, Wei Xing, and Hua, Long Yang 2014. "Prediction of Baltic Capesize Freight Index Based on GARCH Model." In Applied Mechanics and Materials 488: 1494-1497.
crossref pdf
Geman, Hélyette, and Smith, William O. 2012. "Shipping Markets and Freight Rates: An Analysis of the Baltic Dry Index." Journal of Alternative Investments 15(1):98-109.
crossref
HAN, Minsoo 2019. "Prediction of Baltic Dry Index by Applications of Long Short-Term Memory Recurrent Neural Network Architectures." M.S. thesis.. Korea Maritime and Ocean University.

Hochreiter, Sepp 1997. "Long short-term memory." Neural Computation 9(8):1735-1780.
crossref pmid
Hochreiter, Sepp, and et al 2001. "Gradient Flow in Recurrent Nets: the Difficulty of Learning Long-term Dependencies." 1-15.

Jordan, Michael I. 1997. "Serial Order: A Parallel Distributed Processing Approach." In Advances in Psychology 121: 471-495.
crossref
Kavussanos, Manolis G., and Alizadeh-M, Amir H. 2001. "Seasonality Patterns in Dry Bulk Shipping Spot and Time Charter Freight Rates." Transportation Research Part E: Logistics and Transportation Review 37(6):443-467.
crossref
Kavussanos, Manolis G., and Alizadeh-M, Amir H. 2002. "Seasonality Patterns in Tanker Spot Freight Rate Markets." Economic Modelling 19(5):747-782.
crossref
Leonov, Yordan 2012. "A Wavelet and Neural Network Model for the Prediction of Dry Bulk Shipping Indices." Maritime Economics & Logistics 14(3):319-333.
crossref pdf
Li, Jun 1997. "Forecasting Tanker Freight Rate using Neural Networks." Maritime Policy & Management 24(1):9-30.
crossref
Lin, Faqin, and Sim, Nicholas CS 2013. "Trade, Income and the Baltic Dry Index." European Economic Review 59: 1-18.
crossref
Lyridis, D. V., and et al 2004. "Forecasting Tanker Market using Artificial Neural Networks." Maritime Economics & Logistics 6(2):93-108.
crossref pdf
Papailias, Fotis, Thomakos, Dimitrios D., and Liu, Jiadong 2017. "The Baltic Dry Index: cyclicalities, forecasting and hedging strategies." Empirical Economics 52(1):255-282.
crossref pdf
Signal Trading Group. 2011(revised in 2012). Bakshi, Gurdip, George Panayotov, and Georgios Skoulakis. "The Baltic Dry Index as a Predictor of Global Stock Rreturns, Commodity Returns, and Global Economic Activity." Accessed December 18. www.signaltradinggroup.com/wp-content/WhitePapers/Baltic Bakshi, Gurdip S. and Panayotov, George and Skoulakis, Georgios, The Baltic Dry Index as a Predictor of Global Stock Returns, Commodity Returns, and Global Economic Activity (January 26, 2011). AFA 2012 Chicago Meetings Paper.

Thorsen, Ivar Sandvig 2010. "Dry Bulk Shipping and Business Cycles." M. S. thesis.. Norwegian School of Economics and Business Administration.

Tsioumas, Vangelis, and et al 2017. "A Novel Approach to Forecasting the Bulk Freight Market." The Asian Journal of Shipping and Logistics 33(1):33-41.
crossref
Uyar, Kaan, and İlhan, Ahmet 2016. Long Term Dry Cargo Freight Rates Forecasting by using Recurrent Fuzzy Neural Networks. In Aliev R.A., et al (ed.), Procedia Computer Science, 12th International Conference on Application of Fuzzy Systems and Soft Computing (ICAFS 2016). Vienna, Austria: August 29-30, 2016; Elsevier; Oxford, United Kingdom: 102: 642-647.

Williams, Ronald J., and Peng, Jing 1990. "An Efficient Gradient-based Algorithm for On-line Training of Recurrent Network Trajectories." Neural Computation 2(4):490-501.
crossref
Zeng, Qingcheng, and Qu, Chenrui 2014. "An Approach for Baltic Dry Index Analysis Based on Empirical Mode Decomposition." Maritime Policy & Management 41(3):224-240.
crossref
Zeng, Qingcheng, and et al 2016. "A New Approach for Baltic Dry Index Forecasting Based on Empirical Mode Decomposition and Neural Networks." Maritime Economics & Logistics 18(2):192-210.
crossref pdf
Γούλας, Λάμπρος 2010. "Forecasting Freight Rates: Evidence from the Baltic Exchange Indices and the IMAREX Freight Futures." M.S. Thesis. University of Piraeus.

Figure 3.
Over-plotting the results of all ANN models fitting on the test set
jksqm-47-3-497f1.jpg
Figure 4.
Over-plotting the prediction results of all ANN models
jksqm-47-3-497f2.jpg
Table 1.
Results of comparing the prediction accuracy of each model based on LSTM
MLP RNN LSTM MLP/LSTM (%) RNN/LSTM (%)
MSE 15074.974 26438.01 10471.07 (+)30.54 (+)60.394
RMSE 122.780 162.598 102.328 (+)16.657 (+)37.067
MAE 95.853 134.977 87.129 (+)9.101 (+)35.449
MAPE (%) 17.527 24.831 13.867 (+)3.66 (+)10.964
Table 2.
Network structures of ANN models
Hyper-parameters MLP RNN LSTM
Number of hidden layers or stacked LSTM 1 layer 1 layer 2 stacked LSTM layers
Number of nodes or cells in hidden layers 3 nodes 3 nodes 10 cells for each layer
Recurrent drop out / Drop out Not used Not used 0.4 / 0.3
Table 3.
Results of comparing the prediction accuracy of each model based on LSTM
MLP RNN LSTM MLP/LSTM (%) RNN/LSTM (%)
MSE 3920.055 2407.645 1644.688 (+)58.044 (+)31.689
RMSE 62.610 49.068 40.555 (+)35.226 (+)17.349
MAE 47.600 40.340 32.518 (+)31.685 (+)19.390
MAPE (%) 4.798 4.278 3.544 (+)1.254 (+)0.734
TOOLS
PDF Links  PDF Links
PubReader  PubReader
ePub Link  ePub Link
Full text via DOI  Full text via DOI
Download Citation  Download Citation
  E-Mail
  Print
Share:      
METRICS
0
Crossref
113
View
5
Download
Related article
Editorial Office
13F, 145, Gasan digital 1-ro, Geumcheon-gu, Seoul 08506, Korea
TEL: +82-2-2624-0357   FAX: +82-2-2624-0358   E-mail: ksqmeditor@ksqm.org
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
Copyright © Korean Society for Quality Management. All rights reserved.                 developed in m2community
Close layer
prev next