최근 딥러닝을 기반의 CNN(convolutional neural network, 합성곱 신경망)은 다양한 분야, 특히 이미지 인식 분야에서 폭넓게 적용되며 높은 성능을 보였고 최근 몇 년간 많은 연구가 수행되었다. Son and Kim(2022)은 CNN이 시계열 데이터에서 정상 상태와 비정상 상태를 분류하는 데 적합하다고 언급하였다. Zhao(2019)는 상태 모니터링 분야에서 기존 진단 방법을 능가하는 상태 모니터링 및 진단 모델을 개발하였다. Kang and Lee(2020)는 기존의 수학적 모델링이 비선형 환경에서 잡음이 존재하므로 개선하여 정상 및 비정상 상태를 분류하기 위해 STFT(short time Fourier transform, 짧은 시간 푸리에 변환) 및 CNN을 사용하여 스펙트로그램 음향 신호를 분석하였다. 이와 유사하게 Lee(2022)는 고무패킹의 진동 데이터에 대해 STFT 데이터와 CNN을 이용한 고장 분류 방법을 제안하고 제안된 방법의 유효성을 확인하였다. Lim and Kim(2021)은 푸리에 변환을 사용할 때 연산 속도를 향상시키기 위해 대형 커널을 적용한 Fourier CNN을 제안하였다. Hussain(2020)은 FFT(fast Fourier transform, 고속 푸리에 변환)를 이용하여 네트워크 트래픽 데이터를 이미지 형식으로 변환하고 CNN의 일종인 ResNet을 통해 11개의 멀티클래스로 분류하였다.

고해상도 이미지를 생성하는 GAN(generative adversarial networks) 알고리즘에 대해 많은 연구가 수행되었다. 그러나 이미지를 생성만 아니라 GAN 알고리즘 학습의 불안정성을 해결하는 연구 및 데이터 셋의 불균형으로 인해 낮은 정확도를 개선하는 연구가 많이 수행되었다. Salimans et al.(2016)은 GAN 학습에서 발생하는 불안정성 문제를 해결하기 위해 생성자와 판별자의 학습률을 조정하여 학습의 불안정성을 감소시키고 생성된 이미지의 품질을 향상시키는 방법을 제안하였다. Karras et al.(2017)는 이미지 생성 및 증강 방법을 개선하는 방법으로 생성자와 판별자의 네트워크를 점진적으로 늘려가며 학습시키는 방법을 제안하여 고해상도의 이미지를 생성하는 방법을 보완하였다. Li(2020)는 결함 데이터의 수가 정상 데이터에 비해 매우 적어 데이터 불균형으로 인한 낮은 정확도 문제가 있다고 하였다. 이를 해결하기 위해 ACWGAN-GP를 제안하여 결함데이터에 대한 불균형을 해결하였고 정확도를 효과적으로 향상시켰다. Han and Yu(2022)는 원본 시계열을 전처리하기 위해 시계열 분해 및 데이터 증강 기법을 사용하여 제한된 가용 가능 데이터가 주어진 상황에서 정확도를 개선하였다. Sedigh(2019)는 CNN 모델의 성능을 개선하기 위해 GAN을 사용하여 합성 이미지를 생성하는 연구를 수행하여 높은 정확도를 얻었다. 그러나 Mun(2020)은 CNN을 통한 이미지 변화를 활용하는 데이터 증강을 적용했음에도 불구하고 특정 클래스가 1% 미만인 경우 데이터 증강만으로는 불균형 문제를 충분히 해결할 수 없어 추가 연구가 필요함을 언급하였다.

신호 처리는 통신, 제어 및 데이터 분석을 포함하여 많은 과학 및 엔지니어링 분야의 필수 요소이다. 최근 몇 년동안 디지털 신호가 널리 보급됨에 따라 효율적이고 효과적인 신호 처리 기술에 대한 필요성도 커졌다. 디지털 신호를 분석하는 가장 기본적인 기술 중 하나는 신호를 구성 주파수로 분해하는 푸리에 변환이다. 이는 입력 신호를 주기적인 sin, cos 함수들의 성분으로 분해하는 기술로, 신호를 주파수 성분으로 분해하여 분석하는 것을 의미한다. 이를 통해 입력신호에 관계없이 주기적인 신호의 합으로 분해할 수 있다. 푸리에 변환의 수식은 식 (1)과 역변환은 식 (2)로 나타낼 수 있다.

f(x)는 시간 도메인의 입력 신호, e^j2πux는 주파수 u 인 주기함수 성분이며, F(u)는 주파수 도메인의 진폭을 나 타낸다. e^j2πux 를 해석하기 위해서는 오일러 공식이 필요하며, 식 (3)을 이용하여 주기함수의 성분을 식 (4)와 같이 표현한다. 두 삼각함수는 주기 1/u , 주파수 u 인 주기함수이므로, e^j2πux 는 실수부가 cos2πux 허수부가 sin2πux 인 복소지수함수로 나타난다.

본 연구에서는 경전철의 가속도 데이터를 전처리하기 위해 푸리에 변환을 활용하였다. 구체적으로, 이용 가능한 다양한 푸리에 변환 유형 중 FFT와 STFT를 사용하였다. 경전철 노선은 오르막 구간과 내리막 구간으로 구성되며, 오르막 구간의 X축 가속도 그래프는 Figure 1과 같이 나타난다.

Cooley and Tukey(1965)는 FFT의 알고리즘을 제안하였다. 이는 디지털 신호 처리에서 가장 일반적인 스펙트럼 분석 알고리즘 중 하나로서, DFT(이산 푸리에 변환, discrete Fourier transform)를 고속으로 수행하는 변환이다. 과거에는 컴퓨터의 처리 속도가 느려서 DFT 계산속도를 개선하기 위해 FFT가 개발되었다. 이 알고리즘을 사용하면 DFT의 시간 복잡도를 FFT의 시간 복잡도로 줄일 수 있어 기존의 DFT보다 훨씬 빠른 계산이 가능하다. 다음 Figure 2는 오르막 구간의 X축 가속도 데이터를 FFT를 통해 2차원 이미지 데이터 셋으로 나타낸 예시이다. FFT는 주파수 분석에 유용한 도구로, 가속도 데이터를 주파수 영역으로 변환하여 분석할 수 있다. 이러한 변환은 가속도 데이터를 2차원 이미지 데이터로 변환 후, 더 높은 정확도로 상태 분류 모델을 학습할 수 있다. 본 연구에서 사용된 데이터는 0.001초 간격으로 측정되었으며, 이는 1000 Hz의 샘플링 주파수를 가진다. 또한, FFT는 Nyquist 주파수에 대해 대칭성을 가지므로, 나타난 그래프의 X축은 0 ~ 500 Hz의 값을 가진다. 이러한 샘플링 및 주파수 대역폭에 따른 FFT 결과를 이용하여 2차원 이미지 데이터 셋을 생성하였다.

Gabor(1946)는 STFT의 개념을 처음으로 제안하였다. STFT는 시간에 따른 신호 속성의 변화를 식별할 수 있는 시간-주파수 분석 기술로 기존의 푸리에 변환은 비정기 신호에 적용할 때 분석의 한계가 발생하였다. 정기 신호는 시간이 지남에 따라 일정한 특성을 갖지만, 비정기 신호는 시간에 따라 변하는 특성을 나타낸다. STFT는 비정기 신호를 작은 중첩 시간 세그먼트로 분해하고 각 세그먼트에 푸리에 변환을 적용하는 기술이다. 결과 출력은 신호의 자세한 시간-주파수 표현을 제공한다. 가우시안 윈도우 함수는 각 시간 세그먼트를 정의하는 데 사용되며, 결과 주파수 해상도는 윈도우 함수의 크기에 따라 결정된다. 따라서, 윈도우 함수가 크면 주파수 분해능은 높아지지만 시간 분해능은 낮아지며 주파수 분해능과 시간 분해능은 서로 반비례 관계이다. 시간과 주파수 분해능 간의 이러한 절충은 STFT의 중요한 측면이며 윈도우 함수를 선택할 때 필수적인 고려 사항이다. 오르막 구간의 X축 가속도 데이터를 STFT를 통해 주파수 도메인으로 변경하면 Figure 3와 같이 나타난다.

이미지 증강는 모델 학습에 필요한 데이터를 확장하고 전반적인 성능을 향상시킬 수 있는 딥 러닝 분야에서 중요한 기술이다. 기존 데이터에 회전, 이동, 확대 및 축소, 대칭과 같은 변형을 도입하여 모델이 직면할 수 있는 다양한 실제 시나리오를 처리하도록 훈련하여 성능을 향상할 수 있다. Goodfellow et al.(2020)는 이미지 증강을 위해 GAN을 사용하는 다양한 예와 응용 프로그램을 소개하였다. 이 알고리즘은 두 개의 신경망과 경쟁하여 새로운 데이터를 생성하도록 설계된 딥러닝 모델로 생성자(generator)는 실제 데이터와 유사한 새로운 데이터를 생성하고 판별자(discriminator)는 생성된 데이터와 실제 데이터를 구별하는 방법을 학습한다.

생성자는 실제 데이터와 구별할 수 없는 데이터를 생성하는 반면, 판별자는 목표는 두 유형의 데이터를 정확하게 구별하는 것이다. 생성자는 시간이 지남에 따라 점차 실제 데이터와 유사한 데이터를 생성하게 된다. 이를 통해 경쟁적인 학습방식은 생성자가 더 실제와 유사한 데이터를 생성하게 되고 판별자가 더 정확하게 구별할 수 있게 된다. 본 연구에서는 적용된 방식은 그래프 이미지에 대한 GAN 알고리즘을 적용하는 경우로, Conditional GAN의 Pix2Pix를 사용하여 데이터 증강을 하였다. Isola(2017)는 cGAN을 기반으로 한 이미지 변환 기술으로 Pix2Pix 알고리즘을 제안하였고, 이는 한 쌍의 이미지를 통해 새로운 이미지를 생성하는 기법으로 U-Net 구조를 기반으로 한 생성자 신경망을 사용한다. U-Net은 이미지 분할 작업에 많이 사용되는 합성곱 신경망으로, 이미지의 공간 차원을 줄이는 인코더 신경망과 역 작업을 수행하는 디코더 신경망으로 구성된다. 구성된다. 다음 Figure 4는 Pix2Pix 알고리즘을 활용하기 위해 사용한 이미지이다. 첫 번째 이미지는 원본 그래프 이미지이고 두 번째 이미지는 Pix2Pix 네트워크의 입력으로 사용되는 노이즈 이미지이다. 이 과정을 통해 Pix2Pix 알고리즘은 데이터 증강에 사용할 수 있는 새롭고 사실적인 그래프 이미지를 생성한다.

부족한 데이터셋을 보강하기 위해, 이미지 생성을 위해 학습을 반복하는 횟수를 10회, 30회, 50회, 100회로 설정하고 다양한 이미지를 생성하였다. 학습의 횟수가 증가할수록 더욱 선명한 이미지를 생성하였으며, 본 연구에서는 30회, 50회, 100회 반복 학습을 통해 이미지를 증강하였다. 생성된 이미지는 품질과 해상도가 크게 향상되어 그래프 이미지를 보강하는 Pix2Pix 알고리즘의 효과를 입증하였다.

분류 모델 성능 최적화의 연구 프로세스는 Figure 6과같이 나타낸다. 차축에 부착된 센서는 가속도, 압력, 온도 등 다양한 입력값을 수집한다. 그러나, 본 연구에서 사용된 데이터는 특정 날짜에 수집된 시계열 데이터가 아니라 수집 간격이 일정하지 않았으므로 온도 및 압력 데이터는 제외하였다. 센서에서 수집한 3축 가속도 데이터는 0.001초 간격으로 역에서 출발 후 정차하는 시점까지 수집되었다. 지도 학습 기반의 딥러닝은 모든 데이터의 라벨링이 되어 있어 다른 학습 방법들에 비해 높은 정확도를 보이는 장점이 있으나(Seo et al., 2021), CNN 모델을 사용하여 확인한 초기 가속도 데이터의 분류 결과는 낮은 정확도를 보였다. 이를 해결하기 위해 타이어의 고유 주파수의 특징점을 푸리에 변환하여 데이터를 전처리하였다. 이는 FFT와 STFT 알고리즘을 적용하여 2차원 이미지 데이터셋을 생성하였고 생성된 그래프는 초기 가속도 데이터에 비해 향상된 성능을 보였다. 그러나 전처리만으로는 분류 모델이 상태 분류에 적용되기에는 충분하지 않아 성능 최적화를 위해 이미지 증강 기법을 적용하였다. 본 연구에서 제안하는 Pix2Pix 알고리즘의 이미지 증강 기술을 변환된 이미지에 적용하였다. 또한, 모델의 성능을 최적화하기 위해 증가율도 결정하였다. Inception v3 및 ResNet-50과 같은 CNN 모델을 사용하여 이미지 증강 기술의 효율성을 평가한 결과, 초기 데이터가 제한적일 때에도 상태 분류의 정확도를 높이는 데 있어 이미지 증강의 효과를 보여주었다. 분류 모델의 정확도는 훈련, 검증 및 테스트 데이터 세트를 사용하여 확인하였다. 데이터의 80%를 차지하는 훈련 데이터를 모델 학습에 사용하였다. 검증은 10% 데이터로 훈련 중 모델을 평가하고 하이퍼파라미터를 조정하는 데 사용되었다. 나머지 10 % 데이터는 모델의 최종 성능을 평가하기 위한 테스트 데이터로 사용되었다.

본 연구는 2021년 8월과 9월에 실주행 된 부산 4호선 경전철의 타이어 상태를 분류하기 위해 차축의 가속도로 상태 분류를 수행하였다. 4호선은 14개의 역이 존재한다. 한 번 주행으로 13개의 구간 데이터가 생성되며, 왕복 주행을 하므로 26개의 구간으로 구분되어 수집된다. 또한, 노선은 오르막과 내리막으로 구분되어 있어 기점에서 종점으로 진행할 때, 내리막으로 구분되고 종점에서 기점으로 진행할 때, 오르막으로 구분된다. 차축에 부착된 가속도는 3축으로 X, Y, Z 축으로 구성된다. 그러나 ‘상’ 데이터의 Z축 가속도 데이터는 다른 상태 데이터와 비교하였을 때, 값의 오차가 많으므로 비교하기에 부적절하여 연구에서 제외하였다. 타이어의 상태를 결정하는 요인은 타이어의 트레드 깊이를 통해 정해지며, 범위와 데이터의 개수는 아래 Table 1과 같이 3가지로 구분된다.

본 연구에서는 시간 도메인인 가속도 데이터를 푸리에 변환을 사용하여 주파수 도메인인 진폭 데이터로써 나타내었다. ‘상’, ‘중’, ‘하’ 로 라벨링 된 이미지 데이터를 분류하는 과정을 통해 타이어의 상태를 진단하여 CBM을 위한 모델을 구축하였고, CNN 기법인 Inception v3와 ResNet-50의 두 모델을 통해 정확도를 비교하였다. epoch는 50회로 설정하였으나, 학습조기종료를 적용하여 지속적으로 오차가 증가하면 학습을 중단하여 오버피팅을 방지한다. 파라미터 설정 모델 학습시 학습률은 0.00001을 적용하였으며, 최적화는 Adam을 사용하였다. 원본 데이터의 가속도 그래프를 분류 모델에 적용한 결과 58%로 상당히 낮은 분류 정확도를 보였다. 이를 개선하기 위해 본 연구에서는 생성적 적대 신경망인 GAN의 Pix2Pix 알고리즘을 활용하여 이미지 증강을 적용하였다. 증강 전 수집된 이미지 데이터는 전체 구간의 경우 ‘상’ 데이터 78장 ‘중’ 데이터 221장 ‘하’ 데이터 286장으로 구성되어 있으며, 오르막 구간의 FFT를 적용한 분류 모델이 가장 낮은 정확도를 보여 대표적으로 증강 후의 정확도 상승폭을 확인하였다. 해당 FFT 그래프의 100%, 200%, 300% 배율로 증강을 적용한 모델의 정확도 꺾은선 그래프는 다음의 Figure 7과같이 나타난다.

이미지 증강과정에서 점차 분류모델의 정확도가 높아짐을 확인하였다. 특히, 200% 증강했을 때의 정확도가 가장 성능이 좋으므로 다른 이미지에도 같은 배율로 증강을 적용하였다. 정확도를 확인해 본 결과는 다음 Table 2, 3와 같이 나타낼 수 있다.

본 연구에서 적용된 이미지 데이터 셋의 경우 결과적으로 증강을 통해 이미지 분류의 정확도를 크게 향상시킬 수 있었다. 증강기법을 적용한 방법과 기존 데이터 셋의 정확도 차이를 증감률로 비교한 경우, 많게는 70%에서 적게는 3%의 향상을 보였다.