| Home | E-Submission | Sitemap | Editorial Office |  
top_img
Journal of Korean Society for Quality Management > Volume 51(1); 2023 > Article
푸리에 변환 및 이미지 증강을 통한 분류 성능 최적화에 관한 연구

Abstract

Purpose

This study proposes a classification model for implementing condition-based maintenance (CBM) by monitoring the real-time status of a machine using acceleration sensor data collected from a vehicle.

Methods

The classification model's performance was improved by applying Fourier transform to convert the acceleration sensor data from the time domain to the frequency domain. Additionally, the Generative Adversarial Network (GAN) algorithm was used to augment images and further enhance the classification model's performance.

Results

Experimental results demonstrate that the GAN algorithm can effectively serve as an image augmentation technique to enhance the performance of the classification model. Consequently, the proposed approach yielded a significant improvement in the classification model's accuracy.

Conclusion

While this study focused on the effectiveness of the GAN algorithm as an image augmentation method, further research is necessary to compare its performance with other image augmentation techniques. Additionally, it is essential to consider the potential for performance degradation due to class imbalance and conduct follow-up studies to address this issue.

1. 연구 배경 및 목표

4차 산업혁명의 발전으로 데이터의 양과 질이 모두 개선되어 데이터 분석의 필요성이 점차 대두 되었다. 특히, IoT와 같은 기술의 발전으로 인해 산업현장에서 센서를 통해 실시간으로 데이터를 수집하고 분석하는 것이 가능해졌으며, 기계 및 장비의 상태 정보를 실시간으로 파악하고, 필요한 유지보수가 적시에 가능하게 되어 남은 수명을 예측하고 최적의 유지관리 주기 및 범위를 설정하는 CBM(Condition-Based Maintenance, 상태기반정비) 방식을 실현할 수 있게 되었다(Lee, 2022). CBM은 시스템의 고장 징후가 발견되는 잠재고장지점과 부품의 고장지점인 기능고장지점 사이에서 수행되며, 실시간 시스템 상태를 평가하고 불필요한 유지 관리 및 관련 비용을 줄일 수 있다(Kim, 2022). 상태를 실시간으로 모니터링하여 문제가 발생하기 전에 정비를 실시하므로, 장비의 수명을 연장할 수 있게 되었다. 또한, 수시로 실시하는 정비에 비해 효과적이며, 비용 최적화에 장점이 있다(Teixeira, 2020).
기존의 경전철 유지보수는 전통적인 방법론인 TBM(Time-Based Maintenance, 시간기반정비)을 통해 차량의 운전 시간, 주행거리 및 운행횟수 등과 같은 요인을 바탕으로 하여 일정 주기로 예방정비를 수행하였다. TBM은 비교적 간단하고 저비용으로 적용할 수 있지만, 시간에 따라 정비를 수행하므로 타이어의 상태에 기반하여 정비할 수 없다. 각 기계의 개별적인 특성과 실제 사용환경을 고려하지 못해 예측보다는 예정된 주기에 따라 유지보수를 수행하여 과도한 정비 또는 정비 이전 고장이 발생하는 단점이 존재한다. 상태감시와 고장진단 및 잔여수명 예측은 CBM의 핵심 기술이며(Son and Kim, 2021), 이를위해 설비에 설치된 센서데이터나 운전데이터로부터 받은 정보를 분석하여 설비의 노후화나 이상을 진단하고 남은 수명을 예측하여 유지보수 활동을 수행한다(Lim, 2022). 본 연구를 통해 경전철에서 기존 TBM의 방법을 탈피하고 CBM의 적용을 위해 실시간으로 센서를 통해 데이터를 받아들여 상태를 진단하는 방법론을 제안한다.
부산 4호선의 경전철은 고무 차륜 AGT(automated guideway transit, 무인자동안내시스템) 방식이 적용되었으며, 이 방식은 무인 운행과 자동 운행이 가능하므로 신뢰성 확보가 매우 중요하다(Han et al 2004). 따라서, 차량에 부착된 여러 센서를 활용하여 기존 TBM의 단점을 보완하고 열화 데이터를 수집하는 과정을 통해 사후 정비 비용을 최소화하는 CBM으로 신뢰성을 높일 수 있다(Shin et al., 2014).
본 연구에서 적용되는 대상은 경전철 타이어로 차축의 센서를 통해 수집된 원본 가속도 데이터는 분류 정확도가 낮으므로, 원본데이터로 CBM을 적용하기 어렵다. 그러한 문제점을 해결하기 위해 원본 데이터를 푸리에 변환으로 전처리 후, 이미지 증강에 기반한 딥러닝 알고리즘의 적용으로 향상된 분류 모형을 수립하여 타이어의 상태를 진단하였다. 따라서 본 연구에서 제안된 방법론의 적용으로 데이터 셋의 한계를 극복하여 연구에서 사용된 적은 양의 이미지 데이터로도 증강을 통해 성능을 개선하는 효과를 보여준다.
본 논문의 구성은 다음과 같다. 2장에서는 관련 문헌 연구를 통해 딥러닝의 기법인 CNN을 활용한 연구 및 이미지 증강을 활용한 연구를 소개하고, 3장에서는 본 연구에서 적용한 방법론을 제안한다. 4장에서는 실험을 수행하여 나온 결괏값을 바탕으로 결과 분석을 시행하고, 마지막 5장에 본 연구의 결론 및 추후 연구과제를 제시한다.

2. 관련 문헌 연구

2.1 푸리에변환의 CNN적용에 관한 연구

최근 딥러닝을 기반의 CNN(convolutional neural network, 합성곱 신경망)은 다양한 분야, 특히 이미지 인식 분야에서 폭넓게 적용되며 높은 성능을 보였고 최근 몇 년간 많은 연구가 수행되었다. Son and Kim(2022)은 CNN이 시계열 데이터에서 정상 상태와 비정상 상태를 분류하는 데 적합하다고 언급하였다. Zhao(2019)는 상태 모니터링 분야에서 기존 진단 방법을 능가하는 상태 모니터링 및 진단 모델을 개발하였다. Kang and Lee(2020)는 기존의 수학적 모델링이 비선형 환경에서 잡음이 존재하므로 개선하여 정상 및 비정상 상태를 분류하기 위해 STFT(short time Fourier transform, 짧은 시간 푸리에 변환) 및 CNN을 사용하여 스펙트로그램 음향 신호를 분석하였다. 이와 유사하게 Lee(2022)는 고무패킹의 진동 데이터에 대해 STFT 데이터와 CNN을 이용한 고장 분류 방법을 제안하고 제안된 방법의 유효성을 확인하였다. Lim and Kim(2021)은 푸리에 변환을 사용할 때 연산 속도를 향상시키기 위해 대형 커널을 적용한 Fourier CNN을 제안하였다. Hussain(2020)은 FFT(fast Fourier transform, 고속 푸리에 변환)를 이용하여 네트워크 트래픽 데이터를 이미지 형식으로 변환하고 CNN의 일종인 ResNet을 통해 11개의 멀티클래스로 분류하였다.

2.2 이미지증강에 관한 연구

고해상도 이미지를 생성하는 GAN(generative adversarial networks) 알고리즘에 대해 많은 연구가 수행되었다. 그러나 이미지를 생성만 아니라 GAN 알고리즘 학습의 불안정성을 해결하는 연구 및 데이터 셋의 불균형으로 인해 낮은 정확도를 개선하는 연구가 많이 수행되었다. Salimans et al.(2016)은 GAN 학습에서 발생하는 불안정성 문제를 해결하기 위해 생성자와 판별자의 학습률을 조정하여 학습의 불안정성을 감소시키고 생성된 이미지의 품질을 향상시키는 방법을 제안하였다. Karras et al.(2017)는 이미지 생성 및 증강 방법을 개선하는 방법으로 생성자와 판별자의 네트워크를 점진적으로 늘려가며 학습시키는 방법을 제안하여 고해상도의 이미지를 생성하는 방법을 보완하였다. Li(2020)는 결함 데이터의 수가 정상 데이터에 비해 매우 적어 데이터 불균형으로 인한 낮은 정확도 문제가 있다고 하였다. 이를 해결하기 위해 ACWGAN-GP를 제안하여 결함데이터에 대한 불균형을 해결하였고 정확도를 효과적으로 향상시켰다. Han and Yu(2022)는 원본 시계열을 전처리하기 위해 시계열 분해 및 데이터 증강 기법을 사용하여 제한된 가용 가능 데이터가 주어진 상황에서 정확도를 개선하였다. Sedigh(2019)는 CNN 모델의 성능을 개선하기 위해 GAN을 사용하여 합성 이미지를 생성하는 연구를 수행하여 높은 정확도를 얻었다. 그러나 Mun(2020)은 CNN을 통한 이미지 변화를 활용하는 데이터 증강을 적용했음에도 불구하고 특정 클래스가 1% 미만인 경우 데이터 증강만으로는 불균형 문제를 충분히 해결할 수 없어 추가 연구가 필요함을 언급하였다.

3. 데이터 변환 및 증강을 통한 방법론 개발

3.1 푸리에 변환

신호 처리는 통신, 제어 및 데이터 분석을 포함하여 많은 과학 및 엔지니어링 분야의 필수 요소이다. 최근 몇 년동안 디지털 신호가 널리 보급됨에 따라 효율적이고 효과적인 신호 처리 기술에 대한 필요성도 커졌다. 디지털 신호를 분석하는 가장 기본적인 기술 중 하나는 신호를 구성 주파수로 분해하는 푸리에 변환이다. 이는 입력 신호를 주기적인 sin, cos 함수들의 성분으로 분해하는 기술로, 신호를 주파수 성분으로 분해하여 분석하는 것을 의미한다. 이를 통해 입력신호에 관계없이 주기적인 신호의 합으로 분해할 수 있다. 푸리에 변환의 수식은 식 (1)과 역변환은 식 (2)로 나타낼 수 있다.
(1)
F(u)=-f(x)ej2πuxdx
(2)
f(x)=-F(u)ej2πuxdu
f(x)는 시간 도메인의 입력 신호, ej2πux는 주파수 u 인 주기함수 성분이며, F(u)는 주파수 도메인의 진폭을 나 타낸다. ej2πux 를 해석하기 위해서는 오일러 공식이 필요하며, 식 (3)을 이용하여 주기함수의 성분을 식 (4)와 같이 표현한다. 두 삼각함수는 주기 1/u , 주파수 u 인 주기함수이므로, ej2πux 는 실수부가 cos2πux 허수부가 sin2πux 인 복소지수함수로 나타난다.
(3)
ejθ=cosθ+jsinθ
(4)
ej2πux=cos2πux+jsin2πux
본 연구에서는 경전철의 가속도 데이터를 전처리하기 위해 푸리에 변환을 활용하였다. 구체적으로, 이용 가능한 다양한 푸리에 변환 유형 중 FFT와 STFT를 사용하였다. 경전철 노선은 오르막 구간과 내리막 구간으로 구성되며, 오르막 구간의 X축 가속도 그래프는 Figure 1과 같이 나타난다.
Cooley and Tukey(1965)는 FFT의 알고리즘을 제안하였다. 이는 디지털 신호 처리에서 가장 일반적인 스펙트럼 분석 알고리즘 중 하나로서, DFT(이산 푸리에 변환, discrete Fourier transform)를 고속으로 수행하는 변환이다. 과거에는 컴퓨터의 처리 속도가 느려서 DFT 계산속도를 개선하기 위해 FFT가 개발되었다. 이 알고리즘을 사용하면 DFT의 시간 복잡도를 FFT의 시간 복잡도로 줄일 수 있어 기존의 DFT보다 훨씬 빠른 계산이 가능하다. 다음 Figure 2는 오르막 구간의 X축 가속도 데이터를 FFT를 통해 2차원 이미지 데이터 셋으로 나타낸 예시이다. FFT는 주파수 분석에 유용한 도구로, 가속도 데이터를 주파수 영역으로 변환하여 분석할 수 있다. 이러한 변환은 가속도 데이터를 2차원 이미지 데이터로 변환 후, 더 높은 정확도로 상태 분류 모델을 학습할 수 있다. 본 연구에서 사용된 데이터는 0.001초 간격으로 측정되었으며, 이는 1000 Hz의 샘플링 주파수를 가진다. 또한, FFT는 Nyquist 주파수에 대해 대칭성을 가지므로, 나타난 그래프의 X축은 0 ~ 500 Hz의 값을 가진다. 이러한 샘플링 및 주파수 대역폭에 따른 FFT 결과를 이용하여 2차원 이미지 데이터 셋을 생성하였다.
Gabor(1946)는 STFT의 개념을 처음으로 제안하였다. STFT는 시간에 따른 신호 속성의 변화를 식별할 수 있는 시간-주파수 분석 기술로 기존의 푸리에 변환은 비정기 신호에 적용할 때 분석의 한계가 발생하였다. 정기 신호는 시간이 지남에 따라 일정한 특성을 갖지만, 비정기 신호는 시간에 따라 변하는 특성을 나타낸다. STFT는 비정기 신호를 작은 중첩 시간 세그먼트로 분해하고 각 세그먼트에 푸리에 변환을 적용하는 기술이다. 결과 출력은 신호의 자세한 시간-주파수 표현을 제공한다. 가우시안 윈도우 함수는 각 시간 세그먼트를 정의하는 데 사용되며, 결과 주파수 해상도는 윈도우 함수의 크기에 따라 결정된다. 따라서, 윈도우 함수가 크면 주파수 분해능은 높아지지만 시간 분해능은 낮아지며 주파수 분해능과 시간 분해능은 서로 반비례 관계이다. 시간과 주파수 분해능 간의 이러한 절충은 STFT의 중요한 측면이며 윈도우 함수를 선택할 때 필수적인 고려 사항이다. 오르막 구간의 X축 가속도 데이터를 STFT를 통해 주파수 도메인으로 변경하면 Figure 3와 같이 나타난다.

3.2 GAN을 통한 이미지 데이터 증강

이미지 증강는 모델 학습에 필요한 데이터를 확장하고 전반적인 성능을 향상시킬 수 있는 딥 러닝 분야에서 중요한 기술이다. 기존 데이터에 회전, 이동, 확대 및 축소, 대칭과 같은 변형을 도입하여 모델이 직면할 수 있는 다양한 실제 시나리오를 처리하도록 훈련하여 성능을 향상할 수 있다. Goodfellow et al.(2020)는 이미지 증강을 위해 GAN을 사용하는 다양한 예와 응용 프로그램을 소개하였다. 이 알고리즘은 두 개의 신경망과 경쟁하여 새로운 데이터를 생성하도록 설계된 딥러닝 모델로 생성자(generator)는 실제 데이터와 유사한 새로운 데이터를 생성하고 판별자(discriminator)는 생성된 데이터와 실제 데이터를 구별하는 방법을 학습한다.
생성자는 실제 데이터와 구별할 수 없는 데이터를 생성하는 반면, 판별자는 목표는 두 유형의 데이터를 정확하게 구별하는 것이다. 생성자는 시간이 지남에 따라 점차 실제 데이터와 유사한 데이터를 생성하게 된다. 이를 통해 경쟁적인 학습방식은 생성자가 더 실제와 유사한 데이터를 생성하게 되고 판별자가 더 정확하게 구별할 수 있게 된다. 본 연구에서는 적용된 방식은 그래프 이미지에 대한 GAN 알고리즘을 적용하는 경우로, Conditional GAN의 Pix2Pix를 사용하여 데이터 증강을 하였다. Isola(2017)는 cGAN을 기반으로 한 이미지 변환 기술으로 Pix2Pix 알고리즘을 제안하였고, 이는 한 쌍의 이미지를 통해 새로운 이미지를 생성하는 기법으로 U-Net 구조를 기반으로 한 생성자 신경망을 사용한다. U-Net은 이미지 분할 작업에 많이 사용되는 합성곱 신경망으로, 이미지의 공간 차원을 줄이는 인코더 신경망과 역 작업을 수행하는 디코더 신경망으로 구성된다. 구성된다. 다음 Figure 4는 Pix2Pix 알고리즘을 활용하기 위해 사용한 이미지이다. 첫 번째 이미지는 원본 그래프 이미지이고 두 번째 이미지는 Pix2Pix 네트워크의 입력으로 사용되는 노이즈 이미지이다. 이 과정을 통해 Pix2Pix 알고리즘은 데이터 증강에 사용할 수 있는 새롭고 사실적인 그래프 이미지를 생성한다.
부족한 데이터셋을 보강하기 위해, 이미지 생성을 위해 학습을 반복하는 횟수를 10회, 30회, 50회, 100회로 설정하고 다양한 이미지를 생성하였다. 학습의 횟수가 증가할수록 더욱 선명한 이미지를 생성하였으며, 본 연구에서는 30회, 50회, 100회 반복 학습을 통해 이미지를 증강하였다. 생성된 이미지는 품질과 해상도가 크게 향상되어 그래프 이미지를 보강하는 Pix2Pix 알고리즘의 효과를 입증하였다.

3.3 푸리에 변환 및 이미지 증강을 통한 분류 모형 수립 프로세스

분류 모델 성능 최적화의 연구 프로세스는 Figure 6과같이 나타낸다. 차축에 부착된 센서는 가속도, 압력, 온도 등 다양한 입력값을 수집한다. 그러나, 본 연구에서 사용된 데이터는 특정 날짜에 수집된 시계열 데이터가 아니라 수집 간격이 일정하지 않았으므로 온도 및 압력 데이터는 제외하였다. 센서에서 수집한 3축 가속도 데이터는 0.001초 간격으로 역에서 출발 후 정차하는 시점까지 수집되었다. 지도 학습 기반의 딥러닝은 모든 데이터의 라벨링이 되어 있어 다른 학습 방법들에 비해 높은 정확도를 보이는 장점이 있으나(Seo et al., 2021), CNN 모델을 사용하여 확인한 초기 가속도 데이터의 분류 결과는 낮은 정확도를 보였다. 이를 해결하기 위해 타이어의 고유 주파수의 특징점을 푸리에 변환하여 데이터를 전처리하였다. 이는 FFT와 STFT 알고리즘을 적용하여 2차원 이미지 데이터셋을 생성하였고 생성된 그래프는 초기 가속도 데이터에 비해 향상된 성능을 보였다. 그러나 전처리만으로는 분류 모델이 상태 분류에 적용되기에는 충분하지 않아 성능 최적화를 위해 이미지 증강 기법을 적용하였다. 본 연구에서 제안하는 Pix2Pix 알고리즘의 이미지 증강 기술을 변환된 이미지에 적용하였다. 또한, 모델의 성능을 최적화하기 위해 증가율도 결정하였다. Inception v3 및 ResNet-50과 같은 CNN 모델을 사용하여 이미지 증강 기술의 효율성을 평가한 결과, 초기 데이터가 제한적일 때에도 상태 분류의 정확도를 높이는 데 있어 이미지 증강의 효과를 보여주었다. 분류 모델의 정확도는 훈련, 검증 및 테스트 데이터 세트를 사용하여 확인하였다. 데이터의 80%를 차지하는 훈련 데이터를 모델 학습에 사용하였다. 검증은 10% 데이터로 훈련 중 모델을 평가하고 하이퍼파라미터를 조정하는 데 사용되었다. 나머지 10 % 데이터는 모델의 최종 성능을 평가하기 위한 테스트 데이터로 사용되었다.

4. 실험 및 결과분석

4.1 경전철 타이어 상태 데이터

본 연구는 2021년 8월과 9월에 실주행 된 부산 4호선 경전철의 타이어 상태를 분류하기 위해 차축의 가속도로 상태 분류를 수행하였다. 4호선은 14개의 역이 존재한다. 한 번 주행으로 13개의 구간 데이터가 생성되며, 왕복 주행을 하므로 26개의 구간으로 구분되어 수집된다. 또한, 노선은 오르막과 내리막으로 구분되어 있어 기점에서 종점으로 진행할 때, 내리막으로 구분되고 종점에서 기점으로 진행할 때, 오르막으로 구분된다. 차축에 부착된 가속도는 3축으로 X, Y, Z 축으로 구성된다. 그러나 ‘상’ 데이터의 Z축 가속도 데이터는 다른 상태 데이터와 비교하였을 때, 값의 오차가 많으므로 비교하기에 부적절하여 연구에서 제외하였다. 타이어의 상태를 결정하는 요인은 타이어의 트레드 깊이를 통해 정해지며, 범위와 데이터의 개수는 아래 Table 1과 같이 3가지로 구분된다.

4.2 실험분석 및 결과

본 연구에서는 시간 도메인인 가속도 데이터를 푸리에 변환을 사용하여 주파수 도메인인 진폭 데이터로써 나타내었다. ‘상’, ‘중’, ‘하’ 로 라벨링 된 이미지 데이터를 분류하는 과정을 통해 타이어의 상태를 진단하여 CBM을 위한 모델을 구축하였고, CNN 기법인 Inception v3와 ResNet-50의 두 모델을 통해 정확도를 비교하였다. epoch는 50회로 설정하였으나, 학습조기종료를 적용하여 지속적으로 오차가 증가하면 학습을 중단하여 오버피팅을 방지한다. 파라미터 설정 모델 학습시 학습률은 0.00001을 적용하였으며, 최적화는 Adam을 사용하였다. 원본 데이터의 가속도 그래프를 분류 모델에 적용한 결과 58%로 상당히 낮은 분류 정확도를 보였다. 이를 개선하기 위해 본 연구에서는 생성적 적대 신경망인 GAN의 Pix2Pix 알고리즘을 활용하여 이미지 증강을 적용하였다. 증강 전 수집된 이미지 데이터는 전체 구간의 경우 ‘상’ 데이터 78장 ‘중’ 데이터 221장 ‘하’ 데이터 286장으로 구성되어 있으며, 오르막 구간의 FFT를 적용한 분류 모델이 가장 낮은 정확도를 보여 대표적으로 증강 후의 정확도 상승폭을 확인하였다. 해당 FFT 그래프의 100%, 200%, 300% 배율로 증강을 적용한 모델의 정확도 꺾은선 그래프는 다음의 Figure 7과같이 나타난다.
이미지 증강과정에서 점차 분류모델의 정확도가 높아짐을 확인하였다. 특히, 200% 증강했을 때의 정확도가 가장 성능이 좋으므로 다른 이미지에도 같은 배율로 증강을 적용하였다. 정확도를 확인해 본 결과는 다음 Table 2, 3와 같이 나타낼 수 있다.
본 연구에서 적용된 이미지 데이터 셋의 경우 결과적으로 증강을 통해 이미지 분류의 정확도를 크게 향상시킬 수 있었다. 증강기법을 적용한 방법과 기존 데이터 셋의 정확도 차이를 증감률로 비교한 경우, 많게는 70%에서 적게는 3%의 향상을 보였다.

5. 결론 및 추후 연구과제

본 연구에서는 차량의 가속도 센서에서 수집된 데이터를 활용하여 CBM을 구현하기 위한 분류 모델을 제안하였다. 이를 위해 푸리에 변환을 통해 데이터를 주파수 도메인으로 변환하였으며, 원본 데이터의 가속도 그래프로는 분류가 안 되는 문제를 해결하였다. 딥러닝의 CNN 모델을 이용하여 분류 모델의 성능을 확인하였으나, 초기 모델의 성능이 낮았으므로, 이를 개선하기 위해 이미지 증강 기법 중 하나인 GAN 알고리즘을 사용하였다. GAN 알고리즘 중에서 Pix2Pix 모델을 적용하여 이미지를 증강함으로써, 더 다양하고 풍부한 데이터를 확보할 수 있었고 분류 모델의 성능이 크게 향상되었다.
다만, 본 연구에서는 데이터가 차량의 바퀴에 달린 센서에서 수집된 것이 아닌 차량에 부착된 센서에서 가속도 데이터를 수집하여, 타이어에 대한 정확한 상태를 파악하는 어려움이 존재하였다. 후속 연구로는 개별적인 타이어에 부착된 센서를 기반으로 가속도 데이터를 취득하여, 본 연구에서 제안된 모델의 적용을 통해 정확한 상태 진단을 수행할 예정이다. 이미지 증강의 방법으로 GAN 알고리즘을 활용하여 성능을 높이는 것을 중점적으로 연구하였으므로, 다른 이미지 증강 기법과의 비교가 필요하며, 클래스 간의 불균형 문제로 인해 성능의 개선이 이루어지지 않았을 가능성을 고려하여 이를 보완하기 위한 후속 연구가 필요하다.
이러한 한계에도 불구하고, 이번 연구에서 제안된 방법을 기반으로, 철도차량의 안전과 신뢰성을 높일 수 있을 것으로 생각된다. 또한, 이번 연구에서 제안된 이미지 증강 방법은 CBM을 적용하기 위한 중요한 기술로 활용될 수 있으며, 다른 산업 분야에서도 유용하게 활용될 수 있을 것이다.

REFERENCES

Cooley, JW, and Tukey, JW 1965. An algorithm for the machine calculation of complex Fourier series. Mathematics of Computation 19(90):297-301.
crossref
Gabor, D 1946. Theory of communication. Part 1: The analysis of information. Journal of the Institution of Electrical Engineers-Part III: Radio and Communication Engineering 93(26):429-441.
crossref
Goodfellow, I, Pouget-Abadie, J, Mirza, M, Xu, B, Warde-Farley, D, Ozair, S, Courville, A, and Bengio, Y 2020. Generative adversarial networks. Communications of the ACM 63(11):139-144.
crossref
Han, MS, and Yu, SJ 2022. Forecasting Baltic Dry Index by Implementing Time-Series Decomposition and Data Augmentation Techniques. Journal of the Korean society for Quality Management 50(4):701-716.

Han, SY, Kim, JG, Hong, SK, and Ha, CS 2004. -Reliability Management of the Rubber-Tired AGT Vehicle System. Journal of the Korea Safety Management and Science 6(4):139-153.

Hussain, F, Abbas, SG, Husnain, M, Fayyaz, UU, Shahzad, F, and Shah, GA 2020. IoT DoS and DDoS attack detection using ResNet. In 2020 IEEE 23rd International Multitopic Conference (INMIC) 1-6.
crossref
Isola, P, Zhu, JY, Zhou, T, and Efros, AA 2017. Image-to-image translation with conditional adversarial networks. Proceedings of the IEEE conference on computer vision and pattern recognition 1125-1134.
crossref
Kang, KW, and Lee, KM 2020. CNN-based automatic machine fault diagnosis method using spectrogram images. Journal of the Institute of Convergence Signal Processing 21(3):121-126.

Karras, T, Aila, T, Laine, S, and Lehtinen, J 2017. Progressive growing of gans for improved quality, stability, and variation. arXiv Preprint arXiv 1710: 10196.

Kim, DK, Park, BN, Song, MO, and Lim, JH 2022. The Optimal Inspection Period of a System Considering the Probability of Finding Deteriorated Components under the Inspection-Maintenance Model. Journal of Applied Reliability 22(4):309-318.
crossref
Lee, SH, Kim, JY, Lee, JJ, Kim, YJ, Kim, SK, and Lee, TH 2022. A Study on the Development of Database and Algorithm for Fault Diagnosis for Condition Based Maintenance of Rubber Seal in Ancillary Equipment of Autonomous Ships. Journal of Applied Reliability 22(1):48-58.
crossref
Lee, YH, Yong, HY, Jung, JW, and Kim, JW 2022. Development of Dormant Missile Health Monitoring Methodology based on Environmental Data. Journal of Applied Reliability 22(3):219-228.
crossref
Li, Z, Zheng, T, Wang, Y, Cao, Z, Guo, Z, and Fu, H 2020. A novel method for imbalanced fault diagnosis of rotating machinery based on generative adversarial networks. IEEE transactions on instrumentation and measurement 70: 1-17.
crossref
Lim, MW, Lee, JH, Park, GH, and Bae, SJ 2022. Lifetime Estimation of Electric Transformers for Multiple Failure-Modes. Journal of Applied Reliability 22(4):428-435.
crossref
Lim, SC, and Kim, JC 2021. A Study on the Optimization of Convolution Operation Speed through FFT Algorithm. Journal of Korea Multimedia Society 24(11):1552-1559.

Mun, BM, Jeon, YG, Lee, HJ, Kim, JH, Han, SH, and Lee, HJ 2020. Detection of Display Defects Using a Cluster Index. Journal of Applied Reliability 20(3):277-283.
crossref
Salimans, T, Goodfellow, I, Zaremba, W, Cheung, V, Radford, A, and Chen, X 2016. Improved techniques for training gans. Advances in Neural Information Processing Systems 29.

Sedigh, P, Sadeghian, R, and Masouleh, MT 2019. Generating synthetic medical images by using GAN to improve CNN performance in skin cancer classification. 2019 7th International Conference on Robotics and Mechatronics (ICRoM). 497-502.
crossref
Seo, JH, Park, JS, Yoo, JW, and Park, HJ 2021. Anomaly Detection System in Mechanical Facility Equipment: Using Long Short-Term Memory Variational Autoencoder. Journal of the Korean Society for Quality Management 49(4):581-594.

Shin, JH, Jun, HB, and Kim, DG 2014. A Study on Several Aspects of Condition Based Maintenance (CBM) Approach and Introduction of Relevant Case Studies. Entrue Journal of Information Technology 13(3):123-138.

Son, MJ, Kim, YG, Noh, SC, Kim, MH, and Kim, KM 2022. Exploring the Application of CBM+ in an ISR Weapon System, Thermal Observation Device. Journal of Applied Reliability 22(3):240-247.
crossref
Son, MJ, and Kim, YG 2021. A Study on the Reflection of Condition-Based Maintenance Requirement in the Defense Specification. Journal of the Korean Society for Quality Management 49(3):269-279.

Teixeira, HN, Lopes, I, and Braga, AC 2020. Condition-based maintenance implementation: a literature review. Procedia Manufacturing 51: 228-235.
crossref
Zhao, R, Yan, R, Chen, Z, Mao, K, Wang, P, and Gao, RX 2019. Deep learning and its applications to machine health monitoring. Mechanical Systems and Signal Processing 115: 213-237.
crossref

Figure 1.
The Acceleration Plot of the Original Data
jksqm-51-1-119f1.jpg
Figure 2.
Example of FFT Plot of the Original Data
jksqm-51-1-119f2.jpg
Figure 3.
Example of STFT Plot of the Original Data
jksqm-51-1-119f3.jpg
Figure 4.
Example of Image Augmentation Generation Process
jksqm-51-1-119f4.jpg
Figure 5.
An Example of a Multiphase Process
jksqm-51-1-119f5.jpg
Figure 6.
The Process of Data Transformation and Augmentation
jksqm-51-1-119f6.jpg
Figure 7.
Comparison of Image Data Accuracy Before and After Augmentation
jksqm-51-1-119f7.jpg
Table 1.
An Introduction to Research Data
Classification Depth Range Number
High 15 mm X-Axis −2.1845∼2.0491 6
Y-Axis −3.1374∼4.8833
Z-Axis −1.5746∼3.7771
Mid 7 mm X-Axis −2.4122∼2.5872 17
Y-Axis −2.2933∼2.0957
Z-Axis −2.0254∼4.0846
Low 2 mm X-Axis −2.9361∼2.8733 22
Y-Axis −2.4604∼2.1432
Z-Axis −2.0307∼4.1116
Table 2.
Performance Evaluation of FFT-Based CNN Classification Model for Images
Interval axis Inception v3 ResNet-50
pre-augmentation post-augmentation pre-augmentation post-augmentation
All X 69.23 % 93.64 % 67.74 % 97.03 %
Y 70.96 % 90.25 % 72.58 % 98.31 %
Uphill X 58.62 % 90.48 % 55.17 % 82.14 %
Y 75.86 % 94.05 % 62.06 % 90.18 %
Downhill X 65.71 % 90.62 % 74.28 % 89.06 %
Y 60.00 % 91.41 % 68.57 % 79.69 %
Table 3.
Performance Evaluation of STFT-Based CNN Classification Model for Images
Interval axis Inception v3 ResNet-50
pre-augmentation post-augmentation pre-augmentation post-augmentation
All X 66.12 % 93.22 % 72.58 % 99.15 %
Y 62.90 % 92.37 % 77.42 % 99.58 %
Uphill X 79.31 % 94.05 % 86.20 % 94.64 %
Y 65.51 % 95.24 % 62.06 % 96.43 %
Downhill X 57.14 % 90.62 % 62.86 % 92.19 %
Y 68.57 % 89.06 % 71.43 % 88.28 %
Editorial Office
13F, 145, Gasan digital 1-ro, Geumcheon-gu, Seoul 08506, Korea
TEL: +82-2-2624-0357   FAX: +82-2-2624-0358   E-mail: ksqmeditor@ksqm.org
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
Copyright © The Korean Society for Quality Management.                 Developed in M2PI
Close layer
prev next