델파이 기법과 CMMI를 활용한 군 정비창 기술수준 진단체계 연구사례

Research Case of Military Maintenance Depot Technology Level Diagnosis System Using Delphi Technique and CMMI

Article information

J Korean Soc Qual Manag. 2024;52(2):357-376
Publication date (electronic) : 2024 June 30
doi : https://doi.org/10.7469/JKSQM.2024.52.2.357
Head Office of Career Support, Daejin University
조지훈,
대진대학교 대학일자리본부
Corresponding Author(mdt87@daejin.ac.kr)
*본 논문은 한국품질경영학회 2022 춘계학술대회 발표자료(2022.05.20)를 재정리한 것임
Received 2024 February 2; Revised 2024 March 6; Accepted 2024 April 15.

Trans Abstract

Purpose

The purpose of this study is to design an objective and comparable diagnostic system for diagnosing the technology level of military maintenance depots and verify its actual applicability.

Methods

Literature Review, Capability Maturity Model Integration, Analytic Hierarchy Process.

Results

Military maintenance depot maintenance quality level diagnosis items, Maintenance quality level by maintenance technology area, Guidelines for diagnosing maintenance quality level, Quality level comparison results by area and implications for improvement.

Conclusion

In order to systematically evaluate the maintenance quality of military maintenance depots, this study was conducted with the goal of designing an overall maintenance quality diagnosis system, including diagnosis areas, diagnosis items, and a diagnosis score award system, by improving the existing evaluation method. In addition, the newly developed maintenance quality diagnosis system was applied to actual evaluation activities and the results were returned to members, confirming the usefulness of the developed maintenance quality diagnosis system in the field.

1. 서 론

군수(軍需. Military logistics)는 국방목표를 달성하기 위하여 군대를 장비하고 유지하는데 필요한 모든 자원을 효과적이고 경제적이며 효율적으로 기획, 계획하고 집행하는 군사활동으로 정의되며, 주요 활동으로는 무기체계를 포함한 연구개발, 획득, 저장, 분배, 처리와 인원 및 군수품의 수송, 시설획득 및 건설, 유지, 운영, 처리 그리고 기타 근무의 획득으로 정의된다(공군군수사령부). 군수의 주요 활동 중 군 정비창에서 수행하는 창정비(Depot Maintenance)라 함은 내구적 한계에 도달한 무기체계나 장비를 완전분해 수리하여 재생하는 정비로써 소요군의 정비창이나 국내외 외주업체에서 수행하는 업무를 의미한다(방위사업청, 2015). 특히 창정비는 무기체계의 수명 유지 및 정비 후 잔여 수명 연장과 무기체계 전투준비태세 유지를 위한 운용유지 여건 보장 차원의 최종 정비단계로써 매우 중요한 역할을 수행하고 있다(정인성 외, 2019). 특히 본 연구의 대상인 군 정비창은 민간분야 경영기법의 적용과 전문성에 따른 강화된 성과관리가 요구되는 군 책임운영기관으로 지정·운영 중에 있어(군 책임운영기관의 지정ㆍ 운영에 관한 법률, 2017년 시행) 기관의 핵심 업무인 정비 활동에 대한 기술수준 진단이 무엇보다 중요한 상황에 놓여있었다.

이러한 군 정비창의 정비 품질관리의 중요성에도 불구하고 국방 분야에서의 품질경영은 국방 분야의 폐쇄성으로 인해 민간분야와의 협력이 원활하게 이루어지지 못하고 있으며 국방품질경영시스템이 도입된 이후에도 아직까지 국방 관련 품질경영 수준은 미흡한 상황(김성도 외, 2016)이며, 기관 자체 내부 진단으로 인해 진단결과의 객관화 및 활용성이 저조하며 정비영역별 개별 진단기준이 적용됨에 따라 창정비 품질의 종합적인 수준을 평가할 수 없다는 점 등에 의해 신규 무기체계의 도입 등 창정비 기술개발 및 정비체계의 변화에 대응하기 어려운(김재동 외, 2022) 환경에 놓여있었다.

이에 본 연구는 군 정비창의 정비품질에 대한 체계적인 평가를 위해 기존 평가방식의 개선을 통한 진단영역, 진단항목, 진단점수 부여 체계 등 정비품질 진단체계의 전반적인 설계를 목표로 진행되었다. 또한 새롭게 개발된 정비품질 진단체계를 실제 평가활동에 적용하고 그 결과가 구성원에게 환류되는 과정까지 진행함으로써 개발된 정비품질 진단체계의 현장에서의 유용성을 확인하였다. 특히 연구과정에서는 민간분야와는 구분되는 군수분야의 정비품질 진단에 대한 이슈를 검토하고 향후 지속적으로 운영 가능한 진단체계를 설계한다는 방향성 아래 진단체계 설계와 적용 등의 세부활동이 수행되었다. 또한 새롭게 정비창 기술수준 진단체계의 항목에 대한 타당성 확보를 위해 정비창 구성원 중 전문가를 선발하여 이들을 대상으로 델파이(Delphi) 분석을 수행하였으며, 각 정비기술 요소별 비교가능성 증대와 지속적인 기술혁신을 지원하기 위해 소프트웨어 개발 프로세스의 성숙도 수준진단을 위해 활용되는 CMMI(Capability Maturity Model Integration)에서 제시하는 5단계 성숙도 모델에 착안하여 이를 정비품질 분야 진단 수준을 해석하는 도구로 적용하였다. 본 연구는 군 정비창의 종합적인 품질수준 진단을 위한 체계설계에 대한 최초의 사례로서, 향후 국방품질 분야의 이론적 발전과 확산은 물론 본 연구의 결과를 기반으로 하는 다양한 분야에서의 활용 가능성을 제시하고자 한다.

2. 문헌연구

2.1 군수분야 품질 관련 연구

김성도 외(2016)는 국방 군수업체 품질경영 수준 평가 모델 개발 및 분석 연구에서 민간분야에서의 품질경영의 발전 추세를 고려, 군수품 품질경영에서도 민간분야와의 발전을 공유하거나 활용할 수 있는 방안이 지속적으로 검토되어야 함을 주장하였고, 민간분야의 각종 제도를 활용할 필요성을 제시하고 국방분야에 특화된 국방품질수준진단 모델을 개발하였다.

주진천 외(2016)는 국방 분야 품질경영시스템 세분화를 통한 군수품 품질향상 방안 연구에서 기존 국방품질경영 시스템의 한계를 제시하고, 현 군수업체의 현실이 반영되고 시스템 효과성을 고려한 개선한 형태의 국방품질경영시스템을 제안하였다.

박준현 외(2019)는 군수품 생산업체 품질수준 측정지표 및 모형 개발에 관한 연구에서 품질수준진단 모형 개선을 위해 기 개발된 품질수준 조사 지표를 분석하였고 군수품 품질경영체계 요구사항과 제조성숙도 평가항목 및 군수품 품질관리 기본계획 수립에 따른 품질관리 패러다임 전환 등을 고려하여 품질관리 요소를 도출하여 지표로 제시하였다.

정영권 외(2019)는 국방품질 성숙도지수의 개발 및 평가에 관한 연구에서 중소 방산업체들이 주로 활용하는 ISO 인증과 DQMS(Defense Quality Management System. 국방품질경영 체계) 인증의 경우 최소한의 자격요건 심사를 통해 인증 부여 및 미 인증의 차이만 구별될 뿐 인증업체 간의 상대적인 수준을 평가할 수 없고, 국방 분야 특성을 분석할 수 없다는 한계점을 인식하고 국내 방산업체의 품질경영 수준 및 특성을 측정하고 방산업체의 성장단계별 운영특징을 평가할 수 있는 국방품질 성숙도 모델을 제시하였다.

김영현 외(2022)는 국방품질경영체제 정량평가 모델 개발 및 제도화 방안에 관한 연구에서 DQMS 인증제도는 최소한의 요구사항의 충족 여부만을 판단함에 따라 실질적인 운영성과와 연계성이 부족하여 인증업체별 품질경영 능력의 수준을 가늠하기에는 한계가 있음을 인식하고 DQMS의 정량평가 모델 제안과 국방품질 경영체계의 제도화를 위한 방안을 제시하였다.

고동현 외(2023)는 국방 서비스품질 분석 및 실증적 비교분석 연구에서 군수품을 생산하고 납품하는 업체를 상대로 군수품의 품질확보와 유지를 위해 수행하는 제반 관리 활동인 군수품 품질보증 활동에서 고객들이 인식하는 서비스품질의 만족도 수준을 확인하고, 개선이 필요한 국방품질보증 분야의 서비스 품질요소를 도출하여 국방서비스 품질의 발전방향을 제시하였다.

이영민 외(2022)는 첨단 무기체계 품질관리를 위한 기초 기술분류에 관한 조사 분석 연구에서 첨단기술 관련 정의와 분류가 국내 기관별로 상이하고, 국방 분야 내에서도 일관성 있는 분류가 이루어지지 않은 문제를 제기하고, 첨단기술 정의와 분류에 대한 재정립을 통해 향후 첨단기술 품질관리에 기여할 수 있는 기술정보 관리체계를 제시하였다.

이민철 외(2023)는 국방규격 개선사업의 성과평가모형 개발 및 적용방안 연구에서 군수품 표준화의 중요성을 제시하고 방위사업청에서 추진해 온 국방규격 개선사업의 적정설과 실효성을 검토하고 정량적으로 평가할 수 있는 모델을 제안하였다.

안남수(2023)는 군수품 정부품질보증 위험성 평가제도 개선에 대한 연구에서 위험성 평가제도를 도입한 공공기관의 규정을 비교·분석하고, 이를 통해 군수품에 대한 정부품질보증 위험성 평가제도의 개선점을 제시하였다.

신재영 외(2023)는 KPI 중심의 e-QMS 구현에 대한 연구에서 4차 산업혁명 시대의 키워드인 디디털 전환에 근거하여 품질경영 통합정보화와 핵심성과지표(KPI) 설계방안에 스마트 팩토리 시스템과 오픈퀄리티 개념을 반영하였다. 그 결과 우주항공 및 방위산업에 개선된 e-QMS 통합정보화 시스템을 적용한 결과, 고객만족도가 상승하고 품질 실패비용이 감소하는 효과가 확인된 결과를 제시하였다.

2.2 군 정비창 발전방향성

김재동 외(2022)는 공군 항공정비창 특성화 발전방향 연구에서 미래 군수환경 변화를 예측하고 신규 무기체계의 도입 등에 따라 항공 정비기술 개발 및 정비체계의 변화가 요구되며, 미래 공군 군수환경에 적합한 4차 산업혁명 신기술 도입이 필요함을 제시하였다.

이성윤(2020)은 국방 군수 정책 추진 방향에 관한 연구에서 안보 개념 변화, 미래전 패러다임 변화, 병력 및 부대 구조 변화, 병역자원 감소, 국방비 획득 어려움 지속, 과학기술 발전 가속화, 전시작전통제권 전환, 국방 분야 투자의 효율성과 장병 복무 여건에 관한 관심 확대 등의 미래 군수환경 전망에 대한 예측을 기반으로 전·평시 군수지원능력 확충, 총 수명주기관리 정착, 민·관·군 협업체계 구축, 국제군수 협력 강화, 장병복지 향상 및 생활 여건 질적 개선, 재난·안전 관리능력 강화 등을 미래 국방군수정책의 기본방향으로 제시하였다.

주호 외(2016)는 2012년 군 책임운영기관으로 지정된 육군종합정비창의 변화와 혁신을 통한 생산성 향상이 필요하며, 창 정비 부문의 경영혁신을 통한 성과 극대화에 관한 연구에서 기존 혁신활동과 새로운 패러다임을 융합한 종합정비창 수준진단과 정비창 맞춤형 혁신모델 도출 등에 의해 지속적인 성장동력 확보가 필요함을 제시하였다.

신승민 외(2020)는 해군 정비창 스마트팩토리 구축개념 및 발전방향 연구에서 4차 산업혁명의 발전 등 기술의 급성장에 따른 정비창의 스마트 팩토리 구현을 위해서는 품질관리, 공정관리, 안전관리 등 정비 구성요소에 대한 실시간 모니터링 등의 해군 정비창 스마트 팩토리 구축 프레임워크를 제시하였다.

정인성 외(2019)는 효율적인 창정비 요소 개발을 위한 지침 개선 적용연구에서 창정비가 무기체계의 수명 유지 및 정비 후 잔여 수명 연장과 무기체계 전투준비태세 유지를 위한 운용유지 여건 보장 차원의 최종 정비단계로써 매우 중요한 역할을 수행하고 있음을 인식하고 창정비 고유의 요소별 개발 개념, 방법, 절차를 명확화하여 차별화된 관리가 진행될 수 있도록 지원하는 개발지침의 구체화 적용 방법을 제시하였다.

김대현 외(2023)는 자료포락분석 기반의 항공정비창 특성화 방안 연구에서 최근 KF-21 등 첨단 기능을 장착한 항공기 도입에 따라, 항공기의 정비개념도 과거 주기 창정비에서 상태를 기반으로 판단하는 예측 정비단계로 정비개념이 진화하고 있다는 문제의식 아래 자료포락분석(DEA. Data Envelopment Analysis)을 사용하여 정비창 운영방식에 적용 가능한 대안을 연구하고 향후 항공정비창 특성화 대안 선정 방향을 제시하였다.

안정준 외(2019)는 무기체계 사례 분석을 통한 창정비 개발계획안 검증 필요성 연구에서 무기체계 획득과 운영유지의 분리에 대한 위험을 해소하기 위해 체계개발 단계에서 창정비 개발계획안 검증이 필요함을 제시하였다.

2.3 CMMI 모델의 적용범위 확대

카네기 멜론대 부설 소프트웨어 공학 연구소(Software Engineering Institute, SEI)에서 소프트웨어 개발 및 유지 보수 프로세스를 지속적으로 개선하기 위한 모델로 개발한 이후 CMMI는 지속적인 적용범위 확대에 의해 다양한 분야의 성숙도 모델 진단과 개선을 위한 표준으로 활용되고 있으며 시스템엔지니어링 능력 심사 모델(Systems Engineering Capability Maturity Model. SECAM) 등 다양한 분야에 적용되고 있다(Brian, 2002).

현승훈 외(2006)는 ISO 인증조직의 CMMI 도입을 위한 통합모델에 관한 연구에서 ISO 9001:2015 품질경영 시스템 인증을 받은 조직이 향후 개선을 위한 모델로 CMMI를 도입할 경우 두 모델 간의 차이를 극복할 수 있는 통합모델을 제시하여 프로세스 성숙도 중심의 CMMI와 품질경영의 통합 필요성과 방법을 제시하였다.

조경식 외(2019)는 4차 산업혁명 시대의 CMMI 품질성과 관리에 관한 연구에서 CMMI의 효과를 지속적으로 유지하기 위해 4차 산업혁명 시대를 위해 개발된 품질성과지표 (QSC: Quality Scorecard)에 근거하여 조직의 품질성과 관리 방안을 제시하였다.

최창현(2019)은 군수품의 고품질 확보를 위한 개발 품질보증 사례 연구에서 국방품질에 대한 패러다임이 규격충족에서 수요군 만족을 위한 개발, 양산 및 운용단계의 총 수명주기로 확장되고 있는 환경 아래 CMMI V 1.2 Level 5인증 획득을 기반으로 한 고객 요구 조건과 설계 및 시험 추적성을 확보할 수 있는 개발단계 품질보증 활동을 수행한 사례를 소개하였다.

이정열(2015)은 무기체계의 연구개발, 구매 등의 무기체계 획득사업을 추진해 나가는 과정에서 다양한 위험요인이 존재하며, 이러한 위험에 효과적으로 대처하는 무기체계 획득 조직 및 기관의 프로세스가 필요함을 인식하고 CMMI를 활용한 관련 조직 및 기관의 업무 프로세스의 위험관리 수준평가를 통해 무기체계 획득업무 프로세스의 향상을 위한 방안을 제시하였다.

이정열 외(2015)는 무기체계 획득과정의 요구사항 개발 및 요구사항 관리에 대한 규정과 CMMI 및 모델기반 시스템엔지니어링(MBSE. Model-Based Systems Engineering)에 대한 이론적 고찰을 수행하고, CMMI 이론을 기반으로 획득 조직에 적합한 요구사항 개발 및 요구사항 관리 프로세스를 분석한 후 국내 무기체계 획득환경에 부합하는 획득 요구사항 개발 및 관리 프로세스 모델을 제시하였다.

이진호 외(2016)는 국방 무기체계 연구개발 사업관리요인 도출에 대한 실증적 연구에서 국제평가모델(CMMI-ACQ. CMMI for Acquisition)를 활용하여 우리 실정에 적용 가능한 국방 무기체계 연구개발 사업 관리요인을 도출하였고, 사업을 발주하는 주관기관(획득자)이 조직 차원의 프로세스 개선이나 품질인증 여부를 확인하는 모델을 제시하였다.

장용식 외(2016)는 무기체계 시험평가 업무의 정량적 관리방안 연구에서 무기체계 획득 또는 개발 전 수명주기에 걸쳐 요구되는 중요한 의사결정 수단을 확보하기 위해서 무기체계의 성능을 종합 검증하는 절차인 무기체계 시험평가 업무에 CMMI를 적용하여 전력화 단계의 위험도를 낮추고 체계의 운용 효과 및 운용 적합성을 향상시킬 수 있는 모델과 적용결과를 제시하였다.

2.4 문헌연구 결과 시사점

문헌연구를 통해 먼저 군수분야 품질경영체계의 중요성에 대한 인식이 확산되고 있음을 확인할 수 있었다. 정치적, 외교적 배경에 따라 국방의 중요성은 날로 증대되고 있으며, 군수 지원체계가 국방목표 달성에 기여하기 위해서는 체계적인 품질관리가 중요하다는 연구가 다수 진행되고 있음이 확인되었다. 또한 군수 품질관리에 있어 민간분야와 우수사례의 공유확대와 국방품질 수준진단 방법에 대한 지속적인 개선이 필요함을 확인할 수 있었다.

또한 연구자들은 군 정비창 발전방향성에 대해 4차 산업혁명 등 변화에 대응을 위해 군 정비창 운영전략이 보완될 필요성을 제기하였고, 군 정비창 업무의 생산성 향상을 위한 혁신의 중요성이 더욱 증대되고 있음을 주장하였다. 또한 군 정비창 업무 수준에 대한 진단과 정비창 업무의 특성을 고려한 맞춤형 혁신방법에 대한 연구가 지속적으로 진행되고 있음을 확인할 수 있었다.

그리고 소프트웨어 개발 및 유지보수 역량수준 진단을 위한 방법론인 CMMI가 다양한 분야에 적용되고 있으며, 특히 품질경영 시스템과의 통합 등 품질경영 분야에서 CMMI가 적극적으로 활용될 필요성이 연구자들에 의해 제기되었다. 또한 국방분야에서 무기체계 개발과정의 리스크 감소, 무기체계 획득을 위한 기관과 조직의 업무역량 측정 및 개선 등 CMMI 적용범위가 지속적으로 확대되고 있음을 확인할 수 있었다.

따라서 남북이 군사적으로 대치중인 우리나라의 지정학적 특성 아래 우리나라의 국방력 수준이 조사대상국가 145개국 가운데 5위를 기록하는 등 지속적인 성장을 하고 있는 상황(2024. 언론보도 종합)과 2027년까지 세계 방산 수출 점유율 5%를 돌파해 세계 4대 방산 수출국으로 도약하기 위한 범정부적인 노력을 다하고 있는 상황아래 군수의 중요한 축을 담당하고 있는 군 창정비 기술수준의 지속적인 향상은 그 중요성이 더욱 부각된다고 보아야 할 것이다. 또한 기존 정비 품질관리에 대한 제한된 수준의 평가에서 나아가 보다 체계적인 정비품질 수준진단 프레임워크의 개발과 함께 프로세스 운용수준 향상과 데이터 활용도 제고 등을 통해 4차 산업혁명 시대에 적합한 정비창 정비 활동 혁신의 필요성이 제기된다고 보아야 할 것이다. 아래 <표 1>은 선행연구분석 내역과 분석결과에서 도출된 시사점을 요약한 것이다.

Literature research details and derived implications

3. 연구방법 및 절차

본 연구는 군 정비창의 정비품질 수준 진단을 위한 체계 정립을 목적으로 추진되었으며, 다음과 같은 4단계로 진행되었다.

먼저 연구방향성 정립 단계로 미래 군수분야 발전방향성을 탐색하고 기존 창정비 기술진단 방식에 대한 개선 요구사항을 도출하였다. 그리고 새롭게 설계될 창 정비 기술수준 진단체계가 갖추어야 할 속성을 정의하고 전체 연구의 방향성을 정의하였다. 다음은 창정비 기술수준 진단체계 설계단계로서 정비품질 진단영역, 진단항목 및 수준을 정의하였다. 항목별 수준은 CMMI에서 제시하는 5단계 성숙도 수준을 활용하여 관련 기술과 동등비교가 가능하고 지속적인 개선이 가능한 진단결과 형식으로 설계하였다. 창 정비능력 기술수준 평가체계 구성요소에 대해 내부전문가를 활용한 델파이(Delhi) 분석을 활용하여 진단항목 구성의 타당성과 설문작성 내용의 적합성을 검증하였고, AHP(Analytic Hierarchy Process. 분석적 계층화 분석법) 기법을 활용하여 진단항목별 가중치를 확정하였다. 실증 연구 단계에서는 개발된 창정비 기술수준 진단체계를 활용하여 실제 진단을 시행하였고, 기술 요소별 진단결과를 타 요소와 비교하여 기관의 전반적인 기술수준을 진단하였다. 마지막으로 진단결과에서 시사점을 도출하는 단계에서는 군수분야 미래 발전방향성과 4차 산업혁명 시대 변화에 대응할 수 있는 창정비 활동의 발전방향성을 제시하였다. <그림 1>은 본연구의 단계별 활동과 적용방법론을 도식화하여 제시한 것이다.

Figure 1.

Research methods and procedures

3. 정비창 기술수준 진단체계 설계

3.1 연구배경

본 연구는 창정비 기반기술을 분석하여 현재 기술수준에 대한 진단과 미래 정비역량 강화를 위한 시사점을 도출하여 향후 안정적인 창정비 능력발전 방안을 제시하는 목적으로 추진되었다. 신무기 체계 도입 등 변화하는 창정비 환경에 대응하고 국방운영의 효율화 달성을 위해 현재 정비창 기술수준의 분석은 필수적이라고 할 수 있으며, 본 연구를 통해 무기체계 고성능화 및 정밀화에 따른 창정비 지원 정밀기술 소요 식별, 첨단소재 적용 무기체계 증가에 따른 지원기술 요구증대 대응 그리고 4차 산업혁명, 스마트화 등 기술주도 혁신의 트렌드에 능동적으로 대응하기 위한 창정비 기술수준 진단을 위해 정비창 기술수준 진단체계를 새롭게 설계하였다. 이를 통해 정비기술수준 진단결과의 활용을 통해 전투준비태세 제고, 국방비 가치 제고, 고객만족도 제고를 달성하여 궁극적으로 책임운영기관에 요구되는 성과달성에 기여하는 것을 연구목표로 수립하였다.

3.2 정비창 기술수준 진단체계 진단영역 및 항목정의

창 정비능력 수준진단을 위해 진단대상인 첨단 무기체계 변화 및 정비능력 단위를 고려한 창정비 기술을 대분류 기술을 제조기반, 검사/측정, 분석 및 부품정비, 기관정비 분야로 분류하였다. 대분류별 세부 기술분류는 기 실행 중인 정비창의 기술수준 분석대상 선정 결과를 반영하여 대분류 6개, 중분류 18개, 소분류 38개로 분류하였다. 정비창 전체 기술수준 분석대상은 <표 2>와 같다.

Depot maintenance technology classification

또한 대분류 분야별 기술수준 분석을 위해 정비기술의 진단영역을 인력, 장비, 프로세스, 시설, 기술의 다섯가지로 정의하였다. 기존 정비창 진단영역인 시설, 장비, 인력, 기술적 측면을 검토하여 정비업무의 스마트화 등 미래대응 역량을 고려하여 기존 영역에 프로세스를 추가하여 인력, 장비, 프로세스, 시설, 기술 등 5대 진단영역을 정의하였다. 정비창 기술수준 진단을 위한 영역과 세부 정의 내용은 아래 <표 3>과 같다.

Depot maintenance technology evaluation level Diagnosis area and item definition

기존 기관의 기술평가 결과는 평가항목별 결과를 상대적 중요도(가중치)를 반영한 리커트(Likert) 7점 척도로 평가해 왔다. 이러한 방식은 평가결과의 표현이라는 목적에는 부합하나 평가결과를 타 업무 간 비교(예: 제조기반 정비 활동 수준과 정비분야 수준의 비교 또는 외부 기술과 수준 비교) 시 제약요인을 갖고 있었다.

이에 따라 본 연구에서는 진단결과의 활용도 증대를 위해 리커트 척도 평가와 함께 진단결과를 품질경영 등 성숙도 진단을 위해 국제적으로 광범위하게 활용되고 있는 기준인 <능력성숙도 통합 모델(CMMI Capability Maturity Model Integration)>을 도입하여 아래 <표 4>와 같이 단계별 진단평가 결과 기준을 정의하였다.

Definition of technical level diagnosis evaluation result criteria

3.4 기술수준 진단체계 검증

창 정비능력 기술수준 평가체계 구성요소에 대해 내부전문가를 활용한 델파이(Delhi) 분석에 의해 진단항목 구성의 타당성과 설문작성 내용의 적합성을 검증하고, AHP 기법을 활용한 조사에 의해 진단항목별 가중치를 확정하였다. 델파이 1단계에서는 기술수준 진단을 위해 5개 영역별로 정의된 진단항목의 구성이 진단목적 달성을 위해 타당한지 여부를 내부전문가 의견에 의한 검증이 진행되었다. 델파이 2단계에서는 기술수준 진단평가의 단위인 창정비 기술평가의 세분류 단위별로 기술수준 진단의 5가지 영역의 가중치를 조사하였다. 델파이 3단계에서는 기술수준 진단평가의 단위인 영역별 진단항목 별로 가중치를 조사하였다. 기술수준 진단체계 검증을 위한 델파이 조사의 단계별 활동은 아래 <그림 2>와 같다.

Figure 2.

Step-by-step activities of Delhi analysis to verify technology level diagnosis system

3.4.1 델파이 기법에 의한 기술수준 진단항목의 타당성 조사결과

델파이 1단계 조사에는 총 142명의 현장 전문가가 참여하였으며, 조사결과는 통계분석 소프트웨어인 IBM SPSS Statistics 26으로 분석하였다. 델파이 1단계 설문조사 결과의 타당도와 신뢰도 검증을 위해 변이계수(CV coefficient of variation)와 크론바하 알파(Cronbach's alpha)를 평가하였다. 변이계수는 변량의 표준편차를 산술평균으로 나눈 값이며 서로 다른 집단 간 산포를 비교하기 위해 사용하며, 변이계수의 값이 클수록 상대적인 차이가 크다는 것을 의미한다. 크론바하 알파는 검사의 내적 일관성 신뢰도를 나타내는 값으로써 한 검사 내에서 검사 문항들이 동질적인 요소로 구성되어 있는지를 분석하는 것이다.

설문조사 걸과 대부분 진단항목에 대한 조사결과가 신뢰성과 타당성 기준을 만족하고 있는 것으로 확인되었다. 반면 진단영역 중 인력 항목의 <1.1 전공일치도>는 평균이 다른 항목보다 낮고, 표준편차도 크며, 변이계수도 크게 나타났다. 이는 다른 항목에 비해 응답자가 상대적으로 낮은 점수를 주었다고 판단할 수 있으며, 그 점수의 변동 폭도 크다고 할 수 있다. 해당 항목은 통계적 관점에서 요건은 충족하고 있으나 해당 항목이 이번 수준진단에 처음 반영된 항목이라는 점, 진단항목에 대한 응답자의 평가가 전체 평가과정에 영향을 미칠 수 있다는 점, 해당 항목을 제외할 경우 인력분야 타 진단항목의 신뢰도가 상승(Cronbach a 값이 0.7에서 0.759로 소폭상승)한다는 점을 고려하여 진단항목에서 제외하였다. 분석내용을 반영한 델파이 기법에 의한 기술수준 진단항목의 타당성 조사결과는 아래 <표 5>와 같다.

Results of a feasibility study on technology level diagnosis items

3.4.2 진단영역별 가중치 결정

기술수준 진단평가의 단위인 창정비 기술의 세분류 단위별로 기술수준 진단의 5가지 영역의 가중치를 조사하였다. 이는 예를 들어 기계(대분류) > 제작(중분류) > 정비(소분류) > 장비 정비(세분류)의 기술수준을 평가하기 위해 5개 진단영역의 가중치가 각각 어느 정도가 되어야 하는가를 전문가들이 판단하는 것을 의미한다.

본 단계의 조사는 AHP의 ‘쌍대 비교’ 방식에 의해 진행되었다. 응답자는 설문에서 제시된 두 항목 중에 어느 항목이 어느 정도 중요한 지에 대한 판단을 응답지에 표시하여 응답하였다. 아래 <그림 3>은 델파이 AHP 조사 설문지의 예시이다.

Figure 3.

AHP survey questionnaire(Partial)

조사결과 정비창 기술수준 진단의 다섯가지 영역인 인력, 기계, 프로세스, 설비, 기술별 가중치를 부여하였다. 아래 <표 6>은 정비기술 영역 중 제조기반 영역의 진단항목별 가중치를 제시한 것이다.

Determination of weight for each diagnostic area(%. Partial)

4. 진단결과 도출 및 시사점 제시

4.1 창정비 기술수준 진단결과 도출

새롭게 설계된 창정비 기술수준 진단체계를 활용하여 정비창의 각 기술영역별로 진단을 실시하였고, 5개 진단항목별 현재 기술수준을 제시하였다. 또한 기술영역별 진단결과를 종합하여 기관 전체의 기술수준을 진단하였고, 각 기술영역별 현재 수준을 기관 전체 평균점수와 비교하여 제시함으로써 각 기술영역별 현재 수준과 향후 자원의 투입을 통해 우선적으로 개선이 필요한 기술영역을 확인할 수 있도록 하였다.

아래 <그림 4>는 특정 기술영역의 정비기술 진단결과와 기관 전체 평균과의 비교 결과를 제시한 것이다. 해당 기술에 대해 진단한 결과 진단영역 중 <5. 기술영역>에서는 우수한 평가를 받았으나. 그 외 영역에서는 상대적으로 낮은 수준으로 평가되었다. 또한 기관 전체 평균점수와 비교에서도 사람, 프로세스, 설비 등의 영역에서 상대적으로 낮은 수준으로 평가되었음을 확인할 수 있다. 이와 같은 진단결과는 창정비 기술수준 향상을 위한 전략수립과 세부 과제로 반영되었다.

Figure 4.

Derivation of depot maintenance technology level diagnosis results(Partial)

4.2 CMMI 성숙도 수준 적용 정비기술 진단결과

각 기술영역별 진단결과 점수를 CMMI에서 제시하는 5단계 성숙도 수준인 초기-기본-정의-관리-최적 단계로 제시하고, 향후 상위 단계로 지속적인 발전을 위한 방향 설정에 활용하기 위한 해당 기술영역의 시사점을 제시하였다. 본 연구를 통해 도출된 진단결과와 시사점은 정비창 중장기 기술발전계획 수립의 Input으로 활용되었으며, CMMI 능력 기준을 적용한 진단결과는 기관의 기능별 인력, 장비, 프로세스, 시설, 기술 분야 개선계획 수립에 반영되었다.

아래 <표 7>은 CMMI 성숙도 수준을 적용한 정비기술 수준진단 결과의 일부를 제시한 것이다. 아래 사례에서 해당 기술영역은 CMMI 성숙도에서 정의(Defined) 단계로 평가되었다. 이는 정비서비스 시스템이 비교적 완성되어, 최적화된 조직, 표준 정비서비스 프로세스, 정비 지원 능력 등을 보유한 수준으로 판단될 수 있다. 또한 국내외 정비 필요성에 부응하기 위한 전문 팀, 관련 공급업체의 관리능력, 예비부품 지원 네트워크, 첨단기술 간행물 컴파일 능력 등도 보유하며, 정비훈련 품질, 예비부품 지원 시스템, 기술 간행물 컴파일 수준, 정비지원 시스템 등에서 국제 표준이나 요건을 달성하는 것으로 판단되었다.

Maintenance technology diagnosis results applying CMMI maturity level(Partial)

이러한 CMMI 성숙도 기반 정비품질 평가방식은 기존 평가방식인 점수에 의한 순위비교를 넘어서 기관 내 정비기술영역은 물론 유사한 기준이 적용된 타 기술과의 비교가 가능함에 따라 정비품질의 지속적인 개선과 혁신에 활용이 가능할 것으로 판단된다.

5. 결론 및 제언

5.1 연구요약

본 연구는 군사 대비태세 제고와 국방비 가치 제고에 핵심적인 역할을 담당하는 군 정비창 정비기술 수준진단을 위한 체계를 설계하는 것을 목적으로 수행되었다.

먼저 연구방향성 정립 단계에서는 자료분석을 통한 미래 군수분야 발전방향성을 정의하고 내부 인터뷰를 통해 기존 창정비 기술진단 방식에 대한 개선 요구사항을 도출하였다. 창정비 기술수준 진단체계 설계단계에서는 진단대상인 정비창의 정비품질 진단영역, 진단항목 및 수준을 정의하였다. 특히 정비기술의 항목별 수준이 담보해야 할 객관성과 비교가능성 확보를 위해 CMMI가 제시하는 5단계 성숙도 수준을 활용하여 정비 프로세스의 각 영역별 기술 간 동등비교가 가능하고 성장목표 달성을 위한 목표설정과 지속적인 개선이 가능하게 하는 체계의 형식으로 제시하였다. 또한 설계된 창 정비능력 기술수준 평가체계 구성요소에 대해 내부전문가가 참여한 델파이 분석으로 진단항목 구성의 타당성과 설문작성 내용의 적합성을 검증하여 진단체계의 적용 가능성을 확보하였다. 또한 AHP 기법을 활용한 진단항목별 가중치를 확정하여 해당 기술영역별 진단목적에 적합한 기준을 제시하였다.

실증연구 단계에서는 개발된 창정비 기술수준 진단체계를 활용하여 실제 진단을 실시하였고, 기술 요소별 진단결과를 타 요소와 비교하여 기관의 전반적인 기술수준을 진단하였다. 마지막 단계인 진단결과 분석 및 시사점을 도출 단계에서는 단순한 수치 중심의 진단결과 제시에서 나아가 군수분야 미래 발전방향성과 4차 산업혁명 시대 변화에 대응할 수 있는 창정비 활동의 발전방향성을 제시하였다.

5.2 본 연구의 실무적, 학술적 시사점

본 연구의 수행을 통해 정비창 정비기술 수준을 진단하고 향후 품질수준 향상을 위한 목표설정과 관리가 가능한 기술수준 진단체계를 제시하였다는 점을 실무적인 시사점으로 제시할 수 있다. 4차 산업혁명으로 대표되는 기술의 발전에 대한 대응 요구와 책임운영기관으로서 지속적인 혁신이 요구되는 제도의 목적 달성을 위해서는 일회성 활동이 아닌 지속가능한 혁신활동이 수행되어야 한다. 이러한 미래지향적인 혁신활동을 운영하기 위해 CMMI의 성숙도 기준을 활용한 본 연구의 결과물은 향후 기관이 지속적, 안정적으로 활용 가능할 것으로 기대된다. 또한 비교가능성의 관점에서 민간 산업 분야와는 구별되는 군수분야 품질관리에 있어 각 기술 요소별 비교가능성의 확보에 따라 전체 정비창의 기술수준을 진단하고 개선할 수 있는 실천적인 대안을 제시하였다는 측면에서 연구의 의의를 찾을 수 있다.

학술적 관점에서 본 연구는 기존 연구가 주로 공급망 관점의 군수품 생산업체를 대상으로 하는 현실에서 군 정비창의 정비품질 기술진단체계를 대상으로 한 최초의 시도라는 의미를 갖고있다. 또한 군수가 우리 군의 군사력 강화를 뒷받침할 수 있어야 하며, 기존 군의 군사력 건설이 주로 병력 의존적이었다면 앞으로의 군사력 건설 방향은 기술집약적으로 전환이 필요하다는 관점(장기덕, 2012)에서 군수정비품질 기술수준의 진단과 발전방향성을 제시하기 위한 학술적인 관심이 필요함을 제시했다는 점에서 본 연구의 의미를 찾을 수 있을 것이다. 또한 소프트웨어 개발 및 조직의 성숙도 평가를 위해 주로 활용되는 CMMI 모델의 적용영역을 확대하고 품질수준 진단과 조직역량 향상을 위한 방향성 도출 등 다양한 적용대상과의 접점을 추구했다는 점에 본 연구의 학술적 의의가 있다고 판단된다.

5.3 연구의 한계점 및 향후 연구방향성 제안

본 연구는 군 정비창 한곳을 대상으로 하여 기술수준 진단 체계설계를 목적으로 수행되었다. 따라서 본 연구의 결과물이 군수 정비분야 전반에 적용될 수 있는 진단체계로 정착하기 위해서는 다양한 기관에 적용하여 결과를 도출하고 기관 간 진단결과의 상호비교와 시사점 도출을 통해 진단체계의 타당성과 적용 가능성에 관한 연구가 수행될 필요가 있다. 특히 군용 항공기에 대한 제반 정비사업 즉, MRO(정비, 수리, 분해 Maintenance, Repair, Overhaul) 사업 등 기존 군 정비창에서 독점적으로 운영해 온 정비분야가 민간에 개방 되고 민군 협업이 강화될 예정임을 고려할 때 민간분야에 본 진단 프레임워크를 적용하여 그 결과를 민군 공통의 정비품질 수준 관리체계로 정착할 필요성도 검토되어야 할 것으로 생각된다.

또한 본연구는 군 정비분야의 품질수준진단 프레임워크라는 새로운 체계의 개발을 위한 연구활동으로써, ISO 9001:2015 품질경영시스템 등 경영체계 전반을 대상으로 한 진단체계나 장비의 신뢰성, 가용성 등 보편적인 정비품질 관리의 기준과 도구를 개발하는 연구와는 구분된다. 또한 양적, 질적인 데이터를 기반으로 한 체계와 도구의 타당성과 신뢰성에 대한 논거를 제시하고 있지 않다. 이에 대해서는 향후 다양한 적용사례 연구를 통해 보완되어야 할 것으로 본 연구의 한계라고 할 수 있다.

본 연구에서 제시한 정비품질 수준진단 체계를 유사 정비활동을 수행하는 민간분야에 적용하고 그 결과를 동등 비교할 경우 군수 정비 서비스와 민간 서비스 분야와의 비교연구를 통해 다양한 분야의 품질개선을 위한 학술적 기반을 확장하는데 기여할 수 있을 것으로 기대된다.

References

Brian Gallagher P.. 2002. Interpreting Capability Maturity Model Integration for Operational Organizations Carnegie Mellon Software Engineering Institute.
Chang-Hyun Choi. 2019;A Case Study on Application of R&D Quality Assurance to Secure High Quality for Military Supplies. Journal of the Korean society for Quality Management 47(1):151–162.
Kim Dae-Hyeon, Kim Jae-Dong. 2023. A Study on the Specialization Strategies for Aircraft Depot Maintenance based on DEA: focus on cost-effectiveness. Journal of the Korea Academia-Industrial cooperation Society.
Ko Dong-Hyeon, Nam Yoon-Wook, Kim Hyun-Min, Joo Yong-Won. 2016;A Study on the Defence Service Quality by Small Business Size. Journal of the Korea Academia-Industrial Cooperation Society 24(9):642–652.
Gideok-Jang . 2012. Logistics management, Supply chain management perspective KIDA Press.
Jeong Inn-Sung, Kim Hyeong-Do. 2019;A Study on the Applying Improvement Method of Guide for efficient depot level maintenance. Journal of the Korea Academia-Industrial Cooperation Society 20(12):789–796.
Hoo-Joo Jikwan-KIm. 2016;Consideration on maximizing performance through management innovation in the depot maintenance sector. The Korean Operations Research and Management Science Society, Conference Proceeding :5718–5741.
Jeong Inn-Sung, Kim Hyeong-Do. 2019;A Study on the Applying Improvement Method of Guide for efficient depot level maintenance. Journal of the Korea Academia-Industrial cooperation Society 20(12):789–796.
Jaedong-Kim , Gongyong-Choi , Daehyun-Kim . 2022;Air Force Aviation Maintenance Depot Specialization Development Direction Research, Korean Institute of Defense Analysis. Defense Issue Briefing Series
Jeong Younggkwon, Cho Hyunki, Yoo Hanjoo. 2019;A Study on the Development & Evaluation of Defense Quality Maturity Index. Journal of the Korean society for Quality Management 47(3):479–496.
Ju Jin-Chun, Kim Sung-kon, Lee Jong-chan, Ahn Nam-Su. 2016;Suggestion for the Enhancement of Military Supplies via Segregation of Defense Quality Management System. Journal of the Korea Academia-Industrial cooperation Society 17(8):251–261.
Park Jun-Hyun, Kim Min-Woo. 2019;A Study on the Development in Evaluation Indices and Model of the Quality level for Manufacturers of Military Suppliers. Journal of the Korea Academia-Industrial cooperation Society 20(10):107–116.
Ahn Jung-Jun, Kim Su-Dong. 2019;A Study on the Necessity of Verification about depot level maintenance plan through the Weapons System cases analysis. Journal of the Korea Academia-Industrial cooperation Society 20(2):76–82.
Kim Sung-Do, Bae Suk-Joo, Yang Ji-Eung, Chung Kyu-Suk, Riew Moon-Charn, Lim Sung-Uk, Kim Myung-joon, Park Sang Ho, Jeong Ji-Sun. 2016;Model Development and Analysis for Assessment of the National Defense Industry Quality Management. Journal of the Korean Society for Quality Management 44(2):277–296.
Cho Kyoung-Shik, Shin Wan Seon. 2021;The Quality Performance Management of CMMI in the Era of Industry 4.0. Journal of the Korean Society for Quality Management 47(1):17–32.
Shin Jae Young, Shin Wan Seon. 2023;Implementation of a KPI Focused e-QMS: A Case Study in the Aerospace & Defense Industry. Journal of the Korean Society for Quality Management 51(1):131–154.
Lee Jeong yeol. 2015;A Study on Appraisal Method for Weapon Systems Acquisition Business based on CMMI). Journal of the Military Operations Research Society of Korea 41(1):49–64.
Lee Jeong yeol, Shim Sang-Ryul. 2015;A Study on ARD & REQM Process Modeling for Acquisition Organizations based on CMMI & MBSE. Journal of the Korea Association of Defense Industry Studies 22(3):124–149.
Lee Jin ho, Kim Sang-Hoon, Choi Sungbin. 2016;An Empirical Study on Deriving the Management Factors for the Defense Weapons Systems R & D Projects: Based on the CMMI - ACQ Estimate Reference Model. The Quarterly Journal of Defense Policy Studies 32(3):109–147.
Lee Min Cheol, Kim Young Hyun, Ahn Young Jun, Kim Jun Su. 2023;A Study on the Development and Application of Performance Evaluation Model for Defense Standard Improvement Projects. Journal of the Korean Society for Quality Management 51(2):185–202.
Ahn Namsu. 2023;Proposal for Government Quality Assurance Risk Assessment System for Military Supplies. Journal of the Korean Society for Quality Management 51(2):155–170.
Hyun Seunghoon, Yoon Junho, Lee Jinyoung, Lee Changwon, Yoo Chanwoo, Wu Chisu, Lee Byungjeon. 2004;An integrated model of ISO 9001::2000 and CMMI for ISO registered organization. The Korean Institute of Information Scientists and Engineers. Conference Proceeding 31(2)
Seungyoon-Lee . 2020;Direction of future defense logistics development Korean Institute of Defense Analysis. Defense Issue Briefing Series
Sungmin-Shin , Chelwoo-Chang , Soobaek-Kown , Byungkoo-Kim . 2020;A Study on International Standard ISO Certification of Public Administration. Journal of the Society of Naval Architects of Korea 57(1):27–30.
Lee Yeong-Min, Seo Suk-Ho. 2022;Analysis and Research on Basic Technology Classification for Advanced Weapons System Quality Management. Journal of the Korea Academia-Industrial Cooperation Society 23(6):430–437.
Jang Yongsik, Bang Heejin, Han Sunghee, Kim Jaekab. 2016;A Study on the Quantitative Management Scheme of Weapon Systems T&E. Journal of the Korea Institute of Military Science and Technology 19(1):16–25.
Kim Young Hyun, Ha Jin Shik. 2022;A Study on the Development and Institutionalization Plan of a Quantitative Evaluation Model of Defense Quality Management System. Journal of the Korean Society for Quality Management 50(2):183–197.

Article information Continued

Figure 1.

Research methods and procedures

Figure 2.

Step-by-step activities of Delhi analysis to verify technology level diagnosis system

Figure 3.

AHP survey questionnaire(Partial)

Figure 4.

Derivation of depot maintenance technology level diagnosis results(Partial)

Table 1.

Literature research details and derived implications

Research topic Author(s) Implications of literature research
Quality in the defense sector Sung-Do Kim et al.(2016) Spreading awareness of the importance of quality management system in the military field
Research on systematization of defense quality management continues.
Continued research on improving defense quality level diagnosis methods
Jin-Chun Ju et al.(2016)
Jun-Hyun Park et al.(2019)
Younggkwon Jeong et al.(2019)
Young Hyun et al.(2022)
Dong-Hyeon Ko et al.(2023)
Yeong-Min Lee et al.(2022)
Jung-Jun Ahn et al.(2019)
Min Cheol Lee, et al.(2023)
Namsu Ahn(2023)
Jae Young Shin et al.(2023),
Military maintenance depot development Jaedong-Kim et al.(2022) Increasing demand for supplemental military maintenance depot operation strategies in response to changes such as the 4th Industrial Revolution
Raising the need for innovation to improve productivity of military maintenance depot work
Continuing research on diagnosis of maintenance depot work level and customized innovation methods
Seungyoon-Lee(2020)
Hoo-Joo et al.(2016)
Sungmin-Shin et al.(2020)
Inn-Sung Jeong et al.(2019)
Dae-Hyeon Kim et al,(2023)
Expanding the application scope of the CMMI model Seunghoon Hyun et al,(2006) Raising the need for integration between CMMI and quality management system
Exploring the introduction of CMMI to improve defense quality
Kyoung-Shik Cho et al.(2019)
Chang-Hyun, Choi(2019)
Jeong yeol Lee(2015)
Jeong yeol Lee et al.(2015)
Jin ho Lee et al.(2016)
Yongsik Jang et al.(2016)

Table 2.

Depot maintenance technology classification

Main category Middle category Sub category
1. Fundamental Manufacturing Composite material · Composite material repair
Machining
  • General-purpose milling machine cutting

  • General-purpose lathe machine cutting

  • General-purpose equipment grinding processing

  • Automation equipment processing

  • Electric discharge machining

Anti-rust treatment
  • Mechanical surface treatment

  • Surface treatment (coating)

Heat treatment · General heat treatment
Design
  • Mechanical element design

  • Component design

2. Materials Sheeting
  • Waterjet cutting

  • Sheet metal work by hand

  • Machine cutting

  • Bending of sheet metal pipe and section steel

  • Bone repair

Surface treatment
  • Shot peening

  • Dry plating

  • Wet plating

  • Anodized

Welding work · Welding
Coating · Plasma coating
Tube produce · Tube bending
3. Inspection/Measurement Non Destructive Inspection
  • 3D measurement

  • Radiation non-destructive inspection

  • Metal material analysis

4. Analysis Chemical analysis · Chemical analysis
5. Parts maintenance Heating parts · Heating parts maintenance
Fuel parts · Fuel parts maintenance
Hydraulic parts · Hydraulic parts maintenance
Electrical parts
  • Control parts maintenance

  • Electrical parts maintenance

6. Engine maintenance A081
  • Depot-level disassembly and assembly

  • Depot-level inspection

A101
  • Depot-level disassembly and assembly

  • Depot-level inspection

Table 3.

Depot maintenance technology evaluation level Diagnosis area and item definition

Area Item Definition of Item
1. People 1.1 Concordance with major Congruence between maintenance field and major
1.2 Maintenance experience Extent of experience related to depot maintenance jobs(Maintenance work skill or execution period)
1.3 Maintenance capability Ability to perform depot maintenance duties using the skills possessed(maintenance proficiency)
1.4 Maintenance knowledge Understanding of the relevant skills required for successful depot maintenance work
2. Machine 2.1 Equipment maintenance Maintenance status considering the economic life and degree of deterioration of the equipment for the corresponding depot maintenance
2.2 Investment in new equipment Purchase of new equipment related to depot maintenance at the time of need
2.3 Equipment Utilization Capabilities Knowledge and operational skills required to operate depot maintenance-related equipment
2.4 Equipment performance Functions and scope of application of equipment to apply new and required technologies to depot maintenance
3. Process 3.1 Maintenance process(prevention focus) Depot maintenance-related work procedures and procedures(Records and document management)
3.2 Organization and operation Proper organizational structure and operation room related to depot maintenance
3.3 Required human resources Whether the necessary manpower is secured for performing depot maintenance duties
3.4 Maintenance training infrastructure Education and training infrastructure to acquire the necessary skills for successful depot maintenance work
3.5 Technology acquisition Whether the necessary technology is secured considering the timing of application of depot maintenance
3.6 Informatization capability Understanding and utilization of IT technology, including data analysis capabilities
4. Facility 4.1 Facility level Whether the required level of facilities is secured according to maintenance activities
4.2 Facility investment Adequate investment in maintenance of facilities, including new facilities
5. Technology 5.1 Importance of technology The importance of the required technology in the field of depot maintenance
5.2 Utilization of technology Degree of utilization of other (weapon system, etc.) maintenance tasks applied with required technology
5.3 Difficulty of skill Expected degree of difficulty in developing and acquiring required technology

Table 4.

Definition of technical level diagnosis evaluation result criteria

Level Description
Initial Level (Level 1 ~ Under Level 2) At this stage, the military maintenance system is not yet complete, and the maintenance service is simple maintenance and spare parts support service. The scope of work related to maintenance work is small, and a stable customer relationship has not yet been established. Services or related organizations are not standardized and immature. Maintenance service capacity is low and in its infancy
Basic Level (Over Level 2 ~ Under Level 3) At this stage, the overall skeleton of the military maintenance service system is basically formed through the training process, the related organizational structure is more reasonable, and the maintenance service has accumulated some experience over a long period of time. Progressively more comprehensive maintenance work and larger maintenance team. In addition, the maintenance service process has become more standardized, maintenance service network, supplier support network, and spare parts support network have been established, and basic capabilities such as customer response capability, maintenance support, and engineering technical support have been established. Maintenance work is still immature or in the stage of completion.
Defined Level (Over Level 3 ~ Under Level 4) After several years of work, the military maintenance service system is relatively complete at this stage, and has an optimized organization, standard maintenance service process, equipment reliability monitoring management ability, rapid response ability, engineering technology support ability, maintenance support ability, etc. In addition, it has a professional team to meet the maintenance needs of large equipment at home and abroad, management ability of related suppliers, spare parts support network, and ability to compile high-tech publications. Achievement of international standards or requirements in maintenance training quality, spare parts support system, technical publication compilation level, maintenance support system, etc.
Managed Level (Over Level 4 ~ Under Level 4.5) At this stage, the military maintenance service system is almost mature. This is the stage of establishing a global service network equipped with domestic and foreign military support capabilities for engineering technology support. To support training, we have core competencies for equipment operation support, training, and research. It also has a more mature spare parts support network, logistics network, etc. for spare parts support. In addition, it has a mature customer relationship management system that can communicate with customers (units requiring maintenance) and achieves a higher level of customer satisfaction by establishing a digitalization system.
Optimal Level (Over Level 4.5) At this stage, the capability of the maintenance service system becomes one of the core competitiveness of the military. The military maintenance unit has its own R&D team and independent intellectual property rights for new technologies and new theories. The equipment maintenance service system is continuously evolving as part of the development of our military capabilities.

Table 5.

Results of a feasibility study on technology level diagnosis items

Area Item Mean SD CV Cronbach a
1. People 1.1 Concordance with major 3.64 1.138 0.31 0.7
1.2 Maintenance experience 4.32 0.847 0.20
1.3 Maintenance capability 4.39 0.672 0.15
1.4 Maintenance knowledge 4.36 0.775 0.18
2. Machine 2.1 Equipment maintenance 3.96 0.988 0.25 0.766
2.2 Investment in new equipment 3.99 1.095 0.27
2.3 Equipment Utilization Capabilities 4.4 0.685 0.16
2.4 Equipment performance 4.17 0.816 0.20
3. Process 3.1 Maintenance process(prevention focus) 4.24 0.798 0.19 0.786
3.2 Organization and operation 4.28 0.747 0.17
3.3 Required human resources 4.2 0.853 0.20
3.4 Maintenance training infrastructure 4.13 0.798 0.19
3.5 Technology acquisition 4.16 0.813 0.20
3.6 Informatization capability 3.75 0.835 0.22
4. Facility 4.1 Facility level 4.18 0.839 0.20 0.832
4.2 Facility investment 4.01 0.907 0.23
5. Technology 5.1 Importance of technology 4.27 0.764 0.18 0.799
5.2 Utilization of technology 4.35 0.736 0.17
5.3 Difficulty of skill 4.2 0.774 0.18

Table 6.

Determination of weight for each diagnostic area(%. Partial)

Main Category Middle category Sub category 1. People 2. Machine 3. Process 4. Facility 5. Technology
Fundamental Manufacturing Composite material Composite material repair 16.7 18.3 16.3 23 25.7
Machining General-purpose milling machine cutting 31.8 22.6 6.9 13.2 25.4
General-purpose lathe machine cutting 40.9 11.9 19.8 7 20.3
General-purpose equipment grinding processing 30.6 21.8 6.5 10.3 30.8
Automation equipment processing 24.9 22.8 8.2 13 31.2
EDM 32.8 24.3 6.7 10.7 25.6
Anti-rust treatment Mechanical surface treatment 8.4 42.4 9.6 19 20.6
Surface treatment (coating) 37.1 4.7 5.9 26.3 26
Heat treatment General heat treatment 20.2 18.4 12.1 9.1 40.2
Design Mechanical element design 41.3 9.1 8 6.9 34.7
Component design 27.8 10.9 4.6 11.9 44.9
Heat treatment General heat treatment 20.2 18.4 12.1 9.1 40.2

Table 7.

Maintenance technology diagnosis results applying CMMI maturity level(Partial)

Main Category Middle category Sub category 1. People 2. Machine 3. Process 4. Facility 5. Technology Weighted overall score CMMI Level
Diagnostic score (Weight %) Diagnostic score (Weight %) Diagnostic score (Weight %) Diagnostic score (Weight %) Diagnostic score (Weight %)
Fundamental Manufacturing Machining Material repair 3.75 (16.7) 3.54 (18.3) 3.69 (16.3) 3.67 (23) 4.10 (25.7) 3.77 3 (Defined Level)
Compared to other areas, the importance of technology and facilities is relatively high, and maintenance technology has almost mature technological capabilities.. It is judged that the maintenance service system has been completed in all areas..
Cutting 4.06 (3.7) 2.99 (41.6) 3.41 (17.8) 3.00 (21.9) 3.13 (14.9) 3.13 3 (Defined Level)
It is judged that basic equipment for maintenance service is in place as it is a field with high importance of maintenance and facilities, but support is needed to quickly respond to maintenance support work., It is judged that the company has secured human resources with technical capabilities capable of providing global maintenance support.
Machine cutting 4.26 (23.4) 3.41 (19.9) 3.25 (12.4) 3.07 (20.9) 3.53 (23.5) 3.55 3 (Defined Level)
It is judged that the maintenance service system is relatively complete. In particular, it is judged that manpower has human resources with technical capabilities capable of providing global maintenance support. It is determined that the facility has facilities that meet the maintenance needs of large equipment.
Materials Sheeting Bending 4.07 (20) 3.43 (40) 3.33 (10) 3.00 (14) 3.38 (16) 3.48 3 (Defined Level)
It is an area where the proportion of equipment is very high compared to other areas, and it has equipment that can quickly respond to maintenance support tasks under a relatively completed maintenance service system. It is judged that it has human resources capable of providing global maintenance support.
Bone repair 3.65 (28.7) 3.41 (13.2) 3.05 (8.7) 3.33 (26.5) 3.47 (22.9) 3.44 3 (Defined Level)
It is a field of high importance in order of human resources, facilities, and technology, and has a relatively complete maintenance service system.. Efforts are needed to optimize the standardized maintenance service process using information technology, etc., and it is judged that it is possible to build a smart process through this.
Milling 3.49 (31.8) 3.54 (22.6) 3.36 (6.9) 3.19 (13.2) 3.32 (25.4) 3.41 3 (Defined Level)
It is judged that a relatively complete maintenance support system has been established in the fields of high importance in the order of manpower, technology and equipment, but efforts to smartize the process related to maintenance support are needed. It is judged that efforts to standardize/optimize the maintenance support process using information technology are necessary.