A Study on the Development and Institutionalization Plan of a Quantitative Evaluation Model of Defense Quality Management System

Young Hyun Kim; Jin Shik Ha

doi:10.7469/JKSQM.2022.50.2.183

Journal of Korean Society for Quality Management > Volume 50(2); 2022 > Article

국방품질경영체제(DQMS) 정량평가모델 개발 및 제도화 방안 연구

Quality Policy

J Korean Soc Qual Manag 2022; 50(2): 183-197.

Published online: June 30, 2022

DOI: https://doi.org/10.7469/JKSQM.2022.50.2.183

국방품질경영체제(DQMS) 정량평가모델 개발 및 제도화 방안 연구

김영현^*,^†, 하진식^**

^*국방기술품질원 개발품질연구본부

^**한국표준경영원

A Study on the Development and Institutionalization Plan of a Quantitative Evaluation Model of Defense Quality Management System

Young Hyun Kim^*,^†, Jin Shik Ha^**

^*Development Quality Research Bureau, Defense Agency for Technology and Quality

^**Korea Standards Management Institute

^†Corresponding Author(yhkm1013@dtaq.re.kr)

Received February 7, 2022 Revised February 25, 2022 Accepted May 30, 2022

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted noncommercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Purpose

The purpose of this study is to develop a quantitative evaluation model for the defense quality management system and suggest institutionalization plans. To this end, another existing evaluation model was reviewed and analyzed to develop a quantitative evaluation model applicable to military institutions.

Methods

In this study, in order to establish a DQMS quantitative evaluation model, a military product quality level survey model and a defense quality model operated in the defense field were analyzed. In addition, evaluation models and indicators were analyzed by investigating evaluation models operated by other institutions and private sectors.

Results

As a result of the study, the total score of the DQMS model was 1,000 points, 600 points for maturity level indicators and 400 points for operation performance indicators, and the evaluation items consisted of 7 major categories and 25 middle categories. The maturity level index 600 points are 70 points for organizational situation, 60 points for leadership, 40 points for planning, 100 points for support, 180 points for operation, 90 points for performance evaluation, and 60 points for improvement.

Conclusion

It will be easy to quantify and evaluate the operating level of DQMS certified companies through the application of the DQMS quantitative evaluation model and evaluation criteria presented in this study. As a result, it will be possible to grasp the level of quality management system and the areas of improvement, and the overall level of improvement can be expected by inducing voluntary improvement activities through sharing of best practices and identifying improvement cases.

Key words: DQMS Performance, Quantitative Evaluation Model, The Standard of Maturity, AHP

1. 서 론

국방품질경영체제(Defense Quality Management System; DQMS) 인증제도는 군수품에 대한 품질향상의 기반조성과 품질 우수업체를 확보하여 품질의 신뢰성을 지속적으로 향상, 유지시키기 위하여 군수업체의 품질경영시스템을 심사하여 인증서를 수여하는 제도이다(Ha 2014). 인증을 위한 심사기준은 1998년에 국제품질경영체제 표준인ISO 9001요구사항에 군수 분야의 특성과 정부 권한 보장 요건을 추가하여 국방규격(KDS 0050-9000)으로 제정하여 사용하고 있다.

군수품 계약업체는 의무적으로 국방규격(KDS 0050-9000)에 따라 품질시스템을 구축 및 이행하도록 요구되고 있다. 이는 기업의 신뢰도 향상과 의식 개선을 통하여 조직의 경영에 도움을 주고, 사용자 불만이 감소하는 효과를 가져왔다(Kim 2008). 또한, 인증업체는 입찰 및 계약 시나 방산물자 원가 계산 및 제안 평가 시 가점, 국방품질(Defense Quality; DQ)마크 신청 시 공장검사 면제 등의 다양한 인센티브를 제공받고 있다.

현재 방위사업청에 계약된 기업은 약 600여 사에 달하며, 이 중 2021년 12월 기준 190개 업체가 DQMS 인증을 유지하고 있다. 그러나 DQMS 인증제도는 최소한의 요구사항의 충족 여부(적합/부적합)만을 판단함에 따라 실질적인 운영성과와 연계성이 부족하여 인증업체별 품질경영 능력의 수준을 가늠하기에는 한계가 있다. 물론 국방분야에서 군수업체의 품질경영수준을 평가할 수 있는 국방품질경영상 수여 제도(3년 주기)와 군수업체 품질수준조사 제도(1년 주기)를 운영하고 있으나, 두 제도의 평가모델은 DQMS 국방규격 (KDS 0050-9000)과 연계성이 떨어져 DQMS 인증심사와 별개로 평가하여야 하고 업체 입장에서도 DQMS 인증심사뿐만 아니라 유사한 평가를 중복으로 수검해야하는 어려움이 있다.

뿐만 아니라 다수의 DQMS 인증업체가 DQMS 구축 및 운영에 따른 실질적인 성과 개선이나 향상으로 연계시키지 못하고 인증을 유지하기 위하여 형식적으로 운영하고 있으며(Park 2007), 방위사업청 및 국방기술품질원에서도 DQMS 인증업체에 대해 지속적인 품질경영 능력 향상을 지원하고, 품질 수준에 따라 차별화된 인센티브를 적용하는데 한계가 있다. 이를 해결하기 위해서는 DQMS 인증심사와 병행하여 국방규격(KDS 0050-9000) 요구사항 충족 여부만을 판단하는 것이 아니라 기업의 품질경영 운영 수준을 정량 평가하여 차등 관리할 수 있는 체계가 필요하다.

본 연구에서는 DQMS 정량평가 모델을 정립하기 위하여 국방 분야에서 운영 중인 군수품 품질수준조사 모형과 국방품질상 모델을 분석하였다. 또한 타 기관 및 민간 분야에서 운영 중인 평가모델을 조사하여 평가모델 및 지표를 분석하였다. 이를 통하여 DQMS 인증업체의 수준을 정량화하여 객관적으로 나타낼 수 있는 평가모델을 도출하고자 하였다.

본 연구는 전체 5장으로 구성되어 있다. 제2장에서는 국내에서 적용하고 있는 정량평가 제도 운영 사례 및 선행연구 결과를 정리하였고, 제3장에서는 DQMS 정량평가 모델 도출 과정을 기술하였다. 제4장에서는 DQMS 정량평가 모델 제도화 시 평가방법 등의 운영방안을 제시하였으며, 결론은 제5장에 기술하였다.

2. 이론적 고찰 및 선행연구

2.1 정량평가 제도 운영 사례

DQMS 정량평가 모델 개선을 위하여 국내 민간 기관과 대기업의 평가 모델을 분석하였다. 평가 모형은 공통적으로 프로세스별로 요구되는 사항을 구체적으로 반영한 모델로서 품질경영시스템 구축 및 실행 수준을 평가하고 있다. 평가 기준의 요구사항은 국제표준인 ISO 9001과 업종별 특정 요구사항과 자사에서 정한 요구사항을 바탕으로 구성되어 있다. 평가 모델 및 기준은 주기적으로 항목을 추가하거나 배점을 조정하는 형식으로 현실에 맞추어 지속적으로 개선되고 있다.

한국표준협회(Korean Standards Association; KSA)의 국가품질상 평가 모델은 품질경영지원, 설계품질, 제조품질, 시장품질로 구분되어 있다. 이는 총 35개 소분류 항목으로 구성되어 있다. 성과지표는 총 61개를 제시하고 있으나, 평가점수에는 반영하지 않고 관리지표로서 제안하고 있다. 평가 기준은 항목별 시스템 구축 수준과 실행수준을 5점 척도로 분류하여 평가하며, 1,000점 만점으로 하고 있다.

대기업 H사의 1차 협력사 평가 모델은 8개 범주로 구성되어 있으며, 43개 평가항목으로 구성되어 있다. 배점은 성과지표와 과정지표의 비중을 55:45로 하고 있다. 성과지표의 경우 평가 기업에서 직접 집계 및 관리하고 있다. 평가기준은 5단계로 나누어 평가하고 있으며, 평가항목 중 기본점수(3단계) 미달 시 해당 항목은 0점 처리하는 과락제를 적용하고 있다. 평가 등급은 100점 만점에 65점부터 점수를 기준으로 5 star(1,2,3,4 및 5스타)로 명명하고, 등급에 따른 인센티브 및 패널티 제도를 엄격하게 적용하고 있다.

대기업 P사의 평가 모델은 품질시스템 심사와 프로세스 심사로 구분하고 이는 35개 세부 항목으로 구성되어 있다. 평가 기준은 항목별 5단계로 나누어 평가하고 있다. 평가 등급은 700점 만점을 기준으로 5개 그룹(매우 우수, 우수, 보통, 미흡, 매우 미흡)으로 나눈다.

2.2 선행연구

Jeon(1999)은 계층화분석기법(Analytic Hierarchy Process; AHP)을 이용한 국내 군수업체 품질경영활동 평가에 대한 연구를 하였다. 이 연구를 통해 품질경영활동의 중요도를 평가하는데 AHP기법을 이용하여 국방조달 및 국방품질시스템에 대하여 고찰을 하고, 평가요인 간 중요도 및 국가품질상의 상관관계를 분석하였다.

Cha and Jang(2009)은 반도체 기업에 특화된 품질경영시스템 성숙도를 측정할 수 있는 평가 모델 및 실제 반도체 기업에 적용함으로서 연구모형의 실용성을 확인하였다. 이 연구에서는 10개의 핵심구성요소, 32개의 주요구성요인과 224개의 구성요소를 클러스터링 분석 필터링 분석을 통해 선정하고, 1,000점 만점의 5단계 (Lev.1~Lev.5) 성숙도 평가 모형을 제시하였다.

Gal(2011)은 글로벌 전략상품 품질개선 우선순위 선정방법에 대해 연구하였다. 이 연구에서는 국내 글로벌 경쟁력이 요구되는 전략상품을 선정하여 공급자인 중소기업의 품질 자생력을 확보할 수 있는 품질관리 우선순위를 도출하는데 AHP 기법을 이용하여 글로벌 전략상품 후보군들의 우선순위를 선정하였다.

Kang and Kim(2013)은 미 해군의 계약업체 선정 평가 프로그램, 국내 조달청 계약실적평가 및 등급화 제도 등의 지표를 참고하여 전투물자 분야의 군수업체에 최적화된 평가지표를 도출하고, AHP 기법을 적용하여 평가지표별 가중치를 부여해서 등급화 평가 모델을 제안하였다.

Park and Kim(2019)은 군수품 생산업체 품질수준 측정지표 및 모형 개발에 관한 연구를 수행하였다. 이 연구에서는 타 기관 및 기업의 품질 수준 측정 지표의 사례를 조사하고, 기존에 국방 분야에서 실시되고 있는 다양한 평가지표 등을 분석하였다. 또한 과정 지표와 성과 지표의 연계성을 강화하여 군수품 생산업체의 품질수준을 객관적이고 직관적으로 표시될 수 있도록 개선하였다.

Park et al(2020)은 AHP 기법을 활용한 DQMS 국방규격 요구사항의 중요도에 대한 실증 연구를 수행하였다. 연구결과 품질 분야의 중요도를 결정할 때 8항(운용)이 0.295로 가장 높았고 7항(지원)이 0.085로 가장 낮았다. 경영 분야의 중요도를 결정하는 데 있어 5항(리더십)이 0.305로 가장 중요도가 높았고 7항(지원)은 0.050으로 가장 낮았다. 전체적으로 품질과 경영 분야의 중요도는 8항(운용)이 0.1987로 가장 중요하게 측정되었다.

지금까지 국방 및 민간 분야의 품질경영 수준 측정 모델에 관한 선행연구들을 살펴보았다. 선행연구에서는 주로 국방규격(KDS 0050-9000) 요구사항의 중요도만 분석하였거나, DQMS 국방규격과 연계되지 않은 품질수준 평가지표 개발에 관한 것으로 기존의 DQMS 인증심사와 별개의 평가가 필요하기 때문에 DQMS 인증제도에 적용하는데 한계가 있다. 본 연구에서는 국방규격(KDS 0050-9000)요구사항과 연계하여 업체의 품질경영 성숙도 및 운영 수준을 정량화 할 수 있는 평가 모델과 기존 제도에 적용할 수 있는 방안을 제시하였다.

3. DQMS 정량평가 모델 개발

3.1 DQMS 정량평가 모델 구성 및 배점

국내외 타기관 및 기업의 평가모델 사례 조사 결과와 국방품질경영시스템 요구사항 검토 결과를 바탕으로 하여 DQMS 정량평가모델을 성숙도 수준 및 운영성과 수준을 측정할 수 있는 지표로 구성하였다.

DQMS 정량평가모델의 배점 구성은 민간 평가 제도에서 적용하고 있는 모델을 벤치마킹하였다. 경영시스템 진단 모델인 말콤볼드리지, 국가품질상 및 NPA 등 민간 평가모델의 경우 성숙도 수준지표와 운영성과지표의 배점 비율을 60:40에서 50:50의 비율로 적용하고 있다.

DQMS 정량평가 모델에 적용하기 위한 배점 기준을 정하기 위하여 추가적으로 AHP 조사를 진행하였고, 그 결과 60:40의 비율로 확인되어 성숙도 수준의 배점은 600점, 운영성과지표의 배점은 400점으로 정하였다.

3.2 성숙도 수준 지표 구성

3.2.1 문항별 배점 기준

성숙도 수준 지표는 DQMS 요구사항을 기반으로 ISO 9004:2018(품질경영-지속적 성공을 달성하기 위한 가이던스)에 제시되어 있는 성숙도 수준 자체평가 항목을 참고하여 평가문항을 구성하였다. DQMS 국방규격 8항(DQMS 평가 문항 5장)에 해당하는 “운용”과 관련하여 ISO 9004:2018에서는 프로세스로서 성숙도 수준을 다루고 있으므로 이들 요구사항에 대한 평가 기준은 말콤 볼드리지 경영상 평가기준 및 ISO 10014(품질경영-재정적 및 경제적 이익을 실현하기 위한 지침)에 제시되어 있는 성숙도 평가 기준을 참고하였다.

DQMS 성숙도 수준 지표의 항목 및 배점은 <Table 1>과 같이 대분류 7항목-중분류 25항목, 600점 만점으로 구성하였으며, 항목별 배점은 AHP 분석을 통하여 가중치를 반영한 값이다.

3.2.2 성숙도 수준 평가 기준

중분류 평가항목 중 DQMS 요구사항으로서 실행 및 결과의 유지가 필요하지만 조직의 결정에 따라 프로세스로 관리하지 않고, 절차(Procedure) 또는 활동(Activity)의 수준으로 결정하여도 무방한 경우에는 TYPE 1 공통항목(PDCA(Plan-Do-Check-Act) 단계 중 정해진 업무활동에 따라 실행 및 조치 결과 확인)으로 분류하였다. 그리고 영업, 설계/개발, 구매 및 생산 등과 같이 고객에게 가치를 제공하는데 직접적인 업무와 관련된 요구사항은 TYPE 2 프로세스 항목(PDCA 단계에 따라 전반적인 확인 및 개선성과 평가)으로 분류하였다. TYPE 1 공통 항목과 TYPE 2 프로세스 항목의 분류 기준은 <Table 2>와 같다.

성숙도 수준에 대한 평가방법은 말콤볼드리지, 국가품질상, ISO 9004 및 ISO 10014 등을 참고하여 PDCA 흐름에 따라 평가내용별 다섯 단계의 수준으로 정리한 결과는 <Table 3>와 같다.

또한 평가자 및 피 평가업체의 평가문항을 명확하게 이해할 수 있도록 <Table 3>의 평가문항별로 ‘중심개념, 평가내용, 착안사항, 성숙도 단계별 평가지침, 실행 사례 및 증거’를 포함한 성숙도 수준 평가 매뉴얼을 별도로 작성하였다.

평가 대상 조직의 담당자는 착안사항 및 실행 사례를 참고하여 증거자료를 사전에 준비하고, 평가자는 준비된 증거자료에 기반하여 평가수준을 결정한다. 평가 등급 부여 및 결과의 계산은 주관적 평가에 따른 편차를 최소화하고, 평가 소요시간을 단축할 수 있도록 엑셀 프로그램을 이용하여 결정된 평가 수준에 따라 수준점수가 자동 계산되도록 하였다. 4수준 이상의 평가항목의 경우 <Table 4>와 같이 하위수준의 평가항목을 충족하는 경우에 평가 적용할 수 있으며, 하위수준을 충족하지 못하는 경우 평가를 생략한다.

3.3 운영성과지표의 구성

운영성과지표는 과정지표인 성숙도 수준 지표의 실행에 따른 달성수준을 고려하여 Park and Kim(2019)의 선행연구에서 사용된 주요 지표와 자동차(IATF 16949) 및 정보통신(TL 9000) 분야의 품질경영체제 인증제도에서 사용되고 있는 성과지표를 참고하여 경영성과(윤리경영 포함 4항목), 외부 성과(6항목)및 내부 성과(11항목) 총 21항목으로 구분하여 <Table 5>와 같이 선정하였다.

운영성과지표 평가기준의 경우 경쟁사 비교 및 벤치마크가 가능하도록 성과지표에 따른 등급 및 점수는 국가품질상 등에서 적용하고 있는 상대 평가 개념을 적용하여 <Table 6>과 같이 수립하였다. 성과지표는 필수 지표와 선택 지표로 나누었으며, 지표의 미적용 항목이 있는 경우, 이를 고려한 가감 점수를 고려할 수 있도록 하였다.

운영성과지표 점수의 산정은 <Table 6>의 평가기준에 따라 각 성과지표별로 100점 만점 기준으로 평가 점수를 구하고, 이들 성과지표를 합산한 평균 점수에 윤리경영 위반 관련 감점(건당 10점)을 반영하여 평가점수를 산정한다. 산정된 평가 점수는 가중치를 고려하여 400점 만점 기준 점수로 환산하여 계산하고, 성과지표에서 “선택” 지표의 경우, 제출 시 가점을 부여한다. 제품설계 책임이 없는 조직의 경우, 설계 및 개발 관련 지표는 해당되지 않는다.

3.4 평가지표별 배점의 신뢰성 및 타당성 검증

AHP 기법은 의사결정 문제에 대해 계층적으로 표현하고 의사결정자의 판단에 기초하여 여러 대안 중 우선순위를 부여하는 다기준 의사결정 모형이다(Saaty, 1991). DQMS 정량평가 모델의 지표별 배점 적용의 신뢰성 및 타당성 검증을 위하여 DQMS 전문가를 대상으로 AHP 분석을 진행하였다.

3.4.1 계층모델 설계

계층1은 정량 평가에 가장 영향을 미치는 변수인 실행 수준 및 성숙도와 운영성과로 정하였고, 계층2는 DQMS의 요구사항인 4 조직의 상황, 5 리더십, 6 기획, 7 지원, 8 운용, 9 성과평가, 10 개선으로 선정하였다. 계층2의 하부평가 기준이 될 수 있는 계층3은 계층2에서 선정된 실행 수준 및 성숙도와 운영성과 관점을 기준으로 표준 요구항목을 배열하였다. 이에 따라 구축된 의사결정의 계층모델은 <Fig. 1>과 같다.

3.4.2 전문가 선정 및 설문조사 수행

DQMS 정량평가 중요도 분석을 위해 계층 구조화된 평가요인(계층2)과 하부평가 기준(계층3)을 각각 1:1 쌍대비교 형태로 설문지를 구성하였다.

AHP 기법에서 중요한 선택 요소 중 하나는 신뢰할만한 전문가를 선정하는 일이다. 본 연구에서는 국방 분야 10년 이상 근무자 중 ISO 인증심사원 자격보유 및 DQMS 심사경험 10회 이상 수행 조건을 만족하는 총 26명의 전문가를 대상으로 설문조사를 수행하였으나 분석에는 일관성이 결여된 것을 제외한 17명의 설문지를 활용하였다.

3.4.3 조사 결과

1) 요구사항별 상대적 우선순위

DQMS 정량평가 중요도 분석의 1단계는 실행 수준 및 성숙도과 운영성과 관점으로 나누어 비교하였고, 그 결과는 <Table 7>과 같다. ‘실행 수준 및 성숙도’(0.60)가 ‘운영성과’(0.40)에 비해 상대적으로 중요도가 높은 것으로 나타났다.

2단계는 표준의 4~10항에 대한 상대적 중요도를 비교했는데, 8항 운용의 중요도는 0.25로 가장 높고 다음으로는 4 조직상황, 7 지원, 9 성과평가가 0.15로 평가되었고, 5 리더십, 6 기획, 10 개선이 0.10으로 평가되었다. 3단계는 2단계의 요구사항을 세부적으로 구분하여 분석하였으며, 그 결과는 <Table 7>과 같다.

2) 모형의 타당성 검증 결과(CI 분석)

DQMS 정량평가 항목을 전문가 평가를 통해 종합적인 중요도 평가를 수행하였다. 먼저 경험있는 전문가의 1:1 쌍대비교를 통한 설문을 통해 계층구조를 설계 및 분석하였고, 전문가 답변 중 CR값이 0.1을 넘은 경우가 없어 응답 결과의 일관성과 신뢰성을 확보하였다(<Table 7>과 <Table 8> 참고).

4. DQMS 정량평가 제도화 방안

현재의 DQMS 인증 제도는 국방기술품질원이 군수업체가 DQMS 국방규격(KDS 0050-9000) 요구사항에 적합한 품질경영체제를 구축하고, 실행하고 있는지의 여부(적합/부적합)를 심사를 통해 확인하고 있다. 본 연구를 통해 제안한 DQMS 정량평가 모델은 기존의 DQMS 인증심사와 더불어 기업의 품질경영 성숙도 및 운영 수준을 정량 평가할 수 있는 모델로 제도화 단계에서 심사 신청 대상 및 방법, 심사 주기, 심사 일수, 심사원 적격성 기준 및 평가 결과에 따른 인증 혜택 차등화 등 제도 운영 전반의 구체적인 방안 수립이 필요하다. 이를 위해서는 DQMS 정량평가 제도 운영을 다음 <Table 9>와 같이 제도 적용 초기 단계와 안정화 단계로 나눠 추진함으로써 세부적인 제도화 방안을 수립할 수 있을 것으로 판단된다.

또한 DQMS 정량평가 제도 도입 시, 여러 국방분야 관련 제도에 DQMS 정량평가 결과를 적용할 수는 방안을 제시하면 <Table 10>과 같다.

5. 결 론

본 연구에서는 DQMS의 정량평가 모델 및 제도화 방안을 제안하였다. 이를 위하여 타 기관 및 민간에서 운영하고 있는 평가 모형을 비교 분석한 후, DQMS 정량평가 모형 및 지표를 제시하였다. 세부적으로 살펴보면 DQMS 정량평가 모델의 구성을 성숙도 수준 지표(600점)와 운영성과 지표(400점)로 결정하였고, 성숙도 수준 평가문항은 대분류 7항목, 중분류 25항목으로 정하였다. 운영성과지표는 필수 지표(11개 항목)와 선택 지표(10항목)로 나누었으며, 성과지표 등급은 6등급으로 구분하고 업종별 상대평가를 할 수 있도록 수립하였다. 그리고 정량평가 모형의 신뢰성 및 타당성을 확보하기 위하여 DQMS 전문가들을 대상으로 AHP를 적용하여 평가지표별 배점의 신뢰성 및 타당성 검증하였다.

마지막으로 DQMS 정량평가 모델 제도화 시 초기 적용단계와 이후 안정화 단계로 구분한 평가방법 등의 운영 방안과 국방분야 관련 제도에 정량평가 결과를 활용할 수 있는 제도 적용방안을 제시하였다.

본 연구의 DQMS 정량평가 모델 적용을 통하여 DQMS 인증기업의 품질경영 수준을 정량화하여 평가하는 것이 가능할 것이다. 다만 향후 추가적인 시범평가를 실시하여 DQMS 정량평가 제도운영 상 고려해야 할 사항을 구체화할 필요가 있으며, 성숙도 수준과 운영성과 그리고 궁극적으로는 경영성과의 상관관계와 효과성 분석을 통하여 DQMS 정량평가 모델의 지속적인 개선이 요구된다. 이를 통해 품질경영시스템의 수준과 개선 분야에 대한 파악이 가능해질 것이며, 우수사례의 공유와 개선 사례의 식별을 통하여 자발적인 개선 활동을 유도함으로써 전반적인 품질경영 수준 향상을 기대할 수 있을 것이다.

REFERENCES

Cha, Myeongseon, and Jang, Joongsoon 2009. Maturity Evaluation of Quality Management System in Semiconductor Companies. Journal of the Korea Institute of Plant Engineering 14(4):35-44.

Defense Agency for Technology and Quality(DTaQ) 2020. Defense Quality System Certification Service Regulation. Revised on October 15. http://www.dtaq.re.kr..

Defense Agency for Technology and Quality(DTaQ) 2021. Military Supplies Quality Management Basic Regulation. Revised on September 28. http://www.dtaq.re.kr..

Gal, Jieun 2011. Study on prioritizing methods for quality improvement of global strategic product. Graduate School of Industrial Sungkyunkwan University.

Ha, Jinsik 2014. Research Report on the Operation of Domestic and Overseas Quality Certification System Technical Report of DTaQ.

International Organization for Standardization(ISO) 2018. ISO 9004:2018-Quality management-Quality of an organization-Guidance to achieve sustained success. ISO.

International Organization for Standardization(ISO) 2021. ISO 10014:2021-Quality management systems-Managing an organization for quality result-Guidance for realizing financial and economic benefits. ISO.

Jeon, Changkwon 1999. A Study on the Evaluation of Quality Management Activities of Domestic Military Companies using AHP Techniques. Graduate School of Korea University.

Kang, Jinwoo, and Kim, Youngsoo 2013. A Study on the AHP-Based Company Rating System. Technical Report of DTaQ.

Kim, Pankyu, and Lee, Donguk 2008. A Study on the Status and Development Direction of Defense Quality Management System. Korean Industrial Economic Association 31(1):151-173.

Park, Donghoon 2007. An Empirical Study on the Performance of Defense Quality Management System and Certification Outcomes for Military Contractors. MS Thesis,. Department of Information and Industrial Engineering, Graduate School, Seoul National University of Science and Technology.

Park, Jongman, Yang, Junmo, and Kim, Younggil 2020. An Empirical Study on the Importance of Standard for DQMS Using Analytic Hierarchy Process. Journal of Applied Reliability 20(3):271-276.

Park, Junhyun, and Kim, Minwoo 2019. A Study on the Development in Evaluation Indices and Model of the Quality level for Manufacturers of Military Suppliers. Journal of the Korea Academia-Industrial cooperation Society 20(10):107-116.

Saaty, TL 1991. How to Make Decision : The Analytic Hierarchy Process. European Journal of Operational Research 24.

Figure 1.

Hierarchical model design of standard for DQMS

Table 1.

Evaluation items and distribution of maturity level

Large categories	Medium categories	Allocation points	Evaluation TYPE	DQMS-related requirement
1. Context of the Organizational (70)	1.1 Understanding the organization and its situation	40	1	4.1
	1.2 Understanding the needs and expectations of stakeholders	25	1	4.2
	1.3 Quality management system and its process	25	1	4.4
2. Leadership (60)	2.1 Leadership and commitment	25	1	5.1
	2.2 Policy	15	1	5.2
	2.3 Roles, responsibilities, and authority	10	1	5.3
	2.4 Ethics management	10	1	5.4
3. Planning (40)	3.1 Actions to address risks and opportunities	30	1	6.1
3. Planning (40)	3.2 Quality objectives and planning to achieve them	30	1	6.2, 6.3
4. Support (100)	4.1 Resources (infrastructure, Environment for the operation of processes, Organizational knowledge)	20	1	7.1
	4.2 Competence	30	1	7.2
	4.3 Awareness and Communication	20	1	7.3, 7.4
	4.4 Documented information management	20	1	7.5
5. Operation (180)	5.1 Operation planning and control	20	1	8.1
	5.2 Customer communication process	25	2	8.2
	5.3 Design and development process	30	2	8.3
	5.4 Supplier management process	15	2	8.4
	5.5 Production process	30	2	8.5
	5.6 Release of products and services	15	1	8.6
	5.7 Control of nonconforming outputs	15	1	8.7
6. Performance evaluation (90)	6.1 Monitoring, measurement, analysis and evaluation	30	1	9.1
	6.2 Internal audit	30	1	9.2
	6.3 Management review	30	1	9.3
7. Improvement (60)	7.1 Corrective action	30	1	10.2
7. Improvement (60)	7.2 Continual improvement	30	1	10.1, 10.3
Large categories : 7	Medium categories : 25	Total : 600	-	-

Table 2.

Criteria for classification of evaluation type of maturity level

	TYPE 1 Common Item	TYPE 2 Process Item
Applied items	21 items in the middle classification (all items except 5.2∼5.5).	Four items in the middle classification (5.2∼5.5)
Subject of application	Requirements that may be determined at the level of procedures or activities without process management according to the organization’s decision	Application to the product realization process of Chapter 5, including sales, design/development, purchase, and production
Evaluation criteria	5 CODEs (11, 12, 21, 22, 32) of the PDCA stages * Based on ISO 9004’s self-evaluation criteria and ISO 10014 evaluation criteria	12 CODEs according to PDCA * Based on the evaluation criteria of TYPE 1 and the self-evaluation criteria for the ISO 9004 chapter 8 process

Table 3.

How to evaluate maturity level

NO	CODE	Evaluation contents	Lev. 1	Lev. 2	Lev. 3	Lev. 4	Lev. 5
	10	PLAN
1	11	▪ Is the process/activity defined?	No	Partial omission	Yes
2	12	▪ Is the process order/interaction systematic?		Not linked	Some links unclear	Clearly linked
3	13	▪ Is there a performance indicator for monitoring and measuring processes/activity?	No	Some inadequate	Appropriate
4	14	▪ Are there performance indicators to monitor whether the process/activity is efficient?			No	Yes
5	15	▪ Are risks and opportunities related to the job determined? Are there action plans to address risks/opportunities?		No	Partial omission	Yes
6	16	▪ Is there an action plan to achieve the goal?	None	Insufficient	Exist	Sufficient
	20	DO
7	21	▪ Is there an execution result?	No	insufficient	Yes
8	22	▪ Is there a task that exceeds the requirements? ▪ Does the scope consider not only customers but also stakeholders?			DQMS requirements are being executed	It is being executed but partially executed or insufficient	It is being implemented throughout the organization, including stakeholders
	30	CHECK & ACT
9	31	▪ Are the results of the activities monitored, measured, and analyzed?	No	Be monitoring, but the deviation is not managed	Manage effectiveness	Manage including efficiency
10	32	▪ Are performance indicators and performance reviewed and improved measures taken? ▪ Does the outcome of the action lead to improvements in systems/processes/procedures?		There are review and improvement measures, but they are not reflected in systems/processes/procedures	Improvement (action) results according to the analysis and review results are reflected in the system/process/procedure	Improvement (Action) results are reflected in the system to ensure defect prevention and recurrence prevention	Evidence of regular review and continuous improvement results exists
	40	Improvement results
11	41	▪ Does the implementation performance demonstrate improvement?			No	More than 1 year	More than 3 years
12	42	▪ What is the level of performance compared to competitors?			There is no comparison data, or the level below	Equal or higher	The highest level

Table 4.

How to calculate scores

Level	Prerequisites	How to calculate scores
Lev. 1∼3	-	11, 12, 13, 15, 16, 21, 31, 32 average score by CODE
Lev. 4	Applies when Lev. 3 is met in 11, 13, 21 CODE	12, 14, 15, 16, 22, 31, 32, 41, 42 average score by CODE
Lev. 5	Applies when Lev. 4 is met in 12, 14, 15, 16, 31 CODE	22, 32, 41, 42 average score by CODE

Table 5.

Evaluation items of operational performance indicators

Classification			necessity	indicator	unit
Management performance			Selected	Total sales	￦
			Selected	Defense sector sales	￦
			Selected	Profit rate	%
External performance	Customer	Delivery product/service quality	Required	Delivered product defect rate	PPM
		Delivery product/service quality	Required	User complaints (customer complaints)	%
		Delivery dat	Required	Delivery compliance rate	%
		Service	Required	Due action rate	%
	Development	Product quality, reliability, delivery date (if product design is applicable)	Required	Development goal achievement rate	%
			Required	Development schedule compliance rate	%
			Selected	Development cost goal achievement rate	%
Internal performance	Production	Process effectiveness (defective rate, yield)	Required	Process defect rate	PPM
		Process effectiveness (defective rate, yield)	Required	Defective rate or Yield of finished product	%
		Efficiency indicators (productivity, cycle time, UPH)	Selected	Productivity	원
			Selected	Cycle time	분
			Selected	UPH	EA
			Selected	Manufacturing cost improvement rate	%
	Purchase	Defective rate of raw material for parts	Required	Defect rate of supply (parts/raw materials, etc.)	PPM
		Performance of raw material payment for parts	Required	Compliance rate of delivery period of supply	(%)
		Performance of raw material payment for parts	Selected	Number of discontinuation of supply lines	case
		Efficiency indicators	Selected	Cost improvement rate of supply	(%)
Ethics Management		Ethics Management	Required	Number of violations	case

Table 6.

Operation plan of DQMS Quantitative Evaluation System

Score	100	90	70	50	30	10
Performance indicators	100	90	70	50	30	10
Operational performance	100% or 0	Mean x 1/3	Mean x 1/3	Mean of Business type	(The lowest value-mean)/2	The lowest value of Business type
Ethics management	10 points deducted per occurrence during the evaluation period

^※ In consideration of the difficulty of each industry, the average value of the species is 50, and the maximum (absolute) value and the lowest level (10 points) value for each industry are determined in consideration of the relative value.

Table 7.

Results of importance analysis of DQMS specifications [Level 1]

Level 1	Importance	Consistency Index	Consistency Ratio
Level of execution and maturity	0.60	0.00	0.00
Management performance	0.40	0.00	0.00

Table 8.

Results of importance analysis of DQMS specifications [Level 2, 3]

Level 2*	Level 3	Importance	Consistency Index (Consistency Ratio)
Context of the Organizational	4.1	0.40	0.02 (0.01)
	4.2	0.30
	4.3 & 4.4	0.30
Leadership	5.1	0.40	0.05 (0.03)
	5.2	0.25
	5.3	0.15
	5.4	0.20
Planning	6.1	0.50	0.00 (0.00)
Planning	6.2 & 6.3	0.50	0.00 (0.00)
Support	7.1	0.25	0.04 (0.03)
	7.2	0.35
	7.3 & 7.4	0.20
	7.5	0.20
Operation	8.1	0.15	0.05 (0.03)
	8.2	0.15
	8.3	0.20
	8.4	0.10
	8.5	0.20
	8.6	0.10
	8.7	0.10
Performance evaluation	9.1	0.35	0.03 (0.02)
	9.2	0.35
	9.3	0.30
improvement	10.2	0.55	0.00 (0.00)
improvement	10.1 & 10.3	0.45	0.00 (0.00)

^* Consistency Index : 0.06, Consistency Ratio : 0.04

Table 9.

Operation plan of DQMS quantitative evaluation system

	Initial	When stabilizing	Remarks
Performance data collection	At each examination, the company is notified in advance and required to submit data for examination preparation	▪ Regular collection and management of performance data ▪ Review so that performance data can be aggregated on its own (if possible) ▪ Requirement for performance data management and submission of parts makers from systematic companies	It is classified into self-collectable performance indicators (external performance) and submission indicators (internal performance) and operated
Evaluation contents	The selection of operational performance and the evaluation of the appropriateness of the calculation results shall be focused, and the DQMS evaluation results shall be referred to in the case of maturity level evaluation	During the examination, the evaluation of maturity level and operational performance was integrated/in parallel with each other	-
Maturity evaluation (basic items below level 3)	Evaluation was made using the results of DQMS certification review. However, in the case of follow-up examination, the previous initial/renewal audit result data are used		-
Maturity evaluation (additional items above level 4)	Evaluation of the relevant item is made by devoting a separate time		-
Performance evaluation	The performance data is evaluated by taking a separate time		-
Time required	Within 1 MD (Man /Day)	Within 0.5 MD	-
Evaluation method	using evaluation model and checklist		-

Table 10.

Plan to apply the system related to the defense field

Related System	Applied Plan	Related Regulation
Defense quality management award	When evaluating defense quality management, the evaluation reflects the quantitative evaluation score	▪ “Defense Project Quality Management Regulations” Chapter 4 (Certification of the Defense Quality Management System) ▪ “Operational guidelines for defense quality management award”
Quality level survey	Reflect the evaluation criteria in the quality level survey evaluation model and share the level survey evaluation data	▪ “Defense Project Quality Management Regulations” Article 8 (Allocation of Quality Research and Quality Information) ▪ “Military Supplies Quality Management Basic Regulation” Article 9 (Survey on the Quality Level of Military Supplies Producer)
DGQR (Designated Government Quality Representative)	Reflect on DGQR propaganda evaluation results	▪ “Defense Project Quality Management Regulations” Article 5 (Basic Policy for Quality Management) ▪ “Military Supplies Quality Management Basic Regulation” Article 17-2 (operation of the government-designated inspector system)
Government quality guarantee risk identification	When determining the type of government quality guarantee for each company, the evaluation results are reflected in the risk identification stage	▪ “Military Supplies Quality Management Basic Regulation” Article 19(Risk Identification and Evaluation)