J.D. Power는 1968년 James David Power 3세에 의해 설립되었으며, 시장 조사 서비스를 중심으로 하는 미국 캘리포니아주에 위치한 설문 조사 전문 업체이다. 특히 매년 발표하는 자동차에 관한 품질 평가로 인정받고 있으며, IQS(Initial Quality Study) 지표, VDS(The Vehicle Dependability Study) 지표 등을 통해 미국 내에서 판매되는 자동차 브랜드의 품질을 측정하고 있다. IQS는 새로 출시된 자동차 모델의 초기 품질에 대한 조사를 하기 위한 질문지로써, 자동차의 기술적인 문제뿐만 아니라, 인테리어, 외관 등 디자인적인 측면에서의 문제도 평가하는데, 자동차를 구매하고 처음 몇 달간의 경험을 토대로 평가하는 조사(구매한지 90일이 지난 자동차 소비자를 대상으로 조사 진행)이다. VDS는 자동차 모델 별로 소유한 일정 기간 동안의 신뢰성에 대한 조사를 하는 것으로써 사용자가 자동차를 실제로 운전한 경험을 토대로 평가하는 중기 내구도 평가로 볼 수 있는데, 자동차를 구매한 지 3년이 지난 소비자를 대상으로 최근 12개월간 경험한 불만족이나 문제점을 조사한다(Lee, C.H. et al., 2014; Tews, J. and Perryman, S., 2010).

본 연구에서는 세계적으로 공신력있는 J.D. Power의 IQS와 VDS 설문 질문을 분석하여 기동무기체계에 적용할 수 있는 질문지 리스트를 선별하기 위해 활용하였다. 구체적으로 본 연구에서는 자동차의 외관, 인테리어, 엔진, 변속기, 연료 시스템, 음향 시스템, 내비게이션 등 다양한 측면에 대한 설문 문항 검토하였으며, 각 요소별(자동차의 외관, 인테리어, 엔진, 변속기, 연료 시스템, 음향 시스템, 내비게이션 등)로 기동무기체계 품질요인 간의 공통점 등에 대한 검토 등으로 벤치마킹 가능 요인을 도출하였다.

먼저 J.D. Power의 설문지 중 기동무기체계에 적용할 수 있을 만한 설문 문항을 선별하였으며, 해당 설문 문항을 제조 품질 관점과 사용 품질 관점에서 재분류하였다. 이를 위해 국내 제조사와 함께 해당 설문 문항을 검토한 후, 기동무기체계의 품질을 측정하기에 적합한 문항을 선별하였다. 다음으로 해당 기동무기체계를 일정 기간 이상 사용한 사용자를 대상으로 해당 설문 문항이 기동무기체계의 품질을 측정하기에 적합한지를 논의하여 문항을 선별하였다. 그 결과, Exterior의 IQS, VDS의 설문은 일반 승용차가 갖추어야 할 대부분의 자동차 외관과 관련된 설문내용을 포함하고 있었으며, 이를 기동무기체계에 모두 반영하는 것은 적합하지 않다고 판단되었다. 이 중 기동무기체계에 수정하여 적용할 수 있는 부분인 문 및 덮개 등의 정상 작동 시간과 고장 횟수 기반 차량 외부 구성품의 내구성 판단 기준 설문 문항이나 문 및 덮개 등의 고장 수리 가능 여부 및 수리 시간 기반 차량의 외부 구성품의 정비성이 어느 정도 수준인지에 대한 설문은 반영하는 것이 타당할 것으로 보였다. 구체적으로, 도어/창문 결함 진단 용이성과 고장 발생 시 수리 부속 확보 기반 차량 외부 구성품의 가용성을 판단하는 설문 문항도 추가하였다. 기능 안전성 측면에서 외부의 녹/부식, 도로 소음 기반 차량 외부 구성품의 기능 안전성이나 통로표식장비 표식봉 마모나 안전성 기반 기본 무장 구성품의 기능 안전성 측면에서도 해당 설문 문항을 반영하였다. 탑승이나 하차, 정비 및 운용 유지, 외부 디자인 기반 차량 외부 구성품의 사용 편의성을 측정하는 부분에서도 J.D. Power의 문항을 일부 반영하였다.

AIAG는 1982년 북미 최대 자동차 OEM 3곳이 설립하였으며, 모빌리티산업의 기업들이 공급망의 비용과 복잡성을 줄이기 위해 협력해 온 독특한 비영리 조직으로 글로벌 모빌리티제조업체, 해당 부품 공급업체, 서비스 제공업체, 관련 글로벌 조직 및 정부 기관이 포함되어 있다(Choi, J. and Kim, M., 2023). 품질 이니셔티브는 공급업체 및 OEM에서 요구되는 제조 기술 및 제품 혁신 발전을 지원하기 위해 광범위한 제품 개발, 제조, 서비스 및 고객 경험 개선 활동을 하며 자동차 품질 우수성의 기초가 되는 품질 표준 및 핵심 도구에 기반을 둔다.

AIAG는 자동차 제조업체와 협력하여 품질 핵심 도구로 알려진 공통 품질 방법 및 도구를 개발했으며 항공 우주, 방위, 의료 및 제약을 포함한 다양한 제조 부문으로 확대되었다. AIAG의 자동차 품질 핵심 도구로 FMEA(Failure Mode and Effects Analysis), APQP(Advanced Products Quality Planning), PPAP(Production Part Approval Process), SPC(Statistical Process Control), MSA(Measurement System Analysis)가 포함된다.

AIAG의 우수 적용 사례로서 VDA(독일 자동차산업 협회)는 고장 형태 및 영향 분석(FMEA)에 대한 첫 번째 국제 가이드를 2019년 6월에 공동 발표하였다. 자동차 OEM사 및 1차 공급업체(협력업체) 실무 전문가로 구성된 글로벌 팀과 함께 개발된 새로운 AIAG & VDA FMEA 핸드북은 미국 AIAG와 독일 VDA 방법론의 모범 사례를 조화롭고 체계적인 접근법으로 통합하였으며, 공급업체가 글로벌 자동차 제조업체의 제품 성능 요구 사항을 충족할 수 있도록 프로세스 기반 방법론의 유용성을 제공하였다. 본 연구에서는 AIAG 사례를 군수품 품질수준진단 프레임워크의 단계별 체계화 및 품질 핵심 도구 활용 및 개발에 반영하였다.

현대/기아 자동차는 1차 협력사에 대해 5스타 제도를 운영하며 협력사의 동반성장을 추구하고 있으며, 이를 통해 협력사의 품질, 기술, 납입 수준을 정량적으로 평가함으로써 우수 협력사를 선정하고 인센티브를 제공하여 개선에 대한 동기 부여를 강화하고 있다(Hyundai Motor group). 5스타 제도는 거래하는 340여개의 1차 협력사 중에서 상위 10% 수준의 업체에게만 부여하는 인증 제도로서 현대 자동차의 구매 본부와 품질 본부의 공정한 심사를 거친 후에 결정되며, 품질 경영체제, 입고 불량률, 클레임 변제율, 품질 경영 등의 실적이 고르게 우수한 수준일 경우에만 부여되는 까다로운 제도임이다.

5스타 제도의 평가는 연 1회의 기본 평가와 평가 점수 반영 등급 확정 후 6개월 경과 시 진행되는 재평가로 구성되어 있다. 구체적으로 품질, 납입, 기술 등의 3개 분야에 대해 다양한 항목을 평가하는데, 이를 통해 궁극적으로 품질/기술 경쟁력을 강화하고, 품질관리 비용을 절감하며, 독자적 수출 능력을 확보하여 자발적인 품질개선 및 고도화를 추구하고 있다. 본 연구에서는 군수품 제조업체에 대한 품질수준 조사 결과를 인증하는 제도 도입을 위한 사례 연구로 현대/기아 자동차의 5스타 제도를 조사하여 검토하였다.

EQ 인증이란 대/중소기업이 무결점, 무결함의 완벽한 제품 생산을 목표로 품질경영시스템 활용과 철저한 불량관리를 통해 우수한 품질의 제품을 생산하고 있음을 보증하는 제도로써 대한상공회의소에서 운영하고 있다(EQ(Excellent Quality)). 이 제도는 제품 품질에 대한 객관적 입증 및 기업 내 품질혁신활동의 평가로 신뢰성 향상에 이바지하며, 품질향상, 원가절감, 생산성 향상 등 기업의 경쟁력 강화에 기여하는 것을 목적으로 한다. 인증 유효기간은 3년이며 불량률 수준 기준으로 최우수(10 ppm 미만), 우수(100 ppm 이하), 양호(1000 ppm 이하) 등 3개의 인증 등급으로 구성되어 있는데, 인증 신청 당시의 전월을 기준으로 최근 6개월간 출하･납품 불량률(또는 사외클레임 접수 처리 불량률)이 인증 신청 등급 기준에 적합해야 한다. 2018년 이후 약 50개의 기업에서 무결함 품질 달성을 위해 EQ 인증을 등록 및 취득하였다. 본 연구에서는 군수품 제조업체에 대한 품질수준 조사 결과를 인증하는 제도 도입을 위한 사례 연구로 EQ 인증 제도를 조사하여 검토하였다.

본 연구에서는 “국방전력발전업무훈령”(Instruction for National Defense Force Development, 2022)에서 제시하고 있는 전체 10대 무기체계와 관련된 장비나 군수품의 품질수준 조사를 위한 설문지 개발 및 품질수준 진단에 필요한 일반화된 군수품 품질수준 진단 프레임워크를 제시하였다. 제시된 프레임워크는 Figure 1과 같이 조사 대상 장비의 요구 기능분석으로 시작해 주요 구성품 분류, 품질특성 검토, 1차와 2차 품질기능전개 등을 통해 품질수준 체크리스트를 개발하고, 이를 적용한 품질수준 조사 결과를 평가 및 분석하는 7단계 과정으로 구성되어 있다.

제안된 군수품 품질수준진단 프레임워크의 주요 특성은 다음과 같다. 먼저 조사 대상 장비의 “기능분석(Function Analysis)”, “품질특성(Quality Characteristics)”, “주요 구성품” 간 연관관계를 분석하며, 이를 위해 신제품 개발과 관련하여 널리 알려진 품질기능전개(QFD: Quality Function Deployment) 기법(Lee, T.H et al. 2018)을 1차와 2차 전개로 구분하여 진행한다. 이 때, 1차 QFD 전개에서는 군이 요구하는 조사 대상 장비의 기능 요구 사항과 관련 품질특성 간의 연관관계 분석을 통해 주요 품질특성(Critical To Quality Characteristics)을 구체화하며, 2차 QFD 전개에서는 1차 QFD 전개에서 구체화된 주요 품질특성과 조사 대상 장비의 구성품 간 연관관계를 분석하여 주요 구성품을 선정한다.

이러한 2차 QFD 전개를 토대로 대상 장비를 운용하거나 정비하는 군 사용자와 대상 장비 개발에 참여한 엔지니어 측면으로 대상 장비의 품질수준 조사를 위한 설문지를 개발한다. 구체적으로, 군 장비 사용이나 정비 측면의 품질수준 만족도 조사를 위한 설문지와 장비 개발과 관련하여 주요 기능 및 관련 품질 측면에서의 수준 조사를 위한 설문지를 구분하여 개발한다. 설문조사 결과는 “F-P Matrix(품질특성(Feature) – 구성품(Part) 행렬)”를 이용하여 품질수준을 평가 및 분석하며, 최종적으로 Figure 2와 같이 2 x 2 행렬을 이용하여 사용자와 개발자 측면에서의 개선 방향을 제시한다. 즉, Figure 2에서 사용자 품질수준(x)과 개발자 품질수준(y)에 대응하는 좌표 (x, y)의 위치에 따라 Q1은 현행유지, Q2는 사용자 관점 품질개선, Q3은 품질개선 우선 대상, Q4는 개발자 관점의 품질개선이 필요함을 의미한다.

제안된 군수품 품질수준진단 프레임워크의 단계 별 주요 활동은 다음과 같다

• 1단계 요구 기능분석 - 조사대상 무기체계와 관련된 장비나 군수품에 대한 요구 기능 조사 및 수집을 통해 품질수준 조사 대상 장비에 대한 기능을 분류한다.

• 2단계 주요 구성품 분류 - 군수품 분류체계 중 “국방전력발전업무훈령” 내 무기체계 분류에 따라 기능을 중심으로 대상장비를 주요 구성품(서브시스템)으로 분류한다. 구체적으로, 장비 공통･일반과 장비 특수로 이원화하여 분류를 시행하며, 기능 분류에 따른 장비 구성품을 “중복 없이-누락 없이” 분류를 시행한다. 이 때, 장비 공통･ 일반은 “국방전력발전업무훈령” 내 무기체계 분류에서 동일한 구성품에 해당되며, 대상 장비의 특수 기능을 위한 구성품이 장비 특수에 해당된다.

• 3단계 품질특성 검토 - 진단 대상 장비의 품질수준과 관련된 품질특성으로 무기체계 RAM(Reliability Availability Maintainability) 업무 지침 품질특성인 신뢰성, 가용성, 정비성 등을 우선적으로 고려하며, 무기체계가 부여된 임무를 달성하기 위해 필요한 특성으로 고가성, 다양성, 복잡성을 추가적으로 고려할 수 있다(Song, B.S. and Cho, J.R., 2008). 또한, 소프트웨어 제품의 품질에 대한 광범위한 개념과 측정 기준을 제공하는 ISO/IEC 25000 품질특성 모델을 참조하여 기능 적합성, 사용성, 성능 효율성, 유지보수성, 이식성, 호환성, 보완성 등의 품질특성을 고려할 수 있으며, 이러한 품질특성 평가를 통해 개발자, 테스터, 품질 관리자와 고객 등 다양한 이해관계자들이 대상 장비의 품질을 평가하고 개선하는데 활용 가능하다.

• 4단계 1차 품질기능전개 - 1단계에서 파악한 요구 기능과 3단계에서 검토한 품질특성 간 연간관계를 QFD 1차 품질기능전개를 적용하여 분석하며, 연관도를 1, 3, 9 척도로 평가한다.

• 5단계 2차 품질기능전개 - 4단계 1차 QFD 전개에 따라 도출된 주요 품질특성과 2단계에서 분류한 구성품 간 연간관계를 2차 QFD를 이용하여 분석한다.

• 6단계 품질수준 조사 설문지 작성 - 2차 QFD 전개 결과를 바탕으로 조사대상 무기체계의 주요 구성품과 관련된 품질수준 설문지를 작성한다.

• 7단계 품질수준 조사 결과 평가 및 분석 - 먼저 각 품질특성에 대한 주요 구성품의 품질수준을 7점 리커드 척도(매우 우수 7점 ~ 전혀 아니다 1점)로 평가하며, 대상 장비 사용자와 개발자를 대상으로 평가를 진행한다. J.D. Power 등 대부분의 품질수준 평가의 경우에 사용자 품질수준을 중심으로 이루어지나, 본 연구에서는 개발자 관점에서의 품질수준 평가의 중요성도 인지하여 분석에 포함하였다. 품질수준 평가 결과는 F-P Matrix를 이용하여 분석하고, 개선이 필요한 구성품에 대해서는 2x2 행렬을 이용하여 개선 방향을 제시한다. F-P Matrix는 품질특성에 대한 구성품의 품질수준 점수를 정리한 행렬로써 각 구성품의 품질수준은 품질특성의 중요도와 품질수준 점수의 곱의 합으로 계산된다.

무기체계-KKK의 요구 기능은 동력 관련 기능, 제어 관련 기능, 지원 관련 기능, 차량 구성 기본 기능, 특수 목적 기능 등으로 분류될 수 있으며, 각 기능과 관련된 주요 구성 부품은 Table 2와 같이 구분할 수 있다.

무기체계-KKK의 경우, Table 3과 같이 대상 장비를 대분류로, 장비 공통･일반과 장비 특수를 중분류로, 각 구성품을 소분류로 구분하였으며, 소분류에는 다양한 구성 부품들이 포함된다.

무기체계-KKK의 경우, Table 4와 같이 9개의 품질특성을 대상 장비 품질수준 조사와 관련된 품질특성으로 분류하여 적용하였다.

Figure 3은 무기체계-KKK에 적용된 1차 QFD 결과를 나타내는데, 기본 기능에 대한 가중치를 동력 관련 기능 = 0.3, 제어 관련 기능 = 0.2, 지원 관련 기능 = 0.1, 차량 구성 기본 기능 = 0.1, 특수 목적 기능 = 0.3으로 가정하여 분석하였다(실제 기본 기능 가중치는 대상 장비 사용자 또는 개발자를 대상으로 도출함). 각 품질특성 중요도는 기본 기능 가중치와 평가된 품질특성과의 연관도 점수의 곱의 합으로 계산하며, 결과적으로 무기체계-KKK의 주요 품질특성(Critical To Quality Characteristics)으로 신뢰성, 가용성, 정비성, 내구성, 기능 안전성, 사용 편의성을 선정하였다. 주요 품질특성으로 선정하기 위한 품질특성 중요도 점수 기준은 품질수준 조사 대상 장비의 특성에 따라 상이하게 적용할 수 있다.

Figure 4는 무기체계-KKK에 적용된 2차 QFD 결과를 나타내는데, 사용자를 대상으로 조사한 품질특성에 대한 가중치로 신뢰성 = 0.171, 가용성 = 0.174, 정비성 = 0.159, 내구성 = 0.162, 기능 안전성 = 0.177, 사용 편의성 = 0.157을 이용하여 분석하였다. 각 구성품 중요도는 품질특성 가중치와 평가된 구성품과의 연관도 점수의 곱의 합으로 계산하며, 이를 통해 무기체계-KKK의 주요 구성품을 선정한 후 다음 단계에서 선정된 주요 구성품을 대상으로 품질수준 조사 체크리스트인 설문지를 작성하였다(본 연구에서는 2단계에서 분류한 14가지 모든 구성품에 대해서 품질수준 조사 설문지를 작성함). 주요 구성품으로 선정하기 위한 구성품 중요도의 점수 기준은 품질수준 조사 대상 장비의 특성에 따라 상이하게 적용할 수 있다.

무기체계-KKK의 경우, 소분류 주요 구성품에 대해 품질특성 별 품질수준 조사를 위한 설문지를 작성하였으며, 11개 장비 공통･일반 및 3개 장비 특수 구성품에 대해 6개 품질특성에 대한 84개 설문 문항을 작성하였다. Table 5는 무기체계-KKK의 동력발생장치인 엔진에 대해 각 품질특성 별 설문지를 작성한 예시를 나타낸다.

Figure 5는 무기체계-KKK를 사용하고 있는 c1명의 운용자를 대상으로 품질수준 조사를 진행한 결과를 F-P Matrix를 이용하여 분석한 결과를 나타내는데, 7점 만점 기준으로 4.60점으로 확인되었다. 사용자 대상 구성품 품질수준 평가 결과는 주 목적 기능 장치와 기본 무장 구성품에 대한 기능 개선 검토 필요성을 제시하며, 품질특성 품질수준 평가 결과는 가용성과 사용 편의성에 대한 검토 필요성을 제시한다. 이를 기반으로 사용자 그룹은 무기체계-KKK 기본 무장 구성품의 가용성, 기능 안전성, 사용 편의성에 대한 개선과 주 목적 기능 장치의 가용성과 정비성에 대한 개선 필요성을 제시한다고 볼 수 있다.

Figure 6은 ddd에서 무기체계-KKK 개발과 관련된 업무를 하고 있는 c2명의 개발자를 대상으로 품질수준 조사를 진행한 결과를 F-P Matrix를 이용하여 분석한 결과를 나타내는데, 7점 만점 기준으로 6.25점으로 확인되었다. 개발자 대상 구성품 품질수준 평가 결과는 주 목적 기능 장치와 기본 무장 구성품에 대한 기능 개선 검토 필요성을 제시하며, 품질특성 품질수준 평가 결과는 신뢰성과 기능 안전성, 사용 편의성에 대한 검토 필요성을 제시한다. 이를 기반으로 개발자 그룹은 무기체계-KKK 기본 무장 구성품과 주 목적 기능 장치의 신뢰성, 가용성, 기능 안전성에 대한 개선 필요성을 제시한다고 볼 수 있다.

무기체계-KKK의 품질수준을 F-P Matrix로 분석한 결과, 기본 무장 구성품과 주 목적 기능 장치의 개선이 필요한 것으로 제기되었으며, 이를 2x2 행렬을 이용하여 추가 분석하였다. Figure 7-(a)는 기본 무장 구성품에 대한 품질특성 측면의 개선 방향을 2x2 행렬로 분석한 결과를 나타내는데, 내구성은 현행유지가 필요하고, 사용 편의성은 사용자관점 품질개선이 필요하며, 기능 안전성, 신뢰성, 가용성은 품질개선 우선대상이고, 정비성은 개발자관점 품질개선이 필요한 것으로 나타났다. Figure 7-(b)는 주 목적 기능 장치에 대한 품질특성 측면의 개선 방향을 2×2 행렬로 분석한 결과를 나타내는데, 사용 편의성은 현행유지가 필요하고, 정비성은 사용자관점 품질개선이 필요하며, 가용성은 품질개선 우선대상이고, 내구성, 신뢰성, 기능 안전성은 개발자관점 품질개선이 필요한 것으로 나타났다.