2.1 군수품 품질경영 기본규정 분석

위험관리 기반 품질보증 활동은 위험 요인을 사전에 식별하고 평가하여, 위험 회피 또는 통제하기 위한 방법을 수립하는 것이다. 군수품 품질경영 기본규정에서 위험식별은 계약정보, 제품 및 프로세스 특징, 품질경영시스템 운영, 과거 계약 이행정보, 고객 불만 및 피드백 등의 자료를 식별해서 수립하며, 위험요소를 식별하고 식별된 위험 평가 결과를 통해 위험등급을 분류한다. 위험평가는 식별된 위험의 발생 가능성과 발생한 위험이 미치는 영향(결과)에 따라 고, 중, 저위험으로 분류한다.

위험식별 및 평가는 아래 Table 1의 기준을 통하여 위험 발생 가능성 및 영향(결과)의 정도를 선정한다. 발생 가능성과 위험의 영향(결과)의 등급이 산출되면, 아래 Table 2의 “위험등급 평가 매트릭스”에 의하여 고, 중, 저위험으로 위험등급이 분류된다. 위험에 대한 위험등급이 결정되면 위험에 대한 관리방법을 정하여 위험통제(Risk control), 위험회피(Risk avoidance)로 구분하여 위험을 처리하기 위한 품질보증 활동 방안을 수립한다.(Defense Agency for Technology and Quality(DTAQ) 2017)

Table 1.

Risk evaluation

Table 2.

Risk assessment matrix

2.2 위험식별 및 관리방안 설문조사

위험식별 및 관리방안에 대한 담당원들의 인식을 파악하기 위한 설문조사 결과 중 본 논문과 관련 설문 항목은 아래 Table 3과 같다.(Yoon 2016) 설문의 8번 항목의 위험식별 및 관리방안에 대한 설문조사 결과 약 51%의 응답자들이 담당원마다 위험의 영향(결과)과 발생가능성이 상이한 점을 인식하고 있었으며, 차이점을 인식하지 못한다고 응답하는 비율은 10%에 그쳤다. 마찬가지로 설문조사 9번에서 약 77%의 응답자가 객관적 기준이 필요하다고 응답하였으며, 그렇지 않다고 응답한 비율은 4%에 그쳤다. 즉, 설문조사를 통해 위험 등급선정의 객관적인 평가 방안의 필요성을 확인할 수 있었다. 또한 설문 조사 15번 항목 역시 정량적인 기준의 필요성이 중요함을 품질보증원 전반에 걸쳐 인식하고 있음을 확인하였다. 이를 통해 위험등급평가는 품질담당자의 경험, 품질 중점확인대상, 생산업체 등에 따라 위험의 영향과 발생 가능성의 결과가 달라지며, 명확한 기준의 부재로 위험등급 결정이 정성적으로 수행되고 있음을 파악할 수 있다.

Table 3.

Survey for risk assessment

3.1 위험등급 설계

개발 완료 이후 최초로 생산될 초도양산 군수품에 대한 품질 위험등급평가는 Table 1에 따라 수행된다. 위험식별 및 관리방안 설문조사에서 언급했듯이 위험발생 가능성에 대한 정성적인 기준만으로는 실질적인 위험관리 기반의 품질보증업무를 수행하기 많은 문제점이 발견되고 있다.

위험발생 가능성의 5단계 기준인 “발생 가능성이 확실함. (매우 높음)”의 매우 높은 기준이 무엇인지 또한 4단계의 “발생 가능성이 상당히 있을 것 같음. (높음)”과의 차이점이 분명하지 않다. 또한 위험영향(결과)의 정도의 구분기준을 살펴보면 “위험의 영향(결과)이 사용자의 안전에 심각한 영향(사망)을 미치거나, 군수품의 성능에 심각한 영향을 가져올 수 있음.”과 “위험의 영향(결과)이 사용자의 안전에 중대한 영향(중상)을 미치거나, 군수품의 성능에 중대한 영향을 가져올 수 있음.”의 심각한 영향과 중대한 결과에 대한 차이를 구별하기 쉽지 않다. 따라서 본 논문에서는 초도양산 무기체계에 대하여 군수품의 위험요소를 식별 및 관리하기 위한 정량적인 지표를 연구하였다.

미국 국방 획득절차 중 위험 관리 가이드(Risk management guide for dod acquisition)와 미국 국방표준(Mil-STD-882 Standard Practice for System Safety)를 보면 각 위험관리 프로세스에 대한 이론 및 수행해야 할 업무가 제시되어 있다. 해당 문서의 위험발생 가능성에 대한 기준을 살펴보면 위험발생 가능성은 가능성, 확률 등의 기준으로 등급화된다. 미국 국방 획득절차 위험 관리 가이드의 정량적인 기준은 발생확률 10%, 30%, 50%, 70%, 90%로 구분되며, 미국 국방표준은 발생확률을 10^-1, 10^-2, 10^-3, 10^-6 등으로 구분하고 있다. 그러나 미국의 이러한 기준을 국내의 모든 초도양산 무기체계에 그대로 적용하기에는 어려움이 있다. 전력지원체계에 해당하는 의복류와 식품류, 높은 수준의 신뢰도를 요구하는 전투기, 함정, 기동, 유도무기 등에 적용되는 제품의 설계 신뢰도는 서로 동일하게 적용되기 어렵기 때문이다. 따라서 해당 사업에서 요구하는 전체 신뢰도를 바탕으로 하위 구성품인 체계분해구조(System breakdown structure)를 분석하여, 구성품별로 위험등급을 결정하는 것이 합리적이다. 위험의 영향(결과) 역시 마찬가지로 해당 사업의 전체 예산 범위 내에서 주요 구성품이 차지하지 비중과 정비도에 따라 정량적인 방법으로 분류하는 것이 합당하다. 위험의 영향은 고장 발생 시 신속한 정비가 가능하며, 무기체계에 미치는 영향이 제한적인 경우 위험의 영향(결과)이 낮다고 판단 할 수 있다.

위험발생 가능성과 위험의 영향을 종합하여 위험평가매트릭스(Risk assessment matrix)를 분류하는 방법은 국외 위험관리 표준 및 가이드라인별로 3 × 3, 4 × 4, 5 × 4, 5 × 5 등과 같이 서로 상이하며, 이는 위험관리기반의 위험등급을 분류한 결과가 무기체계의 사업 특성과 품질특성에 따라 유기적으로 변화할 수 있음을 알 수 있다. 본 논문에서는 품질보증 활동 효율성을 높이기 위해 군집화 분석의 한 방법을 활용하였다. 품질보증활동을 수행하기 위한 대상의 품질 데이터의 특성에 따라 데이터 집단을 정의하고, 데이터 집단을 대표할 수 있는 품질 등급을 결정하였다. 즉, 군집화 분석(Cluster analysis)의 K-means 방법을 활용하여 품질 데이터의 특성을 대표 중심값으로 군집화하고, 군집화 결과에 따라 등급을 부여하여 위험등급을 도출해내었다.

3.2 위험발생가능성 정량적 지표 설계

각 제품에서 고장이 발생하는 확률을 고장률 함수(λ)라고 하며, 군수품의 수명분포는 지수함수를 따른다고 가정하면 시간 t에서 고장이 발생할 비율은 아래 식과 같이 나타낼 수 있다.(Finkestein 2008)

시스템의 신뢰도는 개발된 장비의 신뢰도 블록선도(Reliability block diagram)에 따라 산출되는 방법이 다르다. 각 장비의 신뢰도를 Pa(t), Pb(t)라고 하면 두 개의 장비가 직렬 구조로 설계되어 있는 시스템의 신뢰도는 R_serial과 같으며, 병렬 구조로 설계된 시스템의 신뢰도는 R_p와 같다. 계산식은 아래와 같이 표현된다.(Department of defense 1998)

직병렬 혼합 모델은 분석자가 먼저 병렬 요소들을 찾아내어 단위 신뢰성 값(Unit reliability)을 구하고, 그다음 그 단위 신뢰성 값(the unit)을 시스템의 다른 요소들과 결합한다. 시스템의 총 신뢰도는 모든 직병렬로 연결된 신뢰성 값들을 곱함으로써 구해진다. 무기체계의 군수품의 MTBF는 군의 요구사항으로 체계개발단계에서 결정되며, 이에 따라 중요 완성품부터 부분품까지의 고장률 비율이 할당되며, 할당된 MTBF는 개발 품질 신뢰성에 지표가 된다. 신뢰도가 높은 군수품은 이중화 및 여러 가지 신뢰도 향상 기법을 통하여 설계되며, 설계가 완료된 구성품은 운용 시간을 고려하여 연간 고장 횟수를 예측할 수 있게 된다. 연간고장횟수를 바탕으로 분포를 도시할 수 있으며, 이 정보는 위험 등급선정의 데이터가 된다. 군수품의 체계개발단계에서 정해진 목표 MTBF를 초도양산의 위험에 대한 발생가능성에 적용하려는 방안은 아래 Table 4과 같다.

Table 4.

Sequence to calculating risk likelihood

3.3 위험의 영향 정량적 지표 설계

위험의 영향(결과)은 위험식별 대상이 전체 무기체계에 미치는 영향으로 정비도와 비용을 통해 적용하여 산출하는 방법을 제시하였다. 정비도(Maintainablity)는 “군수품의 고장 발생 시 규정된 자원(기술 요원, 정비시설 등) 및 절차(정비 교범)에 따라 정비를 할 경우 일정 기간 내에 장비를 수리하여 그 성능을 규정된 상태로 원상 복구시킬 수 있는 확률”로 정의할 수 있다.(Ebeling, C. E. 1997)

정비도는 정비의 용이성과 업무량에 관계되는 요소로 시스템의 설치 및 설계에 대한 특성이 반영된다. 시스템의 설계에 따라 수리하는 데 걸리는 시간이 변화하며, 해당 부품의 고장으로 임의의 시점에 체계가 가용할 확률 즉 가용도가 저하되어 임무 수행에 영향을 미치는 정도를 정량적으로 예측 가능하다.

군수품의 양산단계 품질보증은 연구개발단계에서 미성숙된 제조성으로 인한 사업상의 일정 지연, 비용 상승, 품질 저하를 방지하기 위하여 획득 단계 전환 시 제조성의 성숙도를 확인하는 제조성숙도평가(Manufacturing readiness assessment)의 통과와 계약 단계에서의 검증을 통하여 군수품의 생산 가능 여부를 충분히 확인하므로 위험도 영향을 비용 측면으로 전화하여 평가할 수 있다.(DAPA Instruction 2014; Lee 2017) 즉, 정비도와 총 계약 금액대비 해당 군수품이 차지하는 원가의 비율로 해당 구성품의 위험 발생 시 전체 시스템에 미치는 영향성으로 산출하였다.

정비도 예측 시 최대수리시간 MaxTTR(Maximum Time To Repair) 산출모델의 적용은 수리시간의 분포가 정규분포를 나타낼 때 정비업무 유형중 95%의 업무를 완료할 수 있는 경우의 수리소요 시간을 구하기 위해 적용하며 다음 식과 같다.

MaxTTR = MTTR + 1.96 ×(MTTR)STDEV

MaxTTR(Maximum Time To Repair) = 최대수리시간(95%)

(MTTR)STDEV = 분석대상 품목의 정비업무별 수리시간 표준편차

평균 수리시간 MTTR(Mean Time To Repair)은 주어진 기간에 보수정비 활동에 소요되는 평균시간으로 다음과 같이 계산된다.(Yoo 2017)

i = On Equipment 보수정비활동

TF_i = i 보수정비활동의 빈도수

ET_i = i 보수정비활동에 소요된 시간

n = 총 보수정비활동 수이다.

위험의 발생(영향)은 확률밀도함수의 최대 수리시간(MaxTTRn)의 정규화된 값과 분석 군수품이 차지하는 원가의 비율의 곱으로 아래의 식과 같이 계산된다.

3.4 위험등급의 군집화 분석

군집화 분석(Cluster analysis)은 주어진 자료의 특성을 바탕으로 군집을 구분하여 전체 관측데이터를 가장 잘 표현할 수 있는 통계적 방법이다. 관측데이터를 동질적인 군집으로 분류하여, 군집 내 높은 유사성을 가지고 서로 다른 군집과 구별하여 전체의 데이터를 단순화하여 편리하게 데이터를 분석할 수 있다.(Erioli, A. 2005; Lee, G. H. 1997) 군집화 분석은 군집화된 데이터에 기초하여 군집의 패턴 및 특성, 분포형태, 응집도 및 군집 간의 분포와 다양한 형태의 데이터 분석이 가능하다. 따라서 근래에 인공신경망, 패턴인식, 인터넷 검색, 통계 데이터 분석 등에 폭넓게 사용되며, 본 논문에서 초도양산단계의 군수품에 대한 품질데이터를 유사성에 따라 군집화하여, 품질보증 등급을 선정하는 방안을 연구한다.

위험등급을 선정하기 위한 데이터는 다양한 형태로 분포될 수 있으며, 이를 분류하는 방법으로 군집 내 최대의 동질성과 군집 간 이질성을 최대화하는 방법으로 분석된다. 군집분석은 군집의 형태와 사용되는 유사도 혹은 비유사도의 척도와 연관된 다양한 방법이 존재하며, 계층적 군집(Hierarchical clustering)과 비 계층적 군집(Nonhierarchical clustering)으로 분류된다.(Seo, M.K. 2017)

계층적 군집방법은 군집 간의 거리 차이에 큰 변화를 보이는 경우 분석의 장점이 있으며, 비 계층적 군집방법은 주어진 데이터 내부 구조에 대한 사전정보 없이 자료구조를 분석할 수 있으므로, 다양한 형태의 데이터에 적용할 수 있다. 초도양산의 품질보증 활동을 수행하기 위한 품질 데이터의 특성을 파악하여 데이터 집단을 정의하고, 데이터 집단을 대표할 수 있는 품질 등급을 결정하는 것이 품질보증활동 효율성의 증대를 가져오므로 이에 따라, 군집화 분석(Cluster analysis)의 K-means 방법을 활용하여, 품질 데이터의 특성을 대표 중심값으로 군집화 하여 군집화 결과에 따라 위험등급 평가의 결과를 도출해 낸다.

K-평균 군집화 분석은 전체 데이터들과 군집에 속하는 대표 데이터 중심과의 평균 거리를 최소화하는 분석 방법이다. 즉, 주어진 데이터를 K개의 군집으로 분류하는 방법에 있어, 각 군집과 거리 차이의 분산을 최소화하는 방식으로 동작한다. 벡터의 형태로 표현된 N개의 데이터 X={x₁, x₂, ⋯ x_n}에 대하여 데이터가 속한 군집의 중심과 데이터 간의 거리의 차이가 최소화되도록 데이터들을 k(≤n)개의 집합 S={S₁, S₂, ⋯ S_k}으로 구분한다. u_i가 집합 S_i의 대표 중심점으로 설정되며 집합별 거리의 제곱합을 최소화하는 알고리즘으로 i 번째 군집의 중심을 u_i, 군집에 포함되는 점의 집합을 S_i라고 할 때 전체 분산은 다음과 같으며, 함수의 오차를 줄여나가며 전체의 분산이 최소가 되었을 때 분석을 중단한다.(M, Emre. 2013)

군수품 품질경영 기본규정에 따라 위험평가는 위험 발생 가능성 및 영향(결과)을 5개의 수준으로 분류하고 이에 따른 위험등급을 고, 중, 저로 결정한다. 따라서 K-평균 군집화 분석의 군집 수를 5개로 지정하여 각 관측치를 평가한 후 가장 가까운 군집으로 이동하고, 가장 가까운 군집은 관측치와 군집 중심 사이의 Euclid 거리가 가장 작은 군집으로 포함된다.

4.1 초도양산 군수품의 위험발생가능성 및 영향 분석

본 논문에서 적용한 무기체계는 방공지휘, 통제, 경보 체계에 대한 군수품을 대상으로 수행하였다. 방공무기체계는 군단 및 사단지역의 방공 정보를 네트워크로 연결하여 통합 운용하는 무기체계로 상황인식 및 정보 공유를 통한 정보우위 기반 네트워크 중심전의 한 축이다. 해당 체계의 체계분해구조(System breakdown structure)는 3개의 부체계로 구성되며 구성품, 결합체, 부분품으로 분류된다. 다양한 구성요소 중 국방규격서 및 품질요구서가 존재하는 품목과 핵심기능을 발휘하는 구성품을 대상으로 20개의 품목을 선정하여 3.2와 3.3절에서 소개한 정량적 방법으로 위험식별을 진행하였다. 무기체계의 신뢰도 목푯값 및 정비도는 소요군 작전개념, 운용개념을 고려한 OOO이다. 이를 토대로 위험 발생 가능성과 위험의 영향을 산출하여 분류한 집합은 아래 Table 5와 같다.

Table 5.

Risk likelihood and impact

4.2 초도양산 군수품의 위험등급 분석

K-평균 군집화 분석은 군수품의 위험발생 가능성 및 영향에 대한 데이터의 자료 특성을 분석하고 군집에 종합적인 특성을 나타내는 통계적인 분석도구다. K-평균 군집화 분석은 데이터 또는 범주에 대하여 사전 정보가 존재하지 않는 경우 주어진 데이터의 유클리디안(Euclidean) 거리를 최소화하여 유사성을 확인하는 방법이며, 다양한 데이터 분포를 빠르고 정확하게 표현할 수 있어 개체가 불규칙적이고, 관련성을 명확히 파악하기 힘든 데이터 군집화 분석에 사용된다. 군수품 품질경영 기본규정에 따라 위험발생 가능성 및 영향의 군집을 5개로 분류하였으며, 군집의 중심점은 아래 Table 6과 같다.

Table 6.

Center of cluster per groups

각 군집의 평균 거리와 최대거리는 Table 7과 같다.

Table 7.

Scatter plot

본 논문의 산출물인 위험등급은 고, 중, 저로 최종 3가지 등급으로 구분하였으며, 위험등급평가의 분석결과는 아래 Table 8과 같이 선정되었으며, 데이터 분포는 아래 Figure 1과 같다. 해당 무기체계의 고위험도 항목은 2개이며, 중위험도 7개 저위험도 11개로 분류되었다.

Table 8.

Risk grade assessment

Figure 1.

Risk grade assessment distributions