4차 산업혁명 시대의 CMMI 품질성과관리 연구
The Quality Performance Management of CMMI in the Era of Industry 4.0
Article information
Trans Abstract
Purpose
CMMI is a process model used to assess or improve an organization's software development capabilities. This paper deals with the quality indicators when using CMMI and their priorities for possible improvement.
Methods
The 22 process areas and 167 practices of CMMI are matched with 60 indicators of Quality Scorecard(QSC) first to analyze the balance of CMMI in terms of prevention, appraisal, and final result categories and second to isolate a set of key areas for quality focused performance measures.
Results
A total of 86.2% (144 out of 167) CMMI practices were mapped to QSC. According to the CMMI level of maturity, level 2 and 3 accounted for more than 75% of the total. The practices at the maturity level of 4 and 5 were mapped to more than 52% of the final result's measurements. It has been observed that CMMI practices need further elaboration at higher levels to consider prevention, appraisal, and final results simultaneously.
Conclusion
In order to improve the quality performance of the organization by applying CMMI, the final result measures should be refined in metrics, cycles, and methods, and then corrective actions could be conducted to improve the performance of CMMI practices. This strategy would help the practitioners benefit from CMMI in fostering the overall quality level of key activities for the organization's business goals.
1. 서 론
4차 산업혁명 기술인 AI, Big Data 분석, Cloud, IoT의 구현은 소프트웨어로 개발된다. 따라서 소프트웨어 개발역량은 4차 산업혁명 시대에 중요한 역량이라고 할 수 있다. 많은 기업들이 이러한 개발역량을 측정하고 발전시키기 위해서 다양한 평가 모델을 활용하고 있다. 글로벌 차원에서 볼 때, SEI(Software Engineering Institute) 에서 개발한 CMMI(Capability Maturity Model Integration)과 ISO/IEC 15504 SPICE가 가장 대표적인 모델이다. CMMI는 2008년부터 2018년 6월까지 총 17,973회의 공식 심사가 실시되었고, 전 세계 102개국 이상, 국내에서도 94개의 이상의 기업에서 성숙도 수준을 확보하는 모델로 사용되고 있다.
CMMI를 도입하는 조직의 가장 큰 애로는 CMMI 성숙도 Level을 획득한 후에는 경영진이 관심 있어 하는 경영지표들과 연결이 되지 않아 조직의 구성원의 관심에서 멀어진다는 점이다. 경영진의 관심과 지원이 약해지면 지속적인 개선 활동을 추진하기 어려워진다. 또한, CMMI의 효과를 지속적으로 유지하기 위해서는 모델적용 관련 품질지표를 개발하여 측정하고 분석할 필요가 있다. 본 연구는 지속적인 CMMI 관리를 위해서 품질성과지표에 적용방안 연구에 초점을 맞추고 있다. 4차 산업혁명 시대를 위해 개발된 품질성과지표 (QSC: Quality Scorecard)에 근거하여 CMMI 조직의 품질성과관리 방안을 도출한다. CMMI와 QSC를 비교 분석한 후, 그 결과를 토대로 CMMI를 적용한 기업들이 시대에 맞는 성과지표를 사용할 수 있도록 제안하고자 한다.
본 논문은 우선 선행 연구 조사를 통하여 성과지표들이 가져야 할 특성과 기준을 알아보고, 기존의 성과 측정 모델의 종류와 특징을 정리한다. 4차 산업혁명 시대의 품질지표 특성과 이를 반영한 모델인 QSC의 관점에서 CMMI를 분석하고 그 결과를 품질성과관리 방안을 제시한다. 마지막으로, 본 연구의 한계점과 시사점을 도출하고자 한다.
2. 품질성과지표에 대한 선행 연구
기존에 진행된 연구들을 지표들이 가지고 있어야 할 특성과 기준들에 대한 연구와 성과지표 모델에 대한 연구로 분류하여 정리하였다(Table 1.). 먼저 지표 특성과 기준에 관하여 Harty(1980)는 8가지를 제시하였다. 적합성, 중요도, 이해성, 비즈니스 성과 영향도, 데이터 취득가능성, 독창성, 조작 가능성의 제외, 포괄성이다. 영국 의회 감사원(NAO)에서는 1997년 Value for Money Review of Performance Measurement에서 6가지를 제시하였는데 적합성, 소수성, 포괄성, 의미가 있는, 신뢰성, 일관성이다. Chung(2018)은 기존 연구들의 지표 특성을 정리하여 21개 기준과 53개의 요소들로 분류하였고 실제 사용을 위해 1단계 13개 지표와 2단계 4개 그룹 특성으로 분류하여 제시하였다. 성과 측정 모델로는 Feigenbaum(1956)의 PAF 모델에서 예방비용, 평가비용, 실패 비용으로 품질 비용을 구분 할 수 있다고 하였다. Cooper et al.(1992)은 활동 기반 원가 계산을 제시하였다. 현재 가장 대표적으로 알려저 있는 성과지표로 Kaplan et al.(1993)가 제시한 균형성과평가(BSC)가 있으며 이는 재무, 내부 업무 프로세스, 고객, 학습 및 성장등 4개로 구분하여 성과를 측정하는 포괄적인 지표이다. Dahlgaard(1992)는 COQ를 발전시킨 COQF를 제시하였는데 이는 기존의 COQ를 내부 비용, 외부 비용, 가시적 비용, 비가시적 비용으로 구분한 뒤에 Total COQ를 구하는 방식이다. Kanji 외(2002)는 기존의 BSC의 약점을 보완하여 KBS를 제시하였다. KBS에는 기존 BSC의 가치에 Process Excellence와 Organizational Learning 그리고 Delight the Stakeholders 요소를 추가한 지표이다. 최근의 연구로는 Öztayşi et al.(2017)의 FANP가 있다. 이는 유닛 단위의 BSC를 통해 전체 조직의 성과를 측정할 수 있도록 설계된 모델이다.
Indicator Criteria and Performance Measurement methodologies
본 논문에서는 다양한 성과 측정 모델과 측정 모델이 가져야 할 기준을 바탕으로 4차 산업혁명 시대의 품질성과 측정 모델과 그 모델이 갖는 지표 특성을 바탕으로 CMMI와의 매핑을 실시할 것이다. 그리고 그 결과를 분석하여 CMMI를 사용하거나 사용하려는 조직에게 적합한 성과지표를 제시하고자 한다.
3. 품질지표 모델
3.1 4차 산업혁명 시대의 품질지표 특성
4차 산업혁명은 2016년 세계 경제 포럼(다보스 포럼)의 중심 주제였다. 클라우드 슈밥은 여기에서 인공지능(AI), 빅데이터(Big Data), 로봇틱스(Robotics), IoT(Internet of Things), 자율주행차, 3D Printer 등이 핵심 기술들이 될 것이라고 언급하였다. 정혜란 외(2017)은 이러한 기술들이 중심이 되는 시대에 품질 경영 요인으로는 고객과 시장 중시, 측정, 분석 및 지식 경영, 인적 자원 중시, 전략기획, 프로세스 관리, 리더십의 항목의 순으로 분석하였다. 박성현 외(2017)는 새로운 품질 경영을 제시하였다. 4차 산업혁명 시대에는 Big Data, AI, IoT가 축을 이루고 있으며 기획 – 설계 – 생산 – 마케팅 – 영업에 각각 영향을 주고받는다고 하였다.
Multi-way flow of Quality Management
신완선 외(2018)은 새로운 시대 기술의 품질 확보를 위해서는 Open Quality 개념을 도입해야 완벽한 품질을 얻을 수 있다고 주장하였다. Open Quality를 이루기 위해서는 측정성(Measurability), 추적성(Traceability), 연결성(Connectivity)의 속성을 가진 품질지표를 설정하고 관리해야 할 것을 제안하였다.
3.2 4차 산업혁명 시대의 품질 특성을 반영한 모델 - QSC (Quality Score Card)
QSC (Quality Score Card)는 4차 산업혁명 시대에 조직의 품질 상태를 측정하기 위한 모델이다(신완선 외 3, 2018). 이 모델은 3가지 관점이 반영되어 개발된 모델인데 첫째, 품질 비용(Cost of Quality) 둘째, PAF(Prevent, Appraisal, Failure) 개념, 셋째, PAF 모델의 인과 관계 적용이다. PAF의 인과 관계 적용이란 P와 A에 투입한 리소스가 결과(F)의 품질에 어떻게 영향을 미치는지 분석할 수 있다는 것을 말한다. QSC는 예방(Prevention), 평가(Appraisal), 최종결과(Final Result)로 구성되어 있으며 각 분류 별 지표들은 평가에 필요한 활동을 포함하고 있다. QSC는 측정 시스템의 세부 활동에 따라 15개로 이루어진 Simple QSC (S-QSC), 30개로 이루어진 General QSC(G-QSC), 그리고 60개로 이루어진 Detail-QSC (D-QSC)로 구분된다. 각 세부 지표는 다음과 같다.
List of QSC Prevention Measures
List of QSC Appraisal Measures
List of QSC Final Result Measures
QSC는 특정 산업이나 제품에 집중하여 개발된 모델이 아니다. 범용으로 사용이 가능한 Open Format으로 설계되었기 때문에 다양한 분야에 적용하고 활용될 수 있다.
3.3 SW 프로세스 능력 평가 모델 - CMMI (Capability Maturity Model Integration)
CMMI는 과거 소프트웨어 프로세스 개선 모델로서 사용되던 SW-CMM의 진화된 모델로서 SW-CMM V2.0 Draft C, EIA/IS731, IPD-CMM V0.98을 기반으로 만들어졌다. CMMI v1.1 이 2002년도에 발표되었으며 2018년 3월에 2.0이 발표되어 2019년 1월부터 사용되고 있다. (유영무 외 1명, 2004)
CMMI 에서는 단계적 표현(Staged Representation)과 연속적 표현(Continuous Representation) 두 가지 표현 방법이 있다. 단계적 표현 방법은 기 정의된 프로세스 영역의 집합 평가를 통해 조직 전체의 프로세스 능력을 알수 있는 방법이고, 연속적 표현 방식은 개별 프로세스 영역별 평가를 통해 개별 프로세스 영역별 능력 평가할 수 있는 방법이다.
History of CMMI
Two Representations of CMMI
CMMI에서는 Level 2부터 5까지 총 22개의 프로세스 영역으로 구성되어 있다. 프로세스 영역이란 조직과 프로젝트에서 필요한 활동들의 모임으로 Specific Goal과 Generic Goal이 있으며 해당 Goal을 달성하기 위한 Specific Practices와 Generic Practices를 제시하고 있다.
CMMI 기반으로 프로세스를 개선하고 그 성과를 측정한 연구는 다수가 있다. 특히 22개의 각 프로세스 영역별로 연구가 수행되었는데 이돈희 외(2018)은 Level 4 정량적 프로젝트 관리와 프로젝트 성과 관리 PA의 실제 구축 사례를 정리하였다. 유영무(2005)는 측정(Measurement and Analysis)영역에서 현재 수행 중인 측정 프로세스 활동을 식별하여 CMMI MA, PSM, ISO 15939 영역에 매핑시킨 후 레벨별로 측정 계획, 측정 수행, 측정 평가 방법을 제시하였다. 또한 이정열 외(2015)는 CMMI와 MBSE 기반의 무기체계 획득을 위한 요구사항 개발 및 관리 프로세스를 연구하였는데 REQM 영역의 SG, SP, GG, GP를 통합한 모델을 개발하였으며 모델 기반 시스템엔지니어링 도구 CORE 9.0을 활용하여 모델 검증을 수행하였다. 서론에서 언급한 바와 같이 전세계 100여개국 이상에서 약 1만 7천개 이상의 기업들이 사실상의 표준으로 CMMI를 사용하고 있다. 이를 토대로 CMMI는 업계와 학계 모두에서 활발하게 사용되고 있다고 할 수 있다.
하지만 CMMI를 도입한 조직에서 겪는 어려움들이 있다. 첫째로는 심사 이후에 지속적인 개선 활동이 일어나지 않는 다는 것, 둘째는 그 효과와 성과가 경영진이 관심 있어 하는 경영 지표들과 연결이 되지 않아 관심에서 멀어지는 현상이 발생 한다는 것이다. 또한 CMMI는 직접적인 성과지표를 제시하지 않고 있다. 이를 위해 QSC 연구 결과 모델을 참조하여 CMMI와 QSC를 비교 분석 한 후, CMMI를 적용했거나 적용하려는 기업들에게 시대에 맞는 성과지표를 제안하고자 한다.
4. CMMI 적용 기업의 품질지표 설계
지표 설계를 위해 다음과 같은 절차를 수행하였다. 첫째, CMMI와 QSC의 비교 분석을 통해 각 대응 되는 대상을 정하였다. 둘째, 매핑 기준을 수립하였다. 셋째, 매핑을 수행하고 QSC관점의 CMMI 재분류를 실시하여 Level 별, 범주별 분석을 수행하였다. 단 매핑 되지 않은 항목들에 대해서는 이번 분석 대상에서 제외하였다. 마지막으로 CMMI 기반의 개선 활동을 수행하는 조직의 성과 결과를 기반으로 품질성과를 높일 수 있는 전략에 대해 논의하고자 한다.
4.1 QSC 와 CMMI 비교 분석과 매핑 기준
QSC는 S-QSC(15개 항목), G-QSC(30개 항목), D-QSC(60개 항목)으로 세분화 된다. CMMI는 Process Area(PA) 22개, Specific Goal(SG) 49개, Specific Practices(SP) 167개로 구성되어 있다. 그림 7에 나온 것과 같이 CMMI에는 Generic Goal 과 Generic Practices 가 있으나 GG 와 PA간에는 재귀적인 관계가 있기 때문에 이번 분석에서는 제외하였다. (CMMI Dev 1.3 표 7.2 GP와 PA간 관계) S-QSC 와 PA, G-QSC와 SP, D-QSC와 SP의 각 항목을 비교하여 CMMI의 어떤 Practice가 QSC의 어떤 항목에 매핑이 되는지 알아보았다.
CMMI Staged Model Structure
CMMI Staged Representation Process Areas
매핑을 위해서 4가지 기준을 수립하였다. 첫째, 같은 범위의 항목인가? 둘째, 측정이 가능한가? 셋째, 추적이 가능한가? 마지막으로 연결성이 있는가? 이다. 또한 CMMI의 SP에서 요구하는 활동이 QSC의 여러개의 항목에 해당하는 경우에는 중복을 허용하여 매핑을 수행하였다.
CMMI & QSC Mapping Process
4.2 QSC 관점의 CMMI 재분류
매핑 결과 CMMI의 167개의 Practices 중 86.2%인 144개의 Practices가 D-QSC의 60개에 지표에 매핑 되었다(Figure 9). 예방 지표에 매핑된 것이 124개로 가장 많았고 평가 지표에 매핑된 것은 64개, 최종 결과 지표에 매핑된 것이 46개였다. 중복을 허용하였기 때문에 예방, 평가 지표 동시에 해당된 Practices가 21개, 예방, 최종 결과 지표 동시에 해당 된 Practices가 23개가 있었으며 세 개 모두에 해당 된 Practices도 23개가 있었다. 이를 다이어그램으로 표시하면 다음과 같다.
CMMI-QSC Mapping Result Diagram
Appendix 1은 CMMI의 22개의 PA가 S-QSC에 어떤 분포로 매핑 되어 있는지를 보여준다. 각 셀의 숫자는 각각의 Practices와 D-QSC 수준에서 매핑된 숫자의 합으로 예를 들어 TS PA에 오른쪽 두 번째 칸의 4는 Technical Solutions의 8개의 Practices 중에 4개가 제품/서비스 개발 지표에 매핑되어 있다는 것을 뜻한다.
4.3 CMMI Level 별, 범주별 매핑 결과 분석
CMMI Levell 2의 의미는 관리된 단계(Managed)로 이 단계의 조직들은 기본적인 프로젝트 관리 프로세스가 비용, 일정, 기능에 대한 정보를 추적하기 위해 설정된다. 성공적으로 완료된 프로젝트에 사용되었던 유사한 프로젝트가 다시 활용 됨으로써 내재화가 이뤄지기 시작한다. (이민재, CMMI 개발 해설서, 2013) 총 7개의 PA로 구성되어 있으며 예방지표에 45개, 평가 지표에 28개, 최종 결과 지표에 16개가 매핑 되었다.
CMMI Lv.2 – QSC Mapping Result
CMMI Level 3의 의미는 정의된 단계(Defined)로 이 단계의 조직들은 프로세스가 문서화 되고 표준화 되고 조직의 표준 프로세스와 통합 된다. 조직에서 수행되는 모든 프로젝트는 조직의 표준 프로세스를 사용한다. (이민재, CMMI 개발 해설서, 2013) 총 11개의 PA로 구성되어 있으며 예방지표에 52개, 평가 지표에 29개, 최종 결과 지표에 8개가 매핑 되었다.
CMMI Lv.3 – QSC Mapping Result
CMMI Level 3의 조직들은 Level 2와 3의 PA들 (총 18개)의 Specific Goal을 달성해야 하며 2018년 CMMI Report에서 보듯이 전체 심사 건수의 약 80% (14,382)개의 조직이 심사결과 Level.3 에 도달해 있다. Level 3는 미 국방부가 발주하는 IT분야 사업에 참여할 수 있는 최소 자격요건이다. 이처럼 CMMI에서 Level 3가 갖는 의미는 중요하다. QSC 관점에서도 Level 3까지의 매핑 비율을 살펴 보면 전체 매핑된 144개의 Practices 중에서 예방 지표에 매핑된 97개(67.4%) 평가 지표에 매핑된 57개(39.6%), 그리고 최종 결과 지표에 매핑된 24개(16.7%)로 전체 매핑에 76%(234개 중 178개, 중복포함)에 해당 된다.
CMMI Maturity Level Mapping Ratio
CMMI Level 3 단계에 있다는 의미는 QSC 관점에서 본다면 예방 활동의 78.2%, 평가 활동의 89.1%, 최종 결과 지표의 52.2%를 수행하고 있다고 해석 할 수 있다. 다시 말해 CMMI의 Level 3의 활동만 충실하게 수행해도 대부분의 예방 활동과 평가 활동을 수행하고 있다는 의미인 것이다.
Prevention, Appraisal, Final Result Mapping Ratio
CMMI Level 4, 5의 의미는 정량적으로 관리 되는 단계(Quantitatively Managed)와 최적화 단계(Optimizing) 이다. 여기에 도달한 조직의 특징은 프로세스와 생산품 품질에 대한 상세한 측정데이터가 수집되고 있으며 이를 바탕으로 지속적인 프로세스 개선을 이뤄갈 수 있다. 특히 조직의 비즈니스 목표와 연결된 지표를 선정하여 개선 전, 후의 성과를 비교하고 이를 활용 할 수 있게 된다. (이민재, CMMI 개발 해설서, 2013) Level 4,5를 합쳐서 4개의 PA가 있으며 총 27개의 Practices가 27개는 예방 지표에(16.2%), 7개는 평가 지표(4.2%), 22개는 최종 결과 지표(13.2%)에 중복되어 매핑 되었다.
CMMI Lv.4 and 5 – QSC Mapping Result
성숙도 Level 외에 CMMI PA는 Engineering, Project Management, Support, Process Management 4개의 범주를 가지고 있다. Engineering 영역은 개발 영역에서 모든 제품 또는 서비스의 개발에 적용되는 프로세스들로 구성되어 있으며 해당 프로세스 개선에서 사용될 수 있도록 일반적인 공학 용어를 사용해 작성되었다. 5개의 PA(RD, TS, PI, VER, VAR)가 이에 속한다. Project Management 영역은 프로젝트의 계획 수립, 모니터링 및 통제와 관련한 각종 프로젝트 관리 활동이 포함된다. 7개의 PA(REQM, PP, PMC, SAM, IPM, RSKM, QPM)가 이에 속한다. Support 영역은 제품 개발 및 유지를 지원하는 여러 활동들이 포함된다. 특히 다른 여러 프로세스의 수행 맥락에서 사용되는 여러 프로세스가 포함된다. 총 5개의 PA(MA, PPQA, CM, DAR, CAR)가 이에 속힌다. Process Management 영역은 프로세스의 정의, 계획 수립, 확산 적용(전개), 이행, 모니터링, 통제, 심스, 측정 및 개선과 관련된 다양한 프로젝트 전반에 걸친 활동들을 포함하고 있다. 5개의 PA(OPF, OPD, OT, OPP, OPM)가 이에 속한다.(CMMI-DEV v1.3 3판, 2011)
전체 매칭된 Practices 중 범주별로 QSC 영역 분포를 보면 Engineering 범주는 예방 활동의 18.5%와 평가 활동의 29.7%를 차지하고 있으며 최종 결과 지표는 없었다. 개발과 관련된 활동들은 대부분 예방 활동과 평가 활동에 집중되어 있다는 것을 알 수 있다. Project Management 범주는 예방 활동에 38.7%를 차지하고 있다. 평가와 최종 결과 지표에는 각각 14.1%와 13% 였다. 이를 통해 프로젝트 관리의 영역아래 있는 활동들은 예방 중심의 활동이라고 볼 수 있을 것이다. Support 범주의 경우는 평가 활동에 32.8%, 최종 결과 지표에 39.1%를 차지하고 있었다. (예방 활동에는 15.3%) Process Management 범주에 포함된 활동들은 최종 결과 지표에 47.8%를 차지하고 있다. (예방 27.4%, 평가 23.4%) 이는 프로세스의 최종 목표가 작업자가 그 작업 내용과 상호 관계를 순서에 따라 수행함으로서 작업을 합리적이고 효율적으로 수행하게 하는 것(네이버 지식백과, 프로세스)이기 때문에 프로세스를 설계하고 관리하는 것이 최종 결과 지표와 연관되어 있을 수밖에 없다는 것을 보여주고 있는 것이다. 이를 정리하면 아래 표와 같다.
Prevention, Appraisal, Final Result Mapping Ratio (CMMI Category View)
CMMI Category – QSC Mapping Result
최종 결과(Final Result) 지표와 가장 밀접한 관계를 갖는 CMMI의 PA는 MA, CAR, OPP, OPM 인 것으로 나타났다. 이는 최종 결과 평가 지표를 MA에서 설정하고(지표 측정, 주기, 방법) CAR에서 근본 원인을 분석하고 프로세스 성과를 개선하기 위해 시정조치를 수행한 후, OPP에서 개선 전 후의 성과를 비교 분석하고 OPM에서 조직의 비즈니스 목표를 달성하기 위해 지속적으로 개선활동과 혁신 활동을 관리하는 것이 QSC의 최종 결과 지표 달성을 위한 활동들이라는 것을 뜻한다.
4.4 CMMI 적용 조직의 품질성과 향상 전략
두 가지 측면에서 전략을 제시하고자 한다. 첫째는 CMMI 기반의 개선 활동을 수행 할 때 ‘어떠한 우선순위를 가지고 어떤 Process Area를 먼저 개선할 것인가?’이고, 둘째는 QSC의 최종 결과 지표를 CMMI에서 반영하여 지표 설계를 해야 한다는 것이다.
4.4.1 우선순위 설정
Cost of Quality에서 보듯이 전통적 견해든, 현재적 견해든 전체의 품질 비용을 줄이기 위해서는 예방 비용과 평가 비용을 높여서 실패 비용을 줄이게 될 때 전체적인 품질 총 비용이 낮아진다고 이야기하고 있다. 해당 관점에서 보면 CMMI를 활용하여 품질 개선작업을 하려고 할 때 예방 지표에 많은 Practices 가 있는 PA를 먼저 수행하는 것이 효과적일 수 있다. 분석 결과 예방 지표에 많은 연관이 있는 PA로는 Level 2의 MA(Measuerment and Analysis), PP(Project Planning), PMC(Project Monitoring and Control)이 있으며 Level 3의 OPD(Organization Process Define), Verification(VER), OT(Organization Traning) 등이 있다.
본 연구에서는 CMMI Practices를 중복을 허용하여 QSC에 매핑 하였기 때문에 P, A, F에 매핑된 Practices 개수가 234개로 전체 매핑된 144개보다 많았다. Figure 9에 나와 있듯이 PAF에 모두 매핑 된 Practices들이 23개가 있었고 PA에 매핑된 것은 21개, PF에 매핑된 것이 23개이다. 따라서 예방 지표나 평가 지표 하나에 매핑된 항목보다 여러 지표에 걸친 Practices에 우선순위를 높이는 방법도 또다른 우선순위 설정 기준으로 택할 수 있을 것이다. 여기에 해당하는 PA로는 Level 2의 MA, PPQA(Process and Product Quality Assurance)가 있으며 Level 3의 OT, OPF(Organization Process Focus), VER, VAR(VARidation)등이 해당 된다.
4.4.2 최종 결과(Final Result) 지표 반영
CMMI Institute 에서는 주기적으로 CMMI의 효과와 Case Study에 대해서 보고서를 내고 있다. 2015년도 보고서에서는 CMMI 적용의 효과로 품질, Time to Market, 소비자 만족도 향상을 언급 하였다. 구체적인 사례로 Tufts Health Plan 사는 25%의 결함이 감소 하였고 (# of Problems Solved), General Dynamics은 64%의 유지보수 스텝 비용을 절감 했다. (Unit Production Cost), Siemens의 경우는 고객만족도가 42% 증가했다. (Customer Complaints) JP Morgan Chase & Co. 의 경우는 프로젝트 납기일의 평균 지연일을 70~80% 줄일 수 있었다고 한다. (Cycle Time) (CMMI Institute, 2015) 2003년에 작성된 CMU/SEI-2003/SR-009에 보면 좀더 구체적인 사례와 효과에 대해서 분석하고 있는데 ROI(Return on Investment) 효과 부분만 살펴 본다면 Accenture 사의 경우는 품질 활동의 투자 대비 효과로 5:1의 결과를 도출하였고 Northrop Grumman IT 사의 경우는 13:1의 ROI를 얻을 수 있었다고 한다. 이처럼 성공적으로 CMMI의 성과를 얻은 조직의 경우 QSC의 최종 결과 지표로 도입 전과 후를 비교해 볼 수 있었다. 다시 말해 성공적인 CMMI 적용 조직은 최종결과 지표를 설정하고 관리 했다는 의미로 해석할 수 있을 것이다. 따라서 CMMI를 적용하여 품질성과를 높이려는 조직에서는 MA 영역에서 비즈니스 목표와 방향성을 갖춘 측정 목표 및 활동을 정의하고 측정 결과를 제공할 때 최종 결과의 항목들을 검토하여 반영한다면 경영진의 지속적인 지원을 받아가면서 조직의 품질 가치를 향상 시켜 갈 수 있을 것이다.
5. 결론 및 한계점
본 논문에서는 CMMI의 22개 프로세스 영역과 하위의 49개 Specific Goal을 달성하기 위한 167개의 Specific Practices를 4차 산업혁명 시대의 품질지표 특성을 고려하여 개발된 Quality Score Card의 60개의 지표에 매핑 하여 그 결과를 분석해 보았다. 분석 결과 86.2%인 144개의 활동들이 매핑 되었으며 CMMI 심사의 약 72% 이상을 차지하는 성숙도 Level 3를 달성하기 위한 활동들을 수행한다면 예방 지표의 78.2%, 평가 지표의 89.1%, 최종 결과 지표의 52.2%를 커버 하게 된다는 것을 알 수 있었다.
연구 결과를 근거로 CMMI 적용 기업들이 지속적으로 품질성과를 향상시키기 위해서 취할 수 있는 두 가지 방안을 제시하였다. 첫째, 개선 우선순위를 선정 할 때 예방 지표에 집중된 PA인 MA, PP, PMC를 먼저 수행하거나 PAF 모두에 매핑이 되어 있는 MA, PPQA의 개선 순위를 높여야 한다. 둘째, MA에서 적극적으로 최종 결과의 지표들을 반영해야 한다. 그 이유로 CMMI의 적용 성과를 얻은 조직의 지표들이 QSC 최종 결과 지표들을 반영하고 있다는 것을 제시하였다. 실제로 CMMI 개발 해설서나 CMMI Dev 1.3 모델의 6장 에세이를 살펴보면 성과 중심의 프로세스 개선 활동에 집중할 것을 반복해서 주문하고 있다. CMMI를 적용한 조직의 품질성과를 높이기 위해서 최종 결과 지표들을 MA에서 설정하고(지표 측정, 주기, 방법) CAR에서 근본 원인을 분석하고 프로세스 성과를 개선하기 위해 시정조치를 수행한 후, OPP에서 개선 전·후의 성과를 비교 분석하고 OPM에서 조직의 비즈니스 목표를 달성하기 위해 지속적으로 개선활동과 혁신 활동을 관리하는 것을 전략으로 활용 할 수 있을 것이다.
본 논문에서 CMMI 성공 사례로 언급한 조직들이 실제 조직의 지표(MA)로 품질, 납기, 생산성 향상, ROI등을 설정하고 개선 활동을 수행 했었는지 정확하게 알 수 없었다. 다만 결과 보고서에 해당 지표들의 개선 수치를 기록하고 있었기 때문에 해당 지표를 관리 항목으로 선택했을 것이라 가정하였다. 또한 실제 CMMI 적용 조직의 검증을 거치지 않았다는 것이 본 논문의 한계다. 앞으로 MA 항목에 최종 결과 지표를 적용하는 것에 대한 타당성 검증을 CMMI를 기반으로 개선 활동을 수행하는 조직의 관련자들에게 검증을 받는 작업이 필요하다. 본 연구의 결과를 지속적으로 발전시켜 4차 산업혁명 시대의 핵심 경쟁력인 소프트웨어 시스템 구축과 운영에 대한 성과관리 역량을 높여야 할 것이다.