주제선정 단계에서는 주제 선정절차를 요약한 흐름도가 제시된다. 그러면 이 이후의 단계는 흐름도와 일치해야 하는 것이 당연하다. 그러나 제시된 흐름도와 실제로 주제를 선정하는 과정이 상이한 문집이 상당히 많이 발견되고 있다. 이는 흐름도 및 주제선정과정이 가식적으로 이루어지고 있다는 방증이 되므로 반드시 점검하고 고쳐야 할 분야이다.

흐름도의 수순에 맞춰 주제선정을 하는 경우에도 안건취합 후 개략평가가 이루어지는 과정에서 문제가 발견되는 곳이 많다. 대다수의 문집에서 소개되는 주제 선정 철차 흐름도를 보면 그림 1에서 보듯이 개략평가에서 분임원의 표결 수에 따라 현황 및 문제점분석, 문제은행으로 전달, 그리고 개선제안, 기각 등의 4가지 중 하나로 분류한다. 그러나 실질적으로는 주제해결의 주제로 하기에는 상대적으로 단순한 문제들이 개선제안의 형태로 개선이 이루어진다. 보통 주제해결은 3개월에서 6개월 혹은 그 이상 소요되는데 비해 개선제안은 불과 수주일 혹은 즉시 해결도 가능한 단순한 문제들이다. 그래서 분임조원 전체가 모여 주제해결문제를 1년에 2, 3건 해결하는데 비해 개선제안은 일인당 1년에 수십 건 다시 말해 분임조원 수가 분임조마다 다르기는 하지만 보통 분임조 당 100건 이상도 개선제안하고 있다. 그런데 주제해결의 후보주제로서 올라온 주제가 분임원의 표를 덜 받았다고 해서 쉽게 해결할 수 있는 개선제안 정도 수준의 문제로 바뀔 수는 없는 것이다. 따라서 특수한 상황에 의해 개선제안으로 해결할 수 있는 경우를 제외하고는 이러한 분류하는 것은 적절치 않다고 사료된다. 최근 3년간 (2013년부터 2015년까지) 금상을 받은 문집 31개 중 21개 문집에서 위에 지적한 문제가 발생하고 있다.

적합성 검토 시에는 분임원 측면과 부서 측면을 고려한 T형 매트릭스를 많이 활용하고 있다. 여기서 분임원 측면에서 고려하는 항목들은 분임원의 의사에 따라 합의된 어느 항목을 넣어도 무관하나 부서 측면의 항목은 분임원의 의사와 무관한 부서의 입장을 나타내는 항목이 들어가야만 한다. 부서의 목표 및 방침은 회사소개 페이지에 나타나 있는데 이와 일관성이 있어야 함은 당연한 일이다. 그러나 많은 문집에서 회사방침 및 소개내용과 상이한 항목을 매트릭스에 넣고 분석하는 경우가 있다. 이는 일관성이 결여된 모순적인 결과이므로 신중을 기해야 할 필요가 있다.

현상파악단계에서 지나친 층별이 이루어지는 곳이 종종 있다. 층별은 개선대상을 구체화하고 특성의 근본원인을 파악하기 수월해진다는 이점도 있을 수 있지만 층별을 하면 할수록 개선해야할 문제점들이 개선 대상에서 제외되는 단점이 동시에 존재한다는 점도 명심해야한다. 예를 들어 A 의 부적합품률을 줄이고자 하는 주제에서 1차로 A를 층별하여 A₁, A₂, …,An₁ 으로 구분하였고 이 중 전체의 p₁을 차지하는 m₁개의 항목들을 중점관리 항목으로 선정하였다. 그 후 m₁개의 항목들을 또 다시 2차 층별하여 A _i 을 A _i1, A _i2, …, i=1,2,…m₁, 로 구분하고 이 중 또 전체의 p_2i 을 차지하는 m_2i 개의 항목들을 중점관리 항목으로 선정하여 2차 층별에서 1차 층별 후 선정된 중점관리 항목의 p₂ 가 중점관리 항목으로 선정되는 과정이 반복된다면 k 차 층별 후 개선대상은 전체 부적합품률의 p₁ p₂…p _k 밖에 되지 않는다. 예를 들어 1차 층별에서 전체의 70%에 해당하는 항목을 중점관리 항목으로 선정하고 이를 또다시 2차 층별하여 이들의 70%에 해당하는 항목들을 중점관리 항목으로 선정했다면 전체 부적합품률의 (0.7)(0.7), 즉 49%만이 활동의 대상이 되는 것이고 이 부적합품률을 완전히 없앤다 하더라도 전체 부적합품률의 반 도 못 줄인다는 결론에 도달한다. 이러한 층별의 부작용도 존재함에도 불구하고 마치 여러 번 층별하는 것이 더 개선 기법을 잘 활용한 듯이 오해하는 경향은 바로 잡아야 할 것이다.

원인분석단계에서는 기법의 중복 혹은 인위적인 기법사용이 많이 이루어지고 있는 부분이다. 현상파악 단계에서 중점관리항목이 선정되었으면 이를 유발시키는 근본원인을 찾는 단계가 원인분석 단계이다. 이를 위해 브레인스토밍 기법을 활용하여 특성요인도를 상세히 그려 근본원인을 찾는 것이 전통적인 방법이었다. 실제로 거의 대다수의 경우 특성요인도를 잘 그리면 근본원인을 찾는데 많은 도움이 된다. 그러나 점점 더 이 부분에 많은 기법을 중복하여 쓰는 경향이 나타나고 있다. 실제로 2010년부터 2015년 까지 현장개선 분야에서 금상을 획득한 기업 중 원인분석 단계에서 특성요인도만을 쓴 기업은 단 한 기업도 없었다. 모든 기업이 계통도를 첨부하고 있다. 그러나 계통도를 통해 얻어지는 정보는 특성요인도에서 획득한 정보이상의 것은 전혀 없다. 단지 계통도에는 특성요인도에서 선정된 근본요인만을 모아서 이들을 찾아간 과정을 순차적으로 표현하여 일목요연하게 볼 수 있다는 시각적 장점은 존재한다. 따라서 이 정도의 장점을 위해 계통도를 추가로 작성할 것인지의 여부는 분임조가 상황에 따라 결정할 문제이지 반드시 계통도가 첨부되어야 하는 것은 아니다.

기법의 중복은 여기서 끝나는 것이 아니고 최근 들어 P-FMEA 기법을 쓰는 기업이 늘어나는 추세에 있다. 그러나 이 기법을 사용하는 데에는 상당한 문제가 수반된다. P-FMEA 기법을 활용하여 특성요인도에서 발굴된 최종요인들을 열거해 놓고 이들의 심각도, 발생도, 검출도를 곱하여 RPN 값을 구하고 이 값이 큰 순으로 추후 대책마련을 통해 제거해야 할 근본원인으로 선정하고 있는 것이다. 그러나 특성요인도를 통해 발굴된 요인들에 대한 발생도가 사내에 이미 마련되어 있을 수 없다. 만일 요인들에 대한 발생도가 사내에 이미 마련이 되어 P-FMEA를 전개할 수 있다면 오히려 특성요인도를 통해 근본요인을 찾을 필요가 없었다는 뜻이 된다. 따라서 이 기법의 사용은 앞 뒤 모순이며 다른 문집보다 차별화된 많은 기법을 사용하려는 잘못된 의욕에서 비롯된 것이다. 이것이 심사과정을 통해 바로 잡히지 못하고 수상을 하고 그 후 수상기업을 벤치마킹하면서 다른 많은 기업이 따라 하는 악순환이 거듭되면서 잘못된 방법이 표준화 되고 있는 위험한 상황에 있다. 이는 반드시 바로 잡아야 할 부분이다. 최근 3년간 (2013년부터 2015년까지) 금상을 받은 문집 31개 중 6개 문집에서 위에 지적한 문제가 발생하고 있으며 타 분야에서도 점점 더 많이 이 기법을 삽입하는 경향에 있다.

또한 특성요인도를 작성한 후에 XY matrix를 사용하는 문집도 종종 있다. 그러나 XY matrix 는 한 요인이 여러 중점관리 항목에 동시에 영향을 미칠 수 있는 경우 전체의 영향을 고려하여 최종요인을 선정하기 위한 방식이다. 그러나 각 중점관리 항목에 대해 특성요인도를 그렸다는 것은 각 항목에 서로 다른 요인들이 영향을 미치고 있다고 판단했기 때문이다. 그렇지 않으면 특성요인도 대신 연관도가 그려져야 했을 것이다. 따라서 이 경우의 XY matrix 는 matrix 로서의 의미가 전혀 없이 한 쪽 중점관리 항목에만 점수가 주어지고 다른 쪽에는 0점이 주어지는 matrix 가 되어버린다. 따라서 matrix를 그릴 필요 없이 각 각의 중점관리 항목별로 높은 점수를 받은 요인을 최종요인으로 선정하는 것과 동일하게 되어 불필요한 기법 사용에 시간 낭비를 하는 셈이다.

조사대상 문집 중에는 1개 문집만이 불필요한 XY matrix를 사용하고 있었지만 타 분야에서도 점점 더 많이 이 기법을 불필요한 곳에 사용하는 추세에 있기 때문에 이 점도 바로 잡아야 할 부분이다.

목표설정단계에서 공통된 문제점은 목표설정의 근거가 명확히 표현되지 않는다는 점이다. 예를 들어 A의 부적합품률 감소를 주제로 선정하였고 A 의 부적합품률을 층별하여 A₁과 A₂를 중점관리 항목으로 선정한 경우를 예로 보자. 이 경우 A에 대한 목표가 우선 설정되고 이를 달성하기 위하여 A₁과 A₂ 에 대한 각 각의 세부 목표가 설정되는 것이 상식적인 순서이다. 즉, A 의 부적합품률을 p%포인트 감소시키는 것이 목표라면 이를 달성하기 위하여 A₁ 부 적합품률을 p₁%포인트, A₂부적합품률을 p₂%포인트 (여기서 p₁+p₂=p) 감소시키는 목표를 설정하게 된다. 그러면 목표설정 근거로는 반드시 왜 A의 부적합품률을 p%포인트 감소시키려 하는지 근거가 명확히 제시되어야하고 또한 이를 달성하기 위해 왜 A₁ 부적합품률을 p₁%포인트, A₂ 부적합품률을 p₂%포인트 감소시키려 하는지에 대한 명확한 근거 제시가 필요하다. 그러나 최근 들어 대다수의 문집에서는 이러한 근거제시보다는 목표를 달성하기 위한 활동 방향에 대해서 설명하고 이러한 활동을 통해 어느 정도의 목표가 달성 될지를 예상하고 이를 목표로 잡고 있다. 이러한 목표 설정 방법은 바람직한 방향이 아니라고 생각한다. 왜냐하면 목표를 세운 후 대책수립 과정을 거쳐야만 목표달성을 위해 어떠한 활동을 할 것인지를 알 수 있는데 대책수립 이전에 이미 활동 방향이 나온다는 것은 개선활동의 진행 순서로 보아 바른 방법이 아닐 수 있다. 또한 각 활동을 통해 어느 정도의 개선이 이루어질지 예상한다고 해서 이것이 목표가 되는 것은 아니다. 이를 목표로 삼으면 거의 100% 목표 달성되는 것이 당연하다.

최근 3년간 (2013년부터 2015년까지) 금상을 받은 문집 31개 중 27개 문집에서 위에 지적한 문제가 발생하고 있다.

대책수립단계에서는 대다수 문집이 대책수립 계통도를 사용하고 있다. 원인분석의 결과 알아낸 주요 요인(최종요인)을 해결하기 위한 수단을 전개해 나간다. 현상파악 단계에서 층별한 중점관리 항목들에 대해 각각 최종요인을 열거하고 이를 해결하기 위한 여러 가지 수단을 찾는다. 그 후 이 수단들 중 대책으로 채택할 수단을 선정하기 위해 보통 분임원간의 표결이 이루어진다. 그래서 일정 점수 이상을 득한 수단을 실행 대책으로 선정한다. 이를 위해 계통도는 효과적인 도구이기는 하지만 사용에 간혹 문제가 있는 경우가 있다. 층별된 중점관리 항목의 수가 1개 혹은 2개정도로 적은 경우에는 위의 방법이 문제가 되지 않을 수 있다. 그러나 중점관리 항목의 수가 4개 5개 등으로 많을 경우 분임원 표결의 결과 높은 점수를 받은 수단들을 대책으로 채택하면 일부 중점관리 항목을 해결하기 위한 수단은 선정되지 않을 가능성도 높아진다. 다행히 이렇게 특정 중점관리 항목을 해결할 수단이 대책으로 선정되지 않은 문집은 아직 확인되지 않았다. 그러나 지금까지는 지나치게 요행이었거나 가식적인 결과라고 볼 수밖에 없다. 따라서 중점관리 항목의 수가 많은 경우에는 전체를 놓고 표결해서는 안 되고 각 중점관리 항목별로 따로 따로 표결을 하여 각 중점관리 항목을 해결한 대책을 적어도 1개 이상 채택될 수 있도록 하여야 한다.

최근 3년간 (2013년부터 2015년까지) 금상을 받은 문집 31개 중 11개 문집에서 위에 지적한 문제가 발생하고 있다.

또 하나의 문제는 각 수단들을 놓고 분임원들이 표결하여 점수를 세 그룹으로 분류하여 점수가 가장 높은 그룹은 대책으로 채택하고 중간 점수 그룹은 즉개선을 하고 점수가 낮은 그룹은 대책에서 제외하는 방식을 많이 따르고 있다. 최근 3년간 (2013년부터 2015년까지) 금상을 받은 문집 31개 중 8개 문집에서 위에 지적한 문제가 발생하고 있다.

그러나 여기는 주제선정 단계에서 지적된 것과 동일한 형태의 오류가 존재한다. 분임원의 표가 적다고 하여 PDCA 싸이클을 돌려가며 대책 실시를 하는 대신 즉 개선으로 간단히 해결될 수 있는 것은 아니다. 표가 적다는 것은 분임원의 생각에 그다지 중요한 대책이 아니라는 것이지 이것이 갑자기 실행이 수월해져서 즉 개선으로 해결할 수 있다는 것은 엄청난 모순이다. 따라서 분임원의 표에 따라 채택할 대책과 기각할 대책을 우선 구분하고 채택된 대책 중에 신속히 처리할 수 있는 대책이 있다면 이를 즉개선하는 것이 올바른 수순일 것이다.

대책실시단계에서는 주로 PDCA 사이클을 돌려서 대책수립단계에서 채택된 대책들을 실시하고 이 대책들의 효과를 분석한 후 효과가 입증되면 이를 표준화하는 단계이다. 이 단계에서 최근 들어 부쩍 통계적 기법이 많이 사용되고 있는데 특히 가설검정과 실험계획법등이 많이 사용되고 있다. 이러한 기법을 사용하는데 p-value 가 종종 언급된다. 대책의 효과가 있는지에 대한 검정, 혹은 실험계획법을 실시했을 경우 각 요인에 의해 특성치에 유의한 차이가 나타나는 지에 대한 결론을 내리기 위해 p-value를 많이 사용하고 있다. 그러나 문제는 거의 모든 분임조가 모든 사안에 대해 획일적으로 p-value를 0.05와 비교하고 있는데 있다. 1종과오를 범했을 경우 수반되는 불이익 혹은 위험성의 크기에 관계없이 무조건 0.05와 비교하여 이 보다 p-value 가 큰 경우에는 귀무가설을 기각 못 시키는 결론을 내리고 있다. 1종과오로 인한 피해가 그다지 크지 않을 경우에는 이는 너무 엄격한 기준이 되고 오히려 2종과오로 인한 피해가 나타나는 경우가 종종 있을 수 있게 된다. 따라서 사안에 따라 올바른 기준에 따라 귀무가설의 기각 여부가 결정되어야 한다. 이러한 오류가 벌어지고 있는 이유는 p-value 에 대한 올바른 통계적 지식 없이 기계적으로 절차만 따르고 있기 때문에 나타나는 현상이다. 점점 더 고급의 통계적 기법이 사용되고 있는 경향이 있으므로 의사결정도 합리적 통계절차에 의해 내리는 것이 바람직하다. 그러기 위해서는 가장 빈번히 사용되는 p-value 에 대한 올바른 이해가 선행이 되어야 할 것이다.

최근 3년간 (2013년부터 2015년까지) 금상을 받은 문집 31개 중 10개 문집에서 위에 지적한 문제가 발생하고 있다.

그런가 하면 전혀 통계적 근거가 없는 결론을 내리는 경우도 종종 있다. 이러한 일은 주로 사고 수를 감소시키는 활동을 한 문집에서 나타나곤 한다. 사고 수가 상당히 많으면 그다지 문제가 되지 않지만 사고 수가 아주 희박한 경우에는 각 대책마다 대책 실시 후 체크 단계에서 데이터를 수집하여 사고 수가 감소했는지 여부를 판단하기 어렵다. 예를 들어 한 달에 평균 사고가 4건 정도 발생하고 있는데 이를 반감시키는 개선 활동을 했을 경우를 보자. 이를 위해 보통 여러 개의 대책실시를 하게 되는데 각 대책을 실시한 후에는 보통 1주일 내지 길어야 한 달 정도의 기간 동안 사고 관련 데이터를 수집하고 이 기간에 사고가 없다고 해서 사고를 줄이는 개선 대책이 성공적이라고 결론 내리는데 이는 통계적으로 타당한 결론이 될 수 없다. 통계적으로 타당한 결론을 내리기 위해서는 훨씬 더 긴 기간의 데이터 수집기간이 필요하다. 따라서 이러한 경우에는 PDCA 사이클을 순차적으로 돌리고 각 체크단계에서 수개월 이상의 긴 기간을 데이터 수집에 쓰면 분임활동 하나를 마치는데 상당히 긴 기간이 필요하게 될 것이다. 따라서 이러한 경우에는 PDCA 후 또다른 PDCA를 순차적으로 행하는 방식에서 탈피해서 PD 단계 후 또 다른 PD 단계를 계속 반복하고 마지막 PD 단계를 마친 후에 전체적으로 CA 의 단계를 밟아 개선 여부를 판단하는 것이 최선이라 하겠다. 물론 이 경우에는 각 대책의 효과를 따로 따로 검증할 수 없는 단점이 있지만 현실적인 시간 제약을 감안 할 때는 이 방법이 최선이라고 할 수 있다.

결과분석은 현상파악할 때 수집했던 자료의 형태대로 개선 후 다시 한 번 자료를 수집하여 개선 전과 비교해 보는 단계이기 때문에 현상파악의 단계에 있었던 문제가 그대로 반복되게 되어있다. 따라서 현상파악의 단계가 바르면 결과분석의 단계도 바르게 진행될 것이다.

효과파악은 주로 금전적인 이득 다시 말해서 유형효과를 보여주는데 중점을 두고 있다. 현장개선 문제의 주된 목표는 부적합품률 감소와 생산성 향상, 원가절감 등이다. 원가 절감을 위한 활동의 경우에는 원가를 계속 추적해 가므로 유형효과 금액을 산출하는데 문제가 없다. 부적합품률을 줄이는 활동일 경우에는 부적합품이 줄어든 만큼의 매출 증대를 효과금액으로 보고 있어 이에도 별 문제는 존재하지 않는다. 그리나 생산 시간 감소를 목표로 한 경우에는 신중함이 필요하다. 생산시간 감소를 목표로 한 활동의 경우 생산시간 감소만큼의 인건비 절감액을 효과로 보고 있는 경우가 대다수이다. 그러나 생산시간이 감소된 만큼 추가시간 근무가 줄었을 경우에는 인건비 절감액이 효과가 되는 것이 타당하지만 정규생산 시간이 감소되었다면 인건비 절감액은 전혀 없다. 그렇지만 이 시간 동안 제품이 추가로 생산될 것이고 이로 인한 매출 증대가 이루어 질것이니 이를 효과금액으로 산정해야할 것이다.

그리고 분임조 활동을 통해서 얻어지는 많은 무형효과의 파악에도 더 많은 신경을 쓸 필요가 있다.