CRPN(Customer-oriented Risk Priority Number): SNS 오피니언 마이닝을 활용한 고객 의견 기반의 RPN 평가 기법

CRPN (Customer-oriented Risk Priority Number): RPN Evaluation Method Based on Customer Opinion through SNS Opinion Mining

Article information

J Korean Soc Qual Manag. 2019;47(1):97-108
Publication date (electronic) : 2019 March 31
doi : https://doi.org/10.7469/JKSQM.2019.47.1.97
Department of Industrial Engineering, INHA University
유인혁, 강원경, 최규남, 박지윤, 이건주, 강성우
인하대학교 산업경영공학과
Corresponding Author(Kangsungwoo@inha.ac.kr)
※본 논문은 인하대학교의 지원에 의해 연구되었습니다.
※본 논문은 한국품질경영학회 2018년도 춘계 품질대회에서 대학생 경진대회 최우수로 선정된 연구를 기반으로 작성되었습니다.
Received 2019 February 7; Revised 2019 February 14; Accepted 2019 March 13.

Trans Abstract

Purpose

The purpose of this study is to propose a new Risk Priority Number(RPN) evaluation method which analyzes value of product functions by mining customer opinions in Social Network Service(SNS).

Methods

A traditional RPN is measured by three evaluation standards (Severity, Occurrence, Detection) which are analyzed by manufacturing engineers and researchers. On the other hand, these standards are analyzed by customers’ viewpoints through SNS opinion mining in this research. In order to extract customer feedbacks from textual data sets, the methodology in this paper implies natural language processing, hereby collecting product related data sets and analyzing the opinions automatically. An emotional polarity of an opinion indicates severity, while the number of negative opinion shows occurrence, and the entire number of customer opinion refers to detection.

Results

The results of this study are as follows; As a result of the CRPN evaluation, it is confirmed that the features evaluated as risky are highly likely to be improved in the next series. Therefore, CRPN is an effective risk assessment model that reflects customer feedback.

Conclusion

Reflecting customer feedback is a useful tool for risk assessment of the product as well as for developing new products and improving existing products.

1. 서 론

최근 제조기업은 시장의 세계화로 인하여 고객의 요구가 더욱 다양해지고 있다. 고객은 여러 가지 수단을 통해 기업의 의사결정에 영향을 주고 있으며, 기업 또한 고객을 적극적으로 생산 활동에 참여시키기 위해 노력하고 있다(Insight 2009a). 요구의 다양성과 함께 고객 수준 상승으로 인하여 제품의 품질은 설계 단계에서부터 고객의 의견이 반영되어야 세계적인 수준의 경쟁력을 확보할 수 있다. 제품 품질의 향상에 있어서 고객 의견의 반영은 점차 중요해지고 있음에도 불구하고, 제품 설계 단계에 있어서 품질은 여전히 제조자 관점으로 분석된다. 고장 모드 및 영향 분석(Failure Mode and Effects Analysis: FMEA)은 제품의 고장과 영향 등을 평가하는 대표적인 제조자 중심의 품질 분석 기법이다(McDermott, Mikulak, and Beauregard 1996). FMEA에서는 제품 기능의 위험도를 평가하는 상대적 척도로서 RPN(Risk Priority Number)이라는 위험도 평가 기준을 사용한다(S. Y. Kim, Kim, and Yun 2007). RPN의 평가는 일반적으로 기업 내부의 엔지니어 및 연구원 등 소수 전문가의 주관적 의견을 통해 이루어지므로 고객중심의 기능 활용도는 측정하기 어렵다(Jang et al. 2016). 본 논문에서는 기업의 고유영역으로 여겨졌던 제품의 설계과정 중 일부인 RPN에 고객 의견 활용도를 적용하는 새로운 기능 위험도 평가인 CRPN(Customer-oriented Risk Priority Number) 기준을 제안하고자 한다.

고객의 의견을 조사하는 방법으로써 가장 널리 사용되고 있는 설문조사는 고객의 심층적 사고와 감정을 파악하는데 한계가 있다. 또한 수집하는 양과 대상에 따라 시간적, 금전적으로 많은 비용이 발생하며 고객 의견의 자유도가 떨어질 수 있는 단점이 있다(Yong-Tae Park and Moon 2010). 이에 대응하여 본 연구에서는 정보전달 및 소통의 새로운 도구로 자리매김한 SNS(Social Networking Service)를 통해 고객 의견을 수집한다. SNS 오피니언 마이닝을 활용한 새로운 기능 위험도 평가 기준인 CRPN은 다양한 고객의 의견을 기존의 RPN단계에 활용하여 제품의 품질을 보완하는데 의의가 있다.

2. 이론적 배경 및 선행연구

2.1 설문조사를 활용한 고객 의견 수집

제조업, 서비스업 등 다양한 산업에서 기업은 제품에 대한 고객의 만족도 등 여러 정보를 수집하기 위한 투자를 하고 있다(Min-Shik Kang 2014; Man-Shik Kang, Song, and Kong 2015). 설문조사는 이러한 정보 수집의 채널로서 널리 활용되고 있으며, 스코어링 시스템(scoring system)을 활용하여 정량적이고 표준화된 개선안 등 설문조사의 효율성을 향상하기 위한 여러가지 연구가 진행되어왔다(Yong-Tae Park and Moon 2010; Min-Shik Kang 2014; Man-Shik Kang, Song, and Kong 2015). 하지만 일반적으로 설문조사를 통한 고객만족 측정은 시간과 비용이 많이 들고 즉각적으로 수집되지 않기 때문에 고객의견을 정확하게 측정하고 반영하기 어렵다(Man-Shik Kang, Song, and Kong 2015). 또한, 설문조사의 문항은 고객만족을 측정하기 위해 ‘매우 만족’ 에서 ‘매우 불만족’ 사이의 몇 개의 구간으로 나뉘는데, 이러한 방법은 고객 의견의 다양성을 제한하는 등 여러 단점을 가지고 있다(Yi 2000). 따라서 본 연구에서는 이러한 단점에서 벗어나 다양하고, 자유도가 높은 고객의견을 수집하기 위해 SNS를 통한 고객 의견 수집을 진행하였다.

2.2 SNS를 활용한 고객 의견 수집

2015년 발표된 한국인터넷진흥원(KISA)의 자료에 따르면 국내 인터넷 이용자수는 4190만 명 이상이며, 매년 이용률이 증가하고 있다. 높은 수준의 인터넷 이용률 중 SNS의 이용률은 43.1%로 이메일이나 클라우드 서비스와 같은 다른 미디어 서비스에 비해 매년 2배 가까운 성장세이다(Korea Internet & Security Agency 2016; Ga-Young and Woo-Jin 2017). 이러한 SNS 이용률의 증가와 함께 SNS에 쏟아지는 고객 의견은 마케팅 등 다양한 분야에서 활용되고 있다(Cho et al. 2015). SNS상의 고객 의견은 설문조사 등 기존 수집 방법에 비해 수집 비용이 저렴하고 고객이 자발적으로 제안한 의견이기에 제품 개발 등에 있어 자유도 높은 고객의견 수집이 가능하다(Eun-Jee Song 2015). 이러한 장점으로 인해 SNS를 통해 수집된 데이터를 활용한 다양한 연구가 진행되고 있다. 관련 연구로는 통계 프로그램 R을 활용하여 SNS 데이터가 실제 택배업체들의 고객 만족도를 예측하는데 활용될 수 있는지에 관한 연구가 있다. 이 연구는 택배업체와 관련된 SNS 데이터를 추출한 후, 극성 정도분석 모델로 실험을 진행하여 산출한 결과 값과 미국 고객 만족도(American Customer Satisfaction Index, ACSI), 한국 국가 고객 만족도(National Customer Satisfaction Index, NCSI)의 실제 고객만족도를 비교한 연구이다. 이 연구의 실험 결과, SNS를 통한 고객 만족도 분석 결과와 실제 고객만족도가 선형관계를 이루었으며, 따라서 SNS 데이터 분석이 택배업체들의 고객만족도를 예측하는 데 활용될 수 있음을 밝혔다(M. Kim et al. 2016). 또한 국내 제조 기업인 삼성전자는 크림슨 헥사곤(Crimson Hexagon)의 분석 플랫폼을 사용해 SNS상에서 고객에 대한 즉각적인 분석과 삼성 제품 및 경쟁 제품에 대한 상세한 보고서를 얻는다(Macaulay 2017). 예를 들어 삼성의 Galaxy S8 출시 때 SNS 분석을 통하여 빅스비(Bixby) 음성 비서가 실제 서비스되지 않았음에도 불구하고 이것이 고객 사이에서 주요 논제가 되고 있음을 확인했다. 이는 빅스비의 경제성을 예측할 뿐만 아니라 이후 개발에도 도움이 됨을 알 수 있다.

2.3 오피니언 마이닝(Opinion Mining)

오피니언 마이닝은 감성 분석(Sentiment analysis) 및 감성 분류(Sentiment classification)기법을 활용하여 문서에 나타난 사람들의 성향, 태도, 의견과 같은 주관적인 데이터를 분석하는 자연어 처리 기술이다. 웹 사이트나 SNS 등에 기재된 의견을 분석하여 유용한 정보로 재가공함으로써, 글을 분석해 작성자의 감성과 의견을 통계적 기법으로 정량화 하여 객관적 정보로 전환한다(M. Kim et al. 2016; Hong Keun Yoon 2013). 본 연구에서 오피니언 마이닝은 다음의 단계를 거치게 된다: (1) 제품의 세부 평가요소(Feature)를 설정하고, (2) SNS으로 작성되는 제품을 표현하는 단어 정보를 세부 평가요소 별로 수집하여, (3) 단어의 감성 극성을 미리 정의한 감성 사전을 활용하여 문서 내 어휘의 감성 극성을 종합하여 분류한다. 따라서 제품에 대한 고객 의견을 긍정, 부정 또는 중립 중 어떤 견해를 갖고 있는지 판별하는데 활용할 수 있다. 각 단계에서 사용된 방법에 대한 세부적인 설명은 다음과 같다.

첫째, 제품의 세부 평가요소를 설정하는 것은 중요하다. 예를 들어 핸드폰의 ‘배터리 수명, 디스플레이, 카메라 성능’은 고객이 평가하는 주요한 세부 평가요소가 되지만, ‘제조 국가, 포장 방법’ 등은 세부 평가요소로 설정할 필요가 없다.

둘째, SNS에서 세부 평가요소와 이에 해당하는 문장을 찾게 된다. 수집된 문서는 순차적으로 제품, 세부 평가요소 카테고리, 문장 순으로 보여 지게 되며, 감성 극성을 분석하기 위해 문장을 단어 수준으로 나눠준다.

셋째, 미리 구축된 감성 사전을 사용하여 문서 내 단어 정보를 긍정/부정 표현의 수 및 중요 문장을 추출 및 정량화 하여 요약형태로 제시한다.

대량의 문서 데이터에서 유의미한 정보를 효율적으로 추출하여 활용할 수 있다는 장점으로 인해 오피니언 마이닝은 기업의 마케팅전략 뿐만 아니라 여러 사회문제에 이르기 까지 다양한 분야에서 활발하게 연구 및 활용되고 있다(Seo and Hee 2017; Gyung-Mi Park, Hogun Park, HYOUNG-GON KIM 2011; Lee, Seo, and Choi 2014). 본 연구에서는 SNS 오피니언 마이닝을 통해 제품 특정 기능에 대한 고객의 감성을 정량화하고 이를 통해 새로운 고객 의견 평가방법을 제안할 것이다.

2.4 RPN (Risk Priority Number)

RPN은 제품의 품질 및 신뢰성 개선을 위해 시스템의 기능, 범위, 고장모드, 원인, 영향 등을 분석하는 FMEA에서 기능의 위험도를 상대적으로 평가하는 지표로 활용된다. 일반적으로 RPN은 심각도(S: Severity), 발생도(O: Occurrence), 탐지도(D: Detection) 수치의 곱을 통해 계산되며, 세 개의 수치는 각각 1~10등급의 단계로 구분된다. 각 수치의 값이 8 이상이거나 RPN 값이 100 이상일 경우 즉각적인 대처가 필요하다(H. G. Kim; 2007). RPN 평가 방법을 실제로 현업에 적용할 경우, 평가하고자 하는 제품이나 특성에 따라 평가 기준이 다르게 적용되어야 하며, 이러한 RPN의 변형과 관련된 여러 연구가 진행되어왔다(H. G. Kim; 2007). 관련 연구로 오형술 외 1명은 서비스 시스템의 RPN을 측정하기 위해 탐지도를 대신하여 회복력(Recoverability)이라는 평가요인을 도입한 연구를 진행하였다(R. Park, , Oh, and ; 2014). 또한 박지현 외 2명은 RPN 평가 시 리스크 자체에 대한 중요도를 고려하기 위해 α-level 알고리즘을 이용한 RSD(risk space diagram)을 제안하였다(J. Park, Park, and Ahn 2015). 하지만 이러한 기존 RPN 기법은 대부분 제품 사용 주체인 고객 보다는 제품 생산자의 의견을 통한 RPN 평가가 이루어졌다. 설계 과정에서 설계 변경이 일어나는 근본적인 이유는 조직의 각 부분이 기능별로 업무를 분담하고 기능별 순서에 따라 순차적으로 일을 수행하기 때문이다. 기능별로 업무를 분담하고 순차적으로 업무를 진행하는 것이 논리적으로 타당해 보이지만, 부문 간의 보이지 않는 의사소통 장벽 때문에 하류 단계로 내려갈수록 고객의 요구사항이 점점 더 왜곡되는 문제가 발생한다(Young-Taek Park 2014). 본 연구에서는 이러한 생산자 중심의 RPN을 보완하며 직접 제품을 사용하는 고객의 의견을 활용한 CRPN(Customer-oriented Risk Priority Number)이라는 위험도 평가 방법을 제안할 것이다. Table 1. 은 본 연구에서 새롭게 제시하는 CRPN와 기존 RPN의 차이점을 나타낸다. 기업내부에서 작성되고, 평가가 이루어지는 RPN은 회사 내부적인 특징을 가진 반면에 CRPN은 작성 및 평가의 주체가 고객이 되어 고객 중심적인 특징을 갖는다. 본 연구에서 제시하는 CRPN은 신뢰도 및 안전도를 분석하는 단계에서 RPN과 함께 이용되어 정보 왜곡을 방지하고 고객 요구의 효율적 반영을 목표로 한다.

Difference between RPN and CRPN

3. 연구설계

이번 장에서는 CRPN의 연구 방법론에 대한 실효성 검증을 위하여 실험을 설계할 것이다. 실험은 총 7단계로 구성되며, Figure 1. 은 7단계의 실험 단계를 도식화한 자료이다.

Figure 1.

Experimental process

3.1 실험 대상 선정

CRPN 평가를 위해 실험 대상 제품이 가져야할 3가지 특징을 정의하였다. Table 2. 은 실험 대상 제품이 가져야 할 특징과 그 이유를 정리한 표이다. 실험 결과의 정확성을 위해서는 고객 의견이 포함된 모든 데이터가 필요하며 대상 고객의 제한도 없어야 한다. 본 연구에서는 새롭게 제시하는 CRPN평가의 실효성 확인을 위한 전수 검사를 실시하였다. 또한 제품 제조사의 높은 개선 능력 및 의지가 필요하다. 개선 능력 및 의지가 없는 제조사라면 차기 개선품의 출시여부 혹은 개선여부를 판단할 수 없으므로 실험의 실효성 확인이 불가하다.

Characteristics and reasons for the product to be tested

3.2 제품 평가 요소 선정

제품의 개별 기능에 대해 평가하는 기존 RPN과 달리 CRPN은 고객 기준에서 평가가 가능한 제품의 평가 요소별 위험도 평가를 진행한다. 본 실험에서는 제품 제조사의 공식 매뉴얼에서 제시된 특징 중 고객이 평가가 가능한 특징을 평가 요소로 선정한다. 예를 들어 고객 평가가 가능한 노트북의 평가 요소로 ‘카메라, 마이크, LCD, 키보드, 터치패드, 배터리, 스피커’ 등이 있을 수 있다.

3.3 SNS Data 수집 및 전처리

SNS 수집 및 전처리 단계에서는 실험을 위한 SNS 데이터를 수집하고 수집된 데이터의 분석이 용이하도록 적절한 전처리를 실시한다. 트위터(Twitter)는 사용자들이 ‘트위츠(Tweets)’ 라고 불리는 최대 140자의 단문 메시지를 보내고 읽을 수 있는 무료 SNS이다. 미국의 스타벅스(Starbucks)는 트위터를 이용하여, 고객들에게 신제품에 관한 아이디어나 기존 제품에 대한 피드백을 받아 유용하게 사용하고 있다(H. Kim, Son, and Suh 2012). 또한 기업들은 트위터를 고객 데이터를 얻기 위한 효율적인 채널로 사용하기도 한다(Insight 2009b). 자사의 제품이나 서비스에 대한 고객 리뷰 데이터를 수집하는 것은 기업의 큰 활동 중 하나이다. 따라서 본 연구에서는 기업의 비용 절감과 실시간 피드백을 얻을 수 있고 이용자들 역시 제품이나 서비스에 대한 본인의 평가를 지인들에게 얘기하듯 실감나게 올릴 수 있는 트위터를 SNS 데이터로 이용한다.

3.3.1 Format 변환

트위터에서 제공하는 API를 활용해 트윗을 수집하면 json format의 데이터가 수집된다. 본 실험에서는 CRPN분석의 정확도 검증을 위해 대상 제품과 관련된 트윗을 전수검사 해야 하므로 format 변환 단계에서는 가독성을 위해 원시 데이터에서 필요한 부분만 CSV format으로 변환해준다. 이러한 변환 과정을 거치면 json format의 원시 데이터는 Figure 2. 와 같이 CSV format의 데이터로 변환된다.

Figure 2.

Format conversion example(json to csv)

3.3.2 Cleansing

3.3.1에서 얻은 트위터 데이터는 정제되지 않은 외부 데이터이므로 타당한 조건의 데이터로 정제를 하여 활용할 수 있는 데이터로 만들어야 한다. 데이터를 cleansing하는 작업은 출력물이 무엇인지 명확하게 알아야한다. 본 실험에서는 고객의 리뷰를 평가하고 이를 긍정적, 부정적, 중립적 카테고리로 분류하는 작업이다. 데이터에는 일반적으로 일상어가 포함되어 있으며, Hi, Hey, Hello 등의 인사말과 같은 불용어도 포함되어 있다. 따라서 본 실험에서는 데이터 전처리과정 중 하나인 cleansing 작업을 다음과 같이 진행하였다. 3.3.1의 과정을 통해 변환된 데이터 중 문서는 트윗의 내용 부분에 해당한다. 이러한 문서는 외부 링크(URL) 등 오피니언 마이닝의 성능을 저하시킬 수 있는 요소들이 존재한다. 분석에 필요한 데이터로 만들어 주기 위해서 외부링크(URL), 불용어를 제거하였다(J.-Y. Park, Yoo, and Kang 2017).

3.4 SNS Data 선별

수집, 정제된 SNS 중 실제로 본 실험의 대상과 연관성 있는 데이터를 선별하기 위한 작업을 실행한다. 우선 트윗의 내용 부분에 해당하는 문서 부분을 선택한다. 이 때, 원시 데이터에서 실험 대상을 검색하는 과정의 정확도를 높이기 위해서 띄어쓰기를 제거하고 대문자를 소문자로 변환하는 과정을 거친다. 예를 들어, ‘Galaxy S2’, ‘galaxy s2’ 등 은 ‘galaxys2’로 동일하게 변환된다. 첫번째 선별 작업으로 문서 내부에 실험 대상의 언급 여부를 확인한다. 두번째 선별 작업에서는 평가 요소와 관련된 내용이 언급되었는지 여부를 판단하고 관련 내용을 포함한 데이터만을 최종 데이터로써 선별한다. 선별된 최종 데이터는 검색을 용이하기 하기위해 거쳤던 변환의 과정들을 VADER를 통한 감성분류를 위해 cleansing만을 거친 데이터로 다시 변환시킨다. VADER 감성 사전은 영어의 연속된 대문자를 강조의 의미로 해석하고 가중치를 부여하므로 원래의 문서 데이터로 변환해야 한다. 예를 들어, 알파벳의 반복(goooood)이나 느낌표와 같은 문장부호는 모두 실험 대상에 대한 고객의 감성을 반영하는 것으로써 본 연구에서는 VADER를 활용하여 정량화 하였다.

3.5 S, O, D 평가

본 연구에서 제시하는 CRPN은 기존의 RPN 평가 기법과 마찬가지로 위험도 평가를 위한 지표로써 S(Severity), O(Occurence), D(Detection)를 활용한다. S, O, D는 각각의 평가요소에 따라 scoring이 이루어지며, 평가된 점수에 따라 요소별 등급 구간이 결정된다. 요소별 등급 구간은 1부터 10까지 총 10단계로 구분되며, scoring에 필요한 평가 요소는 Table 3. 과 같다. 본 실험에서 S지표의 점수는 1부터 -1까지 존재하며, 1에 가까울수록 긍정적 감성이고, -1에 가까울수록 부정적 감성을 갖는다는 것을 의미한다.

Scoring factor for SOD evaluation

특히 S(Severity) 점수 평가에 사용되는 오피니언 마이닝은 VADER라는 감성 사전을 활용한 감성 분석을 통해 얻어진 감성 계수를 활용하였다. VADER 감성 사전은 트윗에서 일반적으로 사용되는 이모티콘, 약어, 속어 등에 대해서도 별도의 감성 점수를 사용하므로 트윗의 감성 분석에 용이하다(J.-Y. Park, Yoo, and Kang 2017; Gilbert 2014).

3.6 CRPN 평가 및 특이사항 확인

기존 RPN 기법과 마찬가지로 CRPN은 S x O x D의 값으로 평가된다. 본 실험에서는 산업현장에서 통상적으로 S, O, D 각 수치의 값이 8 이상이거나 RPN 값이 100 이상일 경우 즉각적인 대처가 필요하다는 점을 근거로 4가지 특이사항을 규정하였다(H. G. Kim; 2007). 특이사항(Risk situation)의 판정 기준은 Table 4. 와 같다.

Criteria for risk situation

3.7 실효성 검증

본 연구에서는 높은 개선 의지와 능력을 가진 제조사의 제품에서 개선이 이루어졌을 경우 개선이 이루어진 요소가 문제를 가지고 있었을 가능성이 높다고 가정한다. 따라서 본 단계에서는 본 실험에서 평가 한 요소의 위험도와 실제 제품의 개선 여부의 비교를 통해 CRPN의 실효성에 대해 검증한다. 평가요소 및 CRPN에 대한 세분화된 검증을 위해 특이사항과 개선 여부의 일치도를 평가하며, 평가 결과를 통해 어떠한 특이사항이 개선 여부와 높은 상관관계를 보이는 지 분석한다. 제품 설계 과정에는 제품의 성능을 중점으로 품질수준, 신뢰성 및 원가 사이의 관계를 고려하여 기술규격을 결정하는 기능설계가 있다. 기존의 RPN은 제조 관점에서 제품의 안전 및 신뢰성에 대한 개선이 이루어진 반면에 CRPN은 RPN분석 시 고객 관점의 품질인 ‘용도 적합성’을 반영한다. 따라서 개선이 발생한 제품의 요소와 CRPN평가요소 중 특이사항으로 판별된 요소가 높은 상관관계를 보인다면 SNS 오피니언 마이닝을 이용한 CRPN이 고객 관점의 품질인 ‘용도적합성’ 측면에서 유효하다고 판단한다.

4. 연구 실험

4.1 실험 대상 선정

정확한 CRPN 평가를 위해 본 실험에서 정의한 3가지 특징을 모두 만족하며, 국내 기업 중 점유율이 높은 삼성전자 GalaxyS 시리즈의 GalaxyS2 제품을 실험 대상으로 선정하였다. 본 연구에서는 고객의 의견이 반영된 GalaxyS2의 CRPN 평가를 결과로서 위험도가 높은 평가 요소를 확인한다. 삼성전자의 GalaxyS는 시리즈 형식으로 출시되므로 CRPN 평가결과 위험도가 높은 요소들이 차기 시리즈에서 실제로 개선되었는지, 위험도에 따라 개선정도는 어느 정도인지 파악하기 용이하다. 또한 미국 애플사의 ‘iphone’의 경우는 트위터에 언급된 데이터가 전수 검사가 어려울 정도로 많은 개수가 존재하여 본 연구의 실효성 확인이 어렵다고 판단되었다. 따라서 RPN단계에서 오피니언 마이닝을 활용한 CRPN 평가의 전수 검사를 통한 실효성 확인을 위해 GalaxyS2를 실험 대상 제품으로 선정하였다.

4.2 제품 평가 요소 선정

북미 버전 Galaxy S2 공식 매뉴얼에 제시된 특징 중 고객 평가 가능여부를 고려하여 총 11개의 평가 요소(GPS, 블루투스, WI-FI, 스피커, 디스플레이, 버튼, 카메라, 메모리, 배터리, 무게, OS)를 평가 대상으로 선정하였다. 11개의 평가 요소는 차기 Galaxy S 시리즈 제품에 모두 존재하여 개선여부 파악이 가능하다.

4.3 SNS Data 수집 및 전처리

본 실험에서는 사전에 2011년 3월부터 2012년 8월까지 북미지역의 트윗을 무작위로(1,237,454,287 Tweets) 수집하였으며 약 243GB의 json format 원시 데이터를 format 변환과 cleansing을 포함한 전처리 과정을 수행한 결과 약 65GB의 CSV format SNS 데이터가 추출되었다.

4.4 SNS Data 선별 및 전수검사

전체 1,237,454,287 개의 트윗 중 galaxys2를 포함하는 트윗은 192개다. 본 실험에서는 새롭게 제시하는 CRPN 분석의실효성 확인과 대량의 SNS데이터를 분석할 수 있는 VADER 기반의 자연어 처리 감성 분석의 활용 가능성 확인을 위해 192개 트윗에 대한 전수검사를 실시하였다. 전수검사 결과 4.2에서 선정한 11개의 평가 요소 중 6개 요소(GPS, 디스플레이, 배터리, OS, Wi-Fi, 버튼)에 대한 57개 트윗이 선별되었다.

4.5 S, O, D 평가

최종 선별된 6개 평가 요소의 57개 트윗에 대한 S, O, D 평가 결과는 Figure 3. 과 같다. 등급 구간은 ‘│Max(Score) – Min(Score)│/10’으로 설정하였다. Wi-Fi는 오피니언 마이닝의 결과로 심각도(S)에서 0.4점을 얻었으며, Score범위 중 1등급에 포함되어 S, O, D 평과 결과 심각도(S)에서 1등급으로 평가되었다. 선으로 표현된 부분은 Wi-Fi의 심각도를 평가하는 흐름이다.

Figure 3.

S, O, D evaluation value

4.6 CRPN 평가 및 특이사항 확인

Table 5. 는 4.5에서 평가한 S, O, D를 통해 계산된 CRPN 값과 특이사항이다.

CRPN value and Risk situations

CRPN은 배터리, 카메라, 디스플레이, 버튼, OS, Wi-Fi 순으로 높았으며, 배터리는 4가지 특이사항에 모두 해당되며 위험도가 가장 높은 요소로 평가되었다.

4.7 실효성 검증

실효성 검증을 위한 개선여부는 크게 하드웨어와 소프트웨어 두 측면으로 분할 가능하다. 비교적 개선이 빠르게 적용될 수 있는 소프트웨어는 해당 세대에서, 그렇지 않은 하드웨어는 이후 2세대 이내에서 개선이 이루어질 경우 개선으로 평가하였다. Table 6. 는 4.6의 결과와 실제 제품 개선여부를 함께 표현한 자료이다. 분석 결과 모든 평가요소에서 특이사항이 한가지 이상 발생하였으며, 특이사항이 한가지 이상 발생한 모든 요소들(배터리, 카메라, 디스플레이, 버튼, OS, WI-FI) 중 75%(배터리, 카메라, 디스플레이, OS)에서 실제 개선이 발생하였다. 특이사항이 두가지 이상 발생한 요소(배터리, 카메라, 디스플레이, 버튼)의 경우 75%(배터리, 카메라, 디스플레이)가 실제 개선이 발생하였으며, 특이사항이 세가지 이상 발생한 요소(배터리, 카메라)의 경우 100% 실제 개선이 발생하였다. 또한, 특이사항 순서별로 각각 5개, 3개, 4개, 3개의 평가 요소가 개선여부와 일치했다.

Risk situation and Improvement

5. 결 론

제조 산업에 있어서 제품의 품질은 기업 이윤과 직접적으로 연관되는 요소이다. 제품의 품질은 고객 관점의 ‘용도 적합성’과 제조자 관점의 ‘요구사항에 부합하는 정도’로 정의된다. 따라서 제품의 설계 단계에 있어서 품질은 제조자 관점으로 해석되어 왔다. 그러나 고객 수준의 상승과 더불어 요구의 다양성으로 인하여 제품의 품질은 설계 단계에서부터 고객의 의견이 반영되어야 한다. 현대의 고객 지식 수준과 배경은 과거에 비해 향상되었고, 이에 기업들이 고려하지 못했던 새로운 기능을 발견하거나 오류를 찾아내고 보완을 하기도 한다. 본 연구에서는 제품 설계 초기에 기업 내부의 주관적 의견을 품질에 반영하는 RPN 평가 대신에 다양한 고객의 의견을 반영할 수 있도록 SNS분석 기반의 CRPN을 제시하였다. SNS 데이터를 수집, 가공, 분석하여 각 평가 요소별 S, O, D, CRPN을 분석하였으며 각 요소별 특이사항을 도출하였다. 평가 요소들의 특이사항과 제품 실제 개선여부를 비교 활용한 실효성 검증 결과, 요소의 특이사항이 많을수록 실제 제품 개선이 나타나는 비율 역시 증가하는 양상을 보였다. 특히, 특이사항 자체와 개선여부를 비교한 결과 CRPN 값이 높다고 평가된 특이사항 1의 경우 개선여부와 100%의 일치도를 보였다.

CRPN 평가는 기존 RPN 평가에 비해 고객 의견을 반영할 수 있다는 장점이 있지만, 아직 여러가지 제한사항들이 존재한다. 먼저, CRPN의 탐지도(D)의 경우 평가 요소 관련 SNS 데이터 수에 따라 점수 및 등급이 결정되므로 ‘평가요소에 문제가 있으나 고객 인지가 어려운 경우(원래 탐지도의 의미)’와 ‘평가 요소에 문제가 없어서 고객 인지가 불가한 경우(정상적인 경우)’ 모두에서 D의 등급이 높아지는 모호성이 발생한다. 또한, 기존 RPN 평가보다 큰 단위의 기능활용도에 집중하기 때문에 세분화된 기능 평가가 어렵다는 점 또한 CRPN의 한계점이 될 수 있다. 뿐만 아니라 CRPN의 경우 SNS를 활용하기 때문에 SNS와 관련하여 이미 존재하는 많은 문제점(정보의 신뢰성 등)들을 함께 가질 수 있다. 따라서 이러한 한계점 및 문제의 해결을 위해 RPN 이외의 다른 기능 위험도 평가 기법과의 연계, 기법에 대한 추가 연구, social filtering 등 SNS 사용으로 인해 발생하는 문제 해결을 위한 추가 연구가 필요할 것이다.

References

Cho Wan-Sup, Cho Ah, Kwon Kaaen, Yoo Kwan-Hee. 2015;Implementation of Smart Chungbuk Tourism Based on SNS Data Analysis. Journal of the Korean Data And Information Science Sociaty 26(2):409–18.
Eun-Jee Song. 2015;The Sensitivity Analysis for Customer Feedback on Social Media. Journal of the Korea Institute of Information and Communication Engineering 19(4):780–86.
Ga-Young Kim, Woo-Jin Lee. 2017;A Study on the Influence of Social Media (SNS) Content Type of Corporate Marketing to User Purchase Intention: Focusing on the Mediating Effect of Satisfaction and the Moderating Effect of Individual Characteristics. Asia-Pacific Journal of Business Venturing and Entrepreneurship 12(3):75–86.
Gilbert CJ, Eric Hutto. 2014. Vader: A Parsimonious Rule-Based Model for Sentiment Analysis of Social Media Text. In Eighth International Conference on Weblogs and Social Media (ICWSM-14). Available at (20/04/16). http://Comp.Social.Gatech.Edu/Papers/Icwsm14.Vader.Hutto.Pdf.
Gyung-Mi Park, Park Hogun, KIM HYOUNG-GON, Ko Heedong. 2011;Opinion Mining Research at SNS. Communications of the Korean Institute of Information Scientists and Engineers 29(11):54–60.
Kim HG, Yun WY, Kim SY. 2007;Reestablishment of RPN Evaluation Method in FMEA Procedure for Motors in Household Appliances. Journal of Korea Society for Quality Management 35(1):1–9.
Hong Keun Yoon. 2013;Research on the Application Methods of Big Data within the Cultural Industry. THE JOURNAL OF GLOBAL CULTURAL CONTENTS 10:157–80.
Insight LB. 2009a;Consumer Research Methods for Securing Customer Insight. LGERI Report 25:2–19.
Jang Hyeon, Lee Min Koo, Hong Sung Hoon, Kwon Hyuck Moo. 2016;Risk Evaluation Based on the Hierarchical Time Delay Model in FMEA. Journal of the Korean Society for Quality Management 44(2):373–88.
Kang Man-Shik, Song Eun-Jee, Kong Hyo-Soon. 2015;A Study on the Survey System for Customer Satisfaction Feedback in the Service Industry. Journal of the Korea Institute of Information and Communication Engineering 19(10):2389–95.
Kang Min-Shik. 2014;A Study on the Analysis System of Customer Satisfaction Survey. Journal of the Korea Institute of Information and Communication Engineering 18(4):899–905.
Kim Hongki, Son Jai-Yeal, Suh Kil-Soo. 2012;Following Firms on Twitter : Determinants of Continuance and Word-of-Mouth Intentions. Asia Pacific Journal of Information Systems 1(1):10.
Kim MiRye, Lee DongJun, Won JongUn, Kwon YongJang. 2016;A Study on Customer Satisfaction for Courier Companies Based on SNS Big Data. The Journal of Society for E-Business Studies 21(4):55–67.
Kim SY, Kim HG, Yun WY. 2007;Reestablishment of RPN Evaluation Method in FMEA Procedure for Motors in Household Appliances. Journal of the Korean Society for Quality Management 35(1):1–9.
Korea Internet & Security Agency. 2016. 2015 Internet Usage Report Korea Internet & Security Agency.
Lee Yoon-ju, Seo Ji-hoon, Choi Jin-tak. 2014;Fashion Trend Marketing Prediction Analysis Based on Opinion Mining Applying SNS Text Contents. Journal of Korean Institute of Information Technology 12(12):163–70.
LGERI. 2009;Twitter, Will It Be a Communication Channel with Companies? LGERI Report :40–46.
Macaulay Tom. 2017. How Samsung Uses SNS Analysis in Customer Analysis and Marketing Strategies. ITWORLD 2017. http://www.itworld.co.kr/tags/1141/SNS/106875.
McDermott Robin, Mikulak Raymond J, Beauregard Michael. 1996. The Basics of FMEA SteinerBooks.
Park Jihyun, Park Changsoon, Ahn Suneung. 2015;Risk Assessment Model of Aviation Safety Management Using Fuzzy-FMEA. Society of Korea Industrial and Systems Engineering :38–42.
Park Ji-Yun, Yoo In-Hyeok, Kang Sung-Woo. 2017;A Study of Correlation Analysis between Increase/Decrease Rate of Tweets Before and After Opening and a Box Office Gross. Journal of Korea Safety Management & Science 19(4):169–82.
Park Rok Gook, Hyng Sool Oh. 2014;A Systematic Approach for Evaluating FMEA of a Service System under Considering the Dependences of Failure Modes. Asia-Pacific Journal of Business Venturing and Entrepreneurship 9(1):177–86.
Park Yong-Tae, Moon Yong-Eun. 2010;An Empirical Study on the Relationship between Experience and Customer Loyalty in B2C Shopping Mall From An IS Success and Customer Satisfaction Perspective. Korea Internet E-Commerce Association 10(2):101–28.
Park Young-Taek. 2014. Quality Management Korean Standards Association Media.
Seo Min Song, Hee Yoo Hwan. 2017;Citizen Sentiment Analysis of the Social Disaster by Using Opinion Mining. Journal of Korean Society for Geospatial Information System 25(1):37–46.
Yi Youjae. 2000;A Comprehensive Study on Customer Satisfaction Research. Journal of Consumer Studies 11(2):139–66.

Article information Continued

Figure 1.

Experimental process

Figure 2.

Format conversion example(json to csv)

Figure 3.

S, O, D evaluation value

Table 1.

Difference between RPN and CRPN

RPN CRPN
Writer Product design person, Process design person Customer
Evaluation Subject Product producers, Companies Customer
Data Corporate Internal product data (Process data) Real-time SNS data (e.g.: Twitter)
Characteristic Internal, Corporate limited Open, Customer-centric

Table 2.

Characteristics and reasons for the product to be tested

Characteristic Reason
Ability to inspect all relevant data of product Since it is the theory of the proposed step, it is necessary to inspect the data thoroughly to improve the accuracy of the experimental results
All available in SNS data collection areas The local characteristics of the customer population should be considered
Existence of next generation product Ensuring the validity of the subsequent test effectiveness by comparing current products and next generation product

Table 3.

Scoring factor for SOD evaluation

Indicators Score rating factors
S (Severity) Emotion factor through Opinion mining (Polarity)
O (Occurrence) Number of SNS with negative(−) emotion
D (Detection) Evaluation feature related SNS number

Table 4.

Criteria for risk situation

Risk situation Criteria
Risk situnation1 CRPN >= 100
Risk situnation2 S >= 8
Risk situnation3 O >= 8
Risk situnation4 D >= 8

Table 5.

CRPN value and Risk situations

Feature CRPN Rank Classification Risk situation1 Risk situation2 Risk situation3 Risk situation4
Battery 648 1 Hardware O O O O
Camera 500 2 Hardware O O X O
Display 144 3 Software/Hardware O X X O
Button 80 4 Hardware X O X O
OS 60 5 Software X X O X
Wi-Fi 10 6 Software X X X O

Table 6.

Risk situation and Improvement

Feature Risk Situation1 Risk Situation2 Risk Situation3 Risk Situation4 Improvement Improved product Improved contents
Battery O O O O O S3, S4 1650mAh→2100mAh→2600mAh
Camera O O X O O S4 8M(S2)→13M(S4) pixels
Display O X X O O S2/ S3 Firmware update/Increase display size, HD super AMOLED
Button X O X O X X X
OS X X O X O S2 OS update
Wi-Fi X X X O X X X