2.1 설문조사를 활용한 고객 의견 수집

제조업, 서비스업 등 다양한 산업에서 기업은 제품에 대한 고객의 만족도 등 여러 정보를 수집하기 위한 투자를 하고 있다(Min-Shik Kang 2014; Man-Shik Kang, Song, and Kong 2015). 설문조사는 이러한 정보 수집의 채널로서 널리 활용되고 있으며, 스코어링 시스템(scoring system)을 활용하여 정량적이고 표준화된 개선안 등 설문조사의 효율성을 향상하기 위한 여러가지 연구가 진행되어왔다(Yong-Tae Park and Moon 2010; Min-Shik Kang 2014; Man-Shik Kang, Song, and Kong 2015). 하지만 일반적으로 설문조사를 통한 고객만족 측정은 시간과 비용이 많이 들고 즉각적으로 수집되지 않기 때문에 고객의견을 정확하게 측정하고 반영하기 어렵다(Man-Shik Kang, Song, and Kong 2015). 또한, 설문조사의 문항은 고객만족을 측정하기 위해 ‘매우 만족’ 에서 ‘매우 불만족’ 사이의 몇 개의 구간으로 나뉘는데, 이러한 방법은 고객 의견의 다양성을 제한하는 등 여러 단점을 가지고 있다(Yi 2000). 따라서 본 연구에서는 이러한 단점에서 벗어나 다양하고, 자유도가 높은 고객의견을 수집하기 위해 SNS를 통한 고객 의견 수집을 진행하였다.

2.2 SNS를 활용한 고객 의견 수집

2015년 발표된 한국인터넷진흥원(KISA)의 자료에 따르면 국내 인터넷 이용자수는 4190만 명 이상이며, 매년 이용률이 증가하고 있다. 높은 수준의 인터넷 이용률 중 SNS의 이용률은 43.1%로 이메일이나 클라우드 서비스와 같은 다른 미디어 서비스에 비해 매년 2배 가까운 성장세이다(Korea Internet & Security Agency 2016; Ga-Young and Woo-Jin 2017). 이러한 SNS 이용률의 증가와 함께 SNS에 쏟아지는 고객 의견은 마케팅 등 다양한 분야에서 활용되고 있다(Cho et al. 2015). SNS상의 고객 의견은 설문조사 등 기존 수집 방법에 비해 수집 비용이 저렴하고 고객이 자발적으로 제안한 의견이기에 제품 개발 등에 있어 자유도 높은 고객의견 수집이 가능하다(Eun-Jee Song 2015). 이러한 장점으로 인해 SNS를 통해 수집된 데이터를 활용한 다양한 연구가 진행되고 있다. 관련 연구로는 통계 프로그램 R을 활용하여 SNS 데이터가 실제 택배업체들의 고객 만족도를 예측하는데 활용될 수 있는지에 관한 연구가 있다. 이 연구는 택배업체와 관련된 SNS 데이터를 추출한 후, 극성 정도분석 모델로 실험을 진행하여 산출한 결과 값과 미국 고객 만족도(American Customer Satisfaction Index, ACSI), 한국 국가 고객 만족도(National Customer Satisfaction Index, NCSI)의 실제 고객만족도를 비교한 연구이다. 이 연구의 실험 결과, SNS를 통한 고객 만족도 분석 결과와 실제 고객만족도가 선형관계를 이루었으며, 따라서 SNS 데이터 분석이 택배업체들의 고객만족도를 예측하는 데 활용될 수 있음을 밝혔다(M. Kim et al. 2016). 또한 국내 제조 기업인 삼성전자는 크림슨 헥사곤(Crimson Hexagon)의 분석 플랫폼을 사용해 SNS상에서 고객에 대한 즉각적인 분석과 삼성 제품 및 경쟁 제품에 대한 상세한 보고서를 얻는다(Macaulay 2017). 예를 들어 삼성의 Galaxy S8 출시 때 SNS 분석을 통하여 빅스비(Bixby) 음성 비서가 실제 서비스되지 않았음에도 불구하고 이것이 고객 사이에서 주요 논제가 되고 있음을 확인했다. 이는 빅스비의 경제성을 예측할 뿐만 아니라 이후 개발에도 도움이 됨을 알 수 있다.

2.3 오피니언 마이닝(Opinion Mining)

오피니언 마이닝은 감성 분석(Sentiment analysis) 및 감성 분류(Sentiment classification)기법을 활용하여 문서에 나타난 사람들의 성향, 태도, 의견과 같은 주관적인 데이터를 분석하는 자연어 처리 기술이다. 웹 사이트나 SNS 등에 기재된 의견을 분석하여 유용한 정보로 재가공함으로써, 글을 분석해 작성자의 감성과 의견을 통계적 기법으로 정량화 하여 객관적 정보로 전환한다(M. Kim et al. 2016; Hong Keun Yoon 2013). 본 연구에서 오피니언 마이닝은 다음의 단계를 거치게 된다: (1) 제품의 세부 평가요소(Feature)를 설정하고, (2) SNS으로 작성되는 제품을 표현하는 단어 정보를 세부 평가요소 별로 수집하여, (3) 단어의 감성 극성을 미리 정의한 감성 사전을 활용하여 문서 내 어휘의 감성 극성을 종합하여 분류한다. 따라서 제품에 대한 고객 의견을 긍정, 부정 또는 중립 중 어떤 견해를 갖고 있는지 판별하는데 활용할 수 있다. 각 단계에서 사용된 방법에 대한 세부적인 설명은 다음과 같다.

첫째, 제품의 세부 평가요소를 설정하는 것은 중요하다. 예를 들어 핸드폰의 ‘배터리 수명, 디스플레이, 카메라 성능’은 고객이 평가하는 주요한 세부 평가요소가 되지만, ‘제조 국가, 포장 방법’ 등은 세부 평가요소로 설정할 필요가 없다.

둘째, SNS에서 세부 평가요소와 이에 해당하는 문장을 찾게 된다. 수집된 문서는 순차적으로 제품, 세부 평가요소 카테고리, 문장 순으로 보여 지게 되며, 감성 극성을 분석하기 위해 문장을 단어 수준으로 나눠준다.

셋째, 미리 구축된 감성 사전을 사용하여 문서 내 단어 정보를 긍정/부정 표현의 수 및 중요 문장을 추출 및 정량화 하여 요약형태로 제시한다.

대량의 문서 데이터에서 유의미한 정보를 효율적으로 추출하여 활용할 수 있다는 장점으로 인해 오피니언 마이닝은 기업의 마케팅전략 뿐만 아니라 여러 사회문제에 이르기 까지 다양한 분야에서 활발하게 연구 및 활용되고 있다(Seo and Hee 2017; Gyung-Mi Park, Hogun Park, HYOUNG-GON KIM 2011; Lee, Seo, and Choi 2014). 본 연구에서는 SNS 오피니언 마이닝을 통해 제품 특정 기능에 대한 고객의 감성을 정량화하고 이를 통해 새로운 고객 의견 평가방법을 제안할 것이다.

2.4 RPN (Risk Priority Number)

RPN은 제품의 품질 및 신뢰성 개선을 위해 시스템의 기능, 범위, 고장모드, 원인, 영향 등을 분석하는 FMEA에서 기능의 위험도를 상대적으로 평가하는 지표로 활용된다. 일반적으로 RPN은 심각도(S: Severity), 발생도(O: Occurrence), 탐지도(D: Detection) 수치의 곱을 통해 계산되며, 세 개의 수치는 각각 1~10등급의 단계로 구분된다. 각 수치의 값이 8 이상이거나 RPN 값이 100 이상일 경우 즉각적인 대처가 필요하다(H. G. Kim; 2007). RPN 평가 방법을 실제로 현업에 적용할 경우, 평가하고자 하는 제품이나 특성에 따라 평가 기준이 다르게 적용되어야 하며, 이러한 RPN의 변형과 관련된 여러 연구가 진행되어왔다(H. G. Kim; 2007). 관련 연구로 오형술 외 1명은 서비스 시스템의 RPN을 측정하기 위해 탐지도를 대신하여 회복력(Recoverability)이라는 평가요인을 도입한 연구를 진행하였다(R. Park, , Oh, and ; 2014). 또한 박지현 외 2명은 RPN 평가 시 리스크 자체에 대한 중요도를 고려하기 위해 α-level 알고리즘을 이용한 RSD(risk space diagram)을 제안하였다(J. Park, Park, and Ahn 2015). 하지만 이러한 기존 RPN 기법은 대부분 제품 사용 주체인 고객 보다는 제품 생산자의 의견을 통한 RPN 평가가 이루어졌다. 설계 과정에서 설계 변경이 일어나는 근본적인 이유는 조직의 각 부분이 기능별로 업무를 분담하고 기능별 순서에 따라 순차적으로 일을 수행하기 때문이다. 기능별로 업무를 분담하고 순차적으로 업무를 진행하는 것이 논리적으로 타당해 보이지만, 부문 간의 보이지 않는 의사소통 장벽 때문에 하류 단계로 내려갈수록 고객의 요구사항이 점점 더 왜곡되는 문제가 발생한다(Young-Taek Park 2014). 본 연구에서는 이러한 생산자 중심의 RPN을 보완하며 직접 제품을 사용하는 고객의 의견을 활용한 CRPN(Customer-oriented Risk Priority Number)이라는 위험도 평가 방법을 제안할 것이다. Table 1. 은 본 연구에서 새롭게 제시하는 CRPN와 기존 RPN의 차이점을 나타낸다. 기업내부에서 작성되고, 평가가 이루어지는 RPN은 회사 내부적인 특징을 가진 반면에 CRPN은 작성 및 평가의 주체가 고객이 되어 고객 중심적인 특징을 갖는다. 본 연구에서 제시하는 CRPN은 신뢰도 및 안전도를 분석하는 단계에서 RPN과 함께 이용되어 정보 왜곡을 방지하고 고객 요구의 효율적 반영을 목표로 한다.

Table 1.

Difference between RPN and CRPN

3.1 실험 대상 선정

CRPN 평가를 위해 실험 대상 제품이 가져야할 3가지 특징을 정의하였다. Table 2. 은 실험 대상 제품이 가져야 할 특징과 그 이유를 정리한 표이다. 실험 결과의 정확성을 위해서는 고객 의견이 포함된 모든 데이터가 필요하며 대상 고객의 제한도 없어야 한다. 본 연구에서는 새롭게 제시하는 CRPN평가의 실효성 확인을 위한 전수 검사를 실시하였다. 또한 제품 제조사의 높은 개선 능력 및 의지가 필요하다. 개선 능력 및 의지가 없는 제조사라면 차기 개선품의 출시여부 혹은 개선여부를 판단할 수 없으므로 실험의 실효성 확인이 불가하다.

Table 2.

Characteristics and reasons for the product to be tested

3.2 제품 평가 요소 선정

제품의 개별 기능에 대해 평가하는 기존 RPN과 달리 CRPN은 고객 기준에서 평가가 가능한 제품의 평가 요소별 위험도 평가를 진행한다. 본 실험에서는 제품 제조사의 공식 매뉴얼에서 제시된 특징 중 고객이 평가가 가능한 특징을 평가 요소로 선정한다. 예를 들어 고객 평가가 가능한 노트북의 평가 요소로 ‘카메라, 마이크, LCD, 키보드, 터치패드, 배터리, 스피커’ 등이 있을 수 있다.

3.3 SNS Data 수집 및 전처리

SNS 수집 및 전처리 단계에서는 실험을 위한 SNS 데이터를 수집하고 수집된 데이터의 분석이 용이하도록 적절한 전처리를 실시한다. 트위터(Twitter)는 사용자들이 ‘트위츠(Tweets)’ 라고 불리는 최대 140자의 단문 메시지를 보내고 읽을 수 있는 무료 SNS이다. 미국의 스타벅스(Starbucks)는 트위터를 이용하여, 고객들에게 신제품에 관한 아이디어나 기존 제품에 대한 피드백을 받아 유용하게 사용하고 있다(H. Kim, Son, and Suh 2012). 또한 기업들은 트위터를 고객 데이터를 얻기 위한 효율적인 채널로 사용하기도 한다(Insight 2009b). 자사의 제품이나 서비스에 대한 고객 리뷰 데이터를 수집하는 것은 기업의 큰 활동 중 하나이다. 따라서 본 연구에서는 기업의 비용 절감과 실시간 피드백을 얻을 수 있고 이용자들 역시 제품이나 서비스에 대한 본인의 평가를 지인들에게 얘기하듯 실감나게 올릴 수 있는 트위터를 SNS 데이터로 이용한다.

3.3.1 Format 변환

트위터에서 제공하는 API를 활용해 트윗을 수집하면 json format의 데이터가 수집된다. 본 실험에서는 CRPN분석의 정확도 검증을 위해 대상 제품과 관련된 트윗을 전수검사 해야 하므로 format 변환 단계에서는 가독성을 위해 원시 데이터에서 필요한 부분만 CSV format으로 변환해준다. 이러한 변환 과정을 거치면 json format의 원시 데이터는 Figure 2. 와 같이 CSV format의 데이터로 변환된다.

Figure 2.

Format conversion example(json to csv)

3.4 SNS Data 선별

수집, 정제된 SNS 중 실제로 본 실험의 대상과 연관성 있는 데이터를 선별하기 위한 작업을 실행한다. 우선 트윗의 내용 부분에 해당하는 문서 부분을 선택한다. 이 때, 원시 데이터에서 실험 대상을 검색하는 과정의 정확도를 높이기 위해서 띄어쓰기를 제거하고 대문자를 소문자로 변환하는 과정을 거친다. 예를 들어, ‘Galaxy S2’, ‘galaxy s2’ 등 은 ‘galaxys2’로 동일하게 변환된다. 첫번째 선별 작업으로 문서 내부에 실험 대상의 언급 여부를 확인한다. 두번째 선별 작업에서는 평가 요소와 관련된 내용이 언급되었는지 여부를 판단하고 관련 내용을 포함한 데이터만을 최종 데이터로써 선별한다. 선별된 최종 데이터는 검색을 용이하기 하기위해 거쳤던 변환의 과정들을 VADER를 통한 감성분류를 위해 cleansing만을 거친 데이터로 다시 변환시킨다. VADER 감성 사전은 영어의 연속된 대문자를 강조의 의미로 해석하고 가중치를 부여하므로 원래의 문서 데이터로 변환해야 한다. 예를 들어, 알파벳의 반복(goooood)이나 느낌표와 같은 문장부호는 모두 실험 대상에 대한 고객의 감성을 반영하는 것으로써 본 연구에서는 VADER를 활용하여 정량화 하였다.

3.5 S, O, D 평가

본 연구에서 제시하는 CRPN은 기존의 RPN 평가 기법과 마찬가지로 위험도 평가를 위한 지표로써 S(Severity), O(Occurence), D(Detection)를 활용한다. S, O, D는 각각의 평가요소에 따라 scoring이 이루어지며, 평가된 점수에 따라 요소별 등급 구간이 결정된다. 요소별 등급 구간은 1부터 10까지 총 10단계로 구분되며, scoring에 필요한 평가 요소는 Table 3. 과 같다. 본 실험에서 S지표의 점수는 1부터 -1까지 존재하며, 1에 가까울수록 긍정적 감성이고, -1에 가까울수록 부정적 감성을 갖는다는 것을 의미한다.

Table 3.

Scoring factor for SOD evaluation

특히 S(Severity) 점수 평가에 사용되는 오피니언 마이닝은 VADER라는 감성 사전을 활용한 감성 분석을 통해 얻어진 감성 계수를 활용하였다. VADER 감성 사전은 트윗에서 일반적으로 사용되는 이모티콘, 약어, 속어 등에 대해서도 별도의 감성 점수를 사용하므로 트윗의 감성 분석에 용이하다(J.-Y. Park, Yoo, and Kang 2017; Gilbert 2014).

3.6 CRPN 평가 및 특이사항 확인

기존 RPN 기법과 마찬가지로 CRPN은 S x O x D의 값으로 평가된다. 본 실험에서는 산업현장에서 통상적으로 S, O, D 각 수치의 값이 8 이상이거나 RPN 값이 100 이상일 경우 즉각적인 대처가 필요하다는 점을 근거로 4가지 특이사항을 규정하였다(H. G. Kim; 2007). 특이사항(Risk situation)의 판정 기준은 Table 4. 와 같다.

Table 4.

Criteria for risk situation

3.7 실효성 검증

본 연구에서는 높은 개선 의지와 능력을 가진 제조사의 제품에서 개선이 이루어졌을 경우 개선이 이루어진 요소가 문제를 가지고 있었을 가능성이 높다고 가정한다. 따라서 본 단계에서는 본 실험에서 평가 한 요소의 위험도와 실제 제품의 개선 여부의 비교를 통해 CRPN의 실효성에 대해 검증한다. 평가요소 및 CRPN에 대한 세분화된 검증을 위해 특이사항과 개선 여부의 일치도를 평가하며, 평가 결과를 통해 어떠한 특이사항이 개선 여부와 높은 상관관계를 보이는 지 분석한다. 제품 설계 과정에는 제품의 성능을 중점으로 품질수준, 신뢰성 및 원가 사이의 관계를 고려하여 기술규격을 결정하는 기능설계가 있다. 기존의 RPN은 제조 관점에서 제품의 안전 및 신뢰성에 대한 개선이 이루어진 반면에 CRPN은 RPN분석 시 고객 관점의 품질인 ‘용도 적합성’을 반영한다. 따라서 개선이 발생한 제품의 요소와 CRPN평가요소 중 특이사항으로 판별된 요소가 높은 상관관계를 보인다면 SNS 오피니언 마이닝을 이용한 CRPN이 고객 관점의 품질인 ‘용도적합성’ 측면에서 유효하다고 판단한다.

4.1 실험 대상 선정

정확한 CRPN 평가를 위해 본 실험에서 정의한 3가지 특징을 모두 만족하며, 국내 기업 중 점유율이 높은 삼성전자 GalaxyS 시리즈의 GalaxyS2 제품을 실험 대상으로 선정하였다. 본 연구에서는 고객의 의견이 반영된 GalaxyS2의 CRPN 평가를 결과로서 위험도가 높은 평가 요소를 확인한다. 삼성전자의 GalaxyS는 시리즈 형식으로 출시되므로 CRPN 평가결과 위험도가 높은 요소들이 차기 시리즈에서 실제로 개선되었는지, 위험도에 따라 개선정도는 어느 정도인지 파악하기 용이하다. 또한 미국 애플사의 ‘iphone’의 경우는 트위터에 언급된 데이터가 전수 검사가 어려울 정도로 많은 개수가 존재하여 본 연구의 실효성 확인이 어렵다고 판단되었다. 따라서 RPN단계에서 오피니언 마이닝을 활용한 CRPN 평가의 전수 검사를 통한 실효성 확인을 위해 GalaxyS2를 실험 대상 제품으로 선정하였다.

4.2 제품 평가 요소 선정

북미 버전 Galaxy S2 공식 매뉴얼에 제시된 특징 중 고객 평가 가능여부를 고려하여 총 11개의 평가 요소(GPS, 블루투스, WI-FI, 스피커, 디스플레이, 버튼, 카메라, 메모리, 배터리, 무게, OS)를 평가 대상으로 선정하였다. 11개의 평가 요소는 차기 Galaxy S 시리즈 제품에 모두 존재하여 개선여부 파악이 가능하다.

4.3 SNS Data 수집 및 전처리

본 실험에서는 사전에 2011년 3월부터 2012년 8월까지 북미지역의 트윗을 무작위로(1,237,454,287 Tweets) 수집하였으며 약 243GB의 json format 원시 데이터를 format 변환과 cleansing을 포함한 전처리 과정을 수행한 결과 약 65GB의 CSV format SNS 데이터가 추출되었다.

4.4 SNS Data 선별 및 전수검사

전체 1,237,454,287 개의 트윗 중 galaxys2를 포함하는 트윗은 192개다. 본 실험에서는 새롭게 제시하는 CRPN 분석의실효성 확인과 대량의 SNS데이터를 분석할 수 있는 VADER 기반의 자연어 처리 감성 분석의 활용 가능성 확인을 위해 192개 트윗에 대한 전수검사를 실시하였다. 전수검사 결과 4.2에서 선정한 11개의 평가 요소 중 6개 요소(GPS, 디스플레이, 배터리, OS, Wi-Fi, 버튼)에 대한 57개 트윗이 선별되었다.

4.5 S, O, D 평가

최종 선별된 6개 평가 요소의 57개 트윗에 대한 S, O, D 평가 결과는 Figure 3. 과 같다. 등급 구간은 ‘│Max(Score) – Min(Score)│/10’으로 설정하였다. Wi-Fi는 오피니언 마이닝의 결과로 심각도(S)에서 0.4점을 얻었으며, Score범위 중 1등급에 포함되어 S, O, D 평과 결과 심각도(S)에서 1등급으로 평가되었다. 선으로 표현된 부분은 Wi-Fi의 심각도를 평가하는 흐름이다.

Figure 3.

S, O, D evaluation value

4.6 CRPN 평가 및 특이사항 확인

Table 5. 는 4.5에서 평가한 S, O, D를 통해 계산된 CRPN 값과 특이사항이다.

Table 5.

CRPN value and Risk situations

CRPN은 배터리, 카메라, 디스플레이, 버튼, OS, Wi-Fi 순으로 높았으며, 배터리는 4가지 특이사항에 모두 해당되며 위험도가 가장 높은 요소로 평가되었다.

4.7 실효성 검증

실효성 검증을 위한 개선여부는 크게 하드웨어와 소프트웨어 두 측면으로 분할 가능하다. 비교적 개선이 빠르게 적용될 수 있는 소프트웨어는 해당 세대에서, 그렇지 않은 하드웨어는 이후 2세대 이내에서 개선이 이루어질 경우 개선으로 평가하였다. Table 6. 는 4.6의 결과와 실제 제품 개선여부를 함께 표현한 자료이다. 분석 결과 모든 평가요소에서 특이사항이 한가지 이상 발생하였으며, 특이사항이 한가지 이상 발생한 모든 요소들(배터리, 카메라, 디스플레이, 버튼, OS, WI-FI) 중 75%(배터리, 카메라, 디스플레이, OS)에서 실제 개선이 발생하였다. 특이사항이 두가지 이상 발생한 요소(배터리, 카메라, 디스플레이, 버튼)의 경우 75%(배터리, 카메라, 디스플레이)가 실제 개선이 발생하였으며, 특이사항이 세가지 이상 발생한 요소(배터리, 카메라)의 경우 100% 실제 개선이 발생하였다. 또한, 특이사항 순서별로 각각 5개, 3개, 4개, 3개의 평가 요소가 개선여부와 일치했다.

Table 6.

Risk situation and Improvement