스마트안전 리빙랩 환경에서의 사용자경험 평가를 위한 방법론 개발

Development of a User Experience Evaluation Methodology for Smart Safety Living Lab

Article information

J Korean Soc Qual Manag. 2021;49(2):127-143

Publication date (electronic) : 2021 June 29

doi : https://doi.org/10.7469/JKSQM.2021.49.2.127

Jae-Rim Choi ^*, Do-Hyeon Ryu ^*, Kwang-Jae Kim ^*^,

, Jung-Min Yun ^**, Min-Sun Kim ^**

^*Department of Industrial and Management Engineering, Pohang University of Science and Technology

^**Korea National Industrial Convergence Center, Korea Institute of Industrial Technology

최재림^*, 류도현^*, 김광재^*^,

, 윤정민^**, 김민선^**

^*포항공과대학교 산업경영공학과

^**한국생산기술연구원 국가산업융합지원센터

^†Corresponding Author(kjk@postech.ac.kr)

※본 연구는 산업통상자원부와 한국산업기술진흥원의 “산업융합기반구축사업 스마트 안전분야 융합신제품 및 서비스실증 리빙랩 기반구축 사업”(과제번호 N0002430) 으로 수행된 연구결과 입니다.

Received 2021 February 19; Revised 2021 March 11; Accepted 2021 April 5.

Trans Abstract

Purpose

Smart Safety Living Lab is a Living Lab facility, constructed and operated by KITECH in Korea, to support the user experience(UX) evaluation, planning and certification of smart safety products and services. The purpose of this study is to develop a UX evaluation methodology that accommodates the characteristics of the Living Lab and smart safety products and services for a systematic and efficient UX evaluation in the Smart Safety Living Lab.

Methods

A generic model of UX evaluation was first derived based on a review of related literature. Then, the generic model is revised to accommodate the characteristics of the Smart Safety Living Lab and smart safety products and services, resulting in the UX Evaluation Methodology for Smart Safety Living Lab (SSLL-UXEM).

Results

The developed SSLL-UXEM consists of a structured process for UX evaluation, a guideline for conducting each step of the process, and a set of forms for recording the major evaluation results in each step.

Conclusion

SSLL-UXEM can help to enhance the efficiency of the UX evaluation process and the consistency of the UX evaluation results. SSLL-UXEM is also expected to serve as a basis for UX evaluation in various living lab environments in the future.

Keywords: User experience evaluation methodology; Living Lab; Smart safety products and services; Smart Safety Living Lab

1. 서 론

디지털 기술의 발전으로 사용자가 제품 및 서비스와 상호작용하는 방식이 다양하게 변화함에 따라 최근 실생활 환경으로 실험 영역이 확장되고 있다. 통제된 실험실 환경에서의 테스트에서는 실생활 환경에서 사용자가 겪을 수 있는 이슈를 발견하기 어렵다. 따라서 실생활 환경에서 제품 및 서비스를 개발, 실험, 실증할 수 있는 리빙랩(Living Lab)에 대한 관심이 증대되고 있다.

리빙랩이란 사용자를 포함한 다양한 이해관계자들이 협력하여 실생활 환경에서 제품 및 서비스에 대한 아이디어를 생성하고 프로토타이핑하며 테스트하는 물리적 또는 가상현실 공간을 의미한다(Leminen et al., 2012). 스마트안전 리빙랩(Smart Safety Living Lab)은 한국생산기술연구원이 운영하는 리빙랩 시설로, 스마트안전 제품 및 서비스의 기획, 사용자경험 평가, 융합 인증을 지원하기 위해 구축되었다. 본 리빙랩에서 타겟으로 하는 스마트안전 제품 및 서비스란 지능형 첨단 기술을 활용하여 사용자 주변의 잠재 위험 요인을 제거하거나 사용자의 건강을 유지 및 증진시켜 사고를 예방하는 제품 및 서비스를 의미한다. 스마트안전 제품 및 서비스의 사용자경험(User experience: 이하 UX) 평가는 본 리빙랩에서 수행하는 주요 활동 중 하나이다.

UX는 사용자가 제품, 서비스, 시스템과 상호작용 하며 겪는 직간접적인 경험을 의미한다 (ISO 9241-210, 2019). UX는 제품 및 서비스의 사용자 친화도와 시장 경쟁력에 큰 영향을 미치며, 따라서 UX를 평가하는 것은 중요하다(Hassenzahl and Tractinsky, 2006; Kaasinen et al., 2015). 현재 제품 및 서비스의 UX를 평가하기 위한 다양한 방법론이 활용되고 있다. 제품 및 서비스의 UX를 효과적으로 평가하기 위해서는 평가 환경과 평가 대상의 특징을 고려해야 한다 (Dong and Liu, 2018). 그러나 리빙랩 환경의 특수성이나 스마트안전 제품 및 서비스의 특징을 고려한 UX 평가 방법론은 아직 부재한 실정이다. 리빙랩에서는 실생활 환경에서 다양한 이해관계자들의 협력을 통해 제품 및 서비스의 UX 평가를 수행한다는 특징이 있다. 또한 스마트안전 제품 및 서비스는 지능형 첨단 기술(예. ICT, IoT, GPS 등)을 활용하여 사용자의 안전을 확보하고 건강을 증진시키는 기능(예. 착용자의 생체 상태 및 행동 변화를 파악하여 위험에 대처 등)을 갖추고 있다. 기존의 UX 평가 방법론들은 이러한 특징들에 대한 고려가 부족하다는 한계가 있다. 본 연구에서는 스마트안전 리빙랩에서 체계적이고 효율적으로 UX를 평가할 수 있도록 지원하기 위해 리빙랩과 스마트안전 제품 및 서비스의 특징을 반영한 UX 평가 방법론을 개발하고자 한다.

2. 이론적 배경 및 선행연구

본 절에서는 리빙랩의 개념과 정의에 대해 논의하고 스마트안전 리빙랩을 소개한다. 또한 기존의 대표적인 UX 평가 방법론들을 설명하고 비교한다.

2.1 리빙랩(Living Lab)

리빙랩은 2004년 미국 MIT(Massachusetts Institute of Technology)의 William Mitchell 교수에 의해 처음 제시된 개념이다. 그는 스마트/미래형 주거 공간(Smart/Future Home)에서 일정 기간 동안 사용자의 생활 패턴을 관찰할 때 해당 연구 공간을 ‘사람이 생활하는 실험실(Live-in/Living Laboratory)’이라고 표현하였다 (Bergvall-Kåreborn et al., 2009). 이후, 유럽 및 전 세계 리빙랩의 국제 연합인 유럽 리빙랩 네트워크(European Network of Living Labs: 이하 ENoLL)가 구축되며 리빙랩이라는 개념은 공고화 되었다. 그 결과 최근에는 리빙랩이 ‘살아있는 실험실’, ‘일상생활 실험실’과 같이 일상생활에서 사용자가 참여하는 혁신 공간 및 플랫폼을 뜻하는 확장된 개념으로 사용되고 있다.

리빙랩에 대한 정의는 매우 다양하게 나타난다. 먼저, Lynch and O’Toole (2009)은 리빙랩을 “새로운 제품, 서비스 또는 애플리케이션을 설계, 개발, 평가하는 데 사용자를 참여시킬 수 있게 하는 사용자 중심의 혁신 방법론”이라고 정의하였다. 또한 Leminen et al. (2012)은 리빙랩을 “사용자, 기업, 공공 기관, 대학, 연구소 등의 다양한 이해관계자가 협력하여 실생활 환경에서 제품, 서비스, 기술 등에 대한 아이디어를 생성하고 프로토타이핑하며 테스트하는 물리적 공간 또는 가상현실”이라고 정의하였다. ENoLL에서는 리빙랩을 “체계적인 사용자 참여형 접근법에 기반하여 실생활 환경에서 연구와 혁신 프로세스를 통합하는 사용자 중심의 개방형 혁신 생태계”로 정의하였다(European Network of Living Labs, 2021). 2004년에는 리빙랩이 특정 실험 공간에 설치되고, 사용자가 단순히 연구자들의 관찰 대상으로 리빙랩에 참여하였으나, 2009년 이후에는 사용자가 실생활 환경에서 능동적으로 문제를 찾아 해결하며 ICT 인프라를 활용해 직접 개발 활동에 참여하는 형태로 변화되었다.

이처럼 다양한 정의가 존재하나, 공통적인 특징은 사용자 중심의 혁신을 강조했다는 점이다. 사용자는 리빙랩에 참여해 다양한 이해관계자들과 함께 실생활 환경에서 문제를 해결하기 위한 아이디어를 발굴하고 제품 및 서비스를 개발한다. 이 점이 리빙랩 접근 방식의 특징이며, 기존의 제품 및 서비스 개발 방식과의 차별점이다.

2.2 스마트안전 리빙랩(Smart Safety Living Lab)

스마트안전 리빙랩은 스마트안전 제품 및 서비스의 기획, UX 평가, 융합 인증 지원을 목적으로 구축되었다(Kim et al., 2020). 스마트안전 리빙랩의 명칭에서 “스마트”는 고도의 정보통신기술을 통해 연결되고 지능화된 상태를 의미하고, “안전”은 위험 요인이 없거나 잠재 위험을 예방하여 사고가 없는 상태를 의미한다. 따라서 본 리빙랩에서 타겟으로 하는 스마트안전 제품 및 서비스란 지능형 첨단 기술을 활용하여 사용자 주변의 잠재 위험 요인을 제거하거나 사용자의 건강을 유지 및 증진시켜 사고를 예방하는 제품 및 서비스를 의미한다.

스마트안전 리빙랩은 유사공간, 가상공간, 실제공간으로 구성되어 있다. 특히 ‘스마트’, ‘안전’에 특화된 UX 평가를 위해 두 개의 리빙랩 시설을 구축하였다. 산업안전 리빙랩은 산업환경에서 사용되는 스마트안전 제품 및 서비스를 평가하기 위해 제조 공장(실제공간)과 VR Cave 기반의 평가 시설(가상공간)을 갖추고 있다. 생활안전 리빙랩은 생활환경에서 사용되는 스마트안전 제품 및 서비스를 평가하기 위해 가정, 유아원, 호텔, 요양원, 카페와 유사하게 구축한 평가 시설(유사공간)과 Multiscreen VR 기반의 평가 시설(가상공간)을 갖추고 있다. 본 리빙랩 시설들은 다양한 사용자 행동 데이터와 환경 정보를 수집할 수 있는 모니터링 시스템(예. 시선 추적기, 무선보행분석시스템, 동작분석시스템 등)을 갖추고 있다.

2.3 UX 평가 방법론

UX 평가 방법론이란 제품 및 서비스와 상호작용하는 사용자의 UX를 평가하여 제품 및 서비스에 대한 의견을 수렴하고 개선안을 도출하기 위해 사용되는 방법론이다. UX 평가 방법론은 제품 및 서비스가 올바르게 개발되고 있는지 확인하는 데 중요한 역할을 수행한다(Rajeshkumar et al., 2013). 현재 제품 및 서비스의 UX를 평가하기 위한 다양한 방법론이 개발되어 활용되고 있다(Table 1).

Table 1.

Existing UX evaluation methodologies

기존 연구에서 개발된 UX 평가 방법론들은 설문 항목, 프로세스, 가이드라인 등을 제시한다. 그러나 기존의 방법론들은 스마트안전 리빙랩 환경에서 활용하기에는 다음과 같은 한계점을 가지고 있다. 첫째, 리빙랩에서는 프로세스 각 단계에서 다양한 이해관계자들이 협의를 통해 의사결정을 수행하는데, 기존의 UX 평가 방법론들에는 이해관계자들이 함께 의사결정을 수행할 수 있도록 지원하는 절차 및 도구가 부재하다. 둘째, 기존의 UX 평가 방법론들은 스마트안전 제품 및 서비스의 UX를 평가할 때 고려해야 할 특징을 반영하고 있지 않다. 이러한 한계점을 극복하기 위해 본 연구에서는 스마트안전 리빙랩 환경에서 UX 평가를 위한 방법론 개발하였다.

본 연구에서 개발한 UX 평가 방법론에서는 UX 평가 과정을 세분화하여 이해관계자들과 협의를 통해 의사결정 할 수 있는 절차를 마련하고, UX 평가 과정을 체계적으로 정리한 UX 평가 프로세스를 제공한다. 그리고 스마트안전 제품 및 서비스의 UX를 평가할 때 고려해야 할 특징과 프로세스 단계별 실행 방안을 정리한 가이드라인을 제공한다. 마지막으로 UX 평가 수행 결과를 일관성 있게 기록할 수 있도록 지원하는 기록 양식을 제공한다. 본 연구에서 개발한 UX 평가 방법론을 사용한다면 UX 평가자가 리빙랩 환경에서 스마트안전 제품 및 서비스의 UX를 체계적이고 효율적으로 평가하고, UX 평가 결과를 일관성 있게 정리할 수 있을 것이다.

3. 스마트안전 리빙랩 환경에서의 UX 평가를 위한 방법론 개발

본 절에서는 스마트안전 리빙랩 환경에서의 UX 평가를 위한 방법론(User Experience Evaluation Methodology for Smart Safety Living Lab: 이하 SSLL-UXEM)의 개념과 개발 방법을 설명한다. 이후 방법론 개발에 필요한 자료 조사 결과를 서술하고 이를 기반으로 개발한 SSLL-UXEM을 설명한다.

3.1 개념 및 개발 방법

SSLL-UXEM은 스마트안전 리빙랩에서 UX 평가자가 제품 및 서비스의 UX 평가를 체계적, 효율적으로 수행할 수 있도록 지원하는 지침 및 도구이다. 본 방법론은 평가 환경인 스마트안전 리빙랩과 평가 대상인 스마트안전 제품 및 서비스의 특징을 고려하여 개발되었다. SSLL-UXEM은 UX 평가 프로세스, UX 평가 수행 방법 및 체크리스트, UX 평가 수행 기록 양식의 세 가지 요소로 구성되어 있다. UX 평가 프로세스란 UX 평가자가 스마트안전 제품 및 서비스의 UX 평가 시 거쳐야 할 순차적인 흐름이다. UX 평가 수행 방법 및 체크리스트란 스마트안전 제품 및 서비스의 UX 평가 시 활용할 수 있는 수행 지침이다. UX 평가 수행 기록 양식은 UX 평가 프로세스에 따라 제품 및 서비스를 평가할 때 필수적으로 기록되어야 할 주요 사항을 정리하는 양식이다.

SSLL-UXEM을 개발하기 위해 세 가지 유형의 자료를 조사하였다. 기존 리빙랩 프로세스 관련 문헌, 스마트안전 제품 및 서비스 관련 문헌, UX 평가 수행 방법 및 체크리스트 관련 자료를 조사 및 분석하였다. 이후 분석한 자료를 활용하여 ‘스마트’, ‘안전’, ‘리빙랩’에 특화된 SSLL-UXEM을 개발하였다.

3.2 SSLL-UXEM 개발을 위한 자료 조사

3.2.1 기존 리빙랩 프로세스 관련 문헌 조사

본 연구에서는 SSLL-UXEM의 UX 평가 프로세스를 개발하기 위한 기초 자료로 기존 리빙랩의 프로세스와 관련된 문헌과 리빙랩 웹사이트를 검토하였다. Google Scholar에서 ‘Living Lab methodology, Living Lab method, Living Lab process, Living Lab tool, Living Lab case study’ 등의 키워드를 사용하여 94개 문헌을 수집하였다. 또한, ENoLL에 가입된 169개 리빙랩의 웹사이트 리스트를 수집하였다. 이후 94개 문헌과 169개 웹사이트를 대조하여 중복된 리빙랩을 제외하였고, 최종적으로 리빙랩 프로세스에 대한 상세 설명이 있는 22개 리빙랩을 선별하였다.

조사한 22개 리빙랩의 프로세스를 정리하고 분석하여 리빙랩에서 일반적으로 사용하는 프로세스를 도출하였다(Figure 1). 일반적인 리빙랩 프로세스는 8가지 핵심 단계(계획 → 탐색 → 프로토타이핑 → 구현 → 실험 → 평가→ 확산 → 행동/의사결정)를 반복적으로 수행하는 형태로 구성되어 있다. 계획(Planning) 단계에서 사용자의 니즈를 탐색하여 해결할 문제를 정의하고, 프로젝트 목표와 계획을 수립한다. 탐색(Exploration) 단계에서는 문제를 해결하기 위한 아이디어를 도출하고 제품 및 서비스의 컨셉을 설계한다. 프로토타이핑(Prototyping) 단계에서 하나 이상의 컨셉에 대해 프로토타입을 개발한 후, 구현(Implementation) 단계에서는 프로토타입을 실생활 환경에 구현하여 사용자 피드백을 수집한다. 실험(Experimentation) 단계에서는 프로토타입이 프로젝트의 목표를 달성했는지 확인하기 위한 실험을 수행한다. 이후 평가(Evaluation) 단계에서는 평가 목적에 따른 데이터를 수집하고 분석하여 목표 달성 여부를 평가한다. 확산(Dissemination) 단계에서는 리빙랩 결과물에 대한 보고서를 작성하고 결과를 확산한다. 마지막으로 행동/의사결정(Act/Decision) 단계에서는 리빙랩 결과물에 대한 향후 활동을 결정하고 실행한다.

Figure 1.

Generic Living Lab process

본 연구에서는 8단계의 일반적인 리빙랩 프로세스로부터 SSLL-UXEM의 UX 평가 상황을 감안하여 계획(Planning), 탐색(Exploration), 구현(Implementation), 실험(Experimentation), 평가(Evaluation), 확산(Dissemination)의 6단계를 추출하여 UX 평가 프로세스를 구성하였다. 프로토타이핑(Prototyping) 단계는 스마트 안전 리빙랩에서 UX 평가를 진행하기에 앞서 업체에서 제품 및 서비스의 프로토타입을 개발하여 UX 평가를 의뢰하기 때문에 UX 평가 프로세스에서 제외하였다. 행동/의사결정(Act/Decision) 단계는 UX 평가를 통해 얻은 결과물에 대한 업체의 의사결정 단계이므로 UX 평가 프로세스에서 제외하였다.

3.2.2 스마트안전 제품 및 서비스 관련 문헌 조사

본 연구에서는 스마트안전 제품 및 서비스의 특징을 반영한 UX 평가 수행 방법 및 체크리스트를 개발하기 위해 관련된 문헌을 검토하였다. Google Scholar에서 ‘Smart Personal Protect Equipment(SPPE), Occupational Safety and Health(OSH), smart safety, smart healthcare’ 등의 키워드를 사용하여 20개 문헌을 수집하였다. 문헌 리뷰를 통해 스마트안전 제품 및 서비스의 UX를 평가할 때 고려해야 하는 특징을 도출하였다. 지면 관계상 도출된 특징 중 피실험자, 실험 장비, 실험 공간, 실험 자료, 실험 수행과 관련된 내용을 발췌하여 Table 2에 정리하였다. 이러한 특징들을 UX 평가 수행 방법 및 체크리스트 개발 시 반영하였다.

Table 2.

Considerations for UX evaluation of smart safety products and services

3.2.3 UX 평가 수행 방법 및 체크리스트 관련 자료 조사

UX 평가 수행 방법 및 체크리스트를 개발하기 위해 관련된 자료를 수집 및 리뷰하였다. Google Scholar에서 (Living Lab, UX evaluation, Data analysis)와 (Guideline, Checklist, Method)를 조합한 키워드를 사용하여 12개 관련 자료를 수집하였다. 수집한 문서로부터 UX 평가를 수행할 때 활용할 수 있는 도구와 UX 평가 단계 별로 점검해야 할 체크리스트 항목에 대한 벤치마킹 항목을 도출하였다. UX 평가 프로세스의 각 Task를 수행하기 위해 사용하는 방법을 조사한 결과 다수의 문헌에서 사용자 중심 디자인(User Centered Design: 이하 UCD) 방법론을 사용하고 있었다(Nesterova and Quak, 2015). 리빙랩 또한 사용자의 참여가 중요하기 때문에 UCD 방법론 중에 보편적으로 사용하고 있는 방법론을 선택하였다. 지면 관계상 도출된 벤치마킹 항목 중 피실험자, 실험 장비, 실험 공간과 관련된 벤치마킹 항목을 발췌하여 Table 3에 정리하였다. 이러한 벤치마킹 항목들은 UX 평가 수행 방법 및 체크리스트 개발 시 반영하였다.

Table 3.

Benchmarking items for participant, laboratory equipment, and laboratory space

3.3 SSLL-UXEM

3.2절에 서술된 기존의 관련 문헌 조사 결과를 바탕으로, 평가 환경인 스마트안전 리빙랩과 평가 대상인 스마트안전 제품 및 서비스의 특징을 고려하여 SSLL-UXEM을 개발하였다. 본 절에서는 SSLL-UXEM의 세 가지 요소인 UX 평가 프로세스, UX 평가 수행 방법 및 체크리스트, UX 평가 수행 기록 양식을 상세히 소개한다.

3.3.1 UX 평가 프로세스

UX 평가 프로세스란 UX 평가자가 스마트안전 제품 및 서비스의 UX 평가 시 거쳐야 할 순차적인 흐름이다. 본 프로세스는 UX를 평가하는 개괄적인 흐름인 5개의 Phase, 각 Phase의 목적을 달성하기 위해 수행하는 19개의 Step, 각 Step의 목적을 달성하기 위해 수행하는 57개의 Task로 구성되어 있다. Stage-Gate Process(Cooper, 2008) 개념을 도입하여, 각 Phase의 마지막에는 해당 Phase의 수행 적절성을 평가하는 Gate를 배치하였다(Figure 2). Stage-Gate Process에서 Stage는 R&D활동을 수행하는 단계를 의미하며, 본 프로세스에서는 Phase에 해당한다. UX 평가자는 각 Gate의 평가 기준(Table 4)에 따라 현재 Phase를 평가한 후 다음 Phase로 이동, 현 Phase의 수행 결과 수정, 현 Phase의 재수행 여부를 결정한다. 본 프로세스는 UX 평가자가 Phase 별로 수행해야 할 Step과 Task를 체계적으로 진행할 수 있도록 지원한다.

Figure 2.

UX evaluation process

Table 4.

Gate review criteria

(1) Phase 1. 평가 계획

본 Phase에서는 평가 대상 품목의 장치와 기능, 타겟 사용자에 대해 조사한 후 업체와의 인터뷰를 통해 UX 평가 요구사항을 청취한다. 인터뷰를 통해 도출된 UX 평가 요구사항의 수행 가능성과 우선순위를 검토한다. 이후 검토 결과를 기반으로 UX 평가 주제 대안을 도출하고 리빙랩 이해관계자들과의 협의를 통해 최종 UX 평가 주제를 선정한다. 평가 주제에 따라 수행해야 하는 Step 별 소요 시간을 산정한 후 평가 일정 계획을 수립한다.

(2) Phase 2. 실험 설계

본 Phase에서는 리빙랩에서 제품 및 서비스의 UX를 평가하기 위한 실험을 설계한다. 먼저, 실험 주제에 적합한 실험 장비를 선정하고 실험 공간을 구체적으로 설계하는 실험 환경 계획을 수립한다. 이후 실험 주제에 적합한 피실험자 기준과 실험 태스크, 실험 수행 절차를 선정하여 실험 시나리오를 수립한다. 그리고 실험 주제에 적합한 데이터 항목(예. UX 평가 항목 등)을 도출하고 데이터 수집 및 분석 계획을 수립한다. 마지막으로, 실험 설계가 완료되면 기관생명윤리위원회(Institutional Review Board: 이하 IRB) 심의를 위한 서류를 작성하여 제출하고 IRB 승인을 취득한다.

(3) Phase 3. 실험 수행

본 Phase에서는 실험을 수행할 수 있도록 피실험자 모집, 실험 공간 구축, 실험 진행 자료 제작 등의 준비 활동을 수행한다. 실험 준비가 완료되면 파일럿 실험을 수행하고 수행 결과를 기반으로 필요 시 기존의 실험 설계를 보완한다. 파일럿 실험을 통해 보완된 실험 설계에 따라 본실험을 수행한 후 본실험에서 수집한 데이터 상태를 검토하고 실험 이슈사항 및 추가 실험 필요성을 검토한다.

(4) Phase 4. 실험 결과 분석

본 Phase에서는 실험에서 수집한 데이터를 분석이 가능한 형태로 전처리한 후 데이터 분석 방법을 적용하여 실험 결과를 도출한다. 데이터 분석을 통해 도출한 실험 결과를 해석하여 UX 평가 결론과 개선사항을 도출한다.

(5) Phase 5. 평가 결과 공유

본 Phase에서는 Phase 1. – Phase 4.의 수행 내용을 정리하여 보고서를 작성한다. 이후 평가 결과 보고서를 업체 및 리빙랩 이해관계자에게 공유하여 실험 결과에 대한 피드백을 수렴하고 추가 UX 평가의 필요 여부를 검토한다. 필요 시 리빙랩 워크샵 또는 컨퍼런스 등에 참여하여 평가 결과를 공유하고 확산한다.

3.3.2 UX 평가 수행 방법 및 체크리스트

UX 평가 수행 방법 및 체크리스트란 스마트안전 제품 및 서비스의 UX 평가 시 활용할 수 있는 수행 지침서이다. 각 Task에 대한 설명, 수행 방법, 체크리스트를 정리하여 Step 단위로 통합된 문서를 제공한다. 해당 지침서는 UX 평가자에게 각 Task를 수행하기 위해 필요한 지침을 제공하여 UX 평가 수행 과정의 효율성을 높인다. 또한 Task 수행 결과를 체크리스트를 통해 점검함으로써 UX 평가 결과의 품질을 높일 수 있도록 지원한다.

각 Task의 설명 란에는 UX 평가자가 수행하는 활동을 기술하였다. 수행 방법 란에서는 개요, 고려사항, 도구에 대한 설명을 제공한다. 수행 방법 하위의 개요 란에는 UX 평가자가 수행하는 상세 활동(Sub-task)을 기술하였다. 고려사항 란에는 Task를 수행할 때 참고할 만한 선택적인 권고사항을 기술하였다. 도구 란에는 Task 수행 시 활용할 수 있는 수단 및 툴킷을 기술하였다. 마지막으로 체크리스트 란에는 각 Task를 수행한 후 반드시 점검해야 하는 질문 사항을 기술하였다. UX 평가 수행방법 및 체크리스트의 고려사항을 참고할 때에는 UX 평가자가 해당 실험의 목적과 상황에 부합하는 기준을 세우는 것이 필요하다. 스마트안전 제품 및 서비스, 실험 공간, 실험 기간, 피실험자 등 여러 요소가 UX 평가에 영향을 미칠 수 있기 때문에 적절한 기준을 수립하여 UX를 평가해야 한다.

예를 들어, Table 5에서 Task 2.2.2. 피실험자 선정 계획을 수행하는 UX 평가자는 수행 방법 개요를 참고하여 해당 Task에서 수행해야 하는 상세 활동을 확인한다. 피실험자의 조건과 인원을 선정하기 위해 ‘초보자(Novice)와 전문가(Expert) 두 그룹을 함께 피실험자로 선정함’과 같은 수행 방법 하위의 고려사항을 참고하여 피실험자 선정 계획을 수립한다. 그리고 브레인스토밍, 페르소나 연구 등을 사용해 피실험자 선정 계획을 수립한다. 마지막으로 유의미한 실험 결과를 도출하기 위해 ‘실험 목적에 부합하는 피실험자 모집 조건을 설정하였는가?’와 같은 체크리스트 항목을 점검하여 적절한 피실험자 모집 조건이 충족되었는지를 확인한다.

Table 5.

Example of UX evaluation method and checklist

3.3.3 UX 평가 수행 기록 양식

UX 평가 수행 기록 양식은 각 Task 별로 기록되어야 할 주요 사항을 정리한 양식이다(Figure 3). 본 양식은 UX 평가자가 Task 수행 결과를 기록할 때 중요한 내용이 누락될 위험을 줄이고, 일관된 양식에 따라 작성할 수 있도록 지원한다. UX 평가자의 기록 편의성을 높이기 위해 선다형으로 기록할 수 있는 항목과 서술형으로 기록할 수 있는 항목을 나누어 기록 항목의 특성이 반영된 UX 평가 수행 기록 양식을 개발하였다.

Figure 3.

Example of forms for recording the major evaluation results

예를 들어, Figure 3과 같이 Step 1.1. 평가 대상 품목 조사에서 Task 1.1.1. 제품 및 서비스 조사를 수행하는 UX 평가자는 UX 평가 수행 기록 양식의 해당 스마트안전 분야, 제품/서비스 개발 목적, 제품/서비스 개발 단계, 평가 대상 장치 등 제품 및 서비스와 관련된 내용을 기입한다. Task 1.1.2. 타겟 사용자 및 사용 정황 조사를 수행한 후 타겟 사용자가 어떤 정황에서 제품 및 서비스를 사용하는지와 관련된 내용을 기입한다. 마지막으로 Task 1.1.3. 국내외 법적/제도적 규제사항 조사를 수행한 후 규제사항과 해당 규제사항의 활용 방안을 기입한다.

4. 토 의

SSLL-UXEM은 기존의 UX 평가 방법론과 비교하여 두 가지 측면에서 스마트, 안전, 리빙랩에 특화된 차별점을 가지고 있다(Table 6). 첫째, UX 평가 프로세스(Figure 2)의 Phase, Step, Task를 리빙랩에서 수행하는 활동과 관련이 깊도록 구성하였다. 예를 들어, 리빙랩에서는 이해관계자들이 협의를 통해 의사결정을 수행하는 것이 중요하기 때문에 UX 평가 프로세스의 Task 1.3.3. 최종 평가 주제 선정과 같이 이해관계자들이 협력하고 합의하는 과정을 거치도록 UX 평가 프로세스를 구성하였다. 둘째, UX 평가 수행 방법 및 체크리스트를 통해 UX 평가자에게 스마트안전 제품 및 서비스의 UX 평가 시 고려해야 하는 사항과 도구를 제공한다. 예를 들어, 스마트안전 제품 및 서비스를 평가할 때에는 스마트 기능과 인터넷 등을 사용한 경험이 있는 피실험자 선정하는 것이 중요하다. 이를 참고하여 Task 2.2.2. 피실험자 선정 계획에서 피실험자 모집 조건을 설정한다면 피실험자들의 정보에 대한 접근 속도와 스마트 기기 이용 능력의 차이를 고려해 UX를 평가할 수 있다. 이러한 스마트안전 제품 및 서비스의 UX 평가 시 고려해야 하는 사항들은 UX 평가 수행 방법 및 체크리스트(Table 5)의 고려사항 란에 반영되어 있다. 또한 Task 2.3.3. 수집 데이터 상세 항목 선정에서는 스마트안전 제품 및 서비스 UX를 평가하기 위해 UX 평가 항목을 선정한다. 이때 스마트, 안전의 성격을 띠는 스마트안전 UX 요소 모형을 UX 평가 수행 방법 및 체크리스트(Table 5)의 도구 란에서 제공한다. 스마트안전 UX 요소 모형은 스마트, 안전 측면을 평가하기 위해 일반적인 UX 평가 항목(예. 직관성)뿐만 아니라 스마트(예. 자동성), 안전(예. 안전함)에 특화된 UX 평가 항목을 가지고 있다. UX 평가자는 스마트안전 UX 요소 모형을 활용해 Task 2.3.3. 수집 데이터 상세 항목 선정에서 평가 대상 품목과 관련된 UX 평가 항목을 도출할 수 있다. 이처럼 프로세스, 고려사항, 도구에 스마트, 안전, 리빙랩의 특성이 반영되어 있다.

Table 6.

Specialized parts for smart, safety, and Living Lab

본 연구에서 개발한 SSLL-UEXM은 두 가지 측면의 장점이 있다. 첫째, SSLL-UXEM은 UX 평가 과정의 효율성을 제고하는데 도움을 준다. Phase 별 Gate의 평가 기준과 Task 별 체크리스트 항목은 UX 평가 과정에서 발생하는 문제점을 발견할 수 있도록 지원한다. 특히 리빙랩에 참여하는 다양한 이해관계자들 간의 협의 과정에서 점검해야 할 사항을 빠뜨리지 않게 지원한다. 따라서 UX 평가자는 발견된 문제를 리빙랩 이해관계자들과 함께 수정 및 보완하며 불필요한 시행착오를 거치지 않고 UX를 평가할 수 있다. 또한 SSLL-UXEM에서 제공하는 Task 별 UX 평가 수행 방법 및 체크리스트는 UX 평가 시간을 단축하도록 지원한다. UX 평가자는 스마트안전 제품 및 서비스의 UX 평가 시 고려해야 할 특징들을 반영한 지침서를 확인하여 신속하게 각 Task를 수행할 수 있다. 둘째, SSLL-UXEM은 UX 평가 결과 기록의 일관성을 제고하는데 도움을 준다. UX 평가 결과 기록의 일관성이란 다양한 UX 평가 사례의 결과물들이 일관된 포맷으로 기록됨을 의미한다. UX 평가자는 UX 평가 수행 기록 양식에 따라 평가 결과를 정리하기 때문에 일관성 있게 UX 평가 결과를 기록할 수 있다. 일관된 포맷으로 정리된 UX 평가 결과물들은 향후 사례연구를 위한 유용한 참고자료의 역할을 하게 될 것이다.

리빙랩에서는 다양한 배경과 전문성을 지닌 이해관계자들이 참여해 서로 협력하는 것이 중요한 특성이다(Ballon and Schuurman, 2015). 스마트안전 리빙랩에서도 중소·중견기업, 대학, 정부출연연구소, 지자체, 사용자 등 다양한 이해관계자가 리빙랩에 참여하고 있다. 리빙랩 플랫폼은 다양한 이해관계자들이 리빙랩 활동에 쉽게 참여하고 지속적으로 협력할 수 있도록 지원하는 역할을 한다. 리빙랩 플랫폼을 통해 여러 이해관계자들이 네트워크를 조성하고 편리하게 지식과 정보를 교환할 수 있다(Seong et al., 2017). 스마트안전 제품 및 서비스의 기획, UX 평가, 융합인증 서비스 제공 과정에서 이해관계자들의 편리하고 긴밀한 협업을 지원하기 위해 포털 시스템 기반의 스마트안전 리빙랩 플랫폼 구축 작업이 진행 중에 있다. SSLL-UXEM은 해당 플랫폼에 내장되어 스마트안전 리빙랩에서의 UX 평가 과정을 지원하게 될 것이다.

5. 결 론

본 연구에서는 리빙랩 환경에서 스마트안전 제품 및 서비스의 UX를 평가하기 위한 방법론을 개발하였다. 리빙랩, 스마트안전, UX 평가와 관련된 문헌과 자료를 조사 및 분석한 후, 평가 환경인 스마트안전 리빙랩과 평가 대상인 스마트안전 제품 및 서비스의 특징을 고려하여 SSLL-UXEM을 개발하였다. SSLL-UXEM은 스마트안전 리빙랩에서 체계적으로 UX 평가를 수행할 수 있도록 지원하는 UX 평가 프로세스, UX 평가 수행의 효율성을 높이는 UX 평가 수행 방법 및 체크리스트, UX 평가 결과를 일관된 양식으로 작성할 수 있도록 지원하는 UX 평가 수행 기록 양식을 제공한다. SSLL-UXEM은 세분화된 평가 프로세스와 평가 지침, 표준 기록 양식을 제공함으로써 UX 평가 과정을 체계적, 효율적으로 수행하고 평가 결과 기록의 일관성을 제고하는데 도움이 될 것이다. 향후 다양한 리빙랩에서 SSLL-UXEM이 UX 평가를 위해 참조 모델로 활용할 수 있을 것이다.

향후에는 SSLL-UXEM을 다양한 리빙랩 공간과 다양한 스마트안전 제품 및 서비스의 UX 평가에 활용하고, 평가 결과를 축적함으로써 지속적으로 보완할 계획이다. 특히 리빙랩의 인프라 및 환경적 특성에 맞추어 강화해야 할 요소를 확인하고 보완해 나갈 것이다. 또한, 최근 안전의 개념이 물리적 안전 뿐 아니라 사용자의 건강을 유지 및 증진시키는 것까지 확대되고 있음을 감안하여 SSLL-UXEM도 확장된 안전의 개념을 수용하는 방향으로 계속 진화해 가야 할 것이다.

References

Amidon TR, Williams EA, Lipsey T, Callahan R, Nuckols G, Rice S. 2018;Sensors and Gizmos and Data, Oh My: Informating Ffirefighters’ Personal Protective Equipment. Communication Design Quarterly Review 5(4):15–30.

An KH, Lee SB, Lee SB, Suh YH. 2018;An Effect of O2O Service Users’ Motivation on Loyalty through Expectation-Confirmation and Satisfaction. Journal of the Korean Society for Quality Management 46(4):923–938.

Bae JH, Park JH, Lee HN, Choi JI. 2019;A Study of Factors Affecting Intention to Use of Using Technology-based Self-services for Smart Airport. Journal of Korean Society for Quality Management 47(4):795–806.

Bergvall-Kareborn B, Stahlbrost A. 2009;Living Lab: An Open and Citizen-centric Approach for Iinnovation. International Journal of Innovation and Regional Development 1(4):356–370.

Chae HS, Ko MS, Kim HC, Kim KS, Choi DP, Kim KR, Lee KS. 2017;Development Trends of Smart Personal Protective Equipment for Agricultural Health and Safety. Journal of the Ergonomics Society of Korea 36(6):677–691.

Chen HE, Lin YY, Chen CH, Wang IF. 2015;BlindNavi: A Navigation App for the Visually Iimpaired Smartphone User. In Proceedings of the 33rd Annual ACM Conference Extended Abstracts on Hhuman Factors in Computing Systems :19–24.

Cooper RG. 2008;Perspective: The Stage‐gate® idea‐to‐launch process—Update, What’s New, and Nexgen Systems. Journal of Product Innovation Mmanagement 25(3):213–232.

Desmet P, Overbeeke K, Tax S. 2001;Designing Products with Added Emotional Value: Development and Appllcation of an Approach for Research through Design. The Design Journal 4(1):32–47.

Dong Y, Liu W. 2018;Research on UX Ealuation Method of Design Concept under Multi-modal Experience Scenario in the Earlier Design Stages. International Journal on Interactive Design and Manufacturing 12(2):505–515.

European Network of Living Labs. [Internet]. 2021 Feb 03. Available from: https://enoll.org/about-us/what-are-living-labs/.

Hartson R, Pyla PS. 2012. The UX Book: Process and Guidelines for Ensuring a Quality User Experience Elsevier.

Hassenzahl M, Tractinsky N. 2006;User Experience-A Research Agenda. Behaviour & Iinformation Technology 25(2):91–97.

International Organization for Standardization. 2019. ISO 9241–210: 2019 (en) Ergonomics of Human‐system Interaction—Part 210: Human‐centred Design for Interactive Systems. Available from: https://www.iso.org/standard/77520.html.

Jakobi T, Ogonowski C, Castelli N, Stevens G, Wulf V. 2017;The Catch (es) with Smart Home: Experiences of a Living Lab Field Study. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems :1620–1633.

Jang R, Molesworth BR, Burgess M, Estival D. 2014;Improving Communication in General Aviation through the Use of Noise Cancelling Headphones. Safety Science 62:499–504.

Jaspers MW. 2009;A Comparison of Usability Methods for Testing Interactive Health Technologies: Methodological Aspects and Empirical Evidence. International Journal of Medical Informatics 78(5):340–353.

Jung KB, Choi SB. 2020;The Effect of Employee Authenticity on Customer Loyalty via Rapport: A Moderated Mediation Model. Journal of the Korean Society for Quality Management 48(3):361–379.

Kaasinen E, Roto V, Hakulinen J, Heimonen T, Jokinen JP, Karvonen H, Turunen M. 2015;Defining User Experience Goals to Guide the Design of Industrial Systems. Behaviour & Information Technology 34(10):976–991.

Kim H, Han S, Park J, Park W. 2015;How User Experience Changes Over Time: A Case Study of Social Nnetwork Services. Human Factors and Ergonomics in Manufacturing & Service Industries 25(6):659–673.

Kim M, Kim P, Yoon J. 2020;Establishment and Application of Living Lab, Industrial Innovation Platform. IE Magazine 27(2):38–45.

Laugwitz B, Held T, Schrepp M. 2008;Construction and Evaluation of a User Experience Questionnaire. In Symposium of the Austrian HCI and Usability Engineering Group :63–76.

Leminen S, Westerlund M, Nyström AG. 2012;Living Labs as Open-Innovation Networks. Technology Innovation Management Review 2(9):6–11.

Nascimento I, Silva W, Gadelha B, Conte T. 2016;Userbility: A Technique for the Evaluation of User Experience and Usability on Mobile Aapplications. In International Conference on Human-Computer Interaction :372–383.

Nawaz A, Skjæret N, Ystmark K, Helbostad JL, Vereijken B, Svanæs D. 2014;Assessing Seniors’ User Experience (UX) of Exergames for Balance Training. In Proceedings of the 8th Nordic Conference on Human-computer Interaction: Fun, Fast, Foundational :578–587.

Nesterova N, Quak H. 2015. CITYLAB Deliverable 3.1 Practical Guidelines for Establishing and Running a Ccity Logistics Living Laboratory. Available from: https://civitas.eu/tool-inventory/city-logistics-living-lab-handbook.

Park J, Han SH, Park J, Park J, Kwahk J, Lee M, Jeong DY. 2018;Development of a Web-based User Experience Evaluation Ssystem for Hhome Aappliances. International Journal of Industrial Ergonomics 67:216–228.

Parker R, Vitalis A, Walker R, Riley D, Pearce HG. 2017;Measuring Wildland Fire Fighter Performance with Wearable Technology. Applied Ergonomics 59:34–44.

Rajeshkumar S, Omar R, Mahmud M. 2013;Taxonomies of User Experience (UX) Evaluation Methods. In 2013 International Conference on Research and Innovation in Information Systems :533–538.

Schrepp M. 2015;User Experience Questionnaire Handbook. All You Need to Know to Apply the UEQ Successfully in Your Project

Seong J, Song W, Jung B, Choi C, Yoon C, Jeong S, Han K. 2017;Current Status of Korean Living Labs and Its Development Plan. Sci Technol Policy Institute 9:1–194.

Ståhlbröst A, Holst M. 2012;The Living Lab Methodology Handbook. Social Informatics at Luleå University of Technology and CDT–Centre for Distance-spanning Technology

Turunen M, Hakulinen J, Melto A, Heimonen T, Laivo T, Hella J. 2009;SUXES-user Experience Evaluation Method for Spoken and Multimodal Interaction. In Tenth Annual Conference of the International Speech Communication Association

Vaziri DD, Aal K, Ogonowski C, Von Rekowski T, Kroll M, Marston HR, Wulf V. 2016;Exploring User Experience and Technology Acceptance for a Fall Prevention System: Results from a Randomized Clinical Trial and a Living Lab. European Review of Aging and Physical Activity 13(1):6.

Winckler M, Bernhaupt R, Bach C. 2016;Identification of UX Dimensions for Incident Reporting Systems with Mobile Applications in Urban Contexts: a Longitudinal Study. Cognition, Technology & Work 18(4):673–694.

Wu YH, Wrobel J, Cornuet M, Kerhervé H, Damnée S, Rigaud AS. 2014;Acceptance of an Assistive Robot in Older Adults: a Mixed-method Sstudy of Hhuman–robot Iinteraction Over a 1-month Priod in the Living Lab Setting. Clinical Interventions in Aging 9:801.

Article information Continued

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted noncommercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

UX evaluation methodology	Development purpose	Component	Limitation	Reference
Emocard	To evaluate user’s emotions when interacting with products and services	ㆍ Emocard ㆍ Process	ㆍ Lack of guideline	Desmet et al., 2001
SUXES	To evaluate user’s pre-expectation and post-experience of mobile applications	ㆍ Process ㆍ Guideline ㆍ Questionnaire	ㆍ Limited in mobile applications	Turunen et al., 2009
User Experience Questionnaire (UEQ)	To evaluate the UX of interactive products through structured questionnaire	ㆍ Questionnaire ㆍ Analysis tool	ㆍ Limited in interactive products ㆍ Lack of process ㆍ Lack of guideline	Laugwitz et al., 2008; Schrepp, 2015
Userbility	To evaluate the UX of mobile applications and mobile devices	ㆍ Process ㆍ Questionnaire	ㆍ Limited in mobile applications and mobile devices ㆍ Lack of guideline	Nascimento et al., 2016
UX evaluation system for home appliance	To support the UX design and evaluate the UX of home appliances	ㆍ UX design principle ㆍ Questionnaire ㆍ Evaluation result recording system ㆍ Analysis tool	ㆍ Limited in home appliances ㆍ Lack of process	Park et al., 2018

Task	Consideration	Reference
Subject selection	Select subjects who have experiences in using smart functions and the internet (because the subjects’ ability to access and use information may be different depending on their experiences)	Jakobi et al., 2017; Winckler et al., 2016; Vaziri et al., 2016
	Select subjects who have experiences in using smart devices (because subjects unfamiliar with using smart devices may experience difficulties)	Winckler et al., 2016
	Select both novices and experts as subjects (because feedback may be different depending on the subjects’ level of experience)	Jang et al., 2014
	Select subjects with normal physical and cognitive levels (because physical and cognitive level of subjects can affect the result of experiment)	Jang et al., 2014; Nawaz et al., 2014
	Select subjects who live close to the experiment site considering the travelling cost and time (because the experiment may be prolonged in a Living Lab environment)	Jakobi et al., 2017; Wu et al., 2014; Winckler et al., 2016
Experimental equipment selection	Use devices or sensors that can detect changes in a subjects’ state (because smart safety products and services are highly relevant to physical and cognitive activities)	Amidon et al., 2017; Chae et al., 2017;
Experimental space design	Design the experimental space with hazards that occur in real-world environments (because it is important to evaluate that smart safety-related features work well even if in emergency situations (e.g., fire))	Amidon et al., 2017; Parker et al., 2017
Experimental space design	Design the experimental space in such a way that the behaviors of subjects can be observed (because there exists a risk of accidents due to physical activities required for the experiment)	Jakobi et al., 2017; Wu et al., 2014;
Experimental material design	Check that the questionnaire is written in an understandable way (because smart safety products and services target children and the elderly who are vulnerable to safety)	Vaziri et al., 2016
Experimental material design	Design experimental materials that reflect the language, environment, and process used in real-world environment (because it is important to provide realistic environment)	Jang et al., 2014
Experiment implementation	Conduct a safety check before implementing an experiment to prevent accidents (because there exists a risk of accidents due to physical activities required for the experiment)	Nawaz et al., 2014; Vaziri et al., 2016
Experiment implementation	Provide a training session to familiarize subject with smart safety products and services (because subjects have to adapt to smart functions in a short time)	Wu et al., 2014; Vaziri et al., 2016

Task	Category	Benchmarking item	Reference
Subject selection	Tool	ㆍ Brainstorming ㆍ Persona research ㆍ Value network modeling ㆍ Stakeholder analysis	Ståhlbröst and Holst, 2012; Nesterova and Quak, 2015
Subject selection	Checklist	ㆍ Have you set the characteristics for subject recruitment that meet the purpose of the experiment? ㆍ Have you set the number of subjects that meets the purpose of the experiment?	Ståhlbröst and Holst, 2012; Hartson and Pyla, 2015
Experimental equipment selection	Tool	ㆍ Bodystorming	Ståhlbröst and Holst, 2012; Kim et al., 2015
Experimental equipment selection	Checklist	ㆍ Have you selected the experimental equipment that meets the purpose of the experiment?	Ståhlbröst and Holst, 2012
Experimental material design	Tool	ㆍ Bodystorming	Ståhlbröst and Holst, 2012; Kim et al., 2015
Experimental material design	Checklist	ㆍ Have you selected an experimental space that meets the purpose of the experiment? ㆍ Have you designed the experimental space considering the context in which subjects will perform the experiment?	Ståhlbröst and Holst, 2012

Evaluation gate	Evaluation criteria	Evaluation content
Common¹	Checklist confirmation	Have you checked all items in the checklist?
Common¹	UX evaluation result recording form creation	Have you filled out the UX evaluation result recording form completely?
Gate 1²	Stakeholder agreement	Have you derived an evaluation plan that all stakeholder agree on?
Gate 2²	Experiment parameter selection	Have you chosen the necessary parameters to achieve the purpose of the experiment?
Gate 2²	Experiment design feasibility	Have you established a feasible experimental design?
Gate 3²	Experimental design compliance	Have you conducted the experiment according to the experimental design?
Gate 3²	Data acquisition	Have you obtain the data you need for analysis?
Gate 4²	Analysis plan compliance	Have you carried out the analysis according to the data analysis plan?
Gate 4²	Evaluation purpose achievement	Have you achieved the purpose of the experiment by analyzing the experimental result?
Gate 5²	Report understandability	Have you created a report that is easy to understand?

Task 2.2.2. Subject select planning
Explanation	Determine the characteristics and number of subjects who will participate in the experiment within the period
Guideline	Summary	ㆍ Discussion with Living Lab stakeholders to select the characteristics of subjects (ex. gender, age, occupation, etc.) and the number of subjects
	Consideration	ㆍ Select both novices and experts as subjects (because feedback may be different depending on the subjects’ level of experience) ㆍ Maximize differences in characteristics between groups and minimize differences in characteristics within groups (because experimental results may be different depending on the characteristic of between group and within group) ㆍ Select subjects who have experiences in using smart functions and the internet (because the subjects’ ability to access and use information may be different depending on their experiences) ㆍ Select subjects with normal physical and cognitive levels (because physical and cognitive level of subjects can affect the result of experiment)
	Tool	ㆍ Brainstorming: A way to create more ideas by freely sharing and utilizing the ideas of stakeholders ㆍ Persona research: A way to establish a fictional person that represent the types of user of products and services ㆍ Value network modeling: A way to analyze the business within the value chain and derive a core group of activities ㆍ Stakeholder analysis: A way to identify the stakeholders and analyze the relationship between key persons
Checklist	ㆍ Have you set the characteristics for subject recruitment that meet the purpose of the experiment? ㆍ Have you set the number of subjects that meets the purpose of the experiment?

Component		Specialized parts for smart, safety, and Living Lab	Example
UX evaluation process		Configure Phase, Step, and Task related to the activities performed in the Living Lab	In Task 1.3.3, there is a process for securing stakeholders’ cooperation and agreement.
UX evaluation method and checklist	Consideration	Reflect the consideration in UX evaluation of smart safety products and services	In Task 2.2.2, subjects with experience in using smart functions and the internet are selected.
UX evaluation method and checklist	Tool	Provide tools reflecting the characteristics of smart and safety	In Task 2.3.3, the UX evaluation items related to the smart safety products and services are derived using the UX element model.