------------------------------------------------------------
1. 사용성 테스팅(Massive and Rapid Usability Testing)
가. 사용성 테스팅의 정의
나. Rapid Usbility Testing
다. Massive Usability Testing vs. Rapid Usability Testing
2. 사용성 테스팅 계획(개발 수명주기에서의 사용성 테스팅)
가. 사용성 테스팅은 언제 수행하나요?
3. 참가자 선정
가. 사용성 테스팅에 얼마나 많은 참가자가 적당한가?
나. 사용성 테스팅에서 사용자란 누구인가?
4. 사용성 테스팅 수행
가. 사용자 테스팅
- 사용자 테스팅 소개
- 테스트 과제와 시나리오 작성
- 관찰실
- 테스트 진행
- 회고 그리고 보고서
- 체크리스트
- 사용자 테스팅의 장점과 단점
나. 카드 소팅
다. 소원의 나무
5. 정리(?)
------------------------------------------------------------
이제 가장 중요하고 핵심이 되는 테스트 자체에 대해서 이야기하도록 하겠습니다.
테스트 진행의 핵심은 진행자입니다. 사실 사용자 테스트의 성패는 이 진행자에 달려있다고 말할 수 있습니다.
진행자는 참가자에게 과제를 수행하도록 하고 필요한 질문을 던지는 사람입니다.
진행자는 여러가지 역할을 수행하지만 가장 중요한 2가지를 꼽는다면 아래와 같은 역할입니다.
1. 진행자는 참가자에게 과제를 제공하는 사람입니다.
진행자는 참가자에게 그들이 계속 무언가를 할 수 있도록 과제를 제공하고 과제로 인해 참가자들이 좌절하지 않고 항상 편안하고 기쁜 마음을 유지하도록 도움을 주어야 합니다.
이 때 주의할 점은 참가자가 진행자에게 어떤 질문을 할 때 그 질문에 답을 주어서는 안된다는 것입니다.
참가자의 질문에 어떻게 대처해야할지 모르겠다면 가장 손쉬운 방법은 질문에 질문으로 응답하는 것입니다.
2. 진행자는 참가자가 보고 생각하고 느끼는 것들을 쉼없이 말할 수 있도록 독려해주는 사람입니다.
진행자는 참가자가 보고 생각하고 느끼는 모든 내용들을 최대한 많이 말로 표현하도록 독려해야 됩니다.
참가자들이 제품을 사용하면서 무엇을 하려고 하고, 무엇을 보고 있으며, 무엇을 읽고, 무엇을 훓터 보는지, 그리고 어떤 의문이 드는지를 말로 하도록 독려해야 됩니다.
참가자들이 자신이 보고 생각하고 느끼는 모든 내용들을 얼마나 효과적으로 말로 표현하도록 진행자가 돕는가가 사용자 테스팅의 성공과 직결됩니다.
만화에서는 사람들이 무엇인가를 생각할 때 구름 풍선에 그들이 생각하는 것들이 표시되기 때문에 지금 사람들이 무슨 생각을 하는지 쉽게 알 수 있습니다.
하지만 현실에서는 그런 구름 풍선이 존재하지도 앟고 우리들이 궁예처럼 관심법을 할 수 있는 것도 아니기 때문에 진행자는 참가자들에게 그들이 의문, 감탄, 혼란, 당황, 짜증과 같은 여러 감정을 느낄 때 그런 감정들을 말로 표현할 수 있도록 "지금 무슨 생각을 하시나요?"라는 질문을 던져야 합니다.
이것이 진행자의 가장 중요한 역할입니다.
사용자 테스팅이 다른 사용성 테스팅 기법들과 차별화 되는 점이 바로 이것입니다.
참가자가 실제 제품을 사용하는 모습을 관찰하고 그들의 생각을 들을 수 있다는 것, 이것을 통해 여러분이 의도한대로 사용자들이 제품을 사용하는지 아니면 어떤 차이가 있는지를 알게 되는 것입니다.
이러한 사용자를 관찰하고 사용자의 의견을 듣기 위한 곳이 테스트실입니다.
테스트실은 책상, 테이블, 의자가 있는 조용한 공간이면 됩니다. 필요한 경우에는 실제 제품이 사용되는 공간과 아주 흡사하게 구성하기도 합니다. (예를 들면 푹신한 소파가 있는 거실이나 세탁기가 웅웅거리면서 돌아가는 욕실과 같은 환경을 구성하기도 합니다.)
이 테스트실에는 인터넷 접속이 가능하고 화면 녹화용 소프트웨어와 화면 공유 소프트웨어가 설치된 컴퓨터가 필요합니다.
최근에는 웹캠이 내장된 노트북을 즐겨 사용합니다. 웹캠을 통해 실제 사용자의 얼굴을 진행자가 관찰할 수 있습니다. 이때 사용자의 얼굴은 절대 관찰실로 전송되지 않도록 주의가 필요합니다.
그리고 테스트실에서 가장 중요한 장비를 꼽는다면 마이크를 꼽을 수 있습니다. 참가자에게 노트북이 지급된다고 하더라도 노트북에 내장된 마이크로는 참가자와 진행자의 목소리가 제대로 관찰실로 전달되지 않습니다.
반드시 외장 마이크를 쓰시기를 추천해 드립니다. 그렇다고 가격이 비싼 집음 마이크 같은 것은 필요없습니다. 인터넷 쇼핑몰에서 적당한 가격의 USB 마이크를 하나 구매해서 사용하시기 바랍니다. 조용한 테스트실에서는 저렴한 USB 마이크만으로도 진행자와 참가자의 목소리가 훌륭하게 관찰실로 전달됩니다.
만약 진행자와 참가자의 목소리가 관찰실로 제대로 전달되지 않는다면 관찰실의 관찰자들은 그 즉시 다른 행동에 더 많은 주의를 기울일 것입니다.(스마트폰으로 게임을 하고 있을지도 모르죠.)
이렇게 테스트 수행을 위한 테스트 실과 관찰실의 준비 그리고 두 장소간의 화면 공유와 오디오에 대한 테스트는 실제 테스트가 수행되기 적어도 1시간 전부터 시작해야 됩니다. 그래야 문제가 발생하였을 때 해결할 충분한 시간을 확보할 수 있고, 진행자인 당신도 여유를 가지고 진행할 수 있기 때문입니다.
테스트 수행 전 점검해야할 사항은 아래와 같습니다.
1. 화면 녹화기 테스트하기
화면 녹화가 정상적으로 수행되고 녹화 후 동영상이 제대로 재생되는지 음성이 제대로 녹화되어 재생되는지 확인해야 합니다.
2. 화면 공유기 테스트하기
관찰실에서 테스트실의 제품 화면과 음성이 정확히 전달되는지 반드시 확인해보시기 바랍니다.
3. 테스트를 방해할 수 있는 모든 소프트웨어 꺼놓기
PC라면 백신이나 운영체제의 업데이트 알림, 메신저, 이메일, 백신 검사 예약 알림 등을 모두 끄시기 바랍니다.
안드로이드나 아이폰과 같은 모바일 환경에서도 마찬가지로 모든 알람 메시지를 끄시기 바랍니다.
또한 화면 보호기가 작동하지 않도록 하고 전원 설정도 변경하시기 바랍니다.
3. 커서를 평소보다 크게 만들기, 사용자의 선택에 제품이 반응하도록 설정하기
PC 환경이라면 PC의 마우스 커서를 평소보다 크게 만들어서 관찰자들이 잘 관찰할 수 있도록 하시기 바랍니다.
안드로이드나 아이폰이라면 사용자가 어떤 메뉴를 선택할 때 소리가 나도록 설정하실 수 있습니다.
소리가 나도록 설정하는 부분은 사용자에게 사전에 공지하여 동의를 구하시기 바랍니다. 일부 유저들은 이러한 설정을 매우 싫어하는 경우가 있습니다.
4. 테스트 도중 열어야 하는 페이지 북마크 해두기
귀중한 테스트 시간을 낭비하고 싶지 않다면 미리 해두는 것이 좋습니다. 또한 참가자들이 제품의 테스트 범위를 벗어나는 것을 방지할 수 있습니다.
5. 테스트 대상 이용해 보기
인터넷 접속, 테스트 서버 동작 등을 확인하고 사전 통보 없이 제품에 변경이 있었는지 확인해 보시기 바랍니다.
6. 모든 데이터 리셋하기
테스트가 시작하기 전 당신이 사전 테스트를 수행하면서 입력한 모든 데이터와 방문 기록등을 모두 지우시기 바랍니다.
모든 데이터를 리셋하는 것은 하나의 테스트 세션이 끝날 때마다 수행하셔야 합니다.
7. 참가자를 맞이할 사람이 있다면 모든 준비가 끝났는지 확인해 보시기 바랍니다.
접견실 요원이 참가자들의 연락처를 가지고 있는지, 참가자들이 와서 마실 따뜻한 차와 간식이 구비가 되었는지 등을 확인해 보시기 바랍니다.
이렇게 모든 준비가 끝나고 나면 이제 실제로 테스트를 수행해야할 순간입니다.
아래 예제는 안드로이드 앱에 대한 사용성 테스트 수행 스크립트 예제입니다.
필요한 부분을 수정하여 알맞게 사용하시면 됩니다.
한가지 요청드리는 바는 되도록이면 스크립트를 만드셔서 읽으시길 바랍니다. 즉흥적인 진행은 사용자에게 전달해야할 사항들을 누락시킬수도 있으며, 그럴 경우 참가자가 여러분을 신뢰하지 못할 수도 있습니다.
즉흥적인 안내보다는 꼭 스크립트를 사용하시기 바랍니다.
테스트를 진행하고 스크립트를 읽을 때에는 참가자와 관찰자들이 당신의 목소리를 잘 들을수 있도록 우물거리지 않고 너무 빠르지도 너무 느리지도 않도록 말할 필요가 있습니다.
그러기 위해서 사전에 연습을 충분히 하시는 것도 필요합니다.
사용자 테스트의 핵심은 과제입니다.
일단 참가자가 과제를 시작하게 되면 진행자는 필요 이상으로 끼어 들어 참견하지 않도록 해야 됩니다.
진행자는 참가자가 과제를 수행하면서 보고, 느끼고, 생각하는 것들을 말로 표현하도록 도와만 주면 됩니다.
다만 참가자가 과제를 완료하지 못하고 너무 많은 시간을 소비하거나 과제를 수행하면서 괴로워하거나 참가자로부터 배울 수 있는 무엇가가 없다면 과제를 중간에 종료시킬 수 있습니다.
참가자가 특정 과제를 수행하면서 좌절하고 화를 낸다면 해당 과제를 종료하고 다음 과제로 넘어가는 것이 좋습니다.
특정 과제를 수행하면서 사용자가 포기와 좌절을 느낀다면 해당 감정은 다른 과제를 수행하는 것에 영향을 미치게 됩니다.
때문에 사용자가 과제의 수행에 어려움을 느낀다고 바로 과제를 중단시킬 필요는 없지만 사용자가 과제의 수행에 어려움을 느끼는 것이 해당 과제를 계속 수행하도록 함으로써 얻을 수 있는 가치가 있는지 생각해 보고 참가자의 감정을 고려하여 적절하게 해당 과제를 종료할 필요가 있습니다.
또한 사용자 테스팅은 정해진 시간동안 많은 것을 관찰하고 들을 필요가 있습니다. 때문에 사용자가 어떤 과제에 대하여 너무 많은 시간을 사용하는 경우 해당 과제에서 더 이상 얻을 것이 없다고 판단되면 해당 과제를 종료할 필요가 있습니다.
이렇게 과제를 다 마치지 않고 넘어가는 것이 좋다고 판단된다면 사용자가 해당 과제를 실패했다고 느끼지 못하도록 조심스럽게 과제를 중단시키시기 바랍니다.
우리가 원하는 것은 과제를 수행하면서 사용자들이 느끼는 감정과 생각이지 과제의 성패가 아닙니다.
과제의 성패에 대하여 참가자에게 통보하거나 참가자들이 과제의 성패에 얽매이지 않도록 주의하시기 바랍니다.
과제를 종료할 때에는 "감사합니다. 저희에게 큰 도움이 되었습니다. 해야 할 과제가 많이 남아있으므로 다음 과제로 넘어가도록 하겠습니다."와 같이 참가자의 행동이 의미가 있었고 우리에게 많은 도움이 되었다는 것을 강조하는 것이 좋습니다.
중요한 것은 과제를 중단하는 것이 참가자의 실수 때문이 아니라는 것을 강조하는 것입니다.(그렇다고 참가자에게 그것을 직접 말할 필요는 없습니다. 테스트 진행중에는 성공, 실패와 같은 단어를 사용하지 마십시오.)
이러한 과제를 수행하면서 가장 중요한 것은 중립을 유지하는 것입니다.
사용자 테스트가 실패하는 경우는 진행자가 의식적으로 또는 무의식적으로 테스트 과제가 성공하기를 바라는 마음에서 또는 테스트 대상이 마음에 안들어서 실패하기를 바라는 마음에서 참가자의 행도에 영향을 미치는 경우입니다.
말그대로 테스트를 조작하는 경우입니다. 이것은 테스트 진행 뿐만 아니라 과제 작성시에도 세심하게 주의를 기울여야 하는 부분입니다.
만약 정치적으로든 또는 어떤 이유로든 참가자의 행동에 진행자가 영향을 미쳤다는 것을 관찰자들이 깨닫게 되면 당신의 테스트 신뢰도는 0가 될 것입니다. 이후에는 누구도 당신을 믿지 않게 될 것입니다.
그런 의미에서 테스트 진행자는 제품과 전혀 관련이 없는 제 3자가 하는 것이 좋을 수도 있습니다.
하지만 제 3자가 과제를 선정하고 테스트를 진행한다고 하더라고 이 모든 것이 사람이 진행하는 것이기 때문에 진행자는 참가자에게 알게 모르게 영향을 미칠 수 있습니다.
때문에 아래와 같은 사항들을 유념하여 테스트를 진행하여야 합니다.
1. 참가자에게 어떠한 힌트도 주어서는 안됩니다. 참가자가 과제를 수행하는데에 어려움을 겪고 있다고 하더라고 도와주고 싶은 마음을 참으시기 바랍니다.
2. 참가자가 질문을 하더라도 답을 하지 마십시오. 필요하다면 질문에는 질문으로 대답하시기 바랍니다.
3. 어떠한 경우라도 참가자의 의견에 동조하거나 진행자의 의견을 피력하지 마십시오. 예를 들면, 참가자가 "와!! 이 기능은 정말 멋지군요." 라고 했을 때, "그렇지요."라든지 "저도 그렇게 생각합니다."와 같은 이야기를 하면 안됩니다. 좋은 것은 "무엇이 멋지다고 생각하시나요?"라는 질문이고, 가장 좋은 것은 그냥 조용히 침묵하는 것입니다.(참가자가 아무 이야기도 하지 않고 가만히 있을 경우 참가자가 불편하지 않을까? 하는 걱정은 하지 않으셔도 됩니다. 대부분의 참가자는 당신이 뭐라고 했는지 잘 기억하지 못합니다.)
4. 가장 어려운 것은 여러분의 얼굴입니다. 여러분의 얼굴이 포커페이스가 되도록 노력하시기 바랍니다. 참가자가 어떤 과제에 어려움을 격고 있을 때 당신의 얼굴이 일그러져 있다면 참가자는 큰 혼란에 빠지게 됩니다. 가장 좋은 표정은 살짝 미소를 머금은 표정입니다. 어떤 순간에도(참가자가 당신의 성질을 북북 긁는다고 해도) 포커페이스를 유지하시기 바랍니다.
이 외에도 실제 테스트를 진행하며서 겪을 수 있는 상황은 너무 많습니다. 하지만 그런 상황들에 대하여 겁을 먹을 필요는 없습니다.
중요한 것은 이 모든 과정에서 진행자가 참가자를 배려하는 것이 중요합니다.
참가자들이 테스트를 마치고 테스트실을 나갈 때 즐거운 기분으로 나갈 수 있도록 도와주시기 바랍니다.
만약 참가자들이 테스트실을 나갈때 웃고 있다면 당신의 테스트는 절반은 성공한 것이라고 할 수 있습니다.
테스트가 끝났다면 이제 관찰자들과 만나 사용성 문제를 분류하고 개선할 사항들을 도출해야할 시간입니다.
-----------------------------------
테스트 수행에 대하여 좀 더 궁금하신 내용이 있다면 댓글로 물어보시면 추가로 답변해 드리도록 하겠습니다.
필요하다면 이 모든 것을 교육을 통해 직접 체험해 보실 수도 있습니다. (STA에서는 사용자 테스팅의 모든 과정을 교육과정으로 제공하고 있습니다.)
1. 사용성 테스팅(Massive and Rapid Usability Testing)
가. 사용성 테스팅의 정의
나. Rapid Usbility Testing
다. Massive Usability Testing vs. Rapid Usability Testing
2. 사용성 테스팅 계획(개발 수명주기에서의 사용성 테스팅)
가. 사용성 테스팅은 언제 수행하나요?
3. 참가자 선정
가. 사용성 테스팅에 얼마나 많은 참가자가 적당한가?
나. 사용성 테스팅에서 사용자란 누구인가?
4. 사용성 테스팅 수행
가. 사용자 테스팅
- 사용자 테스팅 소개
- 테스트 과제와 시나리오 작성
- 관찰실
- 테스트 진행
- 회고 그리고 보고서
- 체크리스트
- 사용자 테스팅의 장점과 단점
나. 카드 소팅
다. 소원의 나무
5. 정리(?)
------------------------------------------------------------
이제 가장 중요하고 핵심이 되는 테스트 자체에 대해서 이야기하도록 하겠습니다.
테스트 진행의 핵심은 진행자입니다. 사실 사용자 테스트의 성패는 이 진행자에 달려있다고 말할 수 있습니다.
진행자는 참가자에게 과제를 수행하도록 하고 필요한 질문을 던지는 사람입니다.
진행자는 여러가지 역할을 수행하지만 가장 중요한 2가지를 꼽는다면 아래와 같은 역할입니다.
1. 진행자는 참가자에게 과제를 제공하는 사람입니다.
진행자는 참가자에게 그들이 계속 무언가를 할 수 있도록 과제를 제공하고 과제로 인해 참가자들이 좌절하지 않고 항상 편안하고 기쁜 마음을 유지하도록 도움을 주어야 합니다.
이 때 주의할 점은 참가자가 진행자에게 어떤 질문을 할 때 그 질문에 답을 주어서는 안된다는 것입니다.
참가자의 질문에 어떻게 대처해야할지 모르겠다면 가장 손쉬운 방법은 질문에 질문으로 응답하는 것입니다.
2. 진행자는 참가자가 보고 생각하고 느끼는 것들을 쉼없이 말할 수 있도록 독려해주는 사람입니다.
진행자는 참가자가 보고 생각하고 느끼는 모든 내용들을 최대한 많이 말로 표현하도록 독려해야 됩니다.
참가자들이 제품을 사용하면서 무엇을 하려고 하고, 무엇을 보고 있으며, 무엇을 읽고, 무엇을 훓터 보는지, 그리고 어떤 의문이 드는지를 말로 하도록 독려해야 됩니다.
참가자들이 자신이 보고 생각하고 느끼는 모든 내용들을 얼마나 효과적으로 말로 표현하도록 진행자가 돕는가가 사용자 테스팅의 성공과 직결됩니다.
만화에서는 사람들이 무엇인가를 생각할 때 구름 풍선에 그들이 생각하는 것들이 표시되기 때문에 지금 사람들이 무슨 생각을 하는지 쉽게 알 수 있습니다.
하지만 현실에서는 그런 구름 풍선이 존재하지도 앟고 우리들이 궁예처럼 관심법을 할 수 있는 것도 아니기 때문에 진행자는 참가자들에게 그들이 의문, 감탄, 혼란, 당황, 짜증과 같은 여러 감정을 느낄 때 그런 감정들을 말로 표현할 수 있도록 "지금 무슨 생각을 하시나요?"라는 질문을 던져야 합니다.
이것이 진행자의 가장 중요한 역할입니다.
사용자 테스팅이 다른 사용성 테스팅 기법들과 차별화 되는 점이 바로 이것입니다.
참가자가 실제 제품을 사용하는 모습을 관찰하고 그들의 생각을 들을 수 있다는 것, 이것을 통해 여러분이 의도한대로 사용자들이 제품을 사용하는지 아니면 어떤 차이가 있는지를 알게 되는 것입니다.
이러한 사용자를 관찰하고 사용자의 의견을 듣기 위한 곳이 테스트실입니다.
테스트실은 책상, 테이블, 의자가 있는 조용한 공간이면 됩니다. 필요한 경우에는 실제 제품이 사용되는 공간과 아주 흡사하게 구성하기도 합니다. (예를 들면 푹신한 소파가 있는 거실이나 세탁기가 웅웅거리면서 돌아가는 욕실과 같은 환경을 구성하기도 합니다.)
이 테스트실에는 인터넷 접속이 가능하고 화면 녹화용 소프트웨어와 화면 공유 소프트웨어가 설치된 컴퓨터가 필요합니다.
최근에는 웹캠이 내장된 노트북을 즐겨 사용합니다. 웹캠을 통해 실제 사용자의 얼굴을 진행자가 관찰할 수 있습니다. 이때 사용자의 얼굴은 절대 관찰실로 전송되지 않도록 주의가 필요합니다.
그리고 테스트실에서 가장 중요한 장비를 꼽는다면 마이크를 꼽을 수 있습니다. 참가자에게 노트북이 지급된다고 하더라도 노트북에 내장된 마이크로는 참가자와 진행자의 목소리가 제대로 관찰실로 전달되지 않습니다.
반드시 외장 마이크를 쓰시기를 추천해 드립니다. 그렇다고 가격이 비싼 집음 마이크 같은 것은 필요없습니다. 인터넷 쇼핑몰에서 적당한 가격의 USB 마이크를 하나 구매해서 사용하시기 바랍니다. 조용한 테스트실에서는 저렴한 USB 마이크만으로도 진행자와 참가자의 목소리가 훌륭하게 관찰실로 전달됩니다.
만약 진행자와 참가자의 목소리가 관찰실로 제대로 전달되지 않는다면 관찰실의 관찰자들은 그 즉시 다른 행동에 더 많은 주의를 기울일 것입니다.(스마트폰으로 게임을 하고 있을지도 모르죠.)
이렇게 테스트 수행을 위한 테스트 실과 관찰실의 준비 그리고 두 장소간의 화면 공유와 오디오에 대한 테스트는 실제 테스트가 수행되기 적어도 1시간 전부터 시작해야 됩니다. 그래야 문제가 발생하였을 때 해결할 충분한 시간을 확보할 수 있고, 진행자인 당신도 여유를 가지고 진행할 수 있기 때문입니다.
테스트 수행 전 점검해야할 사항은 아래와 같습니다.
1. 화면 녹화기 테스트하기
화면 녹화가 정상적으로 수행되고 녹화 후 동영상이 제대로 재생되는지 음성이 제대로 녹화되어 재생되는지 확인해야 합니다.
2. 화면 공유기 테스트하기
관찰실에서 테스트실의 제품 화면과 음성이 정확히 전달되는지 반드시 확인해보시기 바랍니다.
3. 테스트를 방해할 수 있는 모든 소프트웨어 꺼놓기
PC라면 백신이나 운영체제의 업데이트 알림, 메신저, 이메일, 백신 검사 예약 알림 등을 모두 끄시기 바랍니다.
안드로이드나 아이폰과 같은 모바일 환경에서도 마찬가지로 모든 알람 메시지를 끄시기 바랍니다.
또한 화면 보호기가 작동하지 않도록 하고 전원 설정도 변경하시기 바랍니다.
3. 커서를 평소보다 크게 만들기, 사용자의 선택에 제품이 반응하도록 설정하기
PC 환경이라면 PC의 마우스 커서를 평소보다 크게 만들어서 관찰자들이 잘 관찰할 수 있도록 하시기 바랍니다.
안드로이드나 아이폰이라면 사용자가 어떤 메뉴를 선택할 때 소리가 나도록 설정하실 수 있습니다.
소리가 나도록 설정하는 부분은 사용자에게 사전에 공지하여 동의를 구하시기 바랍니다. 일부 유저들은 이러한 설정을 매우 싫어하는 경우가 있습니다.
4. 테스트 도중 열어야 하는 페이지 북마크 해두기
귀중한 테스트 시간을 낭비하고 싶지 않다면 미리 해두는 것이 좋습니다. 또한 참가자들이 제품의 테스트 범위를 벗어나는 것을 방지할 수 있습니다.
5. 테스트 대상 이용해 보기
인터넷 접속, 테스트 서버 동작 등을 확인하고 사전 통보 없이 제품에 변경이 있었는지 확인해 보시기 바랍니다.
6. 모든 데이터 리셋하기
테스트가 시작하기 전 당신이 사전 테스트를 수행하면서 입력한 모든 데이터와 방문 기록등을 모두 지우시기 바랍니다.
모든 데이터를 리셋하는 것은 하나의 테스트 세션이 끝날 때마다 수행하셔야 합니다.
7. 참가자를 맞이할 사람이 있다면 모든 준비가 끝났는지 확인해 보시기 바랍니다.
접견실 요원이 참가자들의 연락처를 가지고 있는지, 참가자들이 와서 마실 따뜻한 차와 간식이 구비가 되었는지 등을 확인해 보시기 바랍니다.
이렇게 모든 준비가 끝나고 나면 이제 실제로 테스트를 수행해야할 순간입니다.
아래 예제는 안드로이드 앱에 대한 사용성 테스트 수행 스크립트 예제입니다.
필요한 부분을 수정하여 알맞게 사용하시면 됩니다.
한가지 요청드리는 바는 되도록이면 스크립트를 만드셔서 읽으시길 바랍니다. 즉흥적인 진행은 사용자에게 전달해야할 사항들을 누락시킬수도 있으며, 그럴 경우 참가자가 여러분을 신뢰하지 못할 수도 있습니다.
즉흥적인 안내보다는 꼭 스크립트를 사용하시기 바랍니다.
테스트를 진행하고 스크립트를 읽을 때에는 참가자와 관찰자들이 당신의 목소리를 잘 들을수 있도록 우물거리지 않고 너무 빠르지도 너무 느리지도 않도록 말할 필요가 있습니다.
그러기 위해서 사전에 연습을 충분히 하시는 것도 필요합니다.
사용자 테스트의 핵심은 과제입니다.
일단 참가자가 과제를 시작하게 되면 진행자는 필요 이상으로 끼어 들어 참견하지 않도록 해야 됩니다.
진행자는 참가자가 과제를 수행하면서 보고, 느끼고, 생각하는 것들을 말로 표현하도록 도와만 주면 됩니다.
다만 참가자가 과제를 완료하지 못하고 너무 많은 시간을 소비하거나 과제를 수행하면서 괴로워하거나 참가자로부터 배울 수 있는 무엇가가 없다면 과제를 중간에 종료시킬 수 있습니다.
참가자가 특정 과제를 수행하면서 좌절하고 화를 낸다면 해당 과제를 종료하고 다음 과제로 넘어가는 것이 좋습니다.
특정 과제를 수행하면서 사용자가 포기와 좌절을 느낀다면 해당 감정은 다른 과제를 수행하는 것에 영향을 미치게 됩니다.
때문에 사용자가 과제의 수행에 어려움을 느낀다고 바로 과제를 중단시킬 필요는 없지만 사용자가 과제의 수행에 어려움을 느끼는 것이 해당 과제를 계속 수행하도록 함으로써 얻을 수 있는 가치가 있는지 생각해 보고 참가자의 감정을 고려하여 적절하게 해당 과제를 종료할 필요가 있습니다.
또한 사용자 테스팅은 정해진 시간동안 많은 것을 관찰하고 들을 필요가 있습니다. 때문에 사용자가 어떤 과제에 대하여 너무 많은 시간을 사용하는 경우 해당 과제에서 더 이상 얻을 것이 없다고 판단되면 해당 과제를 종료할 필요가 있습니다.
이렇게 과제를 다 마치지 않고 넘어가는 것이 좋다고 판단된다면 사용자가 해당 과제를 실패했다고 느끼지 못하도록 조심스럽게 과제를 중단시키시기 바랍니다.
우리가 원하는 것은 과제를 수행하면서 사용자들이 느끼는 감정과 생각이지 과제의 성패가 아닙니다.
과제의 성패에 대하여 참가자에게 통보하거나 참가자들이 과제의 성패에 얽매이지 않도록 주의하시기 바랍니다.
과제를 종료할 때에는 "감사합니다. 저희에게 큰 도움이 되었습니다. 해야 할 과제가 많이 남아있으므로 다음 과제로 넘어가도록 하겠습니다."와 같이 참가자의 행동이 의미가 있었고 우리에게 많은 도움이 되었다는 것을 강조하는 것이 좋습니다.
중요한 것은 과제를 중단하는 것이 참가자의 실수 때문이 아니라는 것을 강조하는 것입니다.(그렇다고 참가자에게 그것을 직접 말할 필요는 없습니다. 테스트 진행중에는 성공, 실패와 같은 단어를 사용하지 마십시오.)
이러한 과제를 수행하면서 가장 중요한 것은 중립을 유지하는 것입니다.
사용자 테스트가 실패하는 경우는 진행자가 의식적으로 또는 무의식적으로 테스트 과제가 성공하기를 바라는 마음에서 또는 테스트 대상이 마음에 안들어서 실패하기를 바라는 마음에서 참가자의 행도에 영향을 미치는 경우입니다.
말그대로 테스트를 조작하는 경우입니다. 이것은 테스트 진행 뿐만 아니라 과제 작성시에도 세심하게 주의를 기울여야 하는 부분입니다.
만약 정치적으로든 또는 어떤 이유로든 참가자의 행동에 진행자가 영향을 미쳤다는 것을 관찰자들이 깨닫게 되면 당신의 테스트 신뢰도는 0가 될 것입니다. 이후에는 누구도 당신을 믿지 않게 될 것입니다.
그런 의미에서 테스트 진행자는 제품과 전혀 관련이 없는 제 3자가 하는 것이 좋을 수도 있습니다.
하지만 제 3자가 과제를 선정하고 테스트를 진행한다고 하더라고 이 모든 것이 사람이 진행하는 것이기 때문에 진행자는 참가자에게 알게 모르게 영향을 미칠 수 있습니다.
때문에 아래와 같은 사항들을 유념하여 테스트를 진행하여야 합니다.
1. 참가자에게 어떠한 힌트도 주어서는 안됩니다. 참가자가 과제를 수행하는데에 어려움을 겪고 있다고 하더라고 도와주고 싶은 마음을 참으시기 바랍니다.
2. 참가자가 질문을 하더라도 답을 하지 마십시오. 필요하다면 질문에는 질문으로 대답하시기 바랍니다.
3. 어떠한 경우라도 참가자의 의견에 동조하거나 진행자의 의견을 피력하지 마십시오. 예를 들면, 참가자가 "와!! 이 기능은 정말 멋지군요." 라고 했을 때, "그렇지요."라든지 "저도 그렇게 생각합니다."와 같은 이야기를 하면 안됩니다. 좋은 것은 "무엇이 멋지다고 생각하시나요?"라는 질문이고, 가장 좋은 것은 그냥 조용히 침묵하는 것입니다.(참가자가 아무 이야기도 하지 않고 가만히 있을 경우 참가자가 불편하지 않을까? 하는 걱정은 하지 않으셔도 됩니다. 대부분의 참가자는 당신이 뭐라고 했는지 잘 기억하지 못합니다.)
4. 가장 어려운 것은 여러분의 얼굴입니다. 여러분의 얼굴이 포커페이스가 되도록 노력하시기 바랍니다. 참가자가 어떤 과제에 어려움을 격고 있을 때 당신의 얼굴이 일그러져 있다면 참가자는 큰 혼란에 빠지게 됩니다. 가장 좋은 표정은 살짝 미소를 머금은 표정입니다. 어떤 순간에도(참가자가 당신의 성질을 북북 긁는다고 해도) 포커페이스를 유지하시기 바랍니다.
이 외에도 실제 테스트를 진행하며서 겪을 수 있는 상황은 너무 많습니다. 하지만 그런 상황들에 대하여 겁을 먹을 필요는 없습니다.
중요한 것은 이 모든 과정에서 진행자가 참가자를 배려하는 것이 중요합니다.
참가자들이 테스트를 마치고 테스트실을 나갈 때 즐거운 기분으로 나갈 수 있도록 도와주시기 바랍니다.
만약 참가자들이 테스트실을 나갈때 웃고 있다면 당신의 테스트는 절반은 성공한 것이라고 할 수 있습니다.
테스트가 끝났다면 이제 관찰자들과 만나 사용성 문제를 분류하고 개선할 사항들을 도출해야할 시간입니다.
-----------------------------------
테스트 수행에 대하여 좀 더 궁금하신 내용이 있다면 댓글로 물어보시면 추가로 답변해 드리도록 하겠습니다.
필요하다면 이 모든 것을 교육을 통해 직접 체험해 보실 수도 있습니다. (STA에서는 사용자 테스팅의 모든 과정을 교육과정으로 제공하고 있습니다.)
댓글
댓글 쓰기