기본 콘텐츠로 건너뛰기

사용자 테스트 진행하기

------------------------------------------------------------

1. 사용성 테스팅(Massive and Rapid Usability Testing)

 가. 사용성 테스팅의 정의

 나. Rapid Usbility Testing

 다. Massive Usability Testing vs. Rapid Usability Testing

2. 사용성 테스팅 계획(개발 수명주기에서의 사용성 테스팅)

 가. 사용성 테스팅은 언제 수행하나요?

3. 참가자 선정

 가. 사용성 테스팅에 얼마나 많은 참가자가 적당한가?

 나. 사용성 테스팅에서 사용자란 누구인가?

4. 사용성 테스팅 수행

 가. 사용자 테스팅
  - 사용자 테스팅 소개
  - 테스트 과제와 시나리오 작성
  - 관찰실
  - 테스트 진행
  - 회고 그리고 보고서
  - 체크리스트
  - 사용자 테스팅의 장점과 단점

 나. 카드 소팅

 다. 소원의 나무

5. 정리(?)

------------------------------------------------------------

이제 가장 중요하고 핵심이 되는 테스트 자체에 대해서 이야기하도록 하겠습니다.

테스트 진행의 핵심은 진행자입니다. 사실 사용자 테스트의 성패는 이 진행자에 달려있다고 말할 수 있습니다.

진행자는 참가자에게 과제를 수행하도록 하고 필요한 질문을 던지는 사람입니다.

진행자는 여러가지 역할을 수행하지만 가장 중요한 2가지를 꼽는다면 아래와 같은 역할입니다.

1. 진행자는 참가자에게 과제를 제공하는 사람입니다.

진행자는 참가자에게 그들이 계속 무언가를 할 수 있도록 과제를 제공하고 과제로 인해 참가자들이 좌절하지 않고 항상 편안하고 기쁜 마음을 유지하도록 도움을 주어야 합니다.

이 때 주의할 점은 참가자가 진행자에게 어떤 질문을 할 때 그 질문에 답을 주어서는 안된다는 것입니다.

참가자의 질문에 어떻게 대처해야할지 모르겠다면 가장 손쉬운 방법은 질문에 질문으로 응답하는 것입니다.

2. 진행자는 참가자가 보고 생각하고 느끼는 것들을 쉼없이 말할 수 있도록 독려해주는 사람입니다.

진행자는 참가자가 보고 생각하고 느끼는 모든 내용들을 최대한 많이 말로 표현하도록 독려해야 됩니다.

참가자들이 제품을 사용하면서 무엇을 하려고 하고, 무엇을 보고 있으며, 무엇을 읽고, 무엇을 훓터 보는지, 그리고 어떤 의문이 드는지를 말로 하도록 독려해야 됩니다.

참가자들이 자신이 보고 생각하고 느끼는 모든 내용들을 얼마나 효과적으로 말로 표현하도록 진행자가 돕는가가 사용자 테스팅의 성공과 직결됩니다.

만화에서는 사람들이 무엇인가를 생각할 때 구름 풍선에 그들이 생각하는 것들이 표시되기 때문에 지금 사람들이 무슨 생각을 하는지 쉽게 알 수 있습니다.

하지만 현실에서는 그런 구름 풍선이 존재하지도 앟고 우리들이 궁예처럼 관심법을 할 수 있는 것도 아니기 때문에 진행자는 참가자들에게 그들이 의문, 감탄, 혼란, 당황, 짜증과 같은 여러 감정을 느낄 때 그런 감정들을 말로 표현할 수 있도록 "지금 무슨 생각을 하시나요?"라는 질문을 던져야 합니다.

이것이 진행자의 가장 중요한 역할입니다.

사용자 테스팅이 다른 사용성 테스팅 기법들과 차별화 되는 점이 바로 이것입니다.

참가자가 실제 제품을 사용하는 모습을 관찰하고 그들의 생각을 들을 수 있다는 것, 이것을 통해 여러분이 의도한대로 사용자들이 제품을 사용하는지 아니면 어떤 차이가 있는지를 알게 되는 것입니다.

이러한 사용자를 관찰하고 사용자의 의견을 듣기 위한 곳이 테스트실입니다.

테스트실은 책상, 테이블, 의자가 있는 조용한 공간이면 됩니다. 필요한 경우에는 실제 제품이 사용되는 공간과 아주 흡사하게 구성하기도 합니다. (예를 들면 푹신한 소파가 있는 거실이나 세탁기가 웅웅거리면서 돌아가는 욕실과 같은 환경을 구성하기도 합니다.)

이 테스트실에는 인터넷 접속이 가능하고 화면 녹화용 소프트웨어와 화면 공유 소프트웨어가 설치된 컴퓨터가 필요합니다.

최근에는 웹캠이 내장된 노트북을 즐겨 사용합니다. 웹캠을 통해 실제 사용자의 얼굴을 진행자가 관찰할 수 있습니다. 이때 사용자의 얼굴은 절대 관찰실로 전송되지 않도록 주의가 필요합니다.

그리고 테스트실에서 가장 중요한 장비를 꼽는다면 마이크를 꼽을 수 있습니다. 참가자에게 노트북이 지급된다고 하더라도 노트북에 내장된 마이크로는 참가자와 진행자의 목소리가 제대로 관찰실로 전달되지 않습니다.

반드시 외장 마이크를 쓰시기를 추천해 드립니다. 그렇다고 가격이 비싼 집음 마이크 같은 것은 필요없습니다. 인터넷 쇼핑몰에서 적당한 가격의 USB 마이크를 하나 구매해서 사용하시기 바랍니다. 조용한 테스트실에서는 저렴한 USB 마이크만으로도 진행자와 참가자의 목소리가 훌륭하게 관찰실로 전달됩니다.

만약 진행자와 참가자의 목소리가 관찰실로 제대로 전달되지 않는다면 관찰실의 관찰자들은 그 즉시 다른 행동에 더 많은 주의를 기울일 것입니다.(스마트폰으로 게임을 하고 있을지도 모르죠.)

이렇게 테스트 수행을 위한 테스트 실과 관찰실의 준비 그리고 두 장소간의 화면 공유와 오디오에 대한 테스트는 실제 테스트가 수행되기 적어도 1시간 전부터 시작해야 됩니다. 그래야 문제가 발생하였을 때 해결할 충분한 시간을 확보할 수 있고, 진행자인 당신도 여유를 가지고 진행할 수 있기 때문입니다.

테스트 수행 전 점검해야할 사항은 아래와 같습니다.

1. 화면 녹화기 테스트하기
화면 녹화가 정상적으로 수행되고 녹화 후 동영상이 제대로 재생되는지 음성이 제대로 녹화되어 재생되는지 확인해야 합니다.

2. 화면 공유기 테스트하기
관찰실에서 테스트실의 제품 화면과 음성이 정확히 전달되는지 반드시 확인해보시기 바랍니다.

3. 테스트를 방해할 수 있는 모든 소프트웨어 꺼놓기
PC라면 백신이나 운영체제의 업데이트 알림, 메신저, 이메일, 백신 검사 예약 알림 등을 모두 끄시기 바랍니다.
안드로이드나 아이폰과 같은 모바일 환경에서도 마찬가지로 모든 알람 메시지를 끄시기 바랍니다.
또한 화면 보호기가 작동하지 않도록 하고 전원 설정도 변경하시기 바랍니다.

3. 커서를 평소보다 크게 만들기, 사용자의 선택에 제품이 반응하도록 설정하기
PC 환경이라면 PC의 마우스 커서를 평소보다 크게 만들어서 관찰자들이 잘 관찰할 수 있도록 하시기 바랍니다.
안드로이드나 아이폰이라면 사용자가 어떤 메뉴를 선택할 때 소리가 나도록 설정하실 수 있습니다.

소리가 나도록 설정하는 부분은 사용자에게 사전에 공지하여 동의를 구하시기 바랍니다. 일부 유저들은 이러한 설정을 매우 싫어하는 경우가 있습니다.

4. 테스트 도중 열어야 하는 페이지 북마크 해두기
귀중한 테스트 시간을 낭비하고 싶지 않다면 미리 해두는 것이 좋습니다. 또한 참가자들이 제품의 테스트 범위를 벗어나는 것을 방지할 수 있습니다.

5. 테스트 대상 이용해 보기
인터넷 접속, 테스트 서버 동작 등을 확인하고 사전 통보 없이 제품에 변경이 있었는지 확인해 보시기 바랍니다.

6. 모든 데이터 리셋하기
테스트가 시작하기 전 당신이 사전 테스트를 수행하면서 입력한 모든 데이터와 방문 기록등을 모두 지우시기 바랍니다.
모든 데이터를 리셋하는 것은 하나의 테스트 세션이 끝날 때마다 수행하셔야 합니다.

7. 참가자를 맞이할 사람이 있다면 모든 준비가 끝났는지 확인해 보시기 바랍니다.
접견실 요원이 참가자들의 연락처를 가지고 있는지, 참가자들이 와서 마실 따뜻한 차와 간식이 구비가 되었는지 등을 확인해 보시기 바랍니다.

이렇게 모든 준비가 끝나고 나면 이제 실제로 테스트를 수행해야할 순간입니다.

아래 예제는 안드로이드 앱에 대한 사용성 테스트 수행 스크립트 예제입니다.

필요한 부분을 수정하여 알맞게 사용하시면 됩니다.


한가지 요청드리는 바는 되도록이면 스크립트를 만드셔서 읽으시길 바랍니다. 즉흥적인 진행은 사용자에게 전달해야할 사항들을 누락시킬수도 있으며, 그럴 경우 참가자가 여러분을 신뢰하지 못할 수도 있습니다.

즉흥적인 안내보다는 꼭 스크립트를 사용하시기 바랍니다.

테스트를 진행하고 스크립트를 읽을 때에는 참가자와 관찰자들이 당신의 목소리를 잘 들을수 있도록 우물거리지 않고 너무 빠르지도 너무 느리지도 않도록 말할 필요가 있습니다.

그러기 위해서 사전에 연습을 충분히 하시는 것도 필요합니다.

사용자 테스트의 핵심은 과제입니다.

일단 참가자가 과제를 시작하게 되면 진행자는 필요 이상으로 끼어 들어 참견하지 않도록 해야 됩니다.

진행자는 참가자가 과제를 수행하면서 보고, 느끼고, 생각하는 것들을 말로 표현하도록 도와만 주면 됩니다.

다만 참가자가 과제를 완료하지 못하고 너무 많은 시간을 소비하거나 과제를 수행하면서 괴로워하거나 참가자로부터 배울 수 있는 무엇가가 없다면 과제를 중간에 종료시킬 수 있습니다.

참가자가 특정 과제를 수행하면서 좌절하고 화를 낸다면 해당 과제를 종료하고 다음 과제로 넘어가는 것이 좋습니다.

특정 과제를 수행하면서 사용자가 포기와 좌절을 느낀다면 해당 감정은 다른 과제를 수행하는 것에 영향을 미치게 됩니다.

때문에 사용자가 과제의 수행에 어려움을 느낀다고 바로 과제를 중단시킬 필요는 없지만 사용자가 과제의 수행에 어려움을 느끼는 것이 해당 과제를 계속 수행하도록 함으로써 얻을 수 있는 가치가 있는지 생각해 보고 참가자의 감정을 고려하여 적절하게 해당 과제를 종료할 필요가 있습니다.

또한 사용자 테스팅은 정해진 시간동안 많은 것을 관찰하고 들을 필요가 있습니다. 때문에 사용자가 어떤 과제에 대하여 너무 많은 시간을 사용하는 경우 해당 과제에서 더 이상 얻을 것이 없다고 판단되면 해당 과제를 종료할 필요가 있습니다.

이렇게 과제를 다 마치지 않고 넘어가는 것이 좋다고 판단된다면 사용자가 해당 과제를 실패했다고 느끼지 못하도록 조심스럽게 과제를 중단시키시기 바랍니다.

우리가 원하는 것은 과제를 수행하면서 사용자들이 느끼는 감정과 생각이지 과제의 성패가 아닙니다.

과제의 성패에 대하여 참가자에게 통보하거나 참가자들이 과제의 성패에 얽매이지 않도록 주의하시기 바랍니다.

과제를 종료할 때에는 "감사합니다. 저희에게 큰 도움이 되었습니다. 해야 할 과제가 많이 남아있으므로 다음 과제로 넘어가도록 하겠습니다."와 같이 참가자의 행동이 의미가 있었고 우리에게 많은 도움이 되었다는 것을 강조하는 것이 좋습니다.

중요한 것은 과제를 중단하는 것이 참가자의 실수 때문이 아니라는 것을 강조하는 것입니다.(그렇다고 참가자에게 그것을 직접 말할 필요는 없습니다. 테스트 진행중에는 성공, 실패와 같은 단어를 사용하지 마십시오.)

이러한 과제를 수행하면서 가장 중요한 것은 중립을 유지하는 것입니다.

사용자 테스트가 실패하는 경우는 진행자가 의식적으로 또는 무의식적으로 테스트 과제가 성공하기를 바라는 마음에서 또는 테스트 대상이 마음에 안들어서 실패하기를 바라는 마음에서 참가자의 행도에 영향을 미치는 경우입니다.

말그대로 테스트를 조작하는 경우입니다. 이것은 테스트 진행 뿐만 아니라 과제 작성시에도 세심하게 주의를 기울여야 하는 부분입니다.

만약 정치적으로든 또는 어떤 이유로든 참가자의 행동에 진행자가 영향을 미쳤다는 것을 관찰자들이 깨닫게 되면 당신의 테스트 신뢰도는 0가 될 것입니다. 이후에는 누구도 당신을 믿지 않게 될 것입니다.

그런 의미에서 테스트 진행자는 제품과 전혀 관련이 없는 제 3자가 하는 것이 좋을 수도 있습니다.

하지만 제 3자가 과제를 선정하고 테스트를 진행한다고 하더라고 이 모든 것이 사람이 진행하는 것이기 때문에 진행자는 참가자에게 알게 모르게 영향을 미칠 수 있습니다.

때문에 아래와 같은 사항들을 유념하여 테스트를 진행하여야 합니다.

1. 참가자에게 어떠한 힌트도 주어서는 안됩니다. 참가자가 과제를 수행하는데에 어려움을 겪고 있다고 하더라고 도와주고 싶은 마음을 참으시기 바랍니다.

2. 참가자가 질문을 하더라도 답을 하지 마십시오. 필요하다면 질문에는 질문으로 대답하시기 바랍니다.

3. 어떠한 경우라도 참가자의 의견에 동조하거나 진행자의 의견을 피력하지 마십시오. 예를 들면, 참가자가 "와!! 이 기능은 정말 멋지군요." 라고 했을 때, "그렇지요."라든지 "저도 그렇게 생각합니다."와 같은 이야기를 하면 안됩니다. 좋은 것은 "무엇이 멋지다고 생각하시나요?"라는 질문이고, 가장 좋은 것은 그냥 조용히 침묵하는 것입니다.(참가자가 아무 이야기도 하지 않고 가만히 있을 경우 참가자가 불편하지 않을까? 하는 걱정은 하지 않으셔도 됩니다. 대부분의 참가자는 당신이 뭐라고 했는지 잘 기억하지 못합니다.)

4. 가장 어려운 것은 여러분의 얼굴입니다. 여러분의 얼굴이 포커페이스가 되도록 노력하시기 바랍니다. 참가자가 어떤 과제에 어려움을 격고 있을 때 당신의 얼굴이 일그러져 있다면 참가자는 큰 혼란에 빠지게 됩니다. 가장 좋은 표정은 살짝 미소를 머금은 표정입니다. 어떤 순간에도(참가자가 당신의 성질을 북북 긁는다고 해도) 포커페이스를 유지하시기 바랍니다.

이 외에도 실제 테스트를 진행하며서 겪을 수 있는 상황은 너무 많습니다. 하지만 그런 상황들에 대하여 겁을 먹을 필요는 없습니다.

중요한 것은 이 모든 과정에서 진행자가 참가자를 배려하는 것이 중요합니다.

참가자들이 테스트를 마치고 테스트실을 나갈 때 즐거운 기분으로 나갈 수 있도록 도와주시기 바랍니다.

만약 참가자들이 테스트실을 나갈때 웃고 있다면 당신의 테스트는 절반은 성공한 것이라고 할 수 있습니다.

테스트가 끝났다면 이제 관찰자들과 만나 사용성 문제를 분류하고 개선할 사항들을 도출해야할 시간입니다.

-----------------------------------

테스트 수행에 대하여 좀 더 궁금하신 내용이 있다면 댓글로 물어보시면 추가로 답변해 드리도록 하겠습니다.

필요하다면 이 모든 것을 교육을 통해 직접 체험해 보실 수도 있습니다. (STA에서는 사용자 테스팅의 모든 과정을 교육과정으로 제공하고 있습니다.)

댓글

이 블로그의 인기 게시물

비츠 스튜디오 버즈 플러스(투명) 사용 후기

제 내자분은 아직도 유선 이어폰을 쓰고 있습니다. 그게 좋다고 하시더라구요. 작년에 혹시나 해서 앤커 사운드코어 라이프Q35를 구매해서 조공해봤지만 결국은 안쓰시더라구요. 그래서 작년 추운 겨울에 제가 귀마게 용으로 잘 사용해왔는데.. 여름이 되니.. 와.. 이건 너무 덥고 무거워서 못쓰겠더라구요. 아이폰도 사고 애플 워치도 샀으니.. 다음은 에어팟인데.... 노이즈 캔슬링이 된다는 에어팟 프로 2는 ... 네... 너무 비싸더라구요... 이건 내자분께 얘기해봐야 결제가 될리가 없어서... 고민하고 있던차에.. 네.. 저는 봐버리고 말았습니다. 비츠 스튜디오 버즈 플러스의 그 영롱한 투명 버전의 자태를... 급 뽐뿌가 왔지만.. 여전히 20만원의 고가더라구요... 초기 출시 시기에 이벤트로 16만원 정도 했던거 같은데.. 그정도 가격이면 선 결제 후 보고 하면 될거 같은데.. 20만원은 너무 너무 비싸서 침만 삼키던 차에.. 당근에 15만원에 올라온 물건을 덥석 물었습니다. 애플 뮤직 6개월 프로모션 코드도 사용하지 않은 따끈따끈한 제품이라서 그냥 질렀습니다. 이상하게 인터넷이 실제 리뷰 게시물을 찾기 힘들어서.. 고민을 잠깐 했지만.. 그 투명하고 영롱한 자태에 그만... 어쨌든 구매하고 한달 정도 사용해본 후기를 간단하게 남겨봅니다. 1. 노이즈 캔슬링은 기대한 것과는 좀 다르고 앤커 사운드코어 라이프Q35 정도 되는 것 같습니다. 노이즈 캔슬링은 활성화하면 이게 소리를 막아준다기보다는 주변의 작은 소음만 제거해준다고 생각하시면 됩니다. 그러니까 옆에서 소근 거리는 소리나 선풍기 바람 소리 같은 작은 소리들이 사라지고 음악 같은 내가 듣고자 하는 소리가 굉장히 뚜렸해지만 지하철 안내 방송 같은 조금 큰 소리는 그냥 들립니다. 그래서 주변음 허용 모드를 켜보면 너무 시끄러워서 안쓰게 되더라구요. 전 에어팟 프로 2를 사용해 본적이 없어서 비교할 수는 없지만.. 아주 못쓸 정도의 성능은 아니라고 생각됩니다. 2. 저는 귓구멍이 너무 작아서 XS 사이즈의 이어팁

테스트 케이스와 체크리스트의 차이가 뭐여?

테스트 실무에서 가장 혼돈되어 사용되는 용어 중 하나가 테스트 케이스와 체크리스트입니다. 많은 경우 체크리스트를 테스트 케이스로 사용하는 경우가 많습니다. 실제로 인터넷 커뮤니티나 블로그, ISO, IEEE, ISTQB 등등을 검색해보시면 테스트 케이스와 체크리스트에 대한 구분이 다 제각각입니다. 각각에 대한 정의가 다 제각각입니다. 사정이 이러하다보니 많은 사람들이 테스트 케이스와 체크리스트를 잘 구분하지 못하고 혼동해서 사용하는 경우가 많습니다. 물과 기름처럼 테스트 케이스와 체크리스트를 정확하게 구분할 수는 없겠지만.. ISTQB를 기준으로 말씀드리면 설계 기법을 통해 도출된 것은 테스트 케이스 그렇지 않은 것은 체크리스트라고 생각하시면 쉽습니다. 예를 들면 아래는 결정 테이블 테스팅 기법을 통해 도출된 테스트 케이스의 예제입니다. 실제 테스트 케이스는 위보다 복잡하겠지만 어쨌든 얘기하고 싶은 것은 위와 같이 설계 기법을 통해서 도출된 것은 테스트 케이스라고 합니다. 그런데 딱 보시면 아시겠지만 실제 테스트에서는 저 정도로는 테스트 커버리지를 충분히 만족했다고 얘기하기 힘듭니다. 그렇습니다. 어떤 분들은 테스트 케이스가 전가의 보도, 은 총알 쯤으로 생각하시는데.. 테스트 케이스는 일종의 마지노 선이라고 보시면 됩니다. 최소한 제품을 테스트 할때 이정도는 해줘야 한다는 최후의 방어선 정도라고 보시면 됩니다. 전쟁에서 최후의 방어선은 물러설 수 없는 마지막 보루입니다. 하지만 최후의 방어선만 지킨다고 전쟁에서 승리할 수는 없습니다. 프랑스는 마지노 요새만 믿고 있다가 독일에게 깔끔하게 발렸던 과거가 있지요. 전쟁에서 승리하려면 앞으로 나가야하고 치밀한 전략과 전술이 뒷받침 되어야 합니다. 더 높은 커버리지를 도달하고, 충분히 좋은 테스트가 수행되려면 테스트 케이스는 기본이 되어야 하고 거기에 더해서 체크리스트가 따라와 줘야 합니다. 이러한 체크리스트는 팀의 경험과 과거 프로젝트의 데이

웹 애플리케이션의 보안 취약점을 찾기 위한 통합 침투 테스트 도구 - OWASP Zed Attack Proxy

웹 애플리케이션의 보안 취약점을 테스트하기 위해 그동안 Paros 란 프로그램을 사용해 왔었는데, 안타깝게도 이 프로그램이 업데이트가 되지 않은지 너무 오래돼서 최신의 보안 취약점 검사에는 한계가 있어 이번에 다시 한번 열심히 검색해서 제 나름 기준으로 꽤 좋은 도구를 하나 찾아서 소개해볼까 합니다. 분명 국내에는 저보다 더 능력이 되시는 많은 보안 테스터분들께서 더 좋은 도구를 가지고 테스트를 하시리라 믿습니다만.. 구글에서는 어찌 된 것이 아무리 검색해도 한글로 된 자료를 찾기가 참 어렵습니다. 아마 오늘 제가 소개해 드리는 이 프로그램도 제가 최초가 아닐까? 조심스럽게 생각해 봅니다. 그리고 저도 아직까지 이 프로그램의 모든 기능을 전문적으로 사용하고 있지 못하기 때문에 관련된 자료나 방법을 아시는 분은 같이 공유해주시면 고맙겠습니다. 오늘 소개해드리는 프로그램은 제가 OWASP 홈페이지를 검색하면서 찾아낸 도구입니다. 이 프로그램은 Paros에서 갈라져 나온 프로그램으로 기본적인 사용방법은 Paros와 거의 똑같습니다. 다만 Paros에는 없는 여러가지 기능들이 포함된 정말 종합선물세트와 같은 프로그램입니다. 이 프로그램이 무엇이냐? 바로 OWASP Zed Attack Proxy 라는 프로그램입니다. 이 프로그램에 대한 자세한 내용은 https://www.owasp.org/index.php/ZAP 에서 보실 수 있습니다. 프로그램 소개에는 한국어도 지원한다고 하지만 제 경우에는 아무리 해도 한국어로 나오지는 않네요. 프로그램을 다운로드 하셔서 설치하시고 Weekly Release도 같이 설치하시기 바랍니다. Weekly Release는 zip 파일의 압축을 해제하셔서 설치 디렉토리업 덮어쓰기 하시면 됩니다. 설치를 다 하셨으면 이제 이걸 쓰는 법을 알아보겠습니다. 우선은 브라우저에서 프록시 설정을 해주셔야 합니다. 프록시를 설정하시는 방법은 프로그램에서 F1을 누르셔서 도움말을 실행하신 후에 Getti