기본 콘텐츠로 건너뛰기

소극장을 만들어라. - 관찰실과 관찰자

------------------------------------------------------------

1. 사용성 테스팅(Massive and Rapid Usability Testing)

 가. 사용성 테스팅의 정의

 나. Rapid Usbility Testing

 다. Massive Usability Testing vs. Rapid Usability Testing

2. 사용성 테스팅 계획(개발 수명주기에서의 사용성 테스팅)

 가. 사용성 테스팅은 언제 수행하나요?

3. 참가자 선정

 가. 사용성 테스팅에 얼마나 많은 참가자가 적당한가?

 나. 사용성 테스팅에서 사용자란 누구인가?

4. 사용성 테스팅 수행

 가. 사용자 테스팅
  - 사용자 테스팅 소개
  - 테스트 과제와 시나리오 작성
  - 관찰실
  - 테스트 진행
  - 회고 그리고 보고서
  - 체크리스트
  - 사용자 테스팅의 장점과 단점

 나. 카드 소팅

 다. 소원의 나무

5. 정리(?)

------------------------------------------------------------

사용자 테스팅은 한편의 아름다운 연극과 같습니다.

하지만 아무리 아름다운 연극이라고 해도 지켜보는 관객이 없다면 의미가 없을 것입니다.

마찬가지로 사용자 테스팅과 진행자와 참가자 못지 않게 중요한 사람들이 관찰자들입니다.

여러분이 사용자 테스팅을 하실 때에는 되도록 많은 관찰자들을 부르시기 바랍니다.

관리자, 개발자, 디자이너, 편집자, 카피라이터, 사장님을 포함한 임원진 등 제품 개발에 관련된 사람들이라면 누구든지 상관없습니다.

되도록 많은 사람들을 부르기 위해 할 수 있는 모든 것을 하시기 바랍니다.

되도록 많은 사람들을 초대하기 위한 방법 중 아래와 같은 방법들은 좋은 효과가 있습니다.

1. 사장님을 포함한 임원진들을 모셔라!!
그렇습니다. 경영진이 잠깐이라도 참여를 하게 된다면 보다 많은 사람들이 테스트에 관심을 가지게 됩니다.
그리고 테스트를 무시하기 힘들게 됩니다.
경영진의 참석은 다른 사람들을 테스트에 참여하도록 설득하기 가장 쉬우면서도 가장 강력한 방법 중 하나입니다.
단점은 경영진의 참여를 이끌어내는 것이 어렵다는 것입니다.

2. 빵빵한 간식을 제공한다.
사람들은 은근히 먹을것에 취약합니다. 고급스런 간식과 점심을 보장한다면 많은 사람들이 올 수 있을 겁니다.
언제 만들었는지 모를 김밥이나 정성이라고는 눈꼽만치 없는 피자나 햄버거 보다는 커피 전문점의 상큼한 케익 한조각에 홍차 한잔의 간식은 천양지차입니다.

3. 사람들이 참여하기 쉬운 시간으로 정한다.
되도록이면 테스트 날짜를 그 주의 또는 그 달의 가장 한가한 시간으로 정하시기 바랍니다.
게임회사라면 업데이트가 몰리는 매월 말일과 같은 지옥과 같은 시간을 피하시기 바랍니다.

그 외에도 여러분이 생각할 수 있는 가능한 방법들을 동원하여 되도록 많은 사람들이 참여할 수 있도록 독려하시기 바랍니다.

그렇다면 사용자 테스팅에 참여하는 관찰자들은 어떤 일을 하게 될까요?

관찰자들이 하는 일은 간단합니다.

1. 참가자의 행동을 보고 참가자의 생각을 듣고 필요한 내용을 받아 적습니다.
2. 하나의 세션이 끝나고 나면 자신이 생각하는 가장 심각한 문제점 3개를 골라 적습니다.
3. 진행자가 참가자에게 했으면 하는 질문을 제안합니다.
4. 간신을 맛있게 먹습니다.
5. 회고를 위한 점심 식사에 참가합니다.

간단합니다. 이게 전부입니다.

관찰자로 초대하고 싶은 사람이 참가에 부담을 느낀다면 전혀 어려운 일은 없으며, 오셔서 맛있는 간식과 함께 연극 또는 영화 한편을 본다고 생각하시면 된다는 점을 강조하시면 됩니다.

아래는 관찰자들에게 제공하는 안내문 예시입니다.


다음은 관찰자들이 사용자 테스트를 관찰할 관찰실입니다.

관찰실은 일반적으로 회의실을 사용하시면 됩니다.

만약 참가하는 관찰자들이 정말 많다면 강당이나 소극장등을 사용하셔도 됩니다.

인터넷이 제공되고 빔 프로젝트가 있으며, 참가자의 음성을 들을 수 있는 곳이라면 어디든 상관 없습니다.

다만 한가지 고려할 점은 이전에도 얘기한 것처럼 테스트실과 관찰실이 물리적으로 같은 공간안에 있지 않도록 하는 것이 좋다는 것입니다.

이유는 여러가지가 있지만 참가자의 행동에 관찰자들이 소리내어 웃거나 비난하는 경우 참가자가 상처를 받을 수도 있으며, 많은 관찰자들은 참가자와 이야기 하기 위해 무던히도 애를 쓰기 때문입니다.

절대로 관찰실의 관찰자들이 테스트실의 위치를 알지 못하도록 해야하며, 두 공간이 같은 공간에 있지 않도록 주의하시기 바랍니다.

관찰실에는 다음과 같은 장비들이 구비되어야 합니다.

1. 인터넷 접속이 가능하고 화면 공유 소프트웨어가 설치된 컴퓨터
2. 빔 프로젝터(아니면 엄청 큰 텔레비젼)
3. 스피커(소리만 잘 나오면 됩니다. 5.1 채널 스피커 같은 고가의 장비는 있으면 좋겠지만 필수는 아닙니다.)
4. 빵빵한 간식!! (이것은 정말 중요한 것입니다. 베이글이나 머핀과 커핀 한잔이면 충분하다. 만약 관찰실에 있는 사람들이 즐겨 먹는 간식이 있다면 그것도 좋은 선택이 될 것입니다. Jolt Coke 한 캔이면.. 오우~~)
5. 스피커폰 또는 메신저(테스트실과 연락하기 위해서 필요합니다. 저는 화면 공유 소프트웨어가 같이 제공되는 스카이프를 즐겨 사용합니다.)

관찰실이 준비되었다면 이제 관찰실에서 관찰자들을 통제하고 안내하고 도와줄 관찰실 모니터링 요원이 필요합니다.

관찰실 모니터링 요원은 당신의 동료 중 가장 믿을만하고 친한 사람 중 한사람에게 부탁하시면 됩니다.

아래는 관찰실 모니터링 요원을 위한 안내문입니다.


위의 안내문에 적힌 내용 외에 관찰실 모니터링 요원이 수행해야할 가장 중요한 활동이 있습니다.

그것은 각 세션이 끝나고 관찰자들이 제출하는 가장 심각한 사용성 문제 3가지를 정리하는 작업입니다.

이 작업은 절대 간단한 작업이 아닙니다.

예를 들어 관찰실에 20명의 관찰자가 참여한다면 한 세션당 무려 60개의 사용성 문제가 제출될 것입니다.

이렇게 3개의 세션이 진행되면 전체 사용성 문제는 무려 180개나 됩니다. 이 많은 의견들을 취합하고 같은 내용을 분류하여 정리를 하는 일은 결코 간단하지 않습니다.

원활한 회고 진행을 위해서는 관찰실 모니터링 요원이 회고가 시작되기 전에 이 작업을 끝마칠 필요가 있습니다.

때문에 관찰실 모니터링 요원을 지정하실 때에는 타자가 눈이 부실만큼 빠르고 데이터 정리를 잘하는 사람을 뽑으시는 것도 좋은 방법입니다.

이런 이유로 사용자 테스트에는 되도록 많은 관찰자가 참여하는 것이 좋지만 참여하는 관찰자의 수를 제한하기도 합니다. 저는 개인적으로 10~20명 정도의 관찰자를 추천해 드립니다.

아니면 관찰실 모니터링 요원을 2명 이상 운용하시는 방법도 있습니다.

이제 테스트 과제와 시나리고 그리고 관찰실과 테스트실의 준비가 끝나셨다면 다음은 실제 테스트 진행입니다.

다음 포스트에는 실제 테스트를 진행하는 부분에 대해서 다루도록 하겠습니다.

댓글

이 블로그의 인기 게시물

쿠첸 스마트터치밥솥TOP(10인용) CJH-PD1000iCM 사용기(체험 후기)

2008년 아내를 만나 결혼을 하고.. 자식 셋이 딸린 애아빠가 되어버린 지난 7년 동안.. 머.. 다들 아시겠지만.. 참 못난 아빠로 살고 있습니다. 어느새 7년이 되었네요.. 첫째가 내년이면 초등학교에 들어가니.. 짧지 않은 세월인것 같습니다. 지난 7년동안 애 키우느라 고생만 아내에게 뭐 하나 잘 해준게 없는데.. 아직 철이 덜 들어서 여전히 잘 못해주네요.. 아내가 결혼하면서 가져온 전자 밥솥은 재작년에 수명을 다했는지.. 밥이 제대로 안되어서 한 2년 정도 압력 밭솥에 밥을 해먹었습니다. 한국인은.. 밥심이죠.. 밥을 하려면 솥이 필요한데.. 머.. 냄비에 해먹는 방법도 있지만.. 그건 음.. 귀찮고 힘들고.. 현실에서 밥솥하면 크게 2가지죠.. 압력 밥솥 아니면.. 전자 밥솥.. 압력 밥솥하면.. 풍년이죠.. 아닌가요? 압력 밥솥은 다른건 다 좋은데.. 닦기가 귀찮고(냄비보다는 뭐.. 쉽습니다만..) 밥을 보온으로 하면 금방 말라비틀어지는.. 물론 누룽지를 만들 수 있다는 장점 아닌 장점이.. 전자 밥솥은 저 어릴때는 너도나도 코끼리 밥통이었는데.. 어느샌가... 쿠쿠라는 브랜드와 쿠첸이라는 브랜드의 2강 체제로 바뀌었더군요.. 쿠쿠와 쿠첸이라면.. 밥통계의 삼성과 LG 정도라고 할까요? 주변에 물어보면 대체로 쿠쿠를 추천하더군요.. 아내가 결혼할 때 가져온 밥통도 쿠쿠였습니다. 대략 이렇게 생긴 녀석이죠. 그러다가 이 녀석이 밥을 제대로 하지를 못하야.. 밥통 하나 새로 사준다면서.. 먼넘의 밥통들이 그렇게 비싼 것인지... 그리고 쿠쿠나 쿠첸이나.. 홈페이지에 들어가보면 정말 수십개의 밥통이 있는데.. 도데체가 각각의 밥통 간의 차이가 무엇이고 무엇이 좋고 무엇이 나쁜건지 비교도 할 수 없고.. 설명도 제대로 안되어 있고 제품 겉이나 안을 제대로 볼 수 있는 사진조차 없는 사용성은 개나 줘버린 그런 구조인지라.. 선택 장애를 일으켜서 결국은 압력 밥솥에 밥을 해먹어가며 밥통 하...

아마도 절대 알아낼 수 없을 것 같은 스파크의 연비

스파크를 구매한지 이제 2개월하구 9일이 되었습니다. 이제 대략 4600km를 주행했습니다. 자동차를 몰고 다니는 분들이라면 가장 궁금해하는 것이 과연 내 차의 연비는 얼마나 될까입니다. 기름 한방울 나오지 않는 땅에서 미칠듯이 오르기만 하는 기름값을 견뎌내려면 적은 기름으로 최대한 먼 거리를 달려야하는 것이 모두의 소망이지요. 그런 의미에서 하이브리드나 디젤 차량의 연비는 가솔린 차량이 범접하기 힘든 측면이 있습니다. 그런데, 경차는 하이브리드나 디젤이 아직은 없죠. 경차의 경우 연비를 생각하시는 분들은 LPG 구매를 많이 하시는 것 같더군요. 경차라고 무조건 연비가 좋은 건 아닙니다. 단순히 연비만을 생각한다면 솔직히 하이브리드나 디젤을 구매하시는게 맞습니다. 경차는 사실 연비보다는 유지비 측면의 절감을 노리는 경우가 많죠. 통행료, 주차료, 보험료, 세금 등등.. 어쨌든.. 이제 달릴만큼 달린듯 하여 슬슬 제 차의 연비가 궁금해졌습니다. 차량 구매 후 aCar 라는 안드로이드 어플로 꼼꼼하게 기록해 두었습니다. 처음에는 aCar 사용법을 몰라서 유료 구매를 하지 않으면 연비 계산이 안되는 줄 알고 5천원이라는 거금을 주고 구매했는데.. 솔직히 조금 후회하고 있습니다. 관련 내용은 다음으로 미루고, 우선 아래는 aCar에서 보여주고 있는 제 연비 기록의 일부분입니다. 처음 차량을 인수받고 주유시 주행거리를 제대로 기록하지 못해서 오차가 있겠지만.. 그래도 대략적인 추세를 알기에는 부족함이 없습니다. 스파크 공인 연비가 어느정도인지는 잘 모르겠지만(검색하면 다 나오겠지만 극도로 귀찮습니다.) 그냥 대충 보면 준수하게 나오는 듯 보입니다. 그런데 인터넷 동호회에 올라오는 연비들을 보면 제 연비와 의외로 차이가 많이 납니다. 심지어 어떤 분들은 스파크로 7km/L 연비가 나온다고 하시는 분들도 계시더군요. 그런 글들을 자주 접하다 보니 드는 생각이 과연 aCar가 계산하는 연비 정보가 정확할건가? 라...

더 넥스트 스파크 2주 운행 후기

근 한달만에 블로그에 글을 씁니다. 이번 글은 지름 자랑기입니다. 네..딱 2주 전에 더 넥스트 스파크를 구입했습니다.. 옛날 스파크를 딱히 팔 마음은 없었는데... 애가 셋이 되다 보니 뒷좌석에 가운데 좌석이 2점 벨트라서 신경도 쓰이고... 아내가 수동을 운전하기 너무 힘들어하기도하고.. 이런 저런 이유로 과감하게 옛날 스파크를 팔아치우고 전격적으로 또 다시 스파크를.. 애 셋 있는 집이 트랙스나 올란도 같은 차를 사야지.. 왜 또 스파크냐고 물으신다면.. ㅠㅠ 아시면서.. 그런건 물어보시는거 아닙니다. ㅠㅠ 어쨌든 지르는거.. 가장 비싼 Eco LTZ으로 질렀습니다. 옵션 다 밀어 넣으니 1610만냥이더군요.. 쿨럭 쿨럭.. 이 돈이면 액센트도 살 수 있겠지만.. 현대/기아 차는... 목숨 걸어가며 타고 싶은 마음은 전혀 없는지라.. 익히 아시다시피 경차 주제에 웬간한건 다 들어 있습니다. 경사로 밀림 방지장치, 전방 충돌 경고 시스템, 차선 이탈 경고 시스템, 크루즈 컨트롤, 애플 카플레이 시스템, 톨게이트 자동 결제 시스템, 스톱 & 스타트, TPMS, 사각지대 경고 시스템 등등... 뭐.. 대충 비싼 값어치는 합니다만.. 사실 좀 따져보면 법이 바뀌어서 몇몇 기능은 무조건 들어가야하는 건데.. 한 4년만에 차를 사보니 정말 기술의 발전이 느껴질 만큼 경차 치고는 좀 풍성한 옵션을 자랑합니다. 모닝하고는 비교가 되는지는 잘 모르겠지만서도... 그래서 2주동안 탄 소감입니다. 1. 옛날 스파크와 비교했을 떄 내부와 트렁크가 아주 조금 넓습니다. 실제로 이전 스파크의 축거가 2,375이고 더 넥스트 스파크는 2,385 입니다. 숫자로 비교해보면 큰 차이는 없지만 실제 탑승해보고 짐을 넣어보면 아주 미세하게 조금 더 넓습니다. 그런데 막상 앉아보면 좀 갑갑합니다. 이것 저것 넣어보고 앉으면 분명 넓긴하데 심리적으로는 좁습니다. 이유가 전고 즉, 차 높이가 낮습니다. 이전 스파...