기본 콘텐츠로 건너뛰기

소극장을 만들어라. - 관찰실과 관찰자

------------------------------------------------------------

1. 사용성 테스팅(Massive and Rapid Usability Testing)

 가. 사용성 테스팅의 정의

 나. Rapid Usbility Testing

 다. Massive Usability Testing vs. Rapid Usability Testing

2. 사용성 테스팅 계획(개발 수명주기에서의 사용성 테스팅)

 가. 사용성 테스팅은 언제 수행하나요?

3. 참가자 선정

 가. 사용성 테스팅에 얼마나 많은 참가자가 적당한가?

 나. 사용성 테스팅에서 사용자란 누구인가?

4. 사용성 테스팅 수행

 가. 사용자 테스팅
  - 사용자 테스팅 소개
  - 테스트 과제와 시나리오 작성
  - 관찰실
  - 테스트 진행
  - 회고 그리고 보고서
  - 체크리스트
  - 사용자 테스팅의 장점과 단점

 나. 카드 소팅

 다. 소원의 나무

5. 정리(?)

------------------------------------------------------------

사용자 테스팅은 한편의 아름다운 연극과 같습니다.

하지만 아무리 아름다운 연극이라고 해도 지켜보는 관객이 없다면 의미가 없을 것입니다.

마찬가지로 사용자 테스팅과 진행자와 참가자 못지 않게 중요한 사람들이 관찰자들입니다.

여러분이 사용자 테스팅을 하실 때에는 되도록 많은 관찰자들을 부르시기 바랍니다.

관리자, 개발자, 디자이너, 편집자, 카피라이터, 사장님을 포함한 임원진 등 제품 개발에 관련된 사람들이라면 누구든지 상관없습니다.

되도록 많은 사람들을 부르기 위해 할 수 있는 모든 것을 하시기 바랍니다.

되도록 많은 사람들을 초대하기 위한 방법 중 아래와 같은 방법들은 좋은 효과가 있습니다.

1. 사장님을 포함한 임원진들을 모셔라!!
그렇습니다. 경영진이 잠깐이라도 참여를 하게 된다면 보다 많은 사람들이 테스트에 관심을 가지게 됩니다.
그리고 테스트를 무시하기 힘들게 됩니다.
경영진의 참석은 다른 사람들을 테스트에 참여하도록 설득하기 가장 쉬우면서도 가장 강력한 방법 중 하나입니다.
단점은 경영진의 참여를 이끌어내는 것이 어렵다는 것입니다.

2. 빵빵한 간식을 제공한다.
사람들은 은근히 먹을것에 취약합니다. 고급스런 간식과 점심을 보장한다면 많은 사람들이 올 수 있을 겁니다.
언제 만들었는지 모를 김밥이나 정성이라고는 눈꼽만치 없는 피자나 햄버거 보다는 커피 전문점의 상큼한 케익 한조각에 홍차 한잔의 간식은 천양지차입니다.

3. 사람들이 참여하기 쉬운 시간으로 정한다.
되도록이면 테스트 날짜를 그 주의 또는 그 달의 가장 한가한 시간으로 정하시기 바랍니다.
게임회사라면 업데이트가 몰리는 매월 말일과 같은 지옥과 같은 시간을 피하시기 바랍니다.

그 외에도 여러분이 생각할 수 있는 가능한 방법들을 동원하여 되도록 많은 사람들이 참여할 수 있도록 독려하시기 바랍니다.

그렇다면 사용자 테스팅에 참여하는 관찰자들은 어떤 일을 하게 될까요?

관찰자들이 하는 일은 간단합니다.

1. 참가자의 행동을 보고 참가자의 생각을 듣고 필요한 내용을 받아 적습니다.
2. 하나의 세션이 끝나고 나면 자신이 생각하는 가장 심각한 문제점 3개를 골라 적습니다.
3. 진행자가 참가자에게 했으면 하는 질문을 제안합니다.
4. 간신을 맛있게 먹습니다.
5. 회고를 위한 점심 식사에 참가합니다.

간단합니다. 이게 전부입니다.

관찰자로 초대하고 싶은 사람이 참가에 부담을 느낀다면 전혀 어려운 일은 없으며, 오셔서 맛있는 간식과 함께 연극 또는 영화 한편을 본다고 생각하시면 된다는 점을 강조하시면 됩니다.

아래는 관찰자들에게 제공하는 안내문 예시입니다.


다음은 관찰자들이 사용자 테스트를 관찰할 관찰실입니다.

관찰실은 일반적으로 회의실을 사용하시면 됩니다.

만약 참가하는 관찰자들이 정말 많다면 강당이나 소극장등을 사용하셔도 됩니다.

인터넷이 제공되고 빔 프로젝트가 있으며, 참가자의 음성을 들을 수 있는 곳이라면 어디든 상관 없습니다.

다만 한가지 고려할 점은 이전에도 얘기한 것처럼 테스트실과 관찰실이 물리적으로 같은 공간안에 있지 않도록 하는 것이 좋다는 것입니다.

이유는 여러가지가 있지만 참가자의 행동에 관찰자들이 소리내어 웃거나 비난하는 경우 참가자가 상처를 받을 수도 있으며, 많은 관찰자들은 참가자와 이야기 하기 위해 무던히도 애를 쓰기 때문입니다.

절대로 관찰실의 관찰자들이 테스트실의 위치를 알지 못하도록 해야하며, 두 공간이 같은 공간에 있지 않도록 주의하시기 바랍니다.

관찰실에는 다음과 같은 장비들이 구비되어야 합니다.

1. 인터넷 접속이 가능하고 화면 공유 소프트웨어가 설치된 컴퓨터
2. 빔 프로젝터(아니면 엄청 큰 텔레비젼)
3. 스피커(소리만 잘 나오면 됩니다. 5.1 채널 스피커 같은 고가의 장비는 있으면 좋겠지만 필수는 아닙니다.)
4. 빵빵한 간식!! (이것은 정말 중요한 것입니다. 베이글이나 머핀과 커핀 한잔이면 충분하다. 만약 관찰실에 있는 사람들이 즐겨 먹는 간식이 있다면 그것도 좋은 선택이 될 것입니다. Jolt Coke 한 캔이면.. 오우~~)
5. 스피커폰 또는 메신저(테스트실과 연락하기 위해서 필요합니다. 저는 화면 공유 소프트웨어가 같이 제공되는 스카이프를 즐겨 사용합니다.)

관찰실이 준비되었다면 이제 관찰실에서 관찰자들을 통제하고 안내하고 도와줄 관찰실 모니터링 요원이 필요합니다.

관찰실 모니터링 요원은 당신의 동료 중 가장 믿을만하고 친한 사람 중 한사람에게 부탁하시면 됩니다.

아래는 관찰실 모니터링 요원을 위한 안내문입니다.


위의 안내문에 적힌 내용 외에 관찰실 모니터링 요원이 수행해야할 가장 중요한 활동이 있습니다.

그것은 각 세션이 끝나고 관찰자들이 제출하는 가장 심각한 사용성 문제 3가지를 정리하는 작업입니다.

이 작업은 절대 간단한 작업이 아닙니다.

예를 들어 관찰실에 20명의 관찰자가 참여한다면 한 세션당 무려 60개의 사용성 문제가 제출될 것입니다.

이렇게 3개의 세션이 진행되면 전체 사용성 문제는 무려 180개나 됩니다. 이 많은 의견들을 취합하고 같은 내용을 분류하여 정리를 하는 일은 결코 간단하지 않습니다.

원활한 회고 진행을 위해서는 관찰실 모니터링 요원이 회고가 시작되기 전에 이 작업을 끝마칠 필요가 있습니다.

때문에 관찰실 모니터링 요원을 지정하실 때에는 타자가 눈이 부실만큼 빠르고 데이터 정리를 잘하는 사람을 뽑으시는 것도 좋은 방법입니다.

이런 이유로 사용자 테스트에는 되도록 많은 관찰자가 참여하는 것이 좋지만 참여하는 관찰자의 수를 제한하기도 합니다. 저는 개인적으로 10~20명 정도의 관찰자를 추천해 드립니다.

아니면 관찰실 모니터링 요원을 2명 이상 운용하시는 방법도 있습니다.

이제 테스트 과제와 시나리고 그리고 관찰실과 테스트실의 준비가 끝나셨다면 다음은 실제 테스트 진행입니다.

다음 포스트에는 실제 테스트를 진행하는 부분에 대해서 다루도록 하겠습니다.

댓글

이 블로그의 인기 게시물

스위치봇 & 스위치봇 허브 미니 간단 사용기

제 블로그에 예전부터 오셨던 분들은 제가 사브작 사브작 홈 오토메이션을 어설프게 해온 것을 아실겁니다. 작년부터 너무 하고 싶었던 도어락 자동화에 도전해봤습니다. 우리 나라에 자체 서비스로 앱을 통해 도어락을 제어하는 제품은 꽤 있습니다. 게이트맨도 있고, 키위도 있고, 삼성도 있죠.. 그런데.. 전 그것보다 구글 어시스턴트를 지원하는 도어락이 필요했는데... 그런건 안만들더라구요.. 꼭 필요한건 아니지만 웬지 해보고 싶은데... 언제 제품이 출시될지도 몰라서.. 가능한 방법을 찾아보다가.. 스위치봇이라는 제품으로 도어락을 버튼을 꾹 누르는 방법을 찾아서 스위치봇이 직구가 아닌 국내에 출시되었길래 낼름 구매해서 도전해봤습니다. 스위치봇 제품에 대한 내용이나 구매는  https://www.wakers.shop/  에서 하시면 됩니다. 저는 스위치봇에 스위치봇을 구글 홈에 연결시키기 위해 스위치봇 허브 미니까지 구매했습니다. 스위치봇 허브 미니가 없으면 스위치봇을 외부에서 제어하거나 구글 홈에 연결할 수 없습니다. 그리고 제가 스위치봇 허브 미니를 구매한 이유 중 다른 하나는 이 제품이 RF 리모컨 기능이 지원됩니다. 집에 있는 모니터를 제어할 필요가 있어서 이참 저참으로 같이 구매했습니다. 제품 등록은 어렵지 않습니다. 여기서는 스위치봇 허브 미니에 RF 리모컨을 등록해서 구글 어시스턴트로 제어하는 방법을 소개해드릴까 합니다. 제가 스위치봇 허브 미니로 모니터를 제어하고 싶었던 부분은 컴퓨터에서 크롬캐스트로 외부 입력을 때에 따라 바꿔야 하는데.. 그때마다 리모컨을 찾는게 너무 불편해서였습니다.  어차피 리모컨은 외부 입력 바꿀 때 빼고는 쓸 일도 없는지라.. 매번 어디로 사라지면 정말 불편해서 이걸 자동화 하고 싶었습니다. 그런데, 처음에 스위치봇 허브 미니를 등록하고 여기에 리모컨을 등록하니.. 구글 홈에 등록된 리모컨이 자동으로 등록이 됩니다. 그런데, 등록된걸 확인해보니 전원 On/Off만 제어되는 것이고, 나머지 버튼은 구글 홈...

20년 차 테스터가 고른 최근 IT 소식: 기술의 속도, 그리고 사람의 자리

20년 넘게 IT 업계에서 테스팅하고 강의하고 공부하고 여러 일을 해왔지만... 정말이지 단 하루도 편하게 쉴 틈을 주지 않는 세상입니다. 특히 최근 4~5년 동안 가속화된 AI의 물결은 기술의 스펙트럼뿐만 아니라 우리가 일하고, 협업하고, 조직을 이끄는 방식 전체를 뒤흔들고 있습니다. 이번 주에도 수많은 뉴스레터와 아티클을 훑어보았습니다. 그중에서도 기술의 화려함 뒤에 숨겨진 ‘사람, 조직, 그리고 커리어의 본질’을 찌르는 글 몇 개가 눈에 띄어 메모해 둡니다. 제 평소 생각과 맞닿아 있는 6가지 이야기입니다. --- 1. 인지부채(Cognitive Debt): 바이브 코딩 시대에 우리가 지게 되는 진짜 빚 (출처: ROBOCO - 인지부채: 바이브 코딩 시대의 새로운 부채 관리법 / 정도현 수석 컨설턴트 ) 요즘 커서(Cursor)나 클로드 코드(Claude Code) 같은 에이전트를 붙여 "이거 만들어줘" 하고 승인(Approve) 버튼만 누르면 눈 깜짝할 사이에 코드베이스가 완성되는 '바이브 코딩(Vibe Coding)'이 유행입니다. 그런데 속도는 엄청나게 빠른데, 정작 서비스에 장애가 나면 "AI가 짜서 잘 모르겠는데요?"라는 답이 나오는 이상한 현상이 벌어집니다. 정도현 컨설턴트는 이를 '인지부채(Cognitive Debt)'라고 정의합니다. 코드는 쌓이는데, 정작 인간의 시스템 이해도는 쌓이지 않는 격차죠. * Human-in-the-loop의 환상: AI가 초당 수백 줄을 뽑아내는데 사람이 일일이 검토한다? 결국 검토자는 병목이 되고, 시간 압박에 쫓겨 영혼 없이 승인 버튼만 누르게 됩니다. 40년 전 자동화 연구(Bainbridge, 1983)가 지적했듯, 자동화될수록 사람은 감시만 하다가 정작 개입해야 할 결정적 순간에 숙련도를 잃어버립니다. * 부채는 0으로 만드는 게 아니라 '관리'하는 것: AI가 만든 모든 코드를 사람이 외울 수는 없습니다. 핵심은 ...

우리는 AI로 '더 빠른 말'을 키우고 있는걸까요? 아니면 '자동차'를 만들고 있는걸까요?

20년 넘게 IT 현장에서 뒹굴거렸는데... 요즘처럼 "우리가 지금까지 당연하게 여겨온 일하는 방식의 본질"에 대해 근본적인 질문을 던지게 만드는 때가 없었던 것 같습니다. 최근 읽은 UX 관련 글 하나가 가슴을 쿵 치고 지나갔습니다. UX 및 디지털 트렌드를 다루는 블로그 ux4dotcom에 올라온 "Beyond Faster Horses — Why AI Challenges One of UX's Oldest Assumptions"라는 글입니다. (출처: ux4dotcom - Beyond Faster Horses — Why AI Challenges One of UX's Oldest Assumptions ) 혁신을 말할 때 늘 인용되는 헨리 포드의 유명한 말이 있습니다. "사람들에게 무엇을 원하느냐고 물었다면, 그들은 '더 빠른 말'이라고 답했을 것이다." 사람들은 자신이 경험해 본 범위 안에서만 미래를 상상합니다. 말만 탈 줄 아는 사람에게 자동차는 상상 밖의 범주(Mental Model)니까요. 저자는 그동안 UX(사용자 경험)라는 학문과 필드 자체가 '더 빠른 말을 만드는 일(기존 과업의 효율화)'에 집중해 왔다고 지적합니다. 사용자의 행동을 관찰하고, 마찰(Friction)을 줄이고, 화면을 간소화하고, 기존 워크플로우를 최적화해 주는 작업 말입니다. 실제로 주변을 봐도 우리가 AI를 쓰는 방식도 대부분 이 범주를 벗어나지 못하고 있습니다. 더 빠르게 이메일을 작성하고, 문서 요약을 3초 만에 끝내고, 프레젠테이션 장표나 일정표를 순식간에 만들어내는 일. 분명 유용하고 저 역시 매일 요기하게 쓰고 있지만, 이건 어디까지나 '기존에 인간이 하던 일의 프로세스를 흉내 내어 속도만 올린 것(Faster Horse)'에 불과합니다. 정작 "이 워크플로우 자체가 과연 계속 존재해야 하는가?"라는 근본적인 질문은 던지지 못하고 있는 것이죠....