기본 콘텐츠로 건너뛰기

사용자 테스팅

Rapid Usability Testing 연재 후 7번째 글입니다.

전체 내용 중 이제 절반 정도 작성된 것 같습니다.

그래서 전체 내용을 한번 정리해 드릴까 합니다.

연재 내용은 아래처럼 구성되어 있습니다.

------------------------------------------------------------

1. 사용성 테스팅(Massive and Rapid Usability Testing)

 가. 사용성 테스팅의 정의

 나. Rapid Usbility Testing

 다. Massive Usability Testing vs. Rapid Usability Testing

2. 사용성 테스팅 계획(개발 수명주기에서의 사용성 테스팅)

 가. 사용성 테스팅은 언제 수행하나요?

3. 참가자 선정

 가. 사용성 테스팅에 얼마나 많은 참가자가 적당한가?

 나. 사용성 테스팅에서 사용자란 누구인가?

4. 사용성 테스팅 수행

 가. 사용자 테스팅
  - 사용자 테스팅 소개
  - 테스트 과제와 시나리오 작성
  - 관찰실
  - 테스트 진행
  - 회고 그리고 보고서
  - 체크리스트
  - 사용자 테스팅의 장점과 단점

 나. 카드 소팅

 다. 소원의 나무

5. 정리(?)

------------------------------------------------------------

지금까지는 Usabilty Testing 에 대한 일반적인 내용을 다루었다면 이번 글부터는 좀 더 세부적인 각각의 기법(?)들에 대해 다루도록 하겠습니다.

그 첫번째로 소개시켜드리는 기법이 사용자 테스팅입니다.

사용자 테스팅이란 Lab Testing 이라고도 불립니다.

기본적으로 실제 사용자를 대상으로 사용자에게 테스트 과제와 시나리오를 수행하도록 하고 사용자의 행동을 관찰하고 분석함으로써 사용성 문제를 도출하는 기법입니다.

사용자 테스팅이 Lab Testing 과 조금 다른 점이 있다면 사용자를 관찰하는 사람들이 사용성 테스팅 전문가들 뿐만 아니라 제품과 관련된 이해관계자들이 같이 참석한다는 점입니다.

사용자 테스팅이 성공하기 위해서는 반드시 제품과 관련된 이해관계자(개발자 등)의 참석이 필수이며, 되도록 많은 관찰자들이 참가하도록 유도하는 것이 좋습니다.

사용자 테스팅을 위해서는 사용자가 과제를 수행할 테스트실과 관찰자들이 사용자가 제품을 사용하고 과제를 수행하는 모습을 관찰할 관찰실이 필요합니다.

그리고 사용성 테스트에 참가하기 위해 온 참가자가 안내를 받고 쉴 수 있는 공간을 추가로 준비해 주시는 것이 좋습니다.

테스트실과 관찰실은 아래처럼 구성됩니다.


위와 같이 관찰실과 테스트실을 구성할 때 주의할 점은 참가하는 관찰자들이 테스트실의 위치를 알지 못하도록 관찰실과 테스트실을 격리시켜 구성해야한다는 점입니다.

부득이하게 테스트실과 관찰실을 같은 건물 안에 구성해야한다면 접근할 수 있는 입구를 분리시키거나 서로 다른 층에 위치하도록 구성하는 것이 좋습니다.

이유인즉 관찰실에 참가하는 사람들 중 개발자 등과 같이 제품의 개발에 직접적인 연관이 있는 사람들은 참가자(사용자)를 직접 만나고 싶어하거나 감정적으로 대응할 경우가 있는데 이런 경우 관찰자들이 참가자를 직접적으로 만나는 것은 테스트의 결과와 참가자의 개인적인 비밀 유지에 있어 나쁜 결과를 가져오는 경우가 많습니다. 때문에 관찰실과 테스트실은 반드시 분리시켜 위치하도록 하고 관찰자들이 절대적으로 테스트실의 위치를 모르도록 하셔야 합니다.

사용자 테스팅을 위해서 필요한 준비물로는 테스트 대상 제품에 따라 적절한 화면 녹화기와 공유 프로그램이 필요합니다.

또한 관찰실과 연락하기 위한 전화기 또는 무전기가 필요합니다.

이러한 장비로는 유료 장비나 서비스들도 있지만 저는 스카이프를 즐겨 사용합니다. 스카이프는 화면 공유와 전화 또는 메신저를 모두 제공하기 때문에 매우 유용한 도구 중 하나입니다.

만약 테스트 대상 제품이 컴퓨터로 직접적으로 영상을 전송할 수 없다면 대상 제품의 사용 장면을 전송시키기 위한 캠코더와 삼각대와 같은 장비가 추가로 필요합니다.

그리고 테스트실에는 사용자가 제품을 사용하면서 생각을 말할 수 있도록 마이크 장비가 필요하며 관찰실에는 해당 음성이 출력되도록 스피커가 필요합니다.

영상 등을 전송하기 위하여 테스트실과 관찰실은 Lan 또는 상응하는 인터넷 장비로 연결되어 있어야 합니다.

그리고 관찰실에는 무엇보다 풍성한 간식이 준비되는 것이 좋습니다. 간식은 테스트 진행과정에서 긴장을 늦추고 집중하도록 하는 효과가 있습니다.

이러한 사용자 테스팅의 가장 중요한 점은 이 사용자 테스팅 자체가 마치 한편의 연극이나 뮤지컬과 같도록 꾸미는 것입니다.

사용자 테스팅의 목적은 제품의 사용성 문제들에 대하여 제품에 관계된 모든 이해관계자가 같이 인식하고 그것을 해결하기 위해 서로 협력할 수 있도록 동기를 부여하는데 있습니다.

사용자 테스팅을 진행하기 위해서는 2~3명의 사람이 한조가 됩니다.

필요한 사람들은 아래와 같습니다.

1. 진행자
실제 사용자 테스트를 진행하는 사람입니다. 참가자와 같은 방 또는 안전 유리 뒤에서 사용자에게 과제를 부여하고 실제적으로 사용자를 관찰하며 사용성 문제를 찾는 사람입니다.
사용성 테스트의 성패를 좌우하는 가장 중요한 사람입니다.
진행자는 참가자를 편안하게 배려하고 참가자로부터 많은 정보를 얻을 수 있는 인터뷰 기술이 필요하며, 제품에 대하여 중립적인 사람이 좋습니다.
제품에 깊이 관련된 사람이 진행자를 맡는 경우 사용자가 원하는 과제보다는 특정 이해관계에 따른 과제 수행으로 실제적인 사용성 문제를 찾을 수 없을 수도 있습니다.

2. 관찰실 모니터링 요원
관찰실의 관찰자들을 통제하고 원할한 관찰이 이루어지도록 도움을 주는 사람입니다.

3. 접견실 요원
추가적으로 예정 시간보다 일찍 오는 참가자를 맞이하고 참가자가 테스트 장소로 잘 찾아 오고 있는 지 확인하는 사람이 필요합니다. 접견실 요원은 참가자가 가장 먼저 마주치는 사람으로 사교적이고 친절한 사람이 맡는 것이 좋습니다.
회사에 안내 데스크 등이 있는 경우 필요 없을 수도 있습니다.

위와 같은 사람들이 하나의 팀으로 사용자 테스팅을 진행합니다.

그외에 사용자 테스트를 위해서는 참가자와 관찰자가 필요합니다.

1. 참가자
실제 사용자 테스트에 참가하여 과제를 수행하는 사람입니다.

2. 관찰자
제품의 개발자, 기획자 등과 같은 제품과 관련된 이해관계자들이 관찰자로 참석하는 것이 좋습니다.
개인적으로 경영진과 개발자들은 반드시 참석하도록 하는 것이 좋습니다.
필요하다면 외부 사람들을 관찰자로 초대할 수도 있습니다.
관찰자는 필요한 인원 수에 제한은 없지만 너무 많은 인원이 참가할 경우 통제가 어려울 수 있으므로 적절한 인원을 초대하여 진행하는 것이 좋습니다.(개인적으로 10여명의 사람이 가장 적당하다고 생각합니다.)

이러한 사용자 테스팅에 대한 세부적인 내용들은 다음에 계속 다루도록 하겠습니다.

댓글

이 블로그의 인기 게시물

스위치봇 & 스위치봇 허브 미니 간단 사용기

제 블로그에 예전부터 오셨던 분들은 제가 사브작 사브작 홈 오토메이션을 어설프게 해온 것을 아실겁니다. 작년부터 너무 하고 싶었던 도어락 자동화에 도전해봤습니다. 우리 나라에 자체 서비스로 앱을 통해 도어락을 제어하는 제품은 꽤 있습니다. 게이트맨도 있고, 키위도 있고, 삼성도 있죠.. 그런데.. 전 그것보다 구글 어시스턴트를 지원하는 도어락이 필요했는데... 그런건 안만들더라구요.. 꼭 필요한건 아니지만 웬지 해보고 싶은데... 언제 제품이 출시될지도 몰라서.. 가능한 방법을 찾아보다가.. 스위치봇이라는 제품으로 도어락을 버튼을 꾹 누르는 방법을 찾아서 스위치봇이 직구가 아닌 국내에 출시되었길래 낼름 구매해서 도전해봤습니다. 스위치봇 제품에 대한 내용이나 구매는  https://www.wakers.shop/  에서 하시면 됩니다. 저는 스위치봇에 스위치봇을 구글 홈에 연결시키기 위해 스위치봇 허브 미니까지 구매했습니다. 스위치봇 허브 미니가 없으면 스위치봇을 외부에서 제어하거나 구글 홈에 연결할 수 없습니다. 그리고 제가 스위치봇 허브 미니를 구매한 이유 중 다른 하나는 이 제품이 RF 리모컨 기능이 지원됩니다. 집에 있는 모니터를 제어할 필요가 있어서 이참 저참으로 같이 구매했습니다. 제품 등록은 어렵지 않습니다. 여기서는 스위치봇 허브 미니에 RF 리모컨을 등록해서 구글 어시스턴트로 제어하는 방법을 소개해드릴까 합니다. 제가 스위치봇 허브 미니로 모니터를 제어하고 싶었던 부분은 컴퓨터에서 크롬캐스트로 외부 입력을 때에 따라 바꿔야 하는데.. 그때마다 리모컨을 찾는게 너무 불편해서였습니다.  어차피 리모컨은 외부 입력 바꿀 때 빼고는 쓸 일도 없는지라.. 매번 어디로 사라지면 정말 불편해서 이걸 자동화 하고 싶었습니다. 그런데, 처음에 스위치봇 허브 미니를 등록하고 여기에 리모컨을 등록하니.. 구글 홈에 등록된 리모컨이 자동으로 등록이 됩니다. 그런데, 등록된걸 확인해보니 전원 On/Off만 제어되는 것이고, 나머지 버튼은 구글 홈...

20년 차 테스터가 고른 최근 IT 소식: 기술의 속도, 그리고 사람의 자리

20년 넘게 IT 업계에서 테스팅하고 강의하고 공부하고 여러 일을 해왔지만... 정말이지 단 하루도 편하게 쉴 틈을 주지 않는 세상입니다. 특히 최근 4~5년 동안 가속화된 AI의 물결은 기술의 스펙트럼뿐만 아니라 우리가 일하고, 협업하고, 조직을 이끄는 방식 전체를 뒤흔들고 있습니다. 이번 주에도 수많은 뉴스레터와 아티클을 훑어보았습니다. 그중에서도 기술의 화려함 뒤에 숨겨진 ‘사람, 조직, 그리고 커리어의 본질’을 찌르는 글 몇 개가 눈에 띄어 메모해 둡니다. 제 평소 생각과 맞닿아 있는 6가지 이야기입니다. --- 1. 인지부채(Cognitive Debt): 바이브 코딩 시대에 우리가 지게 되는 진짜 빚 (출처: ROBOCO - 인지부채: 바이브 코딩 시대의 새로운 부채 관리법 / 정도현 수석 컨설턴트 ) 요즘 커서(Cursor)나 클로드 코드(Claude Code) 같은 에이전트를 붙여 "이거 만들어줘" 하고 승인(Approve) 버튼만 누르면 눈 깜짝할 사이에 코드베이스가 완성되는 '바이브 코딩(Vibe Coding)'이 유행입니다. 그런데 속도는 엄청나게 빠른데, 정작 서비스에 장애가 나면 "AI가 짜서 잘 모르겠는데요?"라는 답이 나오는 이상한 현상이 벌어집니다. 정도현 컨설턴트는 이를 '인지부채(Cognitive Debt)'라고 정의합니다. 코드는 쌓이는데, 정작 인간의 시스템 이해도는 쌓이지 않는 격차죠. * Human-in-the-loop의 환상: AI가 초당 수백 줄을 뽑아내는데 사람이 일일이 검토한다? 결국 검토자는 병목이 되고, 시간 압박에 쫓겨 영혼 없이 승인 버튼만 누르게 됩니다. 40년 전 자동화 연구(Bainbridge, 1983)가 지적했듯, 자동화될수록 사람은 감시만 하다가 정작 개입해야 할 결정적 순간에 숙련도를 잃어버립니다. * 부채는 0으로 만드는 게 아니라 '관리'하는 것: AI가 만든 모든 코드를 사람이 외울 수는 없습니다. 핵심은 ...

우리는 AI로 '더 빠른 말'을 키우고 있는걸까요? 아니면 '자동차'를 만들고 있는걸까요?

20년 넘게 IT 현장에서 뒹굴거렸는데... 요즘처럼 "우리가 지금까지 당연하게 여겨온 일하는 방식의 본질"에 대해 근본적인 질문을 던지게 만드는 때가 없었던 것 같습니다. 최근 읽은 UX 관련 글 하나가 가슴을 쿵 치고 지나갔습니다. UX 및 디지털 트렌드를 다루는 블로그 ux4dotcom에 올라온 "Beyond Faster Horses — Why AI Challenges One of UX's Oldest Assumptions"라는 글입니다. (출처: ux4dotcom - Beyond Faster Horses — Why AI Challenges One of UX's Oldest Assumptions ) 혁신을 말할 때 늘 인용되는 헨리 포드의 유명한 말이 있습니다. "사람들에게 무엇을 원하느냐고 물었다면, 그들은 '더 빠른 말'이라고 답했을 것이다." 사람들은 자신이 경험해 본 범위 안에서만 미래를 상상합니다. 말만 탈 줄 아는 사람에게 자동차는 상상 밖의 범주(Mental Model)니까요. 저자는 그동안 UX(사용자 경험)라는 학문과 필드 자체가 '더 빠른 말을 만드는 일(기존 과업의 효율화)'에 집중해 왔다고 지적합니다. 사용자의 행동을 관찰하고, 마찰(Friction)을 줄이고, 화면을 간소화하고, 기존 워크플로우를 최적화해 주는 작업 말입니다. 실제로 주변을 봐도 우리가 AI를 쓰는 방식도 대부분 이 범주를 벗어나지 못하고 있습니다. 더 빠르게 이메일을 작성하고, 문서 요약을 3초 만에 끝내고, 프레젠테이션 장표나 일정표를 순식간에 만들어내는 일. 분명 유용하고 저 역시 매일 요기하게 쓰고 있지만, 이건 어디까지나 '기존에 인간이 하던 일의 프로세스를 흉내 내어 속도만 올린 것(Faster Horse)'에 불과합니다. 정작 "이 워크플로우 자체가 과연 계속 존재해야 하는가?"라는 근본적인 질문은 던지지 못하고 있는 것이죠....