기본 콘텐츠로 건너뛰기

사용자 테스팅의 장점과 단점

------------------------------------------------------------

1. 사용성 테스팅(Massive and Rapid Usability Testing)

 가. 사용성 테스팅의 정의

 나. Rapid Usbility Testing

 다. Massive Usability Testing vs. Rapid Usability Testing

2. 사용성 테스팅 계획(개발 수명주기에서의 사용성 테스팅)

 가. 사용성 테스팅은 언제 수행하나요?

3. 참가자 선정

 가. 사용성 테스팅에 얼마나 많은 참가자가 적당한가?

 나. 사용성 테스팅에서 사용자란 누구인가?

4. 사용성 테스팅 수행

 가. 사용자 테스팅
  - 사용자 테스팅 소개
  - 테스트 과제와 시나리오 작성
  - 관찰실
  - 테스트 진행
  - 회고 그리고 보고서
  - 체크리스트
  - 사용자 테스팅의 장점과 단점

 나. 카드 소팅

 다. 소원의 나무

5. 정리(?)

------------------------------------------------------------
지난 포스트까지 이번 연재의 메인 테마인 사용자 테스팅에 대하여 소개해 드렸습니다.

이번 포스트는 사용자 테스팅에 대한 마지막 글로 사용자 테스팅의 장점과 단점에 대하여 알려드리고자 합니다.

먼저 사용자 테스팅의 장점입니다.

1. 쉽다

그렇습니다. 사용자 테스팅은 누구라도 쉽게 배워 쉽게 시도할 수 있습니다. 물론 잘하기 위해서는 더 많은 노력이 필요한 건 사실이지만 다른 방법들과 달리 사용자 테스팅은 쉽게 시도하기로 마음을 먹을 수 있을만큼 간단한 방법입니다.

2. 관중 스포츠

일반적인 다른 사용성 테스팅 방법들은 사용성 테스트 전문가 집단에 의해서 철저하게 비공개적으로 진행되는 경우가 많습니다. 하지만 사용자 테스팅은 철저하게 공개적으로 진행되는 방법입니다. 이것은 많은 사람들에게 제품이 사용성에 관한 문제가 있다는 것을 직접적으로 체험할 수 있도록 도와줄 것이고, 많은 사람들이 사용성에 대해 관심을 가지게 도와줄 수 있습니다.

반면 단점도 있습니다.

1. 시간과 관련된 사용성 문제는 발견되지 않는다.

사용자 테스팅은 길어야 한명의 참가자로부터 45분 정도의 시간만 테스트를 합니다. 때문에 학습성과 같이 시간과 관련된 측정을 하지는 못합니다. 또한 주식 매도, 알람 등과 같은 실제적으로 시간의 흐름과 관련된 기능들에 대한 사용성 역시 측정을 할 수 없습니다.

2. 전체적인 맥락을 파악하기 힘들다.

이 문제는 사실 사용자 테스팅 뿐만 아니라 대다수의 사용성 테스팅 방법들이 가지는 문제로 사용성 테스팅을 진행하는 진행자가 반드시 유념해야될 사항 중 하나입니다.

대다수의 사용성 테스팅 방법들은 특정 과제를 기반으로 진행되는 경우가 많습니다. 또한 과제는 특정 기능들로 한정되어 구성됩니다. 이럴때 전체 제품에 대한 사용자의 경험이나 느낌 등을 놓치기 쉽습니다.

사용자 테스팅 뿐만 아니라 다른 사용성 테스팅을 진행할 때에도 이러한 부분들을 함께 고려할 수 있도록 설계하는 것이 중요합니다.

하지만 사용자 테스팅은 분명 매우 매력적인 방법입니다.

한 달에 한 번의 오전 시간만으로 제품이 가지고 있는 가장 심각한 사용성 문제들을 공유할 수 있습니다.


때문에 사용자 테스팅 뿐만 아니라 사용성 테스팅은 당신이 시작해야 한다고 생각하는 그 시점보다 훨씬 일찍 시작할 필요가 있습니다.


심각한 사용성 문제를 찾는데 타겟 고객은 큰 의미가 없습니다. 참가자를 선정하는데 큰 고민을 하지 않아도 좋습니다.


그리고 되도록 많은 사람들이 사용자 테스팅을 지켜볼 수 있도록 독려하시기 바랍니다.


사용자 테스팅이 끝난 이후에는 반드시 가장 심각한 문제가 무엇인지에 대해 집중하십시오.


그리고 발견된 가장 심각한 문제들을 수정할 때에는 여러분이 할 수 있는 가장 최소한의 조치만으로도 충분합니다.

중요한 것은 자주 그릭 지속적으로 사용성 테스팅을 꾸준하게 수행하는 것입니다.

사용자 테스팅은 누구나 할 수 있습니다. 자신을 가지시기 바랍니다.

그리고 제가 소개해 드린 부분은 제 경험에 의한 것들입니다. 만약 여러분이 더 좋은 방법을 발견하신다면 저에게 공유해 주시면 고맙겠습니다.

실패를 두려워하지 말고 지금 시작하시기 바랍니다. 어렵다면 제가 도와드릴 수도 있습니다.

여러분 모두에게 행운이 함께하기를 바랍니다.

다음 포스트부터는 또 다른 방법론으로 찾아뵙겠습니다.

댓글

이 블로그의 인기 게시물

스위치봇 & 스위치봇 허브 미니 간단 사용기

제 블로그에 예전부터 오셨던 분들은 제가 사브작 사브작 홈 오토메이션을 어설프게 해온 것을 아실겁니다. 작년부터 너무 하고 싶었던 도어락 자동화에 도전해봤습니다. 우리 나라에 자체 서비스로 앱을 통해 도어락을 제어하는 제품은 꽤 있습니다. 게이트맨도 있고, 키위도 있고, 삼성도 있죠.. 그런데.. 전 그것보다 구글 어시스턴트를 지원하는 도어락이 필요했는데... 그런건 안만들더라구요.. 꼭 필요한건 아니지만 웬지 해보고 싶은데... 언제 제품이 출시될지도 몰라서.. 가능한 방법을 찾아보다가.. 스위치봇이라는 제품으로 도어락을 버튼을 꾹 누르는 방법을 찾아서 스위치봇이 직구가 아닌 국내에 출시되었길래 낼름 구매해서 도전해봤습니다. 스위치봇 제품에 대한 내용이나 구매는  https://www.wakers.shop/  에서 하시면 됩니다. 저는 스위치봇에 스위치봇을 구글 홈에 연결시키기 위해 스위치봇 허브 미니까지 구매했습니다. 스위치봇 허브 미니가 없으면 스위치봇을 외부에서 제어하거나 구글 홈에 연결할 수 없습니다. 그리고 제가 스위치봇 허브 미니를 구매한 이유 중 다른 하나는 이 제품이 RF 리모컨 기능이 지원됩니다. 집에 있는 모니터를 제어할 필요가 있어서 이참 저참으로 같이 구매했습니다. 제품 등록은 어렵지 않습니다. 여기서는 스위치봇 허브 미니에 RF 리모컨을 등록해서 구글 어시스턴트로 제어하는 방법을 소개해드릴까 합니다. 제가 스위치봇 허브 미니로 모니터를 제어하고 싶었던 부분은 컴퓨터에서 크롬캐스트로 외부 입력을 때에 따라 바꿔야 하는데.. 그때마다 리모컨을 찾는게 너무 불편해서였습니다.  어차피 리모컨은 외부 입력 바꿀 때 빼고는 쓸 일도 없는지라.. 매번 어디로 사라지면 정말 불편해서 이걸 자동화 하고 싶었습니다. 그런데, 처음에 스위치봇 허브 미니를 등록하고 여기에 리모컨을 등록하니.. 구글 홈에 등록된 리모컨이 자동으로 등록이 됩니다. 그런데, 등록된걸 확인해보니 전원 On/Off만 제어되는 것이고, 나머지 버튼은 구글 홈...

20년 차 테스터가 고른 최근 IT 소식: 기술의 속도, 그리고 사람의 자리

20년 넘게 IT 업계에서 테스팅하고 강의하고 공부하고 여러 일을 해왔지만... 정말이지 단 하루도 편하게 쉴 틈을 주지 않는 세상입니다. 특히 최근 4~5년 동안 가속화된 AI의 물결은 기술의 스펙트럼뿐만 아니라 우리가 일하고, 협업하고, 조직을 이끄는 방식 전체를 뒤흔들고 있습니다. 이번 주에도 수많은 뉴스레터와 아티클을 훑어보았습니다. 그중에서도 기술의 화려함 뒤에 숨겨진 ‘사람, 조직, 그리고 커리어의 본질’을 찌르는 글 몇 개가 눈에 띄어 메모해 둡니다. 제 평소 생각과 맞닿아 있는 6가지 이야기입니다. --- 1. 인지부채(Cognitive Debt): 바이브 코딩 시대에 우리가 지게 되는 진짜 빚 (출처: ROBOCO - 인지부채: 바이브 코딩 시대의 새로운 부채 관리법 / 정도현 수석 컨설턴트 ) 요즘 커서(Cursor)나 클로드 코드(Claude Code) 같은 에이전트를 붙여 "이거 만들어줘" 하고 승인(Approve) 버튼만 누르면 눈 깜짝할 사이에 코드베이스가 완성되는 '바이브 코딩(Vibe Coding)'이 유행입니다. 그런데 속도는 엄청나게 빠른데, 정작 서비스에 장애가 나면 "AI가 짜서 잘 모르겠는데요?"라는 답이 나오는 이상한 현상이 벌어집니다. 정도현 컨설턴트는 이를 '인지부채(Cognitive Debt)'라고 정의합니다. 코드는 쌓이는데, 정작 인간의 시스템 이해도는 쌓이지 않는 격차죠. * Human-in-the-loop의 환상: AI가 초당 수백 줄을 뽑아내는데 사람이 일일이 검토한다? 결국 검토자는 병목이 되고, 시간 압박에 쫓겨 영혼 없이 승인 버튼만 누르게 됩니다. 40년 전 자동화 연구(Bainbridge, 1983)가 지적했듯, 자동화될수록 사람은 감시만 하다가 정작 개입해야 할 결정적 순간에 숙련도를 잃어버립니다. * 부채는 0으로 만드는 게 아니라 '관리'하는 것: AI가 만든 모든 코드를 사람이 외울 수는 없습니다. 핵심은 ...

우리는 AI로 '더 빠른 말'을 키우고 있는걸까요? 아니면 '자동차'를 만들고 있는걸까요?

20년 넘게 IT 현장에서 뒹굴거렸는데... 요즘처럼 "우리가 지금까지 당연하게 여겨온 일하는 방식의 본질"에 대해 근본적인 질문을 던지게 만드는 때가 없었던 것 같습니다. 최근 읽은 UX 관련 글 하나가 가슴을 쿵 치고 지나갔습니다. UX 및 디지털 트렌드를 다루는 블로그 ux4dotcom에 올라온 "Beyond Faster Horses — Why AI Challenges One of UX's Oldest Assumptions"라는 글입니다. (출처: ux4dotcom - Beyond Faster Horses — Why AI Challenges One of UX's Oldest Assumptions ) 혁신을 말할 때 늘 인용되는 헨리 포드의 유명한 말이 있습니다. "사람들에게 무엇을 원하느냐고 물었다면, 그들은 '더 빠른 말'이라고 답했을 것이다." 사람들은 자신이 경험해 본 범위 안에서만 미래를 상상합니다. 말만 탈 줄 아는 사람에게 자동차는 상상 밖의 범주(Mental Model)니까요. 저자는 그동안 UX(사용자 경험)라는 학문과 필드 자체가 '더 빠른 말을 만드는 일(기존 과업의 효율화)'에 집중해 왔다고 지적합니다. 사용자의 행동을 관찰하고, 마찰(Friction)을 줄이고, 화면을 간소화하고, 기존 워크플로우를 최적화해 주는 작업 말입니다. 실제로 주변을 봐도 우리가 AI를 쓰는 방식도 대부분 이 범주를 벗어나지 못하고 있습니다. 더 빠르게 이메일을 작성하고, 문서 요약을 3초 만에 끝내고, 프레젠테이션 장표나 일정표를 순식간에 만들어내는 일. 분명 유용하고 저 역시 매일 요기하게 쓰고 있지만, 이건 어디까지나 '기존에 인간이 하던 일의 프로세스를 흉내 내어 속도만 올린 것(Faster Horse)'에 불과합니다. 정작 "이 워크플로우 자체가 과연 계속 존재해야 하는가?"라는 근본적인 질문은 던지지 못하고 있는 것이죠....