기본 콘텐츠로 건너뛰기

사용성 테스팅에 얼마나 많은 참가자가 적당한가?

사용성 테스트을 수행하지 않는 핑계는 아주 많습니다.

'핑계 없는 무덤은 없다' 라는 속담처럼 온갖 핑계가 난무합니다. 꼭 사용성 테스팅 뿐만 아니라 해야하는 일이지만 하지 않는 경우에 우리는 수많은 핑계를 말합니다.

사용성 테스팅을 수행하지 않는 수많은 핑계 중 하나가 사용성 테스팅에 참가하는 사용자가 몇명이 적당한가에 대한 문제입니다.

많은 사람들은 사용성 테스팅의 결과가 신뢰할 만한 수준이 되기 위해서는 아주 많은 참가자가 필요하다고 믿습니다.

아주 많은 참가자는 곧 비용의 증가를 가져오고 이것이 사용성 테스팅을 수행하기 어렵게 만들고 있습니다.

실제로 사용성 테스팅에 얼마나 많은 참가자가 적당한가에 대한 문제는 학계와 업계에서 오랜 숙제로 남아 있고 수많은 난상토론의 주제가 되어 왔고 수많은 연구결과로 검증을 시도해온 문제입니다.

결론적으로 말하자면 수행하고자 하는 사용성 테스팅의 목적 및 기법에 따라 필요한 참가자는 아주 상이하다는 것입니다.

A/B 테스트와 같은 디자인의 미묘한 변화에 따른 영향을 평가하기 위해서는 실제로 수천명에 해당하는 참가자가 필요할 수도 있습니다.

하지만 학계와 업계에서 공통적으로 동의하는 부분은 참가자가 너무 많은 경우 우리가 얻을 수 있는 사용성 문제는 급격하게 줄어든다는 것입니다. 더 많은 참가자를 관찰할수록, 우리가 새로운 사용성 문제를 발견할 확률은 점점 줄어들게 됩니다.

많은 사람들은 참가자가 많으면 많을 수록 더 많은 사용자 문제를 발견할 수 있다고 생각하지만 사실은 그 반대입니다.

그 동안의 연구 결과들은 모두 가장 많은 사용자 문제를 찾을 수 있는 참가자가 몇명인가에 대하여 이야기 하고 있습니다.

즉, 사용성 테스트를 통해 찾을 수 있는 사용성 문제들의 대부분을 발견할 수 있는 참가자의 한계가 있고 그 이상의 참가자들은 그렇게 큰 의미가 없으며 오히려 예상의 낭비를 초래할 수 있다는 것입니다.

이러한 참가자의 한계는 사용성 테스팅의 목적 및 기법에 따라 다양하게 연구되어 왔고 최근의 연구결과에 따르면 대체로 5~8명의 참가자만으로도 충분하다는 결론을 내리고 있습니다.(실제로 제 경험으로도 그렇습니다. 아주 특수한 경우를 제외하고는 5~8명의 참가자면 충분했습니다.)

하지만 여기서 얘기하는 5~8명의 참가자는 Massive Usability Testing 의 최소 요구 인원입니다.

하지만 당신이 만약 Rapid Usability Testing을 수행하기를 원한다면 이보다 더 적은 사람만으로도 충분할 수 있습니다.

만약 당신이 사용자 테스트를 수행한다면 참가자는 1~3명이면 충분합니다.

만약 당신이 카드 소팅을 수행한다면 참가자는 3~5명이면 충분합니다.

만약 당신이 소원의 나무를 수행한다면 참가자는 2명만으로도 충분합니다.

만약 당신이 동료 리뷰나 스케치 테스트를 수행한다면 참가자는 1명이 될 수도 있고 그 이상이 될 수도 있습니다.

Rapid Usability Testing 이 아주 적은 인원으로도 의미가 있을 수 있는 것은 Rapid Usability Testing이 Massive Usability Testing 과는 발견하고자 하는 사용성 문제가 조금 다르기 때문입니다.

Massive Usability Testing 에서 요구하는 사용성 문제는 대부분의 사용성 문제입니다. 즉, 최대한 많은 사용성 문제를 찾는 것을 목적으로 합니다. 이러한 사용성 문제들 중에는 심각한 사용성 문제도 있으며, 심각하지 않은 사용성 문제들도 있습니다.

반면에 Rapid Usability Testing 에서 요구하는 사용성 문제는 가장 심각한 문제입니다. 즉, 가장 시급하게 수정하고 개선해야하는 사용성 문제를 찾는 것을 목적으로 합니다.

이러한 사용성 문제는 모든 사람들이 직접적으로 별다른 노력을 기울이지 않아도 인식 가능한 문제들이고 이러한 문제들은 적은 사람들을 대상으로 하여도 쉽게 식별이 가능한 문제들입니다.

다만 중요한 것은 Rapid Usability Testing 은 적은 사용자들을 대상으로 테스트를 수행하는 대신 할 수 있는 한 많은 테스트를 하는 것이 중요합니다.

1~3명 정도 되는 참가자로부터 단 한번의 테스트로 모든 심각한 문제들을 찾을 확률은 아마도 한없이 0에 가까울 수 있습니다.

단 한번의 테스트로는 우리가 알지 못하고 지나치는 더 많은 심각한 문제가 있을 수 있습니다. 때문에 Rapid Usability Testing 은 적은 사용자들이 참가하는 대신 가능한 범위에서 최대한 많이 수행할 필요가 있습니다.

그리고 Rapid Usability Testing 은 적은 사용자들이 참가하므로 통계적으로 유효한 결과는 절대 나올 수 없습니다.

만약 당신이 통계적으로 유효한 그 무엇인가를 원한다면 당신이 수행해야할 테스트는 Massive Usability Testing 이고 참가자는 적게는 수십명에서 많게는 수천명이 필요할 것입니다. 그것은 당신의 선택입니다.

그러한 통계적인 데이터도 분명 의미가 있으며 중요하지만 당신에게 그럴만한 시간이나 예산이 없다면 그리고 당신의 제품에서 사용성의 개선이 매우 시급한 문제라면 당신에게 Rapid Usability Testing 은 훌륭한 선택이 될 수 있습니다.

Rapid Usability Testing 은 무언가를 증명하는 테스팅이 아니라 가장 심각한 문제를 도출하고 그것을 고치고 개선하는 것에 집중하는 것이 목적입니다.

가장 심각한 문제라는 것은 증명 이전에 모두가 인식하고 공유할 수 있는 것이기 때문입니다.

중요한 것은 사용성 테스팅에 얼마나 많은 참가자가 필요한가에 대한 난상토론이 아니라 우리가 제품의 사용성을 개선하기 위하여 지금 할 수 있는 것이 무엇이며 무엇을 해야하는가에 대한 문제입니다.

장기적인 전략과 계획을 원하신다면 Massive Usability testing 을 통하여 체계적인 진행을 하실 수도 있습니다.

하지만 지금 당장 당신의 제품에서 가장 심각한 사용성 문제들을 인식하고 개선하기 원한다면 당신에게 Rapid Usability Testing 은 충분히 좋은 선택이 될 것입니다.

ps. 사용성 테스팅에 얼마나 많은 사용자가 적당한가에 대한 논문 등은 구글등의 믿을 수 있는 검색엔진을 통해 검색해보신다면 수많은 검색 결과를 보실 수 있기 때문에 이 포스트에서는 각각에 대해서 언급하지는 않습니다.

만약 당신이 Massive Usability Testing 에 대하여 5~8명의 참가자로도 충분하며 Rapid Usability Testing 에 대하여 1~3명의 참가자로도 충분하다는 것에 대하여 믿음이 없으시다면 스스로 검색을 통하여 관련 자료들을 읽어보시기 바랍니다.

그리고 이러한 참가자의 수는 유효한 가장 많은 사용성 문제들을 발견할 수 있는 최소한의 참가자를 말하는 것이고 실제적으로는 사용성 테스팅의 목적이나 기법에 따라서는 더 많은 참가자가 필요한 경우도 있다는 것을 분명히 밝히는 바입니다.

댓글

이 블로그의 인기 게시물

테스트 케이스와 체크리스트의 차이가 뭐여?

테스트 실무에서 가장 혼돈되어 사용되는 용어 중 하나가 테스트 케이스와 체크리스트입니다. 많은 경우 체크리스트를 테스트 케이스로 사용하는 경우가 많습니다. 실제로 인터넷 커뮤니티나 블로그, ISO, IEEE, ISTQB 등등을 검색해보시면 테스트 케이스와 체크리스트에 대한 구분이 다 제각각입니다. 각각에 대한 정의가 다 제각각입니다. 사정이 이러하다보니 많은 사람들이 테스트 케이스와 체크리스트를 잘 구분하지 못하고 혼동해서 사용하는 경우가 많습니다. 물과 기름처럼 테스트 케이스와 체크리스트를 정확하게 구분할 수는 없겠지만.. ISTQB를 기준으로 말씀드리면 설계 기법을 통해 도출된 것은 테스트 케이스 그렇지 않은 것은 체크리스트라고 생각하시면 쉽습니다. 예를 들면 아래는 결정 테이블 테스팅 기법을 통해 도출된 테스트 케이스의 예제입니다. 실제 테스트 케이스는 위보다 복잡하겠지만 어쨌든 얘기하고 싶은 것은 위와 같이 설계 기법을 통해서 도출된 것은 테스트 케이스라고 합니다. 그런데 딱 보시면 아시겠지만 실제 테스트에서는 저 정도로는 테스트 커버리지를 충분히 만족했다고 얘기하기 힘듭니다. 그렇습니다. 어떤 분들은 테스트 케이스가 전가의 보도, 은 총알 쯤으로 생각하시는데.. 테스트 케이스는 일종의 마지노 선이라고 보시면 됩니다. 최소한 제품을 테스트 할때 이정도는 해줘야 한다는 최후의 방어선 정도라고 보시면 됩니다. 전쟁에서 최후의 방어선은 물러설 수 없는 마지막 보루입니다. 하지만 최후의 방어선만 지킨다고 전쟁에서 승리할 수는 없습니다. 프랑스는 마지노 요새만 믿고 있다가 독일에게 깔끔하게 발렸던 과거가 있지요. 전쟁에서 승리하려면 앞으로 나가야하고 치밀한 전략과 전술이 뒷받침 되어야 합니다. 더 높은 커버리지를 도달하고, 충분히 좋은 테스트가 수행되려면 테스트 케이스는 기본이 되어야 하고 거기에 더해서 체크리스트가 따라와 줘야 합니다. 이러한 체크리스트는 팀의 경험과 과거 프로젝트의 데이

스위치봇 & 스위치봇 허브 미니 간단 사용기

제 블로그에 예전부터 오셨던 분들은 제가 사브작 사브작 홈 오토메이션을 어설프게 해온 것을 아실겁니다. 작년부터 너무 하고 싶었던 도어락 자동화에 도전해봤습니다. 우리 나라에 자체 서비스로 앱을 통해 도어락을 제어하는 제품은 꽤 있습니다. 게이트맨도 있고, 키위도 있고, 삼성도 있죠.. 그런데.. 전 그것보다 구글 어시스턴트를 지원하는 도어락이 필요했는데... 그런건 안만들더라구요.. 꼭 필요한건 아니지만 웬지 해보고 싶은데... 언제 제품이 출시될지도 몰라서.. 가능한 방법을 찾아보다가.. 스위치봇이라는 제품으로 도어락을 버튼을 꾹 누르는 방법을 찾아서 스위치봇이 직구가 아닌 국내에 출시되었길래 낼름 구매해서 도전해봤습니다. 스위치봇 제품에 대한 내용이나 구매는  https://www.wakers.shop/  에서 하시면 됩니다. 저는 스위치봇에 스위치봇을 구글 홈에 연결시키기 위해 스위치봇 허브 미니까지 구매했습니다. 스위치봇 허브 미니가 없으면 스위치봇을 외부에서 제어하거나 구글 홈에 연결할 수 없습니다. 그리고 제가 스위치봇 허브 미니를 구매한 이유 중 다른 하나는 이 제품이 RF 리모컨 기능이 지원됩니다. 집에 있는 모니터를 제어할 필요가 있어서 이참 저참으로 같이 구매했습니다. 제품 등록은 어렵지 않습니다. 여기서는 스위치봇 허브 미니에 RF 리모컨을 등록해서 구글 어시스턴트로 제어하는 방법을 소개해드릴까 합니다. 제가 스위치봇 허브 미니로 모니터를 제어하고 싶었던 부분은 컴퓨터에서 크롬캐스트로 외부 입력을 때에 따라 바꿔야 하는데.. 그때마다 리모컨을 찾는게 너무 불편해서였습니다.  어차피 리모컨은 외부 입력 바꿀 때 빼고는 쓸 일도 없는지라.. 매번 어디로 사라지면 정말 불편해서 이걸 자동화 하고 싶었습니다. 그런데, 처음에 스위치봇 허브 미니를 등록하고 여기에 리모컨을 등록하니.. 구글 홈에 등록된 리모컨이 자동으로 등록이 됩니다. 그런데, 등록된걸 확인해보니 전원 On/Off만 제어되는 것이고, 나머지 버튼은 구글 홈으로 제어가 안되어서..

프로젝트의 3요소 - Project Management

프로젝트는 예산, 일정, 품질 3가지 요소로 이루어진다고 볼 수 있다. 물론 위 3가지 요소 외에도 개발 범위, 팀워크, 자원 조달 등 여러가지 요소들도 고려해 볼 수 있지만, 가장 중요한 요소를 꼽는다면 예산, 일정, 품질일 것이다. 위에서 말한 여러가지 요소들은 프로젝트를 계획하여 완료하는 순간까지 복합적으로 작용해서 프로젝트의 성과를 제한하게 된다. 위의 요소들을 잘 통제한다면 성공적인 프로젝트가 되는 것이고 그렇지 못한다면 실패하거나 사라지게 될 것이다. 프로젝트 관리란 그런 면에서 제한된 자원을 가지고 목적한 바를 제한된 기간내에 최소의 비용으로 완수할 수 있도록 하는 것으로 정의할 수 있을 것이다. 이것을 도식화 한다면 아래와 같은 그림으로 표현할 수 있을 것이다. 위의 그림에 보는 것처럼 일정과 품질, 예산은 우리의 프로젝트가 목적하는 바를 달성하도록 하기 위해 상호 연관되어 작용하게 된다. 우리가 접하게 되는 많은 방법론들의 가정에는 위의 요소들을 어떻게 관리할 것인가에 대한 기본적인 가정들이 설정되어 있다. 조직에서 어떤 특정한 방법론을 도입한다는 것은 그런 가정에 동의하는 것이고 그러한 철학을 받아들인다는 것이기 때문에, 방법론을 채택하기 전에 조직의 근본 문제와 문화에 대해 점검해 볼 필요가 있다. 그리고 위의 요소들 외에 고려해 볼 사항은 위의 요소들은 변동성과 불확실성을 내포하고 있다는 것이다. 특히 비용과 예산, 목적은 프로젝트를 진행하면서 가변할 가능성이 매우 큰 요소들이다. 대부분의 방법론은 이러한 변동성에 대한 안전장치들을 가정해서 세워져 있다. 변동성의 측면에서 위의 요소들을 다시 살펴본다면 아래와 같이 가정할 수 있다. 위의 그림을 일부 해석해 본다면 일정이 늘어난다면 비용은 늘어나게 된다. 범위가 변경되어도 비용은 늘어나게 된다. 범위와 일정은 상호 의존적이 된다. 만약 위 3가지 요소의 변동성을 통제하지 못하게 된다면 프로젝트는