사용성 테스트을 수행하지 않는 핑계는 아주 많습니다.
'핑계 없는 무덤은 없다' 라는 속담처럼 온갖 핑계가 난무합니다. 꼭 사용성 테스팅 뿐만 아니라 해야하는 일이지만 하지 않는 경우에 우리는 수많은 핑계를 말합니다.
사용성 테스팅을 수행하지 않는 수많은 핑계 중 하나가 사용성 테스팅에 참가하는 사용자가 몇명이 적당한가에 대한 문제입니다.
많은 사람들은 사용성 테스팅의 결과가 신뢰할 만한 수준이 되기 위해서는 아주 많은 참가자가 필요하다고 믿습니다.
아주 많은 참가자는 곧 비용의 증가를 가져오고 이것이 사용성 테스팅을 수행하기 어렵게 만들고 있습니다.
실제로 사용성 테스팅에 얼마나 많은 참가자가 적당한가에 대한 문제는 학계와 업계에서 오랜 숙제로 남아 있고 수많은 난상토론의 주제가 되어 왔고 수많은 연구결과로 검증을 시도해온 문제입니다.
결론적으로 말하자면 수행하고자 하는 사용성 테스팅의 목적 및 기법에 따라 필요한 참가자는 아주 상이하다는 것입니다.
A/B 테스트와 같은 디자인의 미묘한 변화에 따른 영향을 평가하기 위해서는 실제로 수천명에 해당하는 참가자가 필요할 수도 있습니다.
하지만 학계와 업계에서 공통적으로 동의하는 부분은 참가자가 너무 많은 경우 우리가 얻을 수 있는 사용성 문제는 급격하게 줄어든다는 것입니다. 더 많은 참가자를 관찰할수록, 우리가 새로운 사용성 문제를 발견할 확률은 점점 줄어들게 됩니다.
많은 사람들은 참가자가 많으면 많을 수록 더 많은 사용자 문제를 발견할 수 있다고 생각하지만 사실은 그 반대입니다.
그 동안의 연구 결과들은 모두 가장 많은 사용자 문제를 찾을 수 있는 참가자가 몇명인가에 대하여 이야기 하고 있습니다.
즉, 사용성 테스트를 통해 찾을 수 있는 사용성 문제들의 대부분을 발견할 수 있는 참가자의 한계가 있고 그 이상의 참가자들은 그렇게 큰 의미가 없으며 오히려 예상의 낭비를 초래할 수 있다는 것입니다.
이러한 참가자의 한계는 사용성 테스팅의 목적 및 기법에 따라 다양하게 연구되어 왔고 최근의 연구결과에 따르면 대체로 5~8명의 참가자만으로도 충분하다는 결론을 내리고 있습니다.(실제로 제 경험으로도 그렇습니다. 아주 특수한 경우를 제외하고는 5~8명의 참가자면 충분했습니다.)
하지만 여기서 얘기하는 5~8명의 참가자는 Massive Usability Testing 의 최소 요구 인원입니다.
하지만 당신이 만약 Rapid Usability Testing을 수행하기를 원한다면 이보다 더 적은 사람만으로도 충분할 수 있습니다.
만약 당신이 사용자 테스트를 수행한다면 참가자는 1~3명이면 충분합니다.
만약 당신이 카드 소팅을 수행한다면 참가자는 3~5명이면 충분합니다.
만약 당신이 소원의 나무를 수행한다면 참가자는 2명만으로도 충분합니다.
만약 당신이 동료 리뷰나 스케치 테스트를 수행한다면 참가자는 1명이 될 수도 있고 그 이상이 될 수도 있습니다.
Rapid Usability Testing 이 아주 적은 인원으로도 의미가 있을 수 있는 것은 Rapid Usability Testing이 Massive Usability Testing 과는 발견하고자 하는 사용성 문제가 조금 다르기 때문입니다.
Massive Usability Testing 에서 요구하는 사용성 문제는 대부분의 사용성 문제입니다. 즉, 최대한 많은 사용성 문제를 찾는 것을 목적으로 합니다. 이러한 사용성 문제들 중에는 심각한 사용성 문제도 있으며, 심각하지 않은 사용성 문제들도 있습니다.
반면에 Rapid Usability Testing 에서 요구하는 사용성 문제는 가장 심각한 문제입니다. 즉, 가장 시급하게 수정하고 개선해야하는 사용성 문제를 찾는 것을 목적으로 합니다.
이러한 사용성 문제는 모든 사람들이 직접적으로 별다른 노력을 기울이지 않아도 인식 가능한 문제들이고 이러한 문제들은 적은 사람들을 대상으로 하여도 쉽게 식별이 가능한 문제들입니다.
다만 중요한 것은 Rapid Usability Testing 은 적은 사용자들을 대상으로 테스트를 수행하는 대신 할 수 있는 한 많은 테스트를 하는 것이 중요합니다.
1~3명 정도 되는 참가자로부터 단 한번의 테스트로 모든 심각한 문제들을 찾을 확률은 아마도 한없이 0에 가까울 수 있습니다.
단 한번의 테스트로는 우리가 알지 못하고 지나치는 더 많은 심각한 문제가 있을 수 있습니다. 때문에 Rapid Usability Testing 은 적은 사용자들이 참가하는 대신 가능한 범위에서 최대한 많이 수행할 필요가 있습니다.
그리고 Rapid Usability Testing 은 적은 사용자들이 참가하므로 통계적으로 유효한 결과는 절대 나올 수 없습니다.
만약 당신이 통계적으로 유효한 그 무엇인가를 원한다면 당신이 수행해야할 테스트는 Massive Usability Testing 이고 참가자는 적게는 수십명에서 많게는 수천명이 필요할 것입니다. 그것은 당신의 선택입니다.
그러한 통계적인 데이터도 분명 의미가 있으며 중요하지만 당신에게 그럴만한 시간이나 예산이 없다면 그리고 당신의 제품에서 사용성의 개선이 매우 시급한 문제라면 당신에게 Rapid Usability Testing 은 훌륭한 선택이 될 수 있습니다.
Rapid Usability Testing 은 무언가를 증명하는 테스팅이 아니라 가장 심각한 문제를 도출하고 그것을 고치고 개선하는 것에 집중하는 것이 목적입니다.
가장 심각한 문제라는 것은 증명 이전에 모두가 인식하고 공유할 수 있는 것이기 때문입니다.
중요한 것은 사용성 테스팅에 얼마나 많은 참가자가 필요한가에 대한 난상토론이 아니라 우리가 제품의 사용성을 개선하기 위하여 지금 할 수 있는 것이 무엇이며 무엇을 해야하는가에 대한 문제입니다.
장기적인 전략과 계획을 원하신다면 Massive Usability testing 을 통하여 체계적인 진행을 하실 수도 있습니다.
하지만 지금 당장 당신의 제품에서 가장 심각한 사용성 문제들을 인식하고 개선하기 원한다면 당신에게 Rapid Usability Testing 은 충분히 좋은 선택이 될 것입니다.
ps. 사용성 테스팅에 얼마나 많은 사용자가 적당한가에 대한 논문 등은 구글등의 믿을 수 있는 검색엔진을 통해 검색해보신다면 수많은 검색 결과를 보실 수 있기 때문에 이 포스트에서는 각각에 대해서 언급하지는 않습니다.
만약 당신이 Massive Usability Testing 에 대하여 5~8명의 참가자로도 충분하며 Rapid Usability Testing 에 대하여 1~3명의 참가자로도 충분하다는 것에 대하여 믿음이 없으시다면 스스로 검색을 통하여 관련 자료들을 읽어보시기 바랍니다.
그리고 이러한 참가자의 수는 유효한 가장 많은 사용성 문제들을 발견할 수 있는 최소한의 참가자를 말하는 것이고 실제적으로는 사용성 테스팅의 목적이나 기법에 따라서는 더 많은 참가자가 필요한 경우도 있다는 것을 분명히 밝히는 바입니다.
'핑계 없는 무덤은 없다' 라는 속담처럼 온갖 핑계가 난무합니다. 꼭 사용성 테스팅 뿐만 아니라 해야하는 일이지만 하지 않는 경우에 우리는 수많은 핑계를 말합니다.
사용성 테스팅을 수행하지 않는 수많은 핑계 중 하나가 사용성 테스팅에 참가하는 사용자가 몇명이 적당한가에 대한 문제입니다.
많은 사람들은 사용성 테스팅의 결과가 신뢰할 만한 수준이 되기 위해서는 아주 많은 참가자가 필요하다고 믿습니다.
아주 많은 참가자는 곧 비용의 증가를 가져오고 이것이 사용성 테스팅을 수행하기 어렵게 만들고 있습니다.
실제로 사용성 테스팅에 얼마나 많은 참가자가 적당한가에 대한 문제는 학계와 업계에서 오랜 숙제로 남아 있고 수많은 난상토론의 주제가 되어 왔고 수많은 연구결과로 검증을 시도해온 문제입니다.
결론적으로 말하자면 수행하고자 하는 사용성 테스팅의 목적 및 기법에 따라 필요한 참가자는 아주 상이하다는 것입니다.
A/B 테스트와 같은 디자인의 미묘한 변화에 따른 영향을 평가하기 위해서는 실제로 수천명에 해당하는 참가자가 필요할 수도 있습니다.
하지만 학계와 업계에서 공통적으로 동의하는 부분은 참가자가 너무 많은 경우 우리가 얻을 수 있는 사용성 문제는 급격하게 줄어든다는 것입니다. 더 많은 참가자를 관찰할수록, 우리가 새로운 사용성 문제를 발견할 확률은 점점 줄어들게 됩니다.
많은 사람들은 참가자가 많으면 많을 수록 더 많은 사용자 문제를 발견할 수 있다고 생각하지만 사실은 그 반대입니다.
그 동안의 연구 결과들은 모두 가장 많은 사용자 문제를 찾을 수 있는 참가자가 몇명인가에 대하여 이야기 하고 있습니다.
즉, 사용성 테스트를 통해 찾을 수 있는 사용성 문제들의 대부분을 발견할 수 있는 참가자의 한계가 있고 그 이상의 참가자들은 그렇게 큰 의미가 없으며 오히려 예상의 낭비를 초래할 수 있다는 것입니다.
이러한 참가자의 한계는 사용성 테스팅의 목적 및 기법에 따라 다양하게 연구되어 왔고 최근의 연구결과에 따르면 대체로 5~8명의 참가자만으로도 충분하다는 결론을 내리고 있습니다.(실제로 제 경험으로도 그렇습니다. 아주 특수한 경우를 제외하고는 5~8명의 참가자면 충분했습니다.)
하지만 여기서 얘기하는 5~8명의 참가자는 Massive Usability Testing 의 최소 요구 인원입니다.
하지만 당신이 만약 Rapid Usability Testing을 수행하기를 원한다면 이보다 더 적은 사람만으로도 충분할 수 있습니다.
만약 당신이 사용자 테스트를 수행한다면 참가자는 1~3명이면 충분합니다.
만약 당신이 카드 소팅을 수행한다면 참가자는 3~5명이면 충분합니다.
만약 당신이 소원의 나무를 수행한다면 참가자는 2명만으로도 충분합니다.
만약 당신이 동료 리뷰나 스케치 테스트를 수행한다면 참가자는 1명이 될 수도 있고 그 이상이 될 수도 있습니다.
Rapid Usability Testing 이 아주 적은 인원으로도 의미가 있을 수 있는 것은 Rapid Usability Testing이 Massive Usability Testing 과는 발견하고자 하는 사용성 문제가 조금 다르기 때문입니다.
Massive Usability Testing 에서 요구하는 사용성 문제는 대부분의 사용성 문제입니다. 즉, 최대한 많은 사용성 문제를 찾는 것을 목적으로 합니다. 이러한 사용성 문제들 중에는 심각한 사용성 문제도 있으며, 심각하지 않은 사용성 문제들도 있습니다.
반면에 Rapid Usability Testing 에서 요구하는 사용성 문제는 가장 심각한 문제입니다. 즉, 가장 시급하게 수정하고 개선해야하는 사용성 문제를 찾는 것을 목적으로 합니다.
이러한 사용성 문제는 모든 사람들이 직접적으로 별다른 노력을 기울이지 않아도 인식 가능한 문제들이고 이러한 문제들은 적은 사람들을 대상으로 하여도 쉽게 식별이 가능한 문제들입니다.
다만 중요한 것은 Rapid Usability Testing 은 적은 사용자들을 대상으로 테스트를 수행하는 대신 할 수 있는 한 많은 테스트를 하는 것이 중요합니다.
1~3명 정도 되는 참가자로부터 단 한번의 테스트로 모든 심각한 문제들을 찾을 확률은 아마도 한없이 0에 가까울 수 있습니다.
단 한번의 테스트로는 우리가 알지 못하고 지나치는 더 많은 심각한 문제가 있을 수 있습니다. 때문에 Rapid Usability Testing 은 적은 사용자들이 참가하는 대신 가능한 범위에서 최대한 많이 수행할 필요가 있습니다.
그리고 Rapid Usability Testing 은 적은 사용자들이 참가하므로 통계적으로 유효한 결과는 절대 나올 수 없습니다.
만약 당신이 통계적으로 유효한 그 무엇인가를 원한다면 당신이 수행해야할 테스트는 Massive Usability Testing 이고 참가자는 적게는 수십명에서 많게는 수천명이 필요할 것입니다. 그것은 당신의 선택입니다.
그러한 통계적인 데이터도 분명 의미가 있으며 중요하지만 당신에게 그럴만한 시간이나 예산이 없다면 그리고 당신의 제품에서 사용성의 개선이 매우 시급한 문제라면 당신에게 Rapid Usability Testing 은 훌륭한 선택이 될 수 있습니다.
Rapid Usability Testing 은 무언가를 증명하는 테스팅이 아니라 가장 심각한 문제를 도출하고 그것을 고치고 개선하는 것에 집중하는 것이 목적입니다.
가장 심각한 문제라는 것은 증명 이전에 모두가 인식하고 공유할 수 있는 것이기 때문입니다.
중요한 것은 사용성 테스팅에 얼마나 많은 참가자가 필요한가에 대한 난상토론이 아니라 우리가 제품의 사용성을 개선하기 위하여 지금 할 수 있는 것이 무엇이며 무엇을 해야하는가에 대한 문제입니다.
장기적인 전략과 계획을 원하신다면 Massive Usability testing 을 통하여 체계적인 진행을 하실 수도 있습니다.
하지만 지금 당장 당신의 제품에서 가장 심각한 사용성 문제들을 인식하고 개선하기 원한다면 당신에게 Rapid Usability Testing 은 충분히 좋은 선택이 될 것입니다.
ps. 사용성 테스팅에 얼마나 많은 사용자가 적당한가에 대한 논문 등은 구글등의 믿을 수 있는 검색엔진을 통해 검색해보신다면 수많은 검색 결과를 보실 수 있기 때문에 이 포스트에서는 각각에 대해서 언급하지는 않습니다.
만약 당신이 Massive Usability Testing 에 대하여 5~8명의 참가자로도 충분하며 Rapid Usability Testing 에 대하여 1~3명의 참가자로도 충분하다는 것에 대하여 믿음이 없으시다면 스스로 검색을 통하여 관련 자료들을 읽어보시기 바랍니다.
그리고 이러한 참가자의 수는 유효한 가장 많은 사용성 문제들을 발견할 수 있는 최소한의 참가자를 말하는 것이고 실제적으로는 사용성 테스팅의 목적이나 기법에 따라서는 더 많은 참가자가 필요한 경우도 있다는 것을 분명히 밝히는 바입니다.
댓글
댓글 쓰기