기본 콘텐츠로 건너뛰기

사용성 테스팅에 얼마나 많은 참가자가 적당한가?

사용성 테스트을 수행하지 않는 핑계는 아주 많습니다.

'핑계 없는 무덤은 없다' 라는 속담처럼 온갖 핑계가 난무합니다. 꼭 사용성 테스팅 뿐만 아니라 해야하는 일이지만 하지 않는 경우에 우리는 수많은 핑계를 말합니다.

사용성 테스팅을 수행하지 않는 수많은 핑계 중 하나가 사용성 테스팅에 참가하는 사용자가 몇명이 적당한가에 대한 문제입니다.

많은 사람들은 사용성 테스팅의 결과가 신뢰할 만한 수준이 되기 위해서는 아주 많은 참가자가 필요하다고 믿습니다.

아주 많은 참가자는 곧 비용의 증가를 가져오고 이것이 사용성 테스팅을 수행하기 어렵게 만들고 있습니다.

실제로 사용성 테스팅에 얼마나 많은 참가자가 적당한가에 대한 문제는 학계와 업계에서 오랜 숙제로 남아 있고 수많은 난상토론의 주제가 되어 왔고 수많은 연구결과로 검증을 시도해온 문제입니다.

결론적으로 말하자면 수행하고자 하는 사용성 테스팅의 목적 및 기법에 따라 필요한 참가자는 아주 상이하다는 것입니다.

A/B 테스트와 같은 디자인의 미묘한 변화에 따른 영향을 평가하기 위해서는 실제로 수천명에 해당하는 참가자가 필요할 수도 있습니다.

하지만 학계와 업계에서 공통적으로 동의하는 부분은 참가자가 너무 많은 경우 우리가 얻을 수 있는 사용성 문제는 급격하게 줄어든다는 것입니다. 더 많은 참가자를 관찰할수록, 우리가 새로운 사용성 문제를 발견할 확률은 점점 줄어들게 됩니다.

많은 사람들은 참가자가 많으면 많을 수록 더 많은 사용자 문제를 발견할 수 있다고 생각하지만 사실은 그 반대입니다.

그 동안의 연구 결과들은 모두 가장 많은 사용자 문제를 찾을 수 있는 참가자가 몇명인가에 대하여 이야기 하고 있습니다.

즉, 사용성 테스트를 통해 찾을 수 있는 사용성 문제들의 대부분을 발견할 수 있는 참가자의 한계가 있고 그 이상의 참가자들은 그렇게 큰 의미가 없으며 오히려 예상의 낭비를 초래할 수 있다는 것입니다.

이러한 참가자의 한계는 사용성 테스팅의 목적 및 기법에 따라 다양하게 연구되어 왔고 최근의 연구결과에 따르면 대체로 5~8명의 참가자만으로도 충분하다는 결론을 내리고 있습니다.(실제로 제 경험으로도 그렇습니다. 아주 특수한 경우를 제외하고는 5~8명의 참가자면 충분했습니다.)

하지만 여기서 얘기하는 5~8명의 참가자는 Massive Usability Testing 의 최소 요구 인원입니다.

하지만 당신이 만약 Rapid Usability Testing을 수행하기를 원한다면 이보다 더 적은 사람만으로도 충분할 수 있습니다.

만약 당신이 사용자 테스트를 수행한다면 참가자는 1~3명이면 충분합니다.

만약 당신이 카드 소팅을 수행한다면 참가자는 3~5명이면 충분합니다.

만약 당신이 소원의 나무를 수행한다면 참가자는 2명만으로도 충분합니다.

만약 당신이 동료 리뷰나 스케치 테스트를 수행한다면 참가자는 1명이 될 수도 있고 그 이상이 될 수도 있습니다.

Rapid Usability Testing 이 아주 적은 인원으로도 의미가 있을 수 있는 것은 Rapid Usability Testing이 Massive Usability Testing 과는 발견하고자 하는 사용성 문제가 조금 다르기 때문입니다.

Massive Usability Testing 에서 요구하는 사용성 문제는 대부분의 사용성 문제입니다. 즉, 최대한 많은 사용성 문제를 찾는 것을 목적으로 합니다. 이러한 사용성 문제들 중에는 심각한 사용성 문제도 있으며, 심각하지 않은 사용성 문제들도 있습니다.

반면에 Rapid Usability Testing 에서 요구하는 사용성 문제는 가장 심각한 문제입니다. 즉, 가장 시급하게 수정하고 개선해야하는 사용성 문제를 찾는 것을 목적으로 합니다.

이러한 사용성 문제는 모든 사람들이 직접적으로 별다른 노력을 기울이지 않아도 인식 가능한 문제들이고 이러한 문제들은 적은 사람들을 대상으로 하여도 쉽게 식별이 가능한 문제들입니다.

다만 중요한 것은 Rapid Usability Testing 은 적은 사용자들을 대상으로 테스트를 수행하는 대신 할 수 있는 한 많은 테스트를 하는 것이 중요합니다.

1~3명 정도 되는 참가자로부터 단 한번의 테스트로 모든 심각한 문제들을 찾을 확률은 아마도 한없이 0에 가까울 수 있습니다.

단 한번의 테스트로는 우리가 알지 못하고 지나치는 더 많은 심각한 문제가 있을 수 있습니다. 때문에 Rapid Usability Testing 은 적은 사용자들이 참가하는 대신 가능한 범위에서 최대한 많이 수행할 필요가 있습니다.

그리고 Rapid Usability Testing 은 적은 사용자들이 참가하므로 통계적으로 유효한 결과는 절대 나올 수 없습니다.

만약 당신이 통계적으로 유효한 그 무엇인가를 원한다면 당신이 수행해야할 테스트는 Massive Usability Testing 이고 참가자는 적게는 수십명에서 많게는 수천명이 필요할 것입니다. 그것은 당신의 선택입니다.

그러한 통계적인 데이터도 분명 의미가 있으며 중요하지만 당신에게 그럴만한 시간이나 예산이 없다면 그리고 당신의 제품에서 사용성의 개선이 매우 시급한 문제라면 당신에게 Rapid Usability Testing 은 훌륭한 선택이 될 수 있습니다.

Rapid Usability Testing 은 무언가를 증명하는 테스팅이 아니라 가장 심각한 문제를 도출하고 그것을 고치고 개선하는 것에 집중하는 것이 목적입니다.

가장 심각한 문제라는 것은 증명 이전에 모두가 인식하고 공유할 수 있는 것이기 때문입니다.

중요한 것은 사용성 테스팅에 얼마나 많은 참가자가 필요한가에 대한 난상토론이 아니라 우리가 제품의 사용성을 개선하기 위하여 지금 할 수 있는 것이 무엇이며 무엇을 해야하는가에 대한 문제입니다.

장기적인 전략과 계획을 원하신다면 Massive Usability testing 을 통하여 체계적인 진행을 하실 수도 있습니다.

하지만 지금 당장 당신의 제품에서 가장 심각한 사용성 문제들을 인식하고 개선하기 원한다면 당신에게 Rapid Usability Testing 은 충분히 좋은 선택이 될 것입니다.

ps. 사용성 테스팅에 얼마나 많은 사용자가 적당한가에 대한 논문 등은 구글등의 믿을 수 있는 검색엔진을 통해 검색해보신다면 수많은 검색 결과를 보실 수 있기 때문에 이 포스트에서는 각각에 대해서 언급하지는 않습니다.

만약 당신이 Massive Usability Testing 에 대하여 5~8명의 참가자로도 충분하며 Rapid Usability Testing 에 대하여 1~3명의 참가자로도 충분하다는 것에 대하여 믿음이 없으시다면 스스로 검색을 통하여 관련 자료들을 읽어보시기 바랍니다.

그리고 이러한 참가자의 수는 유효한 가장 많은 사용성 문제들을 발견할 수 있는 최소한의 참가자를 말하는 것이고 실제적으로는 사용성 테스팅의 목적이나 기법에 따라서는 더 많은 참가자가 필요한 경우도 있다는 것을 분명히 밝히는 바입니다.

댓글

이 블로그의 인기 게시물

비츠 스튜디오 버즈 플러스(투명) 사용 후기

제 내자분은 아직도 유선 이어폰을 쓰고 있습니다. 그게 좋다고 하시더라구요. 작년에 혹시나 해서 앤커 사운드코어 라이프Q35를 구매해서 조공해봤지만 결국은 안쓰시더라구요. 그래서 작년 추운 겨울에 제가 귀마게 용으로 잘 사용해왔는데.. 여름이 되니.. 와.. 이건 너무 덥고 무거워서 못쓰겠더라구요. 아이폰도 사고 애플 워치도 샀으니.. 다음은 에어팟인데.... 노이즈 캔슬링이 된다는 에어팟 프로 2는 ... 네... 너무 비싸더라구요... 이건 내자분께 얘기해봐야 결제가 될리가 없어서... 고민하고 있던차에.. 네.. 저는 봐버리고 말았습니다. 비츠 스튜디오 버즈 플러스의 그 영롱한 투명 버전의 자태를... 급 뽐뿌가 왔지만.. 여전히 20만원의 고가더라구요... 초기 출시 시기에 이벤트로 16만원 정도 했던거 같은데.. 그정도 가격이면 선 결제 후 보고 하면 될거 같은데.. 20만원은 너무 너무 비싸서 침만 삼키던 차에.. 당근에 15만원에 올라온 물건을 덥석 물었습니다. 애플 뮤직 6개월 프로모션 코드도 사용하지 않은 따끈따끈한 제품이라서 그냥 질렀습니다. 이상하게 인터넷이 실제 리뷰 게시물을 찾기 힘들어서.. 고민을 잠깐 했지만.. 그 투명하고 영롱한 자태에 그만... 어쨌든 구매하고 한달 정도 사용해본 후기를 간단하게 남겨봅니다. 1. 노이즈 캔슬링은 기대한 것과는 좀 다르고 앤커 사운드코어 라이프Q35 정도 되는 것 같습니다. 노이즈 캔슬링은 활성화하면 이게 소리를 막아준다기보다는 주변의 작은 소음만 제거해준다고 생각하시면 됩니다. 그러니까 옆에서 소근 거리는 소리나 선풍기 바람 소리 같은 작은 소리들이 사라지고 음악 같은 내가 듣고자 하는 소리가 굉장히 뚜렸해지만 지하철 안내 방송 같은 조금 큰 소리는 그냥 들립니다. 그래서 주변음 허용 모드를 켜보면 너무 시끄러워서 안쓰게 되더라구요. 전 에어팟 프로 2를 사용해 본적이 없어서 비교할 수는 없지만.. 아주 못쓸 정도의 성능은 아니라고 생각됩니다. 2. 저는 귓구멍이 너무 작아서 XS 사이즈의 이어팁

테스트 케이스와 체크리스트의 차이가 뭐여?

테스트 실무에서 가장 혼돈되어 사용되는 용어 중 하나가 테스트 케이스와 체크리스트입니다. 많은 경우 체크리스트를 테스트 케이스로 사용하는 경우가 많습니다. 실제로 인터넷 커뮤니티나 블로그, ISO, IEEE, ISTQB 등등을 검색해보시면 테스트 케이스와 체크리스트에 대한 구분이 다 제각각입니다. 각각에 대한 정의가 다 제각각입니다. 사정이 이러하다보니 많은 사람들이 테스트 케이스와 체크리스트를 잘 구분하지 못하고 혼동해서 사용하는 경우가 많습니다. 물과 기름처럼 테스트 케이스와 체크리스트를 정확하게 구분할 수는 없겠지만.. ISTQB를 기준으로 말씀드리면 설계 기법을 통해 도출된 것은 테스트 케이스 그렇지 않은 것은 체크리스트라고 생각하시면 쉽습니다. 예를 들면 아래는 결정 테이블 테스팅 기법을 통해 도출된 테스트 케이스의 예제입니다. 실제 테스트 케이스는 위보다 복잡하겠지만 어쨌든 얘기하고 싶은 것은 위와 같이 설계 기법을 통해서 도출된 것은 테스트 케이스라고 합니다. 그런데 딱 보시면 아시겠지만 실제 테스트에서는 저 정도로는 테스트 커버리지를 충분히 만족했다고 얘기하기 힘듭니다. 그렇습니다. 어떤 분들은 테스트 케이스가 전가의 보도, 은 총알 쯤으로 생각하시는데.. 테스트 케이스는 일종의 마지노 선이라고 보시면 됩니다. 최소한 제품을 테스트 할때 이정도는 해줘야 한다는 최후의 방어선 정도라고 보시면 됩니다. 전쟁에서 최후의 방어선은 물러설 수 없는 마지막 보루입니다. 하지만 최후의 방어선만 지킨다고 전쟁에서 승리할 수는 없습니다. 프랑스는 마지노 요새만 믿고 있다가 독일에게 깔끔하게 발렸던 과거가 있지요. 전쟁에서 승리하려면 앞으로 나가야하고 치밀한 전략과 전술이 뒷받침 되어야 합니다. 더 높은 커버리지를 도달하고, 충분히 좋은 테스트가 수행되려면 테스트 케이스는 기본이 되어야 하고 거기에 더해서 체크리스트가 따라와 줘야 합니다. 이러한 체크리스트는 팀의 경험과 과거 프로젝트의 데이

웹 애플리케이션의 보안 취약점을 찾기 위한 통합 침투 테스트 도구 - OWASP Zed Attack Proxy

웹 애플리케이션의 보안 취약점을 테스트하기 위해 그동안 Paros 란 프로그램을 사용해 왔었는데, 안타깝게도 이 프로그램이 업데이트가 되지 않은지 너무 오래돼서 최신의 보안 취약점 검사에는 한계가 있어 이번에 다시 한번 열심히 검색해서 제 나름 기준으로 꽤 좋은 도구를 하나 찾아서 소개해볼까 합니다. 분명 국내에는 저보다 더 능력이 되시는 많은 보안 테스터분들께서 더 좋은 도구를 가지고 테스트를 하시리라 믿습니다만.. 구글에서는 어찌 된 것이 아무리 검색해도 한글로 된 자료를 찾기가 참 어렵습니다. 아마 오늘 제가 소개해 드리는 이 프로그램도 제가 최초가 아닐까? 조심스럽게 생각해 봅니다. 그리고 저도 아직까지 이 프로그램의 모든 기능을 전문적으로 사용하고 있지 못하기 때문에 관련된 자료나 방법을 아시는 분은 같이 공유해주시면 고맙겠습니다. 오늘 소개해드리는 프로그램은 제가 OWASP 홈페이지를 검색하면서 찾아낸 도구입니다. 이 프로그램은 Paros에서 갈라져 나온 프로그램으로 기본적인 사용방법은 Paros와 거의 똑같습니다. 다만 Paros에는 없는 여러가지 기능들이 포함된 정말 종합선물세트와 같은 프로그램입니다. 이 프로그램이 무엇이냐? 바로 OWASP Zed Attack Proxy 라는 프로그램입니다. 이 프로그램에 대한 자세한 내용은 https://www.owasp.org/index.php/ZAP 에서 보실 수 있습니다. 프로그램 소개에는 한국어도 지원한다고 하지만 제 경우에는 아무리 해도 한국어로 나오지는 않네요. 프로그램을 다운로드 하셔서 설치하시고 Weekly Release도 같이 설치하시기 바랍니다. Weekly Release는 zip 파일의 압축을 해제하셔서 설치 디렉토리업 덮어쓰기 하시면 됩니다. 설치를 다 하셨으면 이제 이걸 쓰는 법을 알아보겠습니다. 우선은 브라우저에서 프록시 설정을 해주셔야 합니다. 프록시를 설정하시는 방법은 프로그램에서 F1을 누르셔서 도움말을 실행하신 후에 Getti