사용성 테스트을 수행하지 않는 핑계는 아주 많습니다. '핑계 없는 무덤은 없다' 라는 속담처럼 온갖 핑계가 난무합니다. 꼭 사용성 테스팅 뿐만 아니라 해야하는 일이지만 하지 않는 경우에 우리는 수많은 핑계를 말합니다. 사용성 테스팅을 수행하지 않는 수많은 핑계 중 하나가 사용성 테스팅에 참가하는 사용자가 몇명이 적당한가에 대한 문제입니다. 많은 사람들은 사용성 테스팅의 결과가 신뢰할 만한 수준이 되기 위해서는 아주 많은 참가자가 필요하다고 믿습니다. 아주 많은 참가자는 곧 비용의 증가를 가져오고 이것이 사용성 테스팅을 수행하기 어렵게 만들고 있습니다. 실제로 사용성 테스팅에 얼마나 많은 참가자가 적당한가에 대한 문제는 학계와 업계에서 오랜 숙제로 남아 있고 수많은 난상토론의 주제가 되어 왔고 수많은 연구결과로 검증을 시도해온 문제입니다. 결론적으로 말하자면 수행하고자 하는 사용성 테스팅의 목적 및 기법에 따라 필요한 참가자는 아주 상이하다는 것입니다. A/B 테스트와 같은 디자인의 미묘한 변화에 따른 영향을 평가하기 위해서는 실제로 수천명에 해당하는 참가자가 필요할 수도 있습니다. 하지만 학계와 업계에서 공통적으로 동의하는 부분은 참가자가 너무 많은 경우 우리가 얻을 수 있는 사용성 문제는 급격하게 줄어든다는 것입니다. 더 많은 참가자를 관찰할수록, 우리가 새로운 사용성 문제를 발견할 확률은 점점 줄어들게 됩니다. 많은 사람들은 참가자가 많으면 많을 수록 더 많은 사용자 문제를 발견할 수 있다고 생각하지만 사실은 그 반대입니다. 그 동안의 연구 결과들은 모두 가장 많은 사용자 문제를 찾을 수 있는 참가자가 몇명인가에 대하여 이야기 하고 있습니다. 즉, 사용성 테스트를 통해 찾을 수 있는 사용성 문제들의 대부분을 발견할 수 있는 참가자의 한계가 있고 그 이상의 참가자들은 그렇게 큰 의미가 없으며 오히려 예상의 낭비를 초래할 수 있다는 것입니다. 이러한 참가자의 한계는 사용성 테스팅의 목적 및 기법에 따라