UI 디자인이나 사용성 테스트를 할 때 또는 마케팅을 위한 전략을 수립하는 과정에서 가장 많이 사용되는 데이터 중 하나가 시장조사이다.
시장 조사를 통해 고객의 요구를 파악하고 잠재적인 고객층을 판단하여 그것을 제품의 개발과 판매를 위한 전략을 수립하는 데 사용하는 것은 그다지 큰 문제가 없는 적절한 방법으로 많은 회사에서 유용하게 사용하는 방법이다.
그런데 이 시장조사를 과연 전적으로 100% 신뢰할 수 있는 것일까?
결론부터 말한다면 시장조사는 충분히 조작될 수 있고 사전 조건이 잘못되어 있다면 절대로 신뢰할 수 없는 데이터가 된다. 그래서 혹자는 시장조사가 필요없다고 말하기도 한다.
여기서 아주 유명한 코카콜라와 펩시콜라의 이야기를 살펴보도록 하자.
코카콜라는 콜라 업계의 절대적 강자이다. 지금은 물론 옛날과 같은 아우라는 없지만 코카콜라가 콜라 업계에서 독보적인 지위를 차지하고 있다는 것은 변함없는 사실이다.
이 코카콜라에 도전하여 그 아성을 위협하는 회사가 바로 펩시콜라이다.
80년대 초 코카콜라는 펩시콜라에 의해 위기에 봉착했다. 코카콜라의 지지층이 12%나 떨어진 반면, 펩시는 11%나 급상승한 것이다. 이 정도면 코카콜라의 지지층이 고스란히 펩시로 넘어간 것으로 봐도 무방할 것이다.
이러한 변화에 일격을 날린 것이 이른바 ‘펩시 챌린지’라는 광고였다.
팹시 챌린지는 코카콜라 애호가들에게 Q와 M 마크가 붙은 두잔의 콜라를 한모금씩 맛보게 한 후 하나를 고르게 하는 블라인드 테스트였다.
결과는 대부분의 사람들이 M 마크가 붙은 잔은 선택하였고, M 마크가 붙은 잔에는 펩시콜라가 들어있었다.
즉, 일련의 블라인드 테스트를 통해서 코카콜라보다 펩시콜라의 맛이 더 좋다는 메시지를 전달하는 것이었다.
이러한 테스트를 통한 광고는 이제는 우리 주변에서 아주 일상적으로 볼 수 있게 되었다.
이 광고에 자극을 받은 코카콜라는 내부 테스트를 진행했고 그 결과 똑같은 결과에 도달했고 결론적으로 소비자들의 취향이 변했다는 결론을 내렸다. 이 결정은 ‘뉴 코크’라고 불리는 새로운 코카콜라의 개발로 이어졌다.
‘뉴 코크’는 블라인드 테스트에서 펩시콜라와 거의 대등한 결과를 나타내었고 그 결과에 흡족했던 코카콜라의 경영진은 ‘뉴 코크’를 시장에 내놓았다.
하지만 결론은 코카콜라에 재앙으로 다가왔다.
기존의 코카콜라 애호가들의 거대한 반발에 직면하였고 몇 달만에 기존의 코카콜라가 ‘클래식 코크’라는 이름으로 시장에 복귀했다.
그리고 어느 시점에 이르러 ‘뉴 코크’는 시장에서 아예 자취를 감춰버렸다.
왜 이런 일이 발생한 것일까?
펩시 첼린지의 결과에 따라 수립되었던 코카콜라의 정책이 실패했던 이유는 펩시 첼리지의 결과가 중심가 테스트(CLT, Central Location Test)였기 때문이다.
중심가 테스트는 한모금 테스트라고도 하는데, 펩시 첼린지에서 시험자들은 콜라를 딱 한모금만 맛보았을 뿐이다.
하지만 실제로 우리가 실생활에서 콜라를 마실 때 딱 한모금만 마시는 경우는 거의 없다.
여러분이 콜라를 마시는 그 순간을 생각해 보자. 집안의 소파에 편하게 앉아서 영화를 보면서 벌컥 벌컥 한 캔을 모두 마시는 청량감이 떠오르지 않는가?
즉, 코카콜라와 펩시를 한모금이 아니라 캔 전체를 마시게 한다면 그 결과는 전혀 다르게 나오게 된다는 것이다.
한모금 테스트에서는 시험자는 음료수의 단맛에 반응하게 되지만 실제로 단맛이 나는 청량 음료를 한캔 모두 마신다고 상상해 보자. 그 맛이 과연 어떨것인가?
펩시는 코카콜라에 비해서 분명 달다. 때문에 펩시는 자신들의 약점이 강점이 될 수 있도록 테스트를 조작한 것으로 볼 수 있다.
어떤 사람들은 사기라고도 생각할 수 있겠지만, 이러한 테스트를 사기라고 하기는 조금 어렵다.
왜냐하면 우리가 콜라를 통해 느끼는 맛은 분명 2가지이기 때문이다. 처음 입에 닿을 때의 단맛 그리고 끝까지 마셨을 때 느끼는 청량감..
펩시는 그 중 첫번째 맛을 강조했을 뿐인 것이다.
잘못은 코카콜라에 있다. 이 세상 누구도 코카코라를 눈을 가리고 한모금씩 홀짝 홀짝 마시지는 않는다. 때문에 블라인드 테스트의 결과가 현실로 전이될 일은 발생하지 않는다.
광고를 보고 특정 기간동안 펩시의 점유율이 오를 수는 있다. 하지만 사람들은 곧 자신들이 현실에서 마시는 방식으로 맛보던 맛을 펩시가 줄 수 없다는 것을 깨닫게 되었을 것이다.
하지만 코카콜라는 그 잠깐의 기간을 참지 못하고 제품을 바꾸어 버렸다. 그리고 제품을 바꿈으로써 그동안 구축했던 브랜드의 이미지를 모두 날려버린 것이다.
코카콜라와 펩시의 블라인드 테스트 결과는 20여년이 지난 지금도 같은 결론을 보여준다.
그리고 코카콜라가 지금도 콜라업계의 절대 강자인 것도 사실이다.
결론은 사람들이 진정으로 무엇을 원하는지 알아내는 것은 매우 어렵다는 것이다. 일부에서는 고객은 제품을 실제로 사용해보기 전까지는 자신이 진정 무엇을 원하는지 알지 못한다고도 말한다.
사람들은 나쁜 것과 다른 것의 차이를 짚어내는 것에 무디다. 우리의 결정과 선택은 환경에 영향을 받기 때문이다. 이것이 시장조사의 문제점이다.
코카콜라와 펩시의 이야기에서 우리는 2가지를 생각해 볼 수 있다.
하나는 브랜드라는 이미지이다. 많은 후발 주자들은 선발 주자들이 구축해 놓은 브랜드의 이미지를 차용하는 경우가 많다.
루이스 체스킨이 주장한 감각 전이(sensation transference)라는 개념이 있다. 우리는 제품의 품질보다는 제품 전체에서 받은 느낌이나 인상을 제품 자체로 전이시킨다는 것이다.
후발주자들은 이 감각 전이를 이용해서 이득을 얻고자 하는 것이다. 문제는 선발 주자들이 이러한 추격을 뿌리치기 위해서 자신들의 포장이나 UI 등을 변경할 경우 그나마 유지하던 모든 것을 잃어버릴 수 있다는 것이다.
후발주자들이 브랜드의 이미지를 차용해서 유지할 수 있는 기간은 길지 않다. 사용자는 분명 초기에는 그런 이미지에 속을 수 있지만 결국에는 자신에게 익숙한 것을 선택하기 때문이다.
우리가 새로운 소프트웨어를 만들면서 기존에 구축했던 많은 것을 포기하는 경우가 많다. 새로운 기능, 새로우 유저 인터페이스 등이 있으면 더 많은 고객이 선택할 것이라고 생각하는 경우가 많다. 하지만 그것은 사실일 수도 있고 악몽이 될 수도 있다.
이 선택은 매우 신중해야만 한다.
두번째는 테스트의 사전 조건이다.
우리가 테스트 유형을 선택하거나 테스트 케이스를 설계할 때 또는 시장조사나 사용성 테스트를 수행할 때 등 많은 경우에 사전 조건은 매우 신중하게 설정해야만 한다.
만약 우리가 하드웨어와 환경적으로 구축한 보안이 철저하다고 믿는다면 보안 테스트는 수행하지 않아도 될 것이다.
사전 조건에 따라 테스트 결과가 달라지는 것은 누구나 다 아는 사실이다. 사용성 테스트에서 사전 조건은 테스트 결과의 분석에 아주 큰 영향을 미친다.
하지만 우리가 테스트를 수행할 때 사전 조건을 설정하는 과정을 심각하게 고민하는 경우는 많지 않다.
사전 조건이 테스트 결과의 신뢰성에 미칠 수 있는 영향에 좀 더 주의를 기울이도록 하자.
이외에도 펩시와 코카콜라의 얘기가 주는 교훈은 더 많을 수 있다. 여러분은 어떤 것을 얻을 수 있었나요?
시장 조사를 통해 고객의 요구를 파악하고 잠재적인 고객층을 판단하여 그것을 제품의 개발과 판매를 위한 전략을 수립하는 데 사용하는 것은 그다지 큰 문제가 없는 적절한 방법으로 많은 회사에서 유용하게 사용하는 방법이다.
그런데 이 시장조사를 과연 전적으로 100% 신뢰할 수 있는 것일까?
결론부터 말한다면 시장조사는 충분히 조작될 수 있고 사전 조건이 잘못되어 있다면 절대로 신뢰할 수 없는 데이터가 된다. 그래서 혹자는 시장조사가 필요없다고 말하기도 한다.
여기서 아주 유명한 코카콜라와 펩시콜라의 이야기를 살펴보도록 하자.
코카콜라는 콜라 업계의 절대적 강자이다. 지금은 물론 옛날과 같은 아우라는 없지만 코카콜라가 콜라 업계에서 독보적인 지위를 차지하고 있다는 것은 변함없는 사실이다.
이 코카콜라에 도전하여 그 아성을 위협하는 회사가 바로 펩시콜라이다.
80년대 초 코카콜라는 펩시콜라에 의해 위기에 봉착했다. 코카콜라의 지지층이 12%나 떨어진 반면, 펩시는 11%나 급상승한 것이다. 이 정도면 코카콜라의 지지층이 고스란히 펩시로 넘어간 것으로 봐도 무방할 것이다.
이러한 변화에 일격을 날린 것이 이른바 ‘펩시 챌린지’라는 광고였다.
팹시 챌린지는 코카콜라 애호가들에게 Q와 M 마크가 붙은 두잔의 콜라를 한모금씩 맛보게 한 후 하나를 고르게 하는 블라인드 테스트였다.
결과는 대부분의 사람들이 M 마크가 붙은 잔은 선택하였고, M 마크가 붙은 잔에는 펩시콜라가 들어있었다.
즉, 일련의 블라인드 테스트를 통해서 코카콜라보다 펩시콜라의 맛이 더 좋다는 메시지를 전달하는 것이었다.
이러한 테스트를 통한 광고는 이제는 우리 주변에서 아주 일상적으로 볼 수 있게 되었다.
이 광고에 자극을 받은 코카콜라는 내부 테스트를 진행했고 그 결과 똑같은 결과에 도달했고 결론적으로 소비자들의 취향이 변했다는 결론을 내렸다. 이 결정은 ‘뉴 코크’라고 불리는 새로운 코카콜라의 개발로 이어졌다.
‘뉴 코크’는 블라인드 테스트에서 펩시콜라와 거의 대등한 결과를 나타내었고 그 결과에 흡족했던 코카콜라의 경영진은 ‘뉴 코크’를 시장에 내놓았다.
하지만 결론은 코카콜라에 재앙으로 다가왔다.
기존의 코카콜라 애호가들의 거대한 반발에 직면하였고 몇 달만에 기존의 코카콜라가 ‘클래식 코크’라는 이름으로 시장에 복귀했다.
그리고 어느 시점에 이르러 ‘뉴 코크’는 시장에서 아예 자취를 감춰버렸다.
왜 이런 일이 발생한 것일까?
펩시 첼린지의 결과에 따라 수립되었던 코카콜라의 정책이 실패했던 이유는 펩시 첼리지의 결과가 중심가 테스트(CLT, Central Location Test)였기 때문이다.
중심가 테스트는 한모금 테스트라고도 하는데, 펩시 첼린지에서 시험자들은 콜라를 딱 한모금만 맛보았을 뿐이다.
하지만 실제로 우리가 실생활에서 콜라를 마실 때 딱 한모금만 마시는 경우는 거의 없다.
여러분이 콜라를 마시는 그 순간을 생각해 보자. 집안의 소파에 편하게 앉아서 영화를 보면서 벌컥 벌컥 한 캔을 모두 마시는 청량감이 떠오르지 않는가?
즉, 코카콜라와 펩시를 한모금이 아니라 캔 전체를 마시게 한다면 그 결과는 전혀 다르게 나오게 된다는 것이다.
한모금 테스트에서는 시험자는 음료수의 단맛에 반응하게 되지만 실제로 단맛이 나는 청량 음료를 한캔 모두 마신다고 상상해 보자. 그 맛이 과연 어떨것인가?
펩시는 코카콜라에 비해서 분명 달다. 때문에 펩시는 자신들의 약점이 강점이 될 수 있도록 테스트를 조작한 것으로 볼 수 있다.
어떤 사람들은 사기라고도 생각할 수 있겠지만, 이러한 테스트를 사기라고 하기는 조금 어렵다.
왜냐하면 우리가 콜라를 통해 느끼는 맛은 분명 2가지이기 때문이다. 처음 입에 닿을 때의 단맛 그리고 끝까지 마셨을 때 느끼는 청량감..
펩시는 그 중 첫번째 맛을 강조했을 뿐인 것이다.
잘못은 코카콜라에 있다. 이 세상 누구도 코카코라를 눈을 가리고 한모금씩 홀짝 홀짝 마시지는 않는다. 때문에 블라인드 테스트의 결과가 현실로 전이될 일은 발생하지 않는다.
광고를 보고 특정 기간동안 펩시의 점유율이 오를 수는 있다. 하지만 사람들은 곧 자신들이 현실에서 마시는 방식으로 맛보던 맛을 펩시가 줄 수 없다는 것을 깨닫게 되었을 것이다.
하지만 코카콜라는 그 잠깐의 기간을 참지 못하고 제품을 바꾸어 버렸다. 그리고 제품을 바꿈으로써 그동안 구축했던 브랜드의 이미지를 모두 날려버린 것이다.
코카콜라와 펩시의 블라인드 테스트 결과는 20여년이 지난 지금도 같은 결론을 보여준다.
그리고 코카콜라가 지금도 콜라업계의 절대 강자인 것도 사실이다.
결론은 사람들이 진정으로 무엇을 원하는지 알아내는 것은 매우 어렵다는 것이다. 일부에서는 고객은 제품을 실제로 사용해보기 전까지는 자신이 진정 무엇을 원하는지 알지 못한다고도 말한다.
사람들은 나쁜 것과 다른 것의 차이를 짚어내는 것에 무디다. 우리의 결정과 선택은 환경에 영향을 받기 때문이다. 이것이 시장조사의 문제점이다.
코카콜라와 펩시의 이야기에서 우리는 2가지를 생각해 볼 수 있다.
하나는 브랜드라는 이미지이다. 많은 후발 주자들은 선발 주자들이 구축해 놓은 브랜드의 이미지를 차용하는 경우가 많다.
루이스 체스킨이 주장한 감각 전이(sensation transference)라는 개념이 있다. 우리는 제품의 품질보다는 제품 전체에서 받은 느낌이나 인상을 제품 자체로 전이시킨다는 것이다.
후발주자들은 이 감각 전이를 이용해서 이득을 얻고자 하는 것이다. 문제는 선발 주자들이 이러한 추격을 뿌리치기 위해서 자신들의 포장이나 UI 등을 변경할 경우 그나마 유지하던 모든 것을 잃어버릴 수 있다는 것이다.
후발주자들이 브랜드의 이미지를 차용해서 유지할 수 있는 기간은 길지 않다. 사용자는 분명 초기에는 그런 이미지에 속을 수 있지만 결국에는 자신에게 익숙한 것을 선택하기 때문이다.
우리가 새로운 소프트웨어를 만들면서 기존에 구축했던 많은 것을 포기하는 경우가 많다. 새로운 기능, 새로우 유저 인터페이스 등이 있으면 더 많은 고객이 선택할 것이라고 생각하는 경우가 많다. 하지만 그것은 사실일 수도 있고 악몽이 될 수도 있다.
이 선택은 매우 신중해야만 한다.
두번째는 테스트의 사전 조건이다.
우리가 테스트 유형을 선택하거나 테스트 케이스를 설계할 때 또는 시장조사나 사용성 테스트를 수행할 때 등 많은 경우에 사전 조건은 매우 신중하게 설정해야만 한다.
만약 우리가 하드웨어와 환경적으로 구축한 보안이 철저하다고 믿는다면 보안 테스트는 수행하지 않아도 될 것이다.
사전 조건에 따라 테스트 결과가 달라지는 것은 누구나 다 아는 사실이다. 사용성 테스트에서 사전 조건은 테스트 결과의 분석에 아주 큰 영향을 미친다.
하지만 우리가 테스트를 수행할 때 사전 조건을 설정하는 과정을 심각하게 고민하는 경우는 많지 않다.
사전 조건이 테스트 결과의 신뢰성에 미칠 수 있는 영향에 좀 더 주의를 기울이도록 하자.
이외에도 펩시와 코카콜라의 얘기가 주는 교훈은 더 많을 수 있다. 여러분은 어떤 것을 얻을 수 있었나요?
시장조사는 거짓말의 종류 중에 하나라는 말도 있더군요. ^^
답글삭제시장조사 자체가 무의미한 것은 아닙니다.
답글삭제많은 기업들이 왜 무의미한 일에 매년 많은 자원을 투입하면서 시장조사를 하겠습니까?
하지만, 무의미한 시장조사가 되지 않기 위해서는 자료 수집 방법이 엄격하고 정교해야 할 것입니다.
시장조사 결과나 방법도 무조건 믿을 것이 아니라 이런 시각에서 잘 살펴보고 해석해야 한다고 봅니다.
"코카 콜라와 펩시 콜라"의 예는 부적절 한 것 같습니다. 시장 조사는 시장의 경향을 판단하기 위한 조사이고, 위의 예는 광고를 위한 펩시 콜라의 테스트를 코카 콜라가 (별도의 시장 조사를 하지 않은 채로) 반복 하여 나온 결과(펩시 콜라의 광고 의도대로 나온 결과)로 시장의 경향이 바뀌었다고 잘못된 판단을 하게된 것 뿐이라고 생각합니다. 따라서 불합리한 전제를 근거로 한 결론인 "시장 조사 불신"은 옳지 않다고 생각됩니다.
답글삭제그리고 시장 조사는 "자사의 가치 창출을 위한 조사"이므로 시장 조사를 수행 할 때 최대한 신뢰성을 확보 할 수 있도록 하는게 낭비가 아닐 것이니 시장 조사는 언제나 신뢰할 수 있어야 할 것 입니다.
저는 낭비를 원하는 회사는 본 적이 없습니다.
@steve yoon - 2010/04/12 23:04
답글삭제좋은 의견 고맙습니다.
제가 말하고 싶은 것은 시장 조사를 무조건 믿지 말아야 한다기 보다는 시장 조사는 올바르게 해야한다는 의도였습니다.
신뢰할 수 있는 시장조사라는 것은 어떤것일까요?
시장 조사는 항상 신뢰할 수 있는 것일까요?
저는 이 물음을 항상 고민해 봐야한다고 생각합니다.
코카콜라는 실제적인 시장을 조사하고 검증하는 작업을 하지 않은 우를 범한 케이스이죠..
우리는 그렇지 않을 것 같지만 실제로 그런 우를 많이 범하는 경우가 많습니다. 시장을 포괄적으로 들여다보기보다는 우리가 가지고 있는 시각에 의해서만 바라보는 경우도 많죠..
위기가 실제 위기가 아닐 수도 있는 것처럼요..