기본 콘텐츠로 건너뛰기

시장조사는 믿을 수 있는 것일까?

UI 디자인이나 사용성 테스트를 할 때 또는 마케팅을 위한 전략을 수립하는 과정에서 가장 많이 사용되는 데이터 중 하나가 시장조사이다.

시장 조사를 통해 고객의 요구를 파악하고 잠재적인 고객층을 판단하여 그것을 제품의 개발과 판매를 위한 전략을 수립하는 데 사용하는 것은 그다지 큰 문제가 없는 적절한 방법으로 많은 회사에서 유용하게 사용하는 방법이다.

그런데 이 시장조사를 과연 전적으로 100% 신뢰할 수 있는 것일까?

결론부터 말한다면 시장조사는 충분히 조작될 수 있고 사전 조건이 잘못되어 있다면 절대로 신뢰할 수 없는 데이터가 된다. 그래서 혹자는 시장조사가 필요없다고 말하기도 한다.

여기서 아주 유명한 코카콜라와 펩시콜라의 이야기를 살펴보도록 하자.

코카콜라는 콜라 업계의 절대적 강자이다. 지금은 물론 옛날과 같은 아우라는 없지만 코카콜라가 콜라 업계에서 독보적인 지위를 차지하고 있다는 것은 변함없는 사실이다.

이 코카콜라에 도전하여 그 아성을 위협하는 회사가 바로 펩시콜라이다.

80년대 초 코카콜라는 펩시콜라에 의해 위기에 봉착했다. 코카콜라의 지지층이 12%나 떨어진 반면, 펩시는 11%나 급상승한 것이다. 이 정도면 코카콜라의 지지층이 고스란히 펩시로 넘어간 것으로 봐도 무방할 것이다.

이러한 변화에 일격을 날린 것이 이른바 ‘펩시 챌린지’라는 광고였다.

팹시 챌린지는 코카콜라 애호가들에게 Q와 M 마크가 붙은 두잔의 콜라를 한모금씩 맛보게 한 후 하나를 고르게 하는 블라인드 테스트였다.

결과는 대부분의 사람들이 M 마크가 붙은 잔은 선택하였고, M 마크가 붙은 잔에는 펩시콜라가 들어있었다.

즉, 일련의 블라인드 테스트를 통해서 코카콜라보다 펩시콜라의 맛이 더 좋다는 메시지를 전달하는 것이었다.

이러한 테스트를 통한 광고는 이제는 우리 주변에서 아주 일상적으로 볼 수 있게 되었다.

이 광고에 자극을 받은 코카콜라는 내부 테스트를 진행했고 그 결과 똑같은 결과에 도달했고 결론적으로 소비자들의 취향이 변했다는 결론을 내렸다. 이 결정은 ‘뉴 코크’라고 불리는 새로운 코카콜라의 개발로 이어졌다.

‘뉴 코크’는 블라인드 테스트에서 펩시콜라와 거의 대등한 결과를 나타내었고 그 결과에 흡족했던 코카콜라의 경영진은 ‘뉴 코크’를 시장에 내놓았다.

하지만 결론은 코카콜라에 재앙으로 다가왔다.

기존의 코카콜라 애호가들의 거대한 반발에 직면하였고 몇 달만에 기존의 코카콜라가 ‘클래식 코크’라는 이름으로 시장에 복귀했다.

그리고 어느 시점에 이르러 ‘뉴 코크’는 시장에서 아예 자취를 감춰버렸다.

왜 이런 일이 발생한 것일까?

펩시 첼린지의 결과에 따라 수립되었던 코카콜라의 정책이 실패했던 이유는 펩시 첼리지의 결과가 중심가 테스트(CLT, Central Location Test)였기 때문이다.

중심가 테스트는 한모금 테스트라고도 하는데, 펩시 첼린지에서 시험자들은 콜라를 딱 한모금만 맛보았을 뿐이다.

하지만 실제로 우리가 실생활에서 콜라를 마실 때 딱 한모금만 마시는 경우는 거의 없다.

여러분이 콜라를 마시는 그 순간을 생각해 보자. 집안의 소파에 편하게 앉아서 영화를 보면서 벌컥 벌컥 한 캔을 모두 마시는 청량감이 떠오르지 않는가?

즉, 코카콜라와 펩시를 한모금이 아니라 캔 전체를 마시게 한다면 그 결과는 전혀 다르게 나오게 된다는 것이다.

한모금 테스트에서는 시험자는 음료수의 단맛에 반응하게 되지만 실제로 단맛이 나는 청량 음료를 한캔 모두 마신다고 상상해 보자. 그 맛이 과연 어떨것인가?

펩시는 코카콜라에 비해서 분명 달다. 때문에 펩시는 자신들의 약점이 강점이 될 수 있도록 테스트를 조작한 것으로 볼 수 있다.

어떤 사람들은 사기라고도 생각할 수 있겠지만, 이러한 테스트를 사기라고 하기는 조금 어렵다.

왜냐하면 우리가 콜라를 통해 느끼는 맛은 분명 2가지이기 때문이다. 처음 입에 닿을 때의 단맛 그리고 끝까지 마셨을 때 느끼는 청량감..

펩시는 그 중 첫번째 맛을 강조했을 뿐인 것이다.

잘못은 코카콜라에 있다. 이 세상 누구도 코카코라를 눈을 가리고 한모금씩 홀짝 홀짝 마시지는 않는다. 때문에 블라인드 테스트의 결과가 현실로 전이될 일은 발생하지 않는다.

광고를 보고 특정 기간동안 펩시의 점유율이 오를 수는 있다. 하지만 사람들은 곧 자신들이 현실에서 마시는 방식으로 맛보던 맛을 펩시가 줄 수 없다는 것을 깨닫게 되었을 것이다.

하지만 코카콜라는 그 잠깐의 기간을 참지 못하고 제품을 바꾸어 버렸다. 그리고 제품을 바꿈으로써 그동안 구축했던 브랜드의 이미지를 모두 날려버린 것이다.

코카콜라와 펩시의 블라인드 테스트 결과는 20여년이 지난 지금도 같은 결론을 보여준다.

그리고 코카콜라가 지금도 콜라업계의 절대 강자인 것도 사실이다.

결론은 사람들이 진정으로 무엇을 원하는지 알아내는 것은 매우 어렵다는 것이다. 일부에서는 고객은 제품을 실제로 사용해보기 전까지는 자신이 진정 무엇을 원하는지 알지 못한다고도 말한다.

사람들은 나쁜 것과 다른 것의 차이를 짚어내는 것에 무디다. 우리의 결정과 선택은 환경에 영향을 받기 때문이다. 이것이 시장조사의 문제점이다.

코카콜라와 펩시의 이야기에서 우리는 2가지를 생각해 볼 수 있다.

하나는 브랜드라는 이미지이다. 많은 후발 주자들은 선발 주자들이 구축해 놓은 브랜드의 이미지를 차용하는 경우가 많다.

루이스 체스킨이 주장한 감각 전이(sensation transference)라는 개념이 있다. 우리는 제품의 품질보다는 제품 전체에서 받은 느낌이나 인상을 제품 자체로 전이시킨다는 것이다.

후발주자들은 이 감각 전이를 이용해서 이득을 얻고자 하는 것이다. 문제는 선발 주자들이 이러한 추격을 뿌리치기 위해서 자신들의 포장이나 UI 등을 변경할 경우 그나마 유지하던 모든 것을 잃어버릴 수 있다는 것이다.

후발주자들이 브랜드의 이미지를 차용해서 유지할 수 있는 기간은 길지 않다. 사용자는 분명 초기에는 그런 이미지에 속을 수 있지만 결국에는 자신에게 익숙한 것을 선택하기 때문이다.

우리가 새로운 소프트웨어를 만들면서 기존에 구축했던 많은 것을 포기하는 경우가 많다. 새로운 기능, 새로우 유저 인터페이스 등이 있으면 더 많은 고객이 선택할 것이라고 생각하는 경우가 많다. 하지만 그것은 사실일 수도 있고 악몽이 될 수도 있다.

이 선택은 매우 신중해야만 한다.

두번째는 테스트의 사전 조건이다.

우리가 테스트 유형을 선택하거나 테스트 케이스를 설계할 때 또는 시장조사나 사용성 테스트를 수행할 때 등 많은 경우에 사전 조건은 매우 신중하게 설정해야만 한다.

만약 우리가 하드웨어와 환경적으로 구축한 보안이 철저하다고 믿는다면 보안 테스트는 수행하지 않아도 될 것이다.

사전 조건에 따라 테스트 결과가 달라지는 것은 누구나 다 아는 사실이다. 사용성 테스트에서 사전 조건은 테스트 결과의 분석에 아주 큰 영향을 미친다.

하지만 우리가 테스트를 수행할 때 사전 조건을 설정하는 과정을 심각하게 고민하는 경우는 많지 않다.

사전 조건이 테스트 결과의 신뢰성에 미칠 수 있는 영향에 좀 더 주의를 기울이도록 하자.

이외에도 펩시와 코카콜라의 얘기가 주는 교훈은 더 많을 수 있다. 여러분은 어떤 것을 얻을 수 있었나요?

댓글

  1. 시장조사는 거짓말의 종류 중에 하나라는 말도 있더군요. ^^

    답글삭제
  2. 시장조사 자체가 무의미한 것은 아닙니다.

    많은 기업들이 왜 무의미한 일에 매년 많은 자원을 투입하면서 시장조사를 하겠습니까?

    하지만, 무의미한 시장조사가 되지 않기 위해서는 자료 수집 방법이 엄격하고 정교해야 할 것입니다.

    시장조사 결과나 방법도 무조건 믿을 것이 아니라 이런 시각에서 잘 살펴보고 해석해야 한다고 봅니다.

    답글삭제
  3. steve yoon12/4/10 23:04

    "코카 콜라와 펩시 콜라"의 예는 부적절 한 것 같습니다. 시장 조사는 시장의 경향을 판단하기 위한 조사이고, 위의 예는 광고를 위한 펩시 콜라의 테스트를 코카 콜라가 (별도의 시장 조사를 하지 않은 채로) 반복 하여 나온 결과(펩시 콜라의 광고 의도대로 나온 결과)로 시장의 경향이 바뀌었다고 잘못된 판단을 하게된 것 뿐이라고 생각합니다. 따라서 불합리한 전제를 근거로 한 결론인 "시장 조사 불신"은 옳지 않다고 생각됩니다.

    그리고 시장 조사는 "자사의 가치 창출을 위한 조사"이므로 시장 조사를 수행 할 때 최대한 신뢰성을 확보 할 수 있도록 하는게 낭비가 아닐 것이니 시장 조사는 언제나 신뢰할 수 있어야 할 것 입니다.

    저는 낭비를 원하는 회사는 본 적이 없습니다.

    답글삭제
  4. @steve yoon - 2010/04/12 23:04
    좋은 의견 고맙습니다.

    제가 말하고 싶은 것은 시장 조사를 무조건 믿지 말아야 한다기 보다는 시장 조사는 올바르게 해야한다는 의도였습니다.

    신뢰할 수 있는 시장조사라는 것은 어떤것일까요?

    시장 조사는 항상 신뢰할 수 있는 것일까요?

    저는 이 물음을 항상 고민해 봐야한다고 생각합니다.

    코카콜라는 실제적인 시장을 조사하고 검증하는 작업을 하지 않은 우를 범한 케이스이죠..

    우리는 그렇지 않을 것 같지만 실제로 그런 우를 많이 범하는 경우가 많습니다. 시장을 포괄적으로 들여다보기보다는 우리가 가지고 있는 시각에 의해서만 바라보는 경우도 많죠..

    위기가 실제 위기가 아닐 수도 있는 것처럼요..

    답글삭제

댓글 쓰기

이 블로그의 인기 게시물

스위치봇 & 스위치봇 허브 미니 간단 사용기

제 블로그에 예전부터 오셨던 분들은 제가 사브작 사브작 홈 오토메이션을 어설프게 해온 것을 아실겁니다. 작년부터 너무 하고 싶었던 도어락 자동화에 도전해봤습니다. 우리 나라에 자체 서비스로 앱을 통해 도어락을 제어하는 제품은 꽤 있습니다. 게이트맨도 있고, 키위도 있고, 삼성도 있죠.. 그런데.. 전 그것보다 구글 어시스턴트를 지원하는 도어락이 필요했는데... 그런건 안만들더라구요.. 꼭 필요한건 아니지만 웬지 해보고 싶은데... 언제 제품이 출시될지도 몰라서.. 가능한 방법을 찾아보다가.. 스위치봇이라는 제품으로 도어락을 버튼을 꾹 누르는 방법을 찾아서 스위치봇이 직구가 아닌 국내에 출시되었길래 낼름 구매해서 도전해봤습니다. 스위치봇 제품에 대한 내용이나 구매는  https://www.wakers.shop/  에서 하시면 됩니다. 저는 스위치봇에 스위치봇을 구글 홈에 연결시키기 위해 스위치봇 허브 미니까지 구매했습니다. 스위치봇 허브 미니가 없으면 스위치봇을 외부에서 제어하거나 구글 홈에 연결할 수 없습니다. 그리고 제가 스위치봇 허브 미니를 구매한 이유 중 다른 하나는 이 제품이 RF 리모컨 기능이 지원됩니다. 집에 있는 모니터를 제어할 필요가 있어서 이참 저참으로 같이 구매했습니다. 제품 등록은 어렵지 않습니다. 여기서는 스위치봇 허브 미니에 RF 리모컨을 등록해서 구글 어시스턴트로 제어하는 방법을 소개해드릴까 합니다. 제가 스위치봇 허브 미니로 모니터를 제어하고 싶었던 부분은 컴퓨터에서 크롬캐스트로 외부 입력을 때에 따라 바꿔야 하는데.. 그때마다 리모컨을 찾는게 너무 불편해서였습니다.  어차피 리모컨은 외부 입력 바꿀 때 빼고는 쓸 일도 없는지라.. 매번 어디로 사라지면 정말 불편해서 이걸 자동화 하고 싶었습니다. 그런데, 처음에 스위치봇 허브 미니를 등록하고 여기에 리모컨을 등록하니.. 구글 홈에 등록된 리모컨이 자동으로 등록이 됩니다. 그런데, 등록된걸 확인해보니 전원 On/Off만 제어되는 것이고, 나머지 버튼은 구글 홈으로 제어가 안되어서..

테스트 케이스와 체크리스트의 차이가 뭐여?

테스트 실무에서 가장 혼돈되어 사용되는 용어 중 하나가 테스트 케이스와 체크리스트입니다. 많은 경우 체크리스트를 테스트 케이스로 사용하는 경우가 많습니다. 실제로 인터넷 커뮤니티나 블로그, ISO, IEEE, ISTQB 등등을 검색해보시면 테스트 케이스와 체크리스트에 대한 구분이 다 제각각입니다. 각각에 대한 정의가 다 제각각입니다. 사정이 이러하다보니 많은 사람들이 테스트 케이스와 체크리스트를 잘 구분하지 못하고 혼동해서 사용하는 경우가 많습니다. 물과 기름처럼 테스트 케이스와 체크리스트를 정확하게 구분할 수는 없겠지만.. ISTQB를 기준으로 말씀드리면 설계 기법을 통해 도출된 것은 테스트 케이스 그렇지 않은 것은 체크리스트라고 생각하시면 쉽습니다. 예를 들면 아래는 결정 테이블 테스팅 기법을 통해 도출된 테스트 케이스의 예제입니다. 실제 테스트 케이스는 위보다 복잡하겠지만 어쨌든 얘기하고 싶은 것은 위와 같이 설계 기법을 통해서 도출된 것은 테스트 케이스라고 합니다. 그런데 딱 보시면 아시겠지만 실제 테스트에서는 저 정도로는 테스트 커버리지를 충분히 만족했다고 얘기하기 힘듭니다. 그렇습니다. 어떤 분들은 테스트 케이스가 전가의 보도, 은 총알 쯤으로 생각하시는데.. 테스트 케이스는 일종의 마지노 선이라고 보시면 됩니다. 최소한 제품을 테스트 할때 이정도는 해줘야 한다는 최후의 방어선 정도라고 보시면 됩니다. 전쟁에서 최후의 방어선은 물러설 수 없는 마지막 보루입니다. 하지만 최후의 방어선만 지킨다고 전쟁에서 승리할 수는 없습니다. 프랑스는 마지노 요새만 믿고 있다가 독일에게 깔끔하게 발렸던 과거가 있지요. 전쟁에서 승리하려면 앞으로 나가야하고 치밀한 전략과 전술이 뒷받침 되어야 합니다. 더 높은 커버리지를 도달하고, 충분히 좋은 테스트가 수행되려면 테스트 케이스는 기본이 되어야 하고 거기에 더해서 체크리스트가 따라와 줘야 합니다. 이러한 체크리스트는 팀의 경험과 과거 프로젝트의 데이

프로젝트의 3요소 - Project Management

프로젝트는 예산, 일정, 품질 3가지 요소로 이루어진다고 볼 수 있다. 물론 위 3가지 요소 외에도 개발 범위, 팀워크, 자원 조달 등 여러가지 요소들도 고려해 볼 수 있지만, 가장 중요한 요소를 꼽는다면 예산, 일정, 품질일 것이다. 위에서 말한 여러가지 요소들은 프로젝트를 계획하여 완료하는 순간까지 복합적으로 작용해서 프로젝트의 성과를 제한하게 된다. 위의 요소들을 잘 통제한다면 성공적인 프로젝트가 되는 것이고 그렇지 못한다면 실패하거나 사라지게 될 것이다. 프로젝트 관리란 그런 면에서 제한된 자원을 가지고 목적한 바를 제한된 기간내에 최소의 비용으로 완수할 수 있도록 하는 것으로 정의할 수 있을 것이다. 이것을 도식화 한다면 아래와 같은 그림으로 표현할 수 있을 것이다. 위의 그림에 보는 것처럼 일정과 품질, 예산은 우리의 프로젝트가 목적하는 바를 달성하도록 하기 위해 상호 연관되어 작용하게 된다. 우리가 접하게 되는 많은 방법론들의 가정에는 위의 요소들을 어떻게 관리할 것인가에 대한 기본적인 가정들이 설정되어 있다. 조직에서 어떤 특정한 방법론을 도입한다는 것은 그런 가정에 동의하는 것이고 그러한 철학을 받아들인다는 것이기 때문에, 방법론을 채택하기 전에 조직의 근본 문제와 문화에 대해 점검해 볼 필요가 있다. 그리고 위의 요소들 외에 고려해 볼 사항은 위의 요소들은 변동성과 불확실성을 내포하고 있다는 것이다. 특히 비용과 예산, 목적은 프로젝트를 진행하면서 가변할 가능성이 매우 큰 요소들이다. 대부분의 방법론은 이러한 변동성에 대한 안전장치들을 가정해서 세워져 있다. 변동성의 측면에서 위의 요소들을 다시 살펴본다면 아래와 같이 가정할 수 있다. 위의 그림을 일부 해석해 본다면 일정이 늘어난다면 비용은 늘어나게 된다. 범위가 변경되어도 비용은 늘어나게 된다. 범위와 일정은 상호 의존적이 된다. 만약 위 3가지 요소의 변동성을 통제하지 못하게 된다면 프로젝트는