기본 콘텐츠로 건너뛰기

시장조사는 믿을 수 있는 것일까?

UI 디자인이나 사용성 테스트를 할 때 또는 마케팅을 위한 전략을 수립하는 과정에서 가장 많이 사용되는 데이터 중 하나가 시장조사이다.

시장 조사를 통해 고객의 요구를 파악하고 잠재적인 고객층을 판단하여 그것을 제품의 개발과 판매를 위한 전략을 수립하는 데 사용하는 것은 그다지 큰 문제가 없는 적절한 방법으로 많은 회사에서 유용하게 사용하는 방법이다.

그런데 이 시장조사를 과연 전적으로 100% 신뢰할 수 있는 것일까?

결론부터 말한다면 시장조사는 충분히 조작될 수 있고 사전 조건이 잘못되어 있다면 절대로 신뢰할 수 없는 데이터가 된다. 그래서 혹자는 시장조사가 필요없다고 말하기도 한다.

여기서 아주 유명한 코카콜라와 펩시콜라의 이야기를 살펴보도록 하자.

코카콜라는 콜라 업계의 절대적 강자이다. 지금은 물론 옛날과 같은 아우라는 없지만 코카콜라가 콜라 업계에서 독보적인 지위를 차지하고 있다는 것은 변함없는 사실이다.

이 코카콜라에 도전하여 그 아성을 위협하는 회사가 바로 펩시콜라이다.

80년대 초 코카콜라는 펩시콜라에 의해 위기에 봉착했다. 코카콜라의 지지층이 12%나 떨어진 반면, 펩시는 11%나 급상승한 것이다. 이 정도면 코카콜라의 지지층이 고스란히 펩시로 넘어간 것으로 봐도 무방할 것이다.

이러한 변화에 일격을 날린 것이 이른바 ‘펩시 챌린지’라는 광고였다.

팹시 챌린지는 코카콜라 애호가들에게 Q와 M 마크가 붙은 두잔의 콜라를 한모금씩 맛보게 한 후 하나를 고르게 하는 블라인드 테스트였다.

결과는 대부분의 사람들이 M 마크가 붙은 잔은 선택하였고, M 마크가 붙은 잔에는 펩시콜라가 들어있었다.

즉, 일련의 블라인드 테스트를 통해서 코카콜라보다 펩시콜라의 맛이 더 좋다는 메시지를 전달하는 것이었다.

이러한 테스트를 통한 광고는 이제는 우리 주변에서 아주 일상적으로 볼 수 있게 되었다.

이 광고에 자극을 받은 코카콜라는 내부 테스트를 진행했고 그 결과 똑같은 결과에 도달했고 결론적으로 소비자들의 취향이 변했다는 결론을 내렸다. 이 결정은 ‘뉴 코크’라고 불리는 새로운 코카콜라의 개발로 이어졌다.

‘뉴 코크’는 블라인드 테스트에서 펩시콜라와 거의 대등한 결과를 나타내었고 그 결과에 흡족했던 코카콜라의 경영진은 ‘뉴 코크’를 시장에 내놓았다.

하지만 결론은 코카콜라에 재앙으로 다가왔다.

기존의 코카콜라 애호가들의 거대한 반발에 직면하였고 몇 달만에 기존의 코카콜라가 ‘클래식 코크’라는 이름으로 시장에 복귀했다.

그리고 어느 시점에 이르러 ‘뉴 코크’는 시장에서 아예 자취를 감춰버렸다.

왜 이런 일이 발생한 것일까?

펩시 첼린지의 결과에 따라 수립되었던 코카콜라의 정책이 실패했던 이유는 펩시 첼리지의 결과가 중심가 테스트(CLT, Central Location Test)였기 때문이다.

중심가 테스트는 한모금 테스트라고도 하는데, 펩시 첼린지에서 시험자들은 콜라를 딱 한모금만 맛보았을 뿐이다.

하지만 실제로 우리가 실생활에서 콜라를 마실 때 딱 한모금만 마시는 경우는 거의 없다.

여러분이 콜라를 마시는 그 순간을 생각해 보자. 집안의 소파에 편하게 앉아서 영화를 보면서 벌컥 벌컥 한 캔을 모두 마시는 청량감이 떠오르지 않는가?

즉, 코카콜라와 펩시를 한모금이 아니라 캔 전체를 마시게 한다면 그 결과는 전혀 다르게 나오게 된다는 것이다.

한모금 테스트에서는 시험자는 음료수의 단맛에 반응하게 되지만 실제로 단맛이 나는 청량 음료를 한캔 모두 마신다고 상상해 보자. 그 맛이 과연 어떨것인가?

펩시는 코카콜라에 비해서 분명 달다. 때문에 펩시는 자신들의 약점이 강점이 될 수 있도록 테스트를 조작한 것으로 볼 수 있다.

어떤 사람들은 사기라고도 생각할 수 있겠지만, 이러한 테스트를 사기라고 하기는 조금 어렵다.

왜냐하면 우리가 콜라를 통해 느끼는 맛은 분명 2가지이기 때문이다. 처음 입에 닿을 때의 단맛 그리고 끝까지 마셨을 때 느끼는 청량감..

펩시는 그 중 첫번째 맛을 강조했을 뿐인 것이다.

잘못은 코카콜라에 있다. 이 세상 누구도 코카코라를 눈을 가리고 한모금씩 홀짝 홀짝 마시지는 않는다. 때문에 블라인드 테스트의 결과가 현실로 전이될 일은 발생하지 않는다.

광고를 보고 특정 기간동안 펩시의 점유율이 오를 수는 있다. 하지만 사람들은 곧 자신들이 현실에서 마시는 방식으로 맛보던 맛을 펩시가 줄 수 없다는 것을 깨닫게 되었을 것이다.

하지만 코카콜라는 그 잠깐의 기간을 참지 못하고 제품을 바꾸어 버렸다. 그리고 제품을 바꿈으로써 그동안 구축했던 브랜드의 이미지를 모두 날려버린 것이다.

코카콜라와 펩시의 블라인드 테스트 결과는 20여년이 지난 지금도 같은 결론을 보여준다.

그리고 코카콜라가 지금도 콜라업계의 절대 강자인 것도 사실이다.

결론은 사람들이 진정으로 무엇을 원하는지 알아내는 것은 매우 어렵다는 것이다. 일부에서는 고객은 제품을 실제로 사용해보기 전까지는 자신이 진정 무엇을 원하는지 알지 못한다고도 말한다.

사람들은 나쁜 것과 다른 것의 차이를 짚어내는 것에 무디다. 우리의 결정과 선택은 환경에 영향을 받기 때문이다. 이것이 시장조사의 문제점이다.

코카콜라와 펩시의 이야기에서 우리는 2가지를 생각해 볼 수 있다.

하나는 브랜드라는 이미지이다. 많은 후발 주자들은 선발 주자들이 구축해 놓은 브랜드의 이미지를 차용하는 경우가 많다.

루이스 체스킨이 주장한 감각 전이(sensation transference)라는 개념이 있다. 우리는 제품의 품질보다는 제품 전체에서 받은 느낌이나 인상을 제품 자체로 전이시킨다는 것이다.

후발주자들은 이 감각 전이를 이용해서 이득을 얻고자 하는 것이다. 문제는 선발 주자들이 이러한 추격을 뿌리치기 위해서 자신들의 포장이나 UI 등을 변경할 경우 그나마 유지하던 모든 것을 잃어버릴 수 있다는 것이다.

후발주자들이 브랜드의 이미지를 차용해서 유지할 수 있는 기간은 길지 않다. 사용자는 분명 초기에는 그런 이미지에 속을 수 있지만 결국에는 자신에게 익숙한 것을 선택하기 때문이다.

우리가 새로운 소프트웨어를 만들면서 기존에 구축했던 많은 것을 포기하는 경우가 많다. 새로운 기능, 새로우 유저 인터페이스 등이 있으면 더 많은 고객이 선택할 것이라고 생각하는 경우가 많다. 하지만 그것은 사실일 수도 있고 악몽이 될 수도 있다.

이 선택은 매우 신중해야만 한다.

두번째는 테스트의 사전 조건이다.

우리가 테스트 유형을 선택하거나 테스트 케이스를 설계할 때 또는 시장조사나 사용성 테스트를 수행할 때 등 많은 경우에 사전 조건은 매우 신중하게 설정해야만 한다.

만약 우리가 하드웨어와 환경적으로 구축한 보안이 철저하다고 믿는다면 보안 테스트는 수행하지 않아도 될 것이다.

사전 조건에 따라 테스트 결과가 달라지는 것은 누구나 다 아는 사실이다. 사용성 테스트에서 사전 조건은 테스트 결과의 분석에 아주 큰 영향을 미친다.

하지만 우리가 테스트를 수행할 때 사전 조건을 설정하는 과정을 심각하게 고민하는 경우는 많지 않다.

사전 조건이 테스트 결과의 신뢰성에 미칠 수 있는 영향에 좀 더 주의를 기울이도록 하자.

이외에도 펩시와 코카콜라의 얘기가 주는 교훈은 더 많을 수 있다. 여러분은 어떤 것을 얻을 수 있었나요?

댓글

  1. 시장조사는 거짓말의 종류 중에 하나라는 말도 있더군요. ^^

    답글삭제
  2. 시장조사 자체가 무의미한 것은 아닙니다.

    많은 기업들이 왜 무의미한 일에 매년 많은 자원을 투입하면서 시장조사를 하겠습니까?

    하지만, 무의미한 시장조사가 되지 않기 위해서는 자료 수집 방법이 엄격하고 정교해야 할 것입니다.

    시장조사 결과나 방법도 무조건 믿을 것이 아니라 이런 시각에서 잘 살펴보고 해석해야 한다고 봅니다.

    답글삭제
  3. steve yoon12/4/10 23:04

    "코카 콜라와 펩시 콜라"의 예는 부적절 한 것 같습니다. 시장 조사는 시장의 경향을 판단하기 위한 조사이고, 위의 예는 광고를 위한 펩시 콜라의 테스트를 코카 콜라가 (별도의 시장 조사를 하지 않은 채로) 반복 하여 나온 결과(펩시 콜라의 광고 의도대로 나온 결과)로 시장의 경향이 바뀌었다고 잘못된 판단을 하게된 것 뿐이라고 생각합니다. 따라서 불합리한 전제를 근거로 한 결론인 "시장 조사 불신"은 옳지 않다고 생각됩니다.

    그리고 시장 조사는 "자사의 가치 창출을 위한 조사"이므로 시장 조사를 수행 할 때 최대한 신뢰성을 확보 할 수 있도록 하는게 낭비가 아닐 것이니 시장 조사는 언제나 신뢰할 수 있어야 할 것 입니다.

    저는 낭비를 원하는 회사는 본 적이 없습니다.

    답글삭제
  4. @steve yoon - 2010/04/12 23:04
    좋은 의견 고맙습니다.

    제가 말하고 싶은 것은 시장 조사를 무조건 믿지 말아야 한다기 보다는 시장 조사는 올바르게 해야한다는 의도였습니다.

    신뢰할 수 있는 시장조사라는 것은 어떤것일까요?

    시장 조사는 항상 신뢰할 수 있는 것일까요?

    저는 이 물음을 항상 고민해 봐야한다고 생각합니다.

    코카콜라는 실제적인 시장을 조사하고 검증하는 작업을 하지 않은 우를 범한 케이스이죠..

    우리는 그렇지 않을 것 같지만 실제로 그런 우를 많이 범하는 경우가 많습니다. 시장을 포괄적으로 들여다보기보다는 우리가 가지고 있는 시각에 의해서만 바라보는 경우도 많죠..

    위기가 실제 위기가 아닐 수도 있는 것처럼요..

    답글삭제

댓글 쓰기

이 블로그의 인기 게시물

비츠 스튜디오 버즈 플러스(투명) 사용 후기

제 내자분은 아직도 유선 이어폰을 쓰고 있습니다. 그게 좋다고 하시더라구요. 작년에 혹시나 해서 앤커 사운드코어 라이프Q35를 구매해서 조공해봤지만 결국은 안쓰시더라구요. 그래서 작년 추운 겨울에 제가 귀마게 용으로 잘 사용해왔는데.. 여름이 되니.. 와.. 이건 너무 덥고 무거워서 못쓰겠더라구요. 아이폰도 사고 애플 워치도 샀으니.. 다음은 에어팟인데.... 노이즈 캔슬링이 된다는 에어팟 프로 2는 ... 네... 너무 비싸더라구요... 이건 내자분께 얘기해봐야 결제가 될리가 없어서... 고민하고 있던차에.. 네.. 저는 봐버리고 말았습니다. 비츠 스튜디오 버즈 플러스의 그 영롱한 투명 버전의 자태를... 급 뽐뿌가 왔지만.. 여전히 20만원의 고가더라구요... 초기 출시 시기에 이벤트로 16만원 정도 했던거 같은데.. 그정도 가격이면 선 결제 후 보고 하면 될거 같은데.. 20만원은 너무 너무 비싸서 침만 삼키던 차에.. 당근에 15만원에 올라온 물건을 덥석 물었습니다. 애플 뮤직 6개월 프로모션 코드도 사용하지 않은 따끈따끈한 제품이라서 그냥 질렀습니다. 이상하게 인터넷이 실제 리뷰 게시물을 찾기 힘들어서.. 고민을 잠깐 했지만.. 그 투명하고 영롱한 자태에 그만... 어쨌든 구매하고 한달 정도 사용해본 후기를 간단하게 남겨봅니다. 1. 노이즈 캔슬링은 기대한 것과는 좀 다르고 앤커 사운드코어 라이프Q35 정도 되는 것 같습니다. 노이즈 캔슬링은 활성화하면 이게 소리를 막아준다기보다는 주변의 작은 소음만 제거해준다고 생각하시면 됩니다. 그러니까 옆에서 소근 거리는 소리나 선풍기 바람 소리 같은 작은 소리들이 사라지고 음악 같은 내가 듣고자 하는 소리가 굉장히 뚜렸해지만 지하철 안내 방송 같은 조금 큰 소리는 그냥 들립니다. 그래서 주변음 허용 모드를 켜보면 너무 시끄러워서 안쓰게 되더라구요. 전 에어팟 프로 2를 사용해 본적이 없어서 비교할 수는 없지만.. 아주 못쓸 정도의 성능은 아니라고 생각됩니다. 2. 저는 귓구멍이 너무 작아서 XS 사이즈의 이어팁

테스트 케이스와 체크리스트의 차이가 뭐여?

테스트 실무에서 가장 혼돈되어 사용되는 용어 중 하나가 테스트 케이스와 체크리스트입니다. 많은 경우 체크리스트를 테스트 케이스로 사용하는 경우가 많습니다. 실제로 인터넷 커뮤니티나 블로그, ISO, IEEE, ISTQB 등등을 검색해보시면 테스트 케이스와 체크리스트에 대한 구분이 다 제각각입니다. 각각에 대한 정의가 다 제각각입니다. 사정이 이러하다보니 많은 사람들이 테스트 케이스와 체크리스트를 잘 구분하지 못하고 혼동해서 사용하는 경우가 많습니다. 물과 기름처럼 테스트 케이스와 체크리스트를 정확하게 구분할 수는 없겠지만.. ISTQB를 기준으로 말씀드리면 설계 기법을 통해 도출된 것은 테스트 케이스 그렇지 않은 것은 체크리스트라고 생각하시면 쉽습니다. 예를 들면 아래는 결정 테이블 테스팅 기법을 통해 도출된 테스트 케이스의 예제입니다. 실제 테스트 케이스는 위보다 복잡하겠지만 어쨌든 얘기하고 싶은 것은 위와 같이 설계 기법을 통해서 도출된 것은 테스트 케이스라고 합니다. 그런데 딱 보시면 아시겠지만 실제 테스트에서는 저 정도로는 테스트 커버리지를 충분히 만족했다고 얘기하기 힘듭니다. 그렇습니다. 어떤 분들은 테스트 케이스가 전가의 보도, 은 총알 쯤으로 생각하시는데.. 테스트 케이스는 일종의 마지노 선이라고 보시면 됩니다. 최소한 제품을 테스트 할때 이정도는 해줘야 한다는 최후의 방어선 정도라고 보시면 됩니다. 전쟁에서 최후의 방어선은 물러설 수 없는 마지막 보루입니다. 하지만 최후의 방어선만 지킨다고 전쟁에서 승리할 수는 없습니다. 프랑스는 마지노 요새만 믿고 있다가 독일에게 깔끔하게 발렸던 과거가 있지요. 전쟁에서 승리하려면 앞으로 나가야하고 치밀한 전략과 전술이 뒷받침 되어야 합니다. 더 높은 커버리지를 도달하고, 충분히 좋은 테스트가 수행되려면 테스트 케이스는 기본이 되어야 하고 거기에 더해서 체크리스트가 따라와 줘야 합니다. 이러한 체크리스트는 팀의 경험과 과거 프로젝트의 데이

웹 애플리케이션의 보안 취약점을 찾기 위한 통합 침투 테스트 도구 - OWASP Zed Attack Proxy

웹 애플리케이션의 보안 취약점을 테스트하기 위해 그동안 Paros 란 프로그램을 사용해 왔었는데, 안타깝게도 이 프로그램이 업데이트가 되지 않은지 너무 오래돼서 최신의 보안 취약점 검사에는 한계가 있어 이번에 다시 한번 열심히 검색해서 제 나름 기준으로 꽤 좋은 도구를 하나 찾아서 소개해볼까 합니다. 분명 국내에는 저보다 더 능력이 되시는 많은 보안 테스터분들께서 더 좋은 도구를 가지고 테스트를 하시리라 믿습니다만.. 구글에서는 어찌 된 것이 아무리 검색해도 한글로 된 자료를 찾기가 참 어렵습니다. 아마 오늘 제가 소개해 드리는 이 프로그램도 제가 최초가 아닐까? 조심스럽게 생각해 봅니다. 그리고 저도 아직까지 이 프로그램의 모든 기능을 전문적으로 사용하고 있지 못하기 때문에 관련된 자료나 방법을 아시는 분은 같이 공유해주시면 고맙겠습니다. 오늘 소개해드리는 프로그램은 제가 OWASP 홈페이지를 검색하면서 찾아낸 도구입니다. 이 프로그램은 Paros에서 갈라져 나온 프로그램으로 기본적인 사용방법은 Paros와 거의 똑같습니다. 다만 Paros에는 없는 여러가지 기능들이 포함된 정말 종합선물세트와 같은 프로그램입니다. 이 프로그램이 무엇이냐? 바로 OWASP Zed Attack Proxy 라는 프로그램입니다. 이 프로그램에 대한 자세한 내용은 https://www.owasp.org/index.php/ZAP 에서 보실 수 있습니다. 프로그램 소개에는 한국어도 지원한다고 하지만 제 경우에는 아무리 해도 한국어로 나오지는 않네요. 프로그램을 다운로드 하셔서 설치하시고 Weekly Release도 같이 설치하시기 바랍니다. Weekly Release는 zip 파일의 압축을 해제하셔서 설치 디렉토리업 덮어쓰기 하시면 됩니다. 설치를 다 하셨으면 이제 이걸 쓰는 법을 알아보겠습니다. 우선은 브라우저에서 프록시 설정을 해주셔야 합니다. 프록시를 설정하시는 방법은 프로그램에서 F1을 누르셔서 도움말을 실행하신 후에 Getti