기본 콘텐츠로 건너뛰기

시장조사는 믿을 수 있는 것일까?

UI 디자인이나 사용성 테스트를 할 때 또는 마케팅을 위한 전략을 수립하는 과정에서 가장 많이 사용되는 데이터 중 하나가 시장조사이다.

시장 조사를 통해 고객의 요구를 파악하고 잠재적인 고객층을 판단하여 그것을 제품의 개발과 판매를 위한 전략을 수립하는 데 사용하는 것은 그다지 큰 문제가 없는 적절한 방법으로 많은 회사에서 유용하게 사용하는 방법이다.

그런데 이 시장조사를 과연 전적으로 100% 신뢰할 수 있는 것일까?

결론부터 말한다면 시장조사는 충분히 조작될 수 있고 사전 조건이 잘못되어 있다면 절대로 신뢰할 수 없는 데이터가 된다. 그래서 혹자는 시장조사가 필요없다고 말하기도 한다.

여기서 아주 유명한 코카콜라와 펩시콜라의 이야기를 살펴보도록 하자.

코카콜라는 콜라 업계의 절대적 강자이다. 지금은 물론 옛날과 같은 아우라는 없지만 코카콜라가 콜라 업계에서 독보적인 지위를 차지하고 있다는 것은 변함없는 사실이다.

이 코카콜라에 도전하여 그 아성을 위협하는 회사가 바로 펩시콜라이다.

80년대 초 코카콜라는 펩시콜라에 의해 위기에 봉착했다. 코카콜라의 지지층이 12%나 떨어진 반면, 펩시는 11%나 급상승한 것이다. 이 정도면 코카콜라의 지지층이 고스란히 펩시로 넘어간 것으로 봐도 무방할 것이다.

이러한 변화에 일격을 날린 것이 이른바 ‘펩시 챌린지’라는 광고였다.

팹시 챌린지는 코카콜라 애호가들에게 Q와 M 마크가 붙은 두잔의 콜라를 한모금씩 맛보게 한 후 하나를 고르게 하는 블라인드 테스트였다.

결과는 대부분의 사람들이 M 마크가 붙은 잔은 선택하였고, M 마크가 붙은 잔에는 펩시콜라가 들어있었다.

즉, 일련의 블라인드 테스트를 통해서 코카콜라보다 펩시콜라의 맛이 더 좋다는 메시지를 전달하는 것이었다.

이러한 테스트를 통한 광고는 이제는 우리 주변에서 아주 일상적으로 볼 수 있게 되었다.

이 광고에 자극을 받은 코카콜라는 내부 테스트를 진행했고 그 결과 똑같은 결과에 도달했고 결론적으로 소비자들의 취향이 변했다는 결론을 내렸다. 이 결정은 ‘뉴 코크’라고 불리는 새로운 코카콜라의 개발로 이어졌다.

‘뉴 코크’는 블라인드 테스트에서 펩시콜라와 거의 대등한 결과를 나타내었고 그 결과에 흡족했던 코카콜라의 경영진은 ‘뉴 코크’를 시장에 내놓았다.

하지만 결론은 코카콜라에 재앙으로 다가왔다.

기존의 코카콜라 애호가들의 거대한 반발에 직면하였고 몇 달만에 기존의 코카콜라가 ‘클래식 코크’라는 이름으로 시장에 복귀했다.

그리고 어느 시점에 이르러 ‘뉴 코크’는 시장에서 아예 자취를 감춰버렸다.

왜 이런 일이 발생한 것일까?

펩시 첼린지의 결과에 따라 수립되었던 코카콜라의 정책이 실패했던 이유는 펩시 첼리지의 결과가 중심가 테스트(CLT, Central Location Test)였기 때문이다.

중심가 테스트는 한모금 테스트라고도 하는데, 펩시 첼린지에서 시험자들은 콜라를 딱 한모금만 맛보았을 뿐이다.

하지만 실제로 우리가 실생활에서 콜라를 마실 때 딱 한모금만 마시는 경우는 거의 없다.

여러분이 콜라를 마시는 그 순간을 생각해 보자. 집안의 소파에 편하게 앉아서 영화를 보면서 벌컥 벌컥 한 캔을 모두 마시는 청량감이 떠오르지 않는가?

즉, 코카콜라와 펩시를 한모금이 아니라 캔 전체를 마시게 한다면 그 결과는 전혀 다르게 나오게 된다는 것이다.

한모금 테스트에서는 시험자는 음료수의 단맛에 반응하게 되지만 실제로 단맛이 나는 청량 음료를 한캔 모두 마신다고 상상해 보자. 그 맛이 과연 어떨것인가?

펩시는 코카콜라에 비해서 분명 달다. 때문에 펩시는 자신들의 약점이 강점이 될 수 있도록 테스트를 조작한 것으로 볼 수 있다.

어떤 사람들은 사기라고도 생각할 수 있겠지만, 이러한 테스트를 사기라고 하기는 조금 어렵다.

왜냐하면 우리가 콜라를 통해 느끼는 맛은 분명 2가지이기 때문이다. 처음 입에 닿을 때의 단맛 그리고 끝까지 마셨을 때 느끼는 청량감..

펩시는 그 중 첫번째 맛을 강조했을 뿐인 것이다.

잘못은 코카콜라에 있다. 이 세상 누구도 코카코라를 눈을 가리고 한모금씩 홀짝 홀짝 마시지는 않는다. 때문에 블라인드 테스트의 결과가 현실로 전이될 일은 발생하지 않는다.

광고를 보고 특정 기간동안 펩시의 점유율이 오를 수는 있다. 하지만 사람들은 곧 자신들이 현실에서 마시는 방식으로 맛보던 맛을 펩시가 줄 수 없다는 것을 깨닫게 되었을 것이다.

하지만 코카콜라는 그 잠깐의 기간을 참지 못하고 제품을 바꾸어 버렸다. 그리고 제품을 바꿈으로써 그동안 구축했던 브랜드의 이미지를 모두 날려버린 것이다.

코카콜라와 펩시의 블라인드 테스트 결과는 20여년이 지난 지금도 같은 결론을 보여준다.

그리고 코카콜라가 지금도 콜라업계의 절대 강자인 것도 사실이다.

결론은 사람들이 진정으로 무엇을 원하는지 알아내는 것은 매우 어렵다는 것이다. 일부에서는 고객은 제품을 실제로 사용해보기 전까지는 자신이 진정 무엇을 원하는지 알지 못한다고도 말한다.

사람들은 나쁜 것과 다른 것의 차이를 짚어내는 것에 무디다. 우리의 결정과 선택은 환경에 영향을 받기 때문이다. 이것이 시장조사의 문제점이다.

코카콜라와 펩시의 이야기에서 우리는 2가지를 생각해 볼 수 있다.

하나는 브랜드라는 이미지이다. 많은 후발 주자들은 선발 주자들이 구축해 놓은 브랜드의 이미지를 차용하는 경우가 많다.

루이스 체스킨이 주장한 감각 전이(sensation transference)라는 개념이 있다. 우리는 제품의 품질보다는 제품 전체에서 받은 느낌이나 인상을 제품 자체로 전이시킨다는 것이다.

후발주자들은 이 감각 전이를 이용해서 이득을 얻고자 하는 것이다. 문제는 선발 주자들이 이러한 추격을 뿌리치기 위해서 자신들의 포장이나 UI 등을 변경할 경우 그나마 유지하던 모든 것을 잃어버릴 수 있다는 것이다.

후발주자들이 브랜드의 이미지를 차용해서 유지할 수 있는 기간은 길지 않다. 사용자는 분명 초기에는 그런 이미지에 속을 수 있지만 결국에는 자신에게 익숙한 것을 선택하기 때문이다.

우리가 새로운 소프트웨어를 만들면서 기존에 구축했던 많은 것을 포기하는 경우가 많다. 새로운 기능, 새로우 유저 인터페이스 등이 있으면 더 많은 고객이 선택할 것이라고 생각하는 경우가 많다. 하지만 그것은 사실일 수도 있고 악몽이 될 수도 있다.

이 선택은 매우 신중해야만 한다.

두번째는 테스트의 사전 조건이다.

우리가 테스트 유형을 선택하거나 테스트 케이스를 설계할 때 또는 시장조사나 사용성 테스트를 수행할 때 등 많은 경우에 사전 조건은 매우 신중하게 설정해야만 한다.

만약 우리가 하드웨어와 환경적으로 구축한 보안이 철저하다고 믿는다면 보안 테스트는 수행하지 않아도 될 것이다.

사전 조건에 따라 테스트 결과가 달라지는 것은 누구나 다 아는 사실이다. 사용성 테스트에서 사전 조건은 테스트 결과의 분석에 아주 큰 영향을 미친다.

하지만 우리가 테스트를 수행할 때 사전 조건을 설정하는 과정을 심각하게 고민하는 경우는 많지 않다.

사전 조건이 테스트 결과의 신뢰성에 미칠 수 있는 영향에 좀 더 주의를 기울이도록 하자.

이외에도 펩시와 코카콜라의 얘기가 주는 교훈은 더 많을 수 있다. 여러분은 어떤 것을 얻을 수 있었나요?

댓글

  1. 시장조사는 거짓말의 종류 중에 하나라는 말도 있더군요. ^^

    답글삭제
  2. 시장조사 자체가 무의미한 것은 아닙니다.

    많은 기업들이 왜 무의미한 일에 매년 많은 자원을 투입하면서 시장조사를 하겠습니까?

    하지만, 무의미한 시장조사가 되지 않기 위해서는 자료 수집 방법이 엄격하고 정교해야 할 것입니다.

    시장조사 결과나 방법도 무조건 믿을 것이 아니라 이런 시각에서 잘 살펴보고 해석해야 한다고 봅니다.

    답글삭제
  3. steve yoon12/4/10 23:04

    "코카 콜라와 펩시 콜라"의 예는 부적절 한 것 같습니다. 시장 조사는 시장의 경향을 판단하기 위한 조사이고, 위의 예는 광고를 위한 펩시 콜라의 테스트를 코카 콜라가 (별도의 시장 조사를 하지 않은 채로) 반복 하여 나온 결과(펩시 콜라의 광고 의도대로 나온 결과)로 시장의 경향이 바뀌었다고 잘못된 판단을 하게된 것 뿐이라고 생각합니다. 따라서 불합리한 전제를 근거로 한 결론인 "시장 조사 불신"은 옳지 않다고 생각됩니다.

    그리고 시장 조사는 "자사의 가치 창출을 위한 조사"이므로 시장 조사를 수행 할 때 최대한 신뢰성을 확보 할 수 있도록 하는게 낭비가 아닐 것이니 시장 조사는 언제나 신뢰할 수 있어야 할 것 입니다.

    저는 낭비를 원하는 회사는 본 적이 없습니다.

    답글삭제
  4. @steve yoon - 2010/04/12 23:04
    좋은 의견 고맙습니다.

    제가 말하고 싶은 것은 시장 조사를 무조건 믿지 말아야 한다기 보다는 시장 조사는 올바르게 해야한다는 의도였습니다.

    신뢰할 수 있는 시장조사라는 것은 어떤것일까요?

    시장 조사는 항상 신뢰할 수 있는 것일까요?

    저는 이 물음을 항상 고민해 봐야한다고 생각합니다.

    코카콜라는 실제적인 시장을 조사하고 검증하는 작업을 하지 않은 우를 범한 케이스이죠..

    우리는 그렇지 않을 것 같지만 실제로 그런 우를 많이 범하는 경우가 많습니다. 시장을 포괄적으로 들여다보기보다는 우리가 가지고 있는 시각에 의해서만 바라보는 경우도 많죠..

    위기가 실제 위기가 아닐 수도 있는 것처럼요..

    답글삭제

댓글 쓰기

이 블로그의 인기 게시물

AI 에이전트의 환각과 프롬프트 폭증을 막는 '컨텍스트 엔지니어링(Context Engineering)'과 아키텍처의 미래

AI 코딩 에이전트나 생성형 LLM을 소프트웨어 개발에 접목하는 시도가 늘어나면서, 엔지니어들이 마주하는 가장 큰 기술적 병목 중 하나는 바로 '컨텍스트(Context)'의 관리입니다. 저 역시 최근 AI와 바이브 코딩(Vibe Coding)을 활용해 여러 프로젝트를 진행하고 있는데, 하나의 대화창(세션)을 오래 켜둔 채 작업을 계속 이어가다 보면 AI가 초기 맥락을 잊어버리거나 이전에 지켜달라고 했던 제약조건을 놓치며 실수를 저지르는 경우를 자주 겪곤 합니다. 그래서 저는 목적별로 대화창을 명확하게 분리해서 작업하거나, 어느 정도 작업 단계가 진행되면 지금까지의 구현 내용과 의사결정을 요약 정리한 뒤 새 대화창에서 AI에게 이를 다시 학습시키는 방식으로 맥락을 관리하고 있습니다. 그렇다면 엔지니어링 아키텍처 차원에서는 이 문제를 어떻게 접근하고 있을까요? InfoQ의 발표 아티클 "Architecture / Context Engineering"에서는 바로 이 지점, 즉 단순한 프롬프트 엔지니어링을 넘어 시스템 아키텍처 수준에서 컨텍스트를 제어하는 '컨텍스트 엔지니어링(Context Engineering)'의 필요성과 구체적인 프레임워크를 다루고 있습니다. (출처: InfoQ - Architecture / Context Engineering) https://www.infoq.com/presentations/architecture-context-engineering/ 발표자들은 코딩 에이전트나 자율형 에이전트가 현장에서 실패하는 가장 큰 이유로 '비대해진 컨텍스트 윈도우(Bloated Context Windows)'와 무분별하게 채워진 프롬프트(Stuffed Prompts)를 꼽습니다. AI에게 너무 많은 정보를 한 번에 주면, 모델의 주의력(Attention)이 분산되거나 논리적 우선순위를 놓치는 현상이 발생합니다. 마치 인간 엔지니어에게 백과사전 수십 권을 던져주고 "이거 다 읽고 10초 ...

AI의 UX, 단 5개 문항으로 측정하는 방법: SUXAI

테스트 관리에는 아주 유명한 명언이 있습니다. 어쩌면 이 말은 테스트 관리에서만 유용한 얘기는 아닐거고.. 어쩌면 여러분도 다른 곳에서 들었을 수도 있습니다. "측정할 수 없으면 개선할 수 없다" 지난 글(https://murianwind.blogspot.com/2026/07/ai_01010698011.html)에서 생성형 AI 시대에는 기존의 일반적인 사용성 지표(SUS 등)만으로는 부족하며 정확성, 신뢰성, 설명 가능성, 제어 가능성이라는 AI 에 특화된 품질 특성이 필요하다고 정리해 드린 바 있습니다. 하지만 실무자의 입장에서 항상 부딪히는 현실적인 고민이 있습니다. "이론은 좋은데, 당장 매주 업데이트되는 AI 기능의 UX를 바쁜 현장에서 어떻게 빠르고 정량적으로 측정할 것인가?"라는 점이죠. MeasuringU에서 이에 대한 명확하고 실용적인 해답을 제시하는 후속 아티클을 공개했습니다. 바로 "Streamlined Measurement of the UX of AI"입니다. (출처: MeasuringU - Streamlined Measurement of the UX of AI / Jeff Sauro, PhD & Jim Lewis, PhD) https://measuringu.com/streamlined-measurement-of-the-ux-of-ai/ Jeff Sauro와 Jim Lewis 박사는 실무 연구자들과 테스터들이 긴 설문이나 복잡한 프레임워크 없이도 AI 제품의 핵심 품질을 빠르게 측정할 수 있도록 SUXAI(Streamlined UX of AI)라는 간소화된 측정 모델을 구축했습니다. 기존에 수많은 문항으로 분산되어 있던 지표들을 통계적 요인 분석을 통해 쥐어짜고 압축하여, 핵심적인 5가지 5점 척 문항 으로 표준화했습니다. SUXAI를 구성하는 5가지 핵심 평가 문항 정확성 (Accuracy): "이 AI가 생성한 결과물은 정확하다." 신뢰성 (Trust/Re...

'자동화 편향'과 '대중적 불신' 을 고려한 AI 테스팅 시나리오 설계

최근 생성형 AI나 자율주행, 에이전트 기술의 테스팅 시나리오를 작성할 때 우리가 당연하게 전제(Assumption)로 깔고 가는 중요한 인간 행동 방식이 하나 있습니다. 바로 '자동화 편향성(Automation Bias)'입니다. 인간은 시스템이 자동화되고 스마트해질수록 기술을 과도하게 신뢰하고 주의력을 놓아버립니다. 차량을 운전하면서 운전자 보조 시스템을 켜고 전방 주시를 태만히 하고 스마트폰을 보거나 영상을 시청하는 운전자라던지 AI 의료 진단 보조 도구가 내놓은 결과를 의사가 깊은 의심 없이 그대로 승인해 버리는 현상이라던지 AI 챗봇이 추천한 잘못된 정보를 사용자가 사실로 믿고 행동하는 케이스 같은 게 있을 겁니다. 우리는 항상 이러한 "사람들이 AI를 너무 믿어서 발생하는 위험"을 핵심 리스크로 정의하고, 이를 검증하기 위한 안전장치(Safety Guardrail)나 경고 알림, 오용 방지(Misuse) 테스팅 시나리오를 도출해 왔습니다. 그런데 최근 Gizmodo에 보도된 미국 설문조사 결과는 매우 흥미로운 사실을 보여줍니다. (출처: Gizmodo - Survey Finds Americans See AI as Comparable to Humans—It’s Making Them Trust It Less )   기사에서 언급된 설문조사의 결과는 AI가 사람을 닮아갈수록 완벽함에 대한 기대와 실수가 충돌하고 책임이 모호해져 대중의 신뢰는 오히려 떨어진다는 것이었습니다.  자세히 살펴보면 해당 조사는 일반 대중을 대상으로 AI에 대한 인지적 반응을 측정했습니다. AI가 인간과 유사한 대화/추론 능력을 보일 때 유저가 느끼는 '인지적 불쾌한 골짜기(Uncanny Valley)' 현상을 정량 지표로 포착해 냈다는 점에서 의미가 있다고 생각합니다. 단순히 "AI가 좋다/나쁘다"를 넘어, 의인화(Anthropomorphism)의 수준과 신뢰도(Trust) 사이의 음(-)의 상관관계를 입증했기 때문...