기본 콘텐츠로 건너뛰기

사용성과 UX - 오류 부재의 궤변

근래에 가장 우리에게 친숙해진 언어를 꼽자면 UX를 꼽을 수 있습니다.

그리고 그 이전에 사용성이라는 것이 있었습니다.

그런데 많은 분들이 사용성과 UX를 동일시 하시는 경우가 있습니다. 결론부터 말하자면 사용성은 UX가 아닙니다. UX가 조금은 더 큰 개념이죠. 사용성은 UX를 구성하는 중요한 요소들 중 하나입니다.

그러면 사용성 테스팅으로 UX를 개선할 수 있을까요?

UX를 이야기 하는 곳에 여러번 나가보고 얘기를 들어보았지만 막상 사용성 테스팅을 이야기하는 것을 많이 듣지 못했습니다.

모두가 UX 개선을 이야기 하지만 그 개선이 정말 개선이 된 것인지에 대한 테스팅은 이야기하지 않습니다.

그 이면에는 사용성 테스팅으로는 UX를 측정할 수도 개선할 수도 없다는 생각이 깔려 있는 것 같습니다.(물론 저 혼자만의 착각일 수도 있겠죠.)

하지만 최근에는 사용성 테스팅도 UX의 발전만큼 많은 부분에서 괄목한만한 발전을 보여주고 있고 몇몇분들께서는 최근의 트렌드를 이끌어 주시는 분들도 계십니다.

지금부터 제가 하는 이야기는 어디까지나 제 개인적인 경험과 생각을 토대로 한 글이므로 딴지는 환영하지만 비방은 사양하겠습니다.

기존의 사용성 테스팅은 목적 중심이었다고 할 수 있습니다.

무슨 이야기인고 하니 사용성 테스팅이 작업 완료 시간, 작업 성공율 과 같은 시험에 의한 데이터를 수집하고 분석해서 그것을 토대로 개선을 이끌어내는 작업이었다고 할 수 있습니다.

하지만 최근의 사용성 테스트는 이러한 기존의 사용성에 더해서 사용자와의 피드백에 좀 더 적극적으로 개입해서 그들의 이야기를 듣고 그 이야기에서 인사이트를 얻고자 하는 방법을 많이 시도하고 있습니다.

이것을 저는 목표 중심의 사용성 테스트라고 부릅니다.

기존에는 제품이 사용자에게 어떤 것을 얼마나 빠르고 간편하게 제공하는 가를 측정하는 것이 사용성 테스팅이였다면 최근의 사용성 테스트는 이것에 더해서 그러한 것들에 대해 사용자가 어떻게 인식하고 어떤 생각을 가지는 가 역시 측정하려는 노력을 많이 하고 있습니다.

예전이 매트릭과 지표 중심의 사용성 테스팅에서 최근에는 좀 더 심리적인 부분에 대한 접근을 더 많이 시도하고 있습니다.

문제는 이러한 접근법은 정량적인 결과로 도출되지 않고 데이터가 정량화되지 못하다 보니 개선 의견에 대한 설득력이 떨어질 수 있다는 것입니다.

물론 지금도 세계 곳곳에서는 이러한 문제점을 극복하고 좀 더 나은 결과를 도출하기 위해 많은 분들이 애쓰고 계시죠.(가장 많이 사용되는 방법은 통계적인 데이터를 제공하는 방법입니다.)

그런데 이러한 사용성과 UX의 차이 그리고 사용성 테스팅의 변화 자체를 바라보면서 문득 든 생각이 오류 부재의 궤변입니다.

오류 부재의 궤변은 오류가 하나도 없는 제품이라도 그것의 품질이 좋다고는 절대 말할 수 없다는 것입니다.

마찬가지로 사용성이 아무리 좋다고 한들 그것이 고객에게 정말 좋은 경험과 상호작용을 갖는지는 여전히 미지수입니다.

어떻게 하면 좀 더 확실하고 간편하게 이러한 것들을 알 수 있을까요? 우리가 만든 제품이 고객에게 어떤 첫인상을 주고 고객은 우리의 제품을 통해 어떤 경험을 하고 어떻게 우리 제품을 사용하고 있는 것인지 그러한 것들을 사용성 테스팅을 통해 미리 예측하고 개선할 수 있을까요?

그러한 질문에 저를 포함한 많은 분들이 도전하고 있습니다. 여러분은 어떤 방법을 가지고 계시나요?

댓글

이 블로그의 인기 게시물

피드백 루프: AI 시대 테스터가 지켜내야 할 핵심 엔진

소프트웨어 개발과 테스팅 현장에서 가장 자주 언급되지만, 막상 시스템이 복잡해질수록 쉽게 경시되곤 하는 핵심 개념이 바로 '피드백 루프(Feedback Loop)'입니다. 코드를 수정하고, 빌드하고, 테스트 결과를 확인하고, 다시 개선하는 그 순환 과정의 속도와 정확도가 결국 소프트웨어의 품질을 결정짓기 때문입니다. 품질 전문가 매슈 하이저(Matthew Heusser)가 자신의 블로그 Quality Remarks에 기고한 "One Loop After Another" 아티클은 바로 이 피드백 루프의 다층적 구조와, AI 시대에 우리가 놓치지 말아야 할 품질 검증의 본질을 날카롭게 되짚어 줍니다. (출처: Quality Remarks - One Loop After Another / Matthew Heusser) https://qualityremarks.com/one-loop-after-another/ 매슈 하이저는 소프트웨어 개발 생태계가 단순히 하나의 커다란 테스트 루프로 돌아가는 것이 아니라, 시간 축과 관점에 따라 겹겹이 쌓인 '연쇄적인 피드백 루프들(One Loop After Another)'로 이루어져 있다고 설명합니다. 초단기 루프 (Inner Loop): 개발자가 코드를 작성하는 몇 초~몇 분 단위의 루프입니다. 단위 테스트(Unit Test)나 IDE의 Linter, AI 자동 완성이 즉각적인 피드백을 주는 영역입니다. 단기 루프 (Daily / CI Loop): 커밋과 푸시가 이루어지고, CI/CD 파이프라인에서 통합 테스트와 정적 분석이 실행되는 몇 시간 단위의 루프입니다. 중기 루프 (Iteration / Exploration Loop): 스프린트 단위로 탐색적 테스팅(Exploratory Testing)을 수행하고, 실제 사용자 시나리오나 엣지 케이스를 사람이 직접 검증하며 시스템의 유기적 작동을 확인하는 며칠~몇 주 단위의 루프입니다. 장기 루프 (Outer / Market Loop): 실제 ...

에이전틱 AI 프로젝트에서 테스터의 5가지 핵심 원칙

AI 코딩 에이전트와 자율형 에이전트가 빠르게 개발 워크플로우에 통합되면서, 단순히 코드를 잘 짜는 것을 넘어 '에이전트와 어떻게 협업하고 통제할 것인가'가 개발자와 아키텍트들의 가장 큰 화두로 떠올랐습니다. 윤석찬 님의 아티클 "AI 에이전트 시대, 개발자는 어떻게 일해야 하는가? – 프론티어 엔지니어링의 10가지 원칙"은 에이전틱 AI 시대에 엔지니어가 마주하는 패러다임 변화와, 실무 현장에서 일하는 방식을 어떻게 재정의해야 하는지 아주 명확한 가이드라인을 제시해 줍니다. (출처: channy.creation.net - 윤석찬 님의 블로그) https://channy.creation.net/blog/1989 비록 대규모 에이전트 오케스트레이션이나 초거대 인프라 시스템을 개인이 직접 구축하고 운용하는 것은 비용적·기술적으로 현실적인 한계가 있습니다. 하지만 개인 프로젝트에서 AI와 바이브 코딩(Vibe Coding)을 활용하며 겪었던 맥락 손실, 환각, 통제 불능의 경험들을 떠올려보면, 이 아티클이 제시하는 10가지 프론티어 엔지니어링 원칙은 소규모 개인 개발 환경에서도 대단히 깊은 공감을 불러일으킵니다. 이 글은 단순히 "AI 도구를 잘 쓰자"는 수준에 머무르지 않습니다. AI 에이전트가 생성해내는 불확실성 속에서 인간 엔지니어가 시스템의 맥락을 주도하고, 오작동을 제어하며, 품질의 키(Steering Wheel)를 쥐기 위한 구조적 사고법을 다룹니다. 그렇다면 프론티어 엔지니어링의 원칙을 바탕으로, 시스템의 신뢰성과 안전성을 검증해야 하는 테스터는 과연 어떤 실무 원칙을 세워나갈 수 있을까요? 윤석찬 님이 제시한 엔지니어링 원칙을 테스팅 관점으로 재해석해 보면, 다음과 같은 5가지 원칙으로 정리할 수 있을 것 같습니다. 1. 결정론적 검증에서 '경계선 및 허용 오차(Boundary)' 테스팅으로 전환하라 에이전트 기반 시스템은 같은 입력을 주어도 매번 다른 추론 경로를 거치는 확률적(Stoc...

결국 테스팅은 어렵다

 AI 코딩 에이전트와 대형 언어 모델(LLM)이 코드를 순식간에 쏟아내고 테스트 스크립트까지 자동으로 만들어주는 시대가 되면서, 일각에서는 "이제 테스팅도 버튼 하나 누르면 끝나는 쉽고 단순한 일 아닌가?"라는 착각에 빠지곤 합니다. 하지만 품질 전문가 매슈 하이저(Matthew Heusser)가 자신의 블로그 Quality Remarks에 기고한 "Turns Out Testing is Hard" 아티클은, 기술이 아무리 화려하게 발전하더라도 소프트웨어의 '진짜 품질'을 검증하는 일은 여전히 지독하게 어렵고 복잡하다는 현실을 서늘하게 되짚어 줍니다. (출처: Quality Remarks - Turns Out Testing is Hard / Matthew Heusser) https://qualityremarks.com/turns-out-testing-is-hard/ 이 아티클이 말하는 핵심은 간단합니다. 단순한 스크립트 실행이나 표면적인 기능 작동 여부를 확인하는 '체크(Checking)'는 AI나 도구를 통해 얼마든지 자동화하고 속도를 높일 수 있지만, 시스템의 숨겨진 리스크를 탐색하고 비판적으로 질문을 던지는 '진짜 테스팅(Testing)'의 난이도는 오히려 이전보다 더 올라갔다는 점입니다. AI 코딩 에이전트가 단 몇 초 만에 수백 줄의 코드를 생성을 해내면서 당장 눈앞의 기능은 돌아가는 것처럼 보입니다. 하지만 그 이면에서는 오작동이 일어날 수 있는 엣지 케이스, 시스템 간의 미묘한 맥락 단절, 그리고 나중에 거대한 장애로 돌아올 인지부채가 순식간에 쌓여갑니다. 매슈 하이저는 왜 테스팅이 여전히 지독히 어려운 과제로 남아있는지 몇 가지 근본적인 이유를 제시합니다. 첫째, '모호함과의 싸움'입니다. 소프트웨어 요구사항은 언제나 비어있는 행간과 모호함을 품고 있습니다. AI는 주어진 텍스트 그대로 명시적인 조건만 테스트하지만, 실제 인간 테스터는 명시되지 않은 사용...