최근 AI 에이전트와 바이브 코딩의 바람을 타고 가장 뜨거운 화두로 떠오른 분야 중 하나가 바로 'AI를 활용한 자동화 테스팅'입니다. 특히 사용성 평가(Usability Testing) 영역에서 "사람 평가자 대신 AI가 사용성 문제를 자동으로 찾아낼 수 있는가?"에 대한 논쟁은 현장의 리더들과 테스터들에게 대단히 흥미로운 관심사입니다.
최근 UX 및 사용성 측정 분야의 권위 있는 기관인 MeasuringU에서 이 질문에 대해 매우 현실적이고 명확한 답을 내려주는 실험 결과를 공개했습니다. 바로 "Does AI Find Real Usability Problems? A Replication"이라는 아티클입니다.
(출처: MeasuringU - Does AI Find Real Usability Problems? A Replication / Jeff Sauro, PhD & Jim Lewis, PhD)
https://measuringu.com/does-ai-find-real-usability-problems-a-replication/
이 글은 AI가 실제 사용성 문제를 발견할 수 있는지에 대한 이전 연구를 다시 엄격하게 재현(Replication)하고 검증한 결과를 다룹니다. 기존의 일부 낙관적인 연구나 마케팅적 주장에서는 AI가 사용자의 사용성 문제를 사람만큼, 혹은 사람보다 잘 찾아낸다고 말하곤 했습니다. 하지만 MeasuringU의 연구진이 동일한 조건에서 통제된 실험을 수행해 보니 매우 흥미롭고 냉정한 결론에 도달했습니다.
실험의 핵심 결론은 AI가 사용성 문제를 '전혀 못 찾는 것'은 아니지만, 사람이 직접 관찰하고 발견해 내는 '진짜 사용성 문제(Real Usability Problems)'와는 질적으로 큰 차이가 있다는 점입니다.
AI가 도출해 내는 사용성 문제들을 면밀히 분석해 보면, 실제 사용자가 화면에서 겪는 치명적인 마찰이나 혼란보다는 가이드라인에 기반한 정적 체크리스트 수준의 지적에 머무르는 경우가 많았습니다. 특히 사용자가 과업을 수행하는 과정에서 느끼는 정서적 답답함, 맥락상의 오해, 그리고 의도와 행동 간의 미묘한 불일치에서 발생하는 진짜 사용성 결함들을 AI는 제대로 포착해 내지 못했습니다.
더 나아가 AI는 사용자가 실제로 아무런 불편 없이 잘 지나간 부분에서도 그럴듯한 논리를 대며 '거짓 양성(False Positive)'을 대량으로 보고하는 경향을 보였습니다. 이는 실무 현장에서 테스터나 UX 리서처가 AI가 뽑아낸 리포트를 일일이 검증하고 가려내는 데 더 많은 시간을 쓰게 만드는, 일종의 '검증 비용의 폭증'을 야기합니다.
이 아티클을 읽으며 제 개인적인 경험과 생각을 돌이켜보게 됩니다. AI 자동화 도구들을 접할 때마다 느끼는 점이지만, AI는 과거 소프트웨어의 정적 분석 도구(Static Analysis Tool)와 유사한 역할을 해줄 뿐입니다. 코딩 컨벤션이나 명확한 규칙 위반을 잡는 데는 유용할지 몰라도, 시스템의 맥락과 인간의 복잡한 심리를 이해하는 테스팅을 대체할 수는 없습니다.
결국 사용성 평가 영역에서 AI는 아직까지는 테스터의 '대체재'가 아니라 단순한 '지원 도구'로 생각해야 한다고 봅니다. 물론 시간이 더 흐른다면 기술이 더 발전한다면 얘기가 달라질 수 있을 수도 있습니다.
하지만 아직은 AI가 뽑아준 평가 결과에 안주하여 "AI가 괜찮다고 했으니 사용성 검증이 끝났다"고 믿어버리는 순간, 우리는 전형적인 '자동화 편향(Automation Bias)'에 빠지게 되며, 그 결과 실제 사용자가 서비스에서 겪게 될 치명적인 장애물들을 놓치게 됩니다.
소프트웨어 품질과 사용성이라는 우주를 항해하는 우리 히치하이커들에게 필요한 것은, AI라는 유능하지만 가끔 허풍을 떠는 조수를 적절히 활용하되, 사람의 실제 행동과 맥락을 읽어내는 테스터 본연의 '비판적 사고'를 끝까지 유지하는 일일 것입니다. 결국 진짜 문제를 알아채고 서비스의 품질을 완성하는 것은 언제나 사람의 날카로운 시선이니까요.
댓글
댓글 쓰기