기본 콘텐츠로 건너뛰기

그 숫자는 결제 금액이 아닌 상품 이름입니다. 고객님..

고객님 의 전화. 자신은 만원어치 물건을 주문했는데, 우리에게 수십만원이 결제되었다고 문자메시지가 왔다는 것이다.
알고 보니 구입한 상품 이름이 숫자로 된것이었다. 예를들어 문자 메시지가 "OOO고객님게서는 567890를 주문하셨습니다"라는 식으로 나간것.
저런 숫자를 보고, 자신의 주문한 상품이름과 같다는 생각을 안하고 결제 액수라고 생각해 화를 내며 전화한 것이었다....
내 설명을 듣고는 고객은 서둘러 인사하고 전화를 끊으심.




댓글

이 블로그의 인기 게시물

'자동화 편향'과 '대중적 불신' 을 고려한 AI 테스팅 시나리오 설계

최근 생성형 AI나 자율주행, 에이전트 기술의 테스팅 시나리오를 작성할 때 우리가 당연하게 전제(Assumption)로 깔고 가는 중요한 인간 행동 방식이 하나 있습니다. 바로 '자동화 편향성(Automation Bias)'입니다. 인간은 시스템이 자동화되고 스마트해질수록 기술을 과도하게 신뢰하고 주의력을 놓아버립니다. 차량을 운전하면서 운전자 보조 시스템을 켜고 전방 주시를 태만히 하고 스마트폰을 보거나 영상을 시청하는 운전자라던지 AI 의료 진단 보조 도구가 내놓은 결과를 의사가 깊은 의심 없이 그대로 승인해 버리는 현상이라던지 AI 챗봇이 추천한 잘못된 정보를 사용자가 사실로 믿고 행동하는 케이스 같은 게 있을 겁니다. 우리는 항상 이러한 "사람들이 AI를 너무 믿어서 발생하는 위험"을 핵심 리스크로 정의하고, 이를 검증하기 위한 안전장치(Safety Guardrail)나 경고 알림, 오용 방지(Misuse) 테스팅 시나리오를 도출해 왔습니다. 그런데 최근 Gizmodo에 보도된 미국 설문조사 결과는 매우 흥미로운 사실을 보여줍니다. (출처: Gizmodo - Survey Finds Americans See AI as Comparable to Humans—It’s Making Them Trust It Less )   기사에서 언급된 설문조사의 결과는 AI가 사람을 닮아갈수록 완벽함에 대한 기대와 실수가 충돌하고 책임이 모호해져 대중의 신뢰는 오히려 떨어진다는 것이었습니다.  자세히 살펴보면 해당 조사는 일반 대중을 대상으로 AI에 대한 인지적 반응을 측정했습니다. AI가 인간과 유사한 대화/추론 능력을 보일 때 유저가 느끼는 '인지적 불쾌한 골짜기(Uncanny Valley)' 현상을 정량 지표로 포착해 냈다는 점에서 의미가 있다고 생각합니다. 단순히 "AI가 좋다/나쁘다"를 넘어, 의인화(Anthropomorphism)의 수준과 신뢰도(Trust) 사이의 음(-)의 상관관계를 입증했기 때문...

확률을 다루는 AI 시대, 시스템의 상호작용 능력과 사용 품질을 어떻게 측정할 것인가?

 20년 넘게 소프트웨어 품질과 테스팅, 그리고 UX를 다루어 오면서 최근처럼 "측정(Measurement)"이 모호해진 시기가 없었던 것 같습니다. 과거의 정적인 시스템은 '클릭 몇 번으로 목표 과업을 완료했는가(성공률)', '화면이 직관적인가'처럼 사용성(Usability)의 측정 공식이 비교적 명확했습니다. 하지만 입력값은 물론 출력값마저 매번 달라지는 생성형 AI 시대에, 도대체 "AI 제품의 UX가 좋다"는 것은 어떻게 정량화하고 평가해야 할까요? UX 리서치 및 측정 분야의 권위자인 Jeff Sauro와 Jim Lewis가 MeasuringU에 올린 "Measuring the UX of AI"는 이 매듭을 풀 수 있는 아주 실질적이고 구조적인 힌트를 제공합니다. (출처: MeasuringU - Measuring the UX of AI / Jeff Sauro, PhD & Jim Lewis, PhD ) 아티클에서는 기존 소프트웨어 사용성 평가의 표준 틀이었던 SUS(System Usability Scale)나 SUPR-Q 같은 지표만으로는 AI 시스템의 UX를 완벽히 담아낼 수 없다고 말합니다. AI 시스템은 단순한 수동적 도구가 아니라 "스스로 판단하고 결과를 생성하는 자율적인 주체(Agent)"에 가깝기 때문입니다. 따라서 AI 제품의 UX를 측정할 때는 일반적인 지표 외에 다음과 같은 AI 특화 요소들이 반드시 함께 측정되어야 합니다. 정확성과 신뢰성 (Accuracy & Trust): AI가 내놓은 답이 얼마나 정확한가? 그리고 사용자가 그 결과물을 믿고 실제 업무에 활용할 수 있는가? (환각 현상 감지) 투명성과 설명 가능성 (Transparency & Explainability): AI가 왜 이런 결론을 내렸는지 사용자가 이해할 수 있도록 과정을 보여주는가? 제어 가능성 (Controllability): AI가 잘못된 방향...

AI의 UX, 단 5개 문항으로 측정하는 방법: SUXAI

테스트 관리에는 아주 유명한 명언이 있습니다. 어쩌면 이 말은 테스트 관리에서만 유용한 얘기는 아닐거고.. 어쩌면 여러분도 다른 곳에서 들었을 수도 있습니다. "측정할 수 없으면 개선할 수 없다" 지난 글(https://murianwind.blogspot.com/2026/07/ai_01010698011.html)에서 생성형 AI 시대에는 기존의 일반적인 사용성 지표(SUS 등)만으로는 부족하며 정확성, 신뢰성, 설명 가능성, 제어 가능성이라는 AI 에 특화된 품질 특성이 필요하다고 정리해 드린 바 있습니다. 하지만 실무자의 입장에서 항상 부딪히는 현실적인 고민이 있습니다. "이론은 좋은데, 당장 매주 업데이트되는 AI 기능의 UX를 바쁜 현장에서 어떻게 빠르고 정량적으로 측정할 것인가?"라는 점이죠. MeasuringU에서 이에 대한 명확하고 실용적인 해답을 제시하는 후속 아티클을 공개했습니다. 바로 "Streamlined Measurement of the UX of AI"입니다. (출처: MeasuringU - Streamlined Measurement of the UX of AI / Jeff Sauro, PhD & Jim Lewis, PhD) https://measuringu.com/streamlined-measurement-of-the-ux-of-ai/ Jeff Sauro와 Jim Lewis 박사는 실무 연구자들과 테스터들이 긴 설문이나 복잡한 프레임워크 없이도 AI 제품의 핵심 품질을 빠르게 측정할 수 있도록 SUXAI(Streamlined UX of AI)라는 간소화된 측정 모델을 구축했습니다. 기존에 수많은 문항으로 분산되어 있던 지표들을 통계적 요인 분석을 통해 쥐어짜고 압축하여, 핵심적인 5가지 5점 척 문항 으로 표준화했습니다. SUXAI를 구성하는 5가지 핵심 평가 문항 정확성 (Accuracy): "이 AI가 생성한 결과물은 정확하다." 신뢰성 (Trust/Re...