기본 콘텐츠로 건너뛰기

AI의 UX, 단 5개 문항으로 측정하는 방법: SUXAI

테스트 관리에는 아주 유명한 명언이 있습니다. 어쩌면 이 말은 테스트 관리에서만 유용한 얘기는 아닐거고.. 어쩌면 여러분도 다른 곳에서 들었을 수도 있습니다.

"측정할 수 없으면 개선할 수 없다"

지난 글(https://murianwind.blogspot.com/2026/07/ai_01010698011.html)에서 생성형 AI 시대에는 기존의 일반적인 사용성 지표(SUS 등)만으로는 부족하며 정확성, 신뢰성, 설명 가능성, 제어 가능성이라는 AI 에 특화된 품질 특성이 필요하다고 정리해 드린 바 있습니다.

하지만 실무자의 입장에서 항상 부딪히는 현실적인 고민이 있습니다. "이론은 좋은데, 당장 매주 업데이트되는 AI 기능의 UX를 바쁜 현장에서 어떻게 빠르고 정량적으로 측정할 것인가?"라는 점이죠.

MeasuringU에서 이에 대한 명확하고 실용적인 해답을 제시하는 후속 아티클을 공개했습니다. 바로 "Streamlined Measurement of the UX of AI"입니다.

(출처: MeasuringU - Streamlined Measurement of the UX of AI / Jeff Sauro, PhD & Jim Lewis, PhD)

https://measuringu.com/streamlined-measurement-of-the-ux-of-ai/

Jeff Sauro와 Jim Lewis 박사는 실무 연구자들과 테스터들이 긴 설문이나 복잡한 프레임워크 없이도 AI 제품의 핵심 품질을 빠르게 측정할 수 있도록 SUXAI(Streamlined UX of AI)라는 간소화된 측정 모델을 구축했습니다.

기존에 수많은 문항으로 분산되어 있던 지표들을 통계적 요인 분석을 통해 쥐어짜고 압축하여, 핵심적인 5가지 5점 척 문항으로 표준화했습니다.

SUXAI를 구성하는 5가지 핵심 평가 문항

  1. 정확성 (Accuracy): "이 AI가 생성한 결과물은 정확하다."

  2. 신뢰성 (Trust/Reliability): "나는 중요한 과업을 수행할 때 이 AI의 판단과 출력을 믿고 의지할 수 있다."

  3. 설명 가능성 (Explainability): "이 AI가 왜 이런 결과를 냈는지 그 이유나 과정을 이해하기 쉽다."

  4. 제어 가능성 (Controllability): "AI가 잘못된 방향으로 가거나 오답을 냈을 때, 내가 쉽게 개입하여 수정하거나 제어할 수 있다."

  5. 전반적 사용성 (General Usability): "이 AI 시스템을 사용하는 전반적인 경험이 편리하고 유용하다."

이 아티클이 현장 엔지니어와 UX 리서처에게 던지는 메시지는 명확합니다.

  • 효율성과 검증 비용의 트레이드오프 반영:

    전통적인 사용성은 "얼마나 빠르게 버튼을 눌렀는가"에 집중했지만, SUXAI는 '정확성'과 '신뢰성'을 중심에 둡니다. AI가 코드를 1초 만에 짜주더라도, 그 출력을 검증하느라 1시간이 걸리고 신뢰가 떨어진다면 전반적인 사용 경험(SUXAI 점수)은 대폭 깎이게 설계되어 있습니다.

  • ISO/IEC 25010:2023 & 25059 반영:

    2023년 개정된 ISO 25010에서 강조하는 '시스템의 상호작용 능력(Interaction Capability)'과 ISO 25059의 AI 특화 품질(설명 가능성, 제어 가능성)이 이 5문항 안에 정교하게 압축되어 녹아 있습니다.

  • 실무 애자일/DevOps 파이프라인과의 결합:

    100개가 넘는 문항으로 이뤄진 무거운 설문은 빠르게 돌아가는 AI 배포 주기(CI/CD)를 따라가지 못합니다. 단 5개 문항으로 이뤄진 SUXAI는 A/B 테스팅이나 카나리 배포(Canary Deployment) 시 유저 피드백 팝업으로 삽입하여, 모델 업데이트 전후의 UX 변화를 정량적 점수(0~100점 환산)로 즉각 추적할 수 있게 해줍니다.

사용자 설문조사에서 항상 느끼는 점은, "측정 체계가 너무 복잡하면 현장에서 외면받고, 너무 단순하면 본질을 놓친다"는 사실이었습니다.

제 개인적인 경험에 비추어 볼 때, 생성형 AI나 바이브 코딩 도구를 도입한 팀들이 흔히 빠지는 함정이 바로 "속도가 빨라졌으니 UX도 좋아졌겠지"라는 착각입니다. 하지만 현장에서 개발자들이나 사용자들이 느끼는 피로감은 속도가 아니라 "이 결과물이 맞는지 확신할 수 없다(신뢰성 저하)"와 "틀렸을 때 내가 바로잡기 너무 힘들다(제어 가능성 부족)"에서 옵니다.

SUXAI가 제안하는 5가지 문항은 바로 그 현장의 아픈 손가락을 정확히 찌르고 있습니다.

단순히 "이 서비스 만족스러우신가요?"라는 수동적인 질문에서 벗어나, "AI의 오류를 제어할 통제권이 당신에게 있습니까?", "출력의 근거를 이해할 수 있습니까?"를 명확히 물음으로써, 개발팀이 다음 스프린트에서 어떤 AI 인터페이스를 개선해야 할지 명확한 가이드를 제공합니다.

AI 시스템을 테스트하고 아키텍처를 설계하는 사람들에게 SUXAI와 같은 간소화된 측정 지표는 대단히 유용한 무기가 됩니다.

AI 모델을 최적화하고 프롬프트를 고도화할 때, 막연한 감이나 추측이 아니라 "이번 모델 업데이트로 SUXAI 신뢰성 점수가 15점 올랐고, 제어 가능성이 10점 개선되었다"라고 데이터로 말할 수 있게 되니까요.

은하수를 항해하는 우리 히치하이커들에게, 이렇게 정교하게 다듬어진 작고 가벼운 나침반은 복잡한 AI의 안개 속을 헤쳐 나가는 데 가장 든든한 동반자가 되어줄 것입니다.

댓글

이 블로그의 인기 게시물

더 넥스트 스파크 2주 운행 후기

근 한달만에 블로그에 글을 씁니다. 이번 글은 지름 자랑기입니다. 네..딱 2주 전에 더 넥스트 스파크를 구입했습니다.. 옛날 스파크를 딱히 팔 마음은 없었는데... 애가 셋이 되다 보니 뒷좌석에 가운데 좌석이 2점 벨트라서 신경도 쓰이고... 아내가 수동을 운전하기 너무 힘들어하기도하고.. 이런 저런 이유로 과감하게 옛날 스파크를 팔아치우고 전격적으로 또 다시 스파크를.. 애 셋 있는 집이 트랙스나 올란도 같은 차를 사야지.. 왜 또 스파크냐고 물으신다면.. ㅠㅠ 아시면서.. 그런건 물어보시는거 아닙니다. ㅠㅠ 어쨌든 지르는거.. 가장 비싼 Eco LTZ으로 질렀습니다. 옵션 다 밀어 넣으니 1610만냥이더군요.. 쿨럭 쿨럭.. 이 돈이면 액센트도 살 수 있겠지만.. 현대/기아 차는... 목숨 걸어가며 타고 싶은 마음은 전혀 없는지라.. 익히 아시다시피 경차 주제에 웬간한건 다 들어 있습니다. 경사로 밀림 방지장치, 전방 충돌 경고 시스템, 차선 이탈 경고 시스템, 크루즈 컨트롤, 애플 카플레이 시스템, 톨게이트 자동 결제 시스템, 스톱 & 스타트, TPMS, 사각지대 경고 시스템 등등... 뭐.. 대충 비싼 값어치는 합니다만.. 사실 좀 따져보면 법이 바뀌어서 몇몇 기능은 무조건 들어가야하는 건데.. 한 4년만에 차를 사보니 정말 기술의 발전이 느껴질 만큼 경차 치고는 좀 풍성한 옵션을 자랑합니다. 모닝하고는 비교가 되는지는 잘 모르겠지만서도... 그래서 2주동안 탄 소감입니다. 1. 옛날 스파크와 비교했을 떄 내부와 트렁크가 아주 조금 넓습니다. 실제로 이전 스파크의 축거가 2,375이고 더 넥스트 스파크는 2,385 입니다. 숫자로 비교해보면 큰 차이는 없지만 실제 탑승해보고 짐을 넣어보면 아주 미세하게 조금 더 넓습니다. 그런데 막상 앉아보면 좀 갑갑합니다. 이것 저것 넣어보고 앉으면 분명 넓긴하데 심리적으로는 좁습니다. 이유가 전고 즉, 차 높이가 낮습니다. 이전 스파...

쿠첸 스마트터치밥솥TOP(10인용) CJH-PD1000iCM 사용기(체험 후기)

2008년 아내를 만나 결혼을 하고.. 자식 셋이 딸린 애아빠가 되어버린 지난 7년 동안.. 머.. 다들 아시겠지만.. 참 못난 아빠로 살고 있습니다. 어느새 7년이 되었네요.. 첫째가 내년이면 초등학교에 들어가니.. 짧지 않은 세월인것 같습니다. 지난 7년동안 애 키우느라 고생만 아내에게 뭐 하나 잘 해준게 없는데.. 아직 철이 덜 들어서 여전히 잘 못해주네요.. 아내가 결혼하면서 가져온 전자 밥솥은 재작년에 수명을 다했는지.. 밥이 제대로 안되어서 한 2년 정도 압력 밭솥에 밥을 해먹었습니다. 한국인은.. 밥심이죠.. 밥을 하려면 솥이 필요한데.. 머.. 냄비에 해먹는 방법도 있지만.. 그건 음.. 귀찮고 힘들고.. 현실에서 밥솥하면 크게 2가지죠.. 압력 밥솥 아니면.. 전자 밥솥.. 압력 밥솥하면.. 풍년이죠.. 아닌가요? 압력 밥솥은 다른건 다 좋은데.. 닦기가 귀찮고(냄비보다는 뭐.. 쉽습니다만..) 밥을 보온으로 하면 금방 말라비틀어지는.. 물론 누룽지를 만들 수 있다는 장점 아닌 장점이.. 전자 밥솥은 저 어릴때는 너도나도 코끼리 밥통이었는데.. 어느샌가... 쿠쿠라는 브랜드와 쿠첸이라는 브랜드의 2강 체제로 바뀌었더군요.. 쿠쿠와 쿠첸이라면.. 밥통계의 삼성과 LG 정도라고 할까요? 주변에 물어보면 대체로 쿠쿠를 추천하더군요.. 아내가 결혼할 때 가져온 밥통도 쿠쿠였습니다. 대략 이렇게 생긴 녀석이죠. 그러다가 이 녀석이 밥을 제대로 하지를 못하야.. 밥통 하나 새로 사준다면서.. 먼넘의 밥통들이 그렇게 비싼 것인지... 그리고 쿠쿠나 쿠첸이나.. 홈페이지에 들어가보면 정말 수십개의 밥통이 있는데.. 도데체가 각각의 밥통 간의 차이가 무엇이고 무엇이 좋고 무엇이 나쁜건지 비교도 할 수 없고.. 설명도 제대로 안되어 있고 제품 겉이나 안을 제대로 볼 수 있는 사진조차 없는 사용성은 개나 줘버린 그런 구조인지라.. 선택 장애를 일으켜서 결국은 압력 밥솥에 밥을 해먹어가며 밥통 하...

아마도 절대 알아낼 수 없을 것 같은 스파크의 연비

스파크를 구매한지 이제 2개월하구 9일이 되었습니다. 이제 대략 4600km를 주행했습니다. 자동차를 몰고 다니는 분들이라면 가장 궁금해하는 것이 과연 내 차의 연비는 얼마나 될까입니다. 기름 한방울 나오지 않는 땅에서 미칠듯이 오르기만 하는 기름값을 견뎌내려면 적은 기름으로 최대한 먼 거리를 달려야하는 것이 모두의 소망이지요. 그런 의미에서 하이브리드나 디젤 차량의 연비는 가솔린 차량이 범접하기 힘든 측면이 있습니다. 그런데, 경차는 하이브리드나 디젤이 아직은 없죠. 경차의 경우 연비를 생각하시는 분들은 LPG 구매를 많이 하시는 것 같더군요. 경차라고 무조건 연비가 좋은 건 아닙니다. 단순히 연비만을 생각한다면 솔직히 하이브리드나 디젤을 구매하시는게 맞습니다. 경차는 사실 연비보다는 유지비 측면의 절감을 노리는 경우가 많죠. 통행료, 주차료, 보험료, 세금 등등.. 어쨌든.. 이제 달릴만큼 달린듯 하여 슬슬 제 차의 연비가 궁금해졌습니다. 차량 구매 후 aCar 라는 안드로이드 어플로 꼼꼼하게 기록해 두었습니다. 처음에는 aCar 사용법을 몰라서 유료 구매를 하지 않으면 연비 계산이 안되는 줄 알고 5천원이라는 거금을 주고 구매했는데.. 솔직히 조금 후회하고 있습니다. 관련 내용은 다음으로 미루고, 우선 아래는 aCar에서 보여주고 있는 제 연비 기록의 일부분입니다. 처음 차량을 인수받고 주유시 주행거리를 제대로 기록하지 못해서 오차가 있겠지만.. 그래도 대략적인 추세를 알기에는 부족함이 없습니다. 스파크 공인 연비가 어느정도인지는 잘 모르겠지만(검색하면 다 나오겠지만 극도로 귀찮습니다.) 그냥 대충 보면 준수하게 나오는 듯 보입니다. 그런데 인터넷 동호회에 올라오는 연비들을 보면 제 연비와 의외로 차이가 많이 납니다. 심지어 어떤 분들은 스파크로 7km/L 연비가 나온다고 하시는 분들도 계시더군요. 그런 글들을 자주 접하다 보니 드는 생각이 과연 aCar가 계산하는 연비 정보가 정확할건가? 라...