'자동화 편향'과 '대중적 불신' 을 고려한 AI 테스팅 시나리오 설계

최근 생성형 AI나 자율주행, 에이전트 기술의 테스팅 시나리오를 작성할 때 우리가 당연하게 전제(Assumption)로 깔고 가는 중요한 인간 행동 방식이 하나 있습니다.

바로 '자동화 편향성(Automation Bias)'입니다.

인간은 시스템이 자동화되고 스마트해질수록 기술을 과도하게 신뢰하고 주의력을 놓아버립니다.

차량을 운전하면서 운전자 보조 시스템을 켜고 전방 주시를 태만히 하고 스마트폰을 보거나 영상을 시청하는 운전자라던지 AI 의료 진단 보조 도구가 내놓은 결과를 의사가 깊은 의심 없이 그대로 승인해 버리는 현상이라던지 AI 챗봇이 추천한 잘못된 정보를 사용자가 사실로 믿고 행동하는 케이스 같은 게 있을 겁니다.

우리는 항상 이러한 "사람들이 AI를 너무 믿어서 발생하는 위험"을 핵심 리스크로 정의하고, 이를 검증하기 위한 안전장치(Safety Guardrail)나 경고 알림, 오용 방지(Misuse) 테스팅 시나리오를 도출해 왔습니다.

그런데 최근 Gizmodo에 보도된 미국 설문조사 결과는 매우 흥미로운 사실을 보여줍니다.

(출처: Gizmodo - Survey Finds Americans See AI as Comparable to Humans—It’s Making Them Trust It Less)  

기사에서 언급된 설문조사의 결과는 AI가 사람을 닮아갈수록 완벽함에 대한 기대와 실수가 충돌하고 책임이 모호해져 대중의 신뢰는 오히려 떨어진다는 것이었습니다. 

자세히 살펴보면 해당 조사는 일반 대중을 대상으로 AI에 대한 인지적 반응을 측정했습니다. AI가 인간과 유사한 대화/추론 능력을 보일 때 유저가 느끼는 '인지적 불쾌한 골짜기(Uncanny Valley)' 현상을 정량 지표로 포착해 냈다는 점에서 의미가 있다고 생각합니다. 단순히 "AI가 좋다/나쁘다"를 넘어, 의인화(Anthropomorphism)의 수준과 신뢰도(Trust) 사이의 음(-)의 상관관계를 입증했기 때문입니다. 

다만, 이 조사는 '실제 AI 서비스 이용 행동'을 관찰한 데이터가 아니라 '응답자의 주관적 태도'를 물은 설문 데이터라는 한계가 있습니다. 사람은 설문지에서는 "AI가 사람 같아서 못 믿겠다"고 응답하면서도, 정작 실제 일상에서는 편의성 때문에 AI의 답변을 깊은 검증 없이 수용(Automation Bias)하는 '말(Attitude)과 행동(Behavior)의 불일치'를 보이기 때문입니다.

미국의 이 설문 결과를 보면서, "과연 제 경험상 접해온 한국의 IT 환경과 사용자들에게도 동일하게 대입할 수 있을까?" 하는 의문이 들었습니다. 명확한 통계 지표가 있는 것은 아니지만, 제가 현장에서 느끼고 관찰해 온 범위 내에서는 몇 가지 시각의 차이가 존재합니다.

제 개인적인 경험으로 볼 때 국내 사용자들은 상대적으로 강한 실용주의(Pragmatism) 성향을 보이는 것 같습니다. "사람 같아서 불쾌하다"는 정서적 거부감보다는 "당장 내 업무와 일상을 얼마나 효율적으로 만들어 주는가"라는 생산성과 편의성에 훨씬 빠르게 반응한다고 생각합니다.  

그리고 한국 시장이 캐릭터 기반 인터페이스나 친근한 말투의 AI 챗봇/에이전트에 대해 비교적 거부감이 적고 친숙하게 받아들이는 편인 것 같습니다. 미국 조사처럼 AI의 의인화가 '경계심'을 부르기보다는, 국내에서는 초반 진입 장벽을 낮추는 요소로 작용하는 경우를 더 자주 목격했습니다.  

그러나 역설적으로, 초반에 친근하게 다가왔던 AI가 금융, 의료, 공공 등 정밀성이 생명인 국내 IT 환경에서 치명적인 오류를 낼 경우, 사용자가 느끼는 배신감과 서비스 이탈 속도는 미국보다 오히려 더 가파르고 치명적인것 같습니다.

그렇다면 테스터가 가정하는 '자동화 편향(너무 믿어서 탈)'과 설문조사가 말하는 '대중적 불신(못 믿어서 탈)' 중 무엇이 진짜일까요?  

제가 생각하기에 둘 다 맞으며, 이는 제품 수명 주기(Lifecycle)의 서로 다른 단계를 반영한 결과라고 생각합니다.

• '불신' (초기/관망 단계): 서비스에 익숙해지기 전, AI의 환각(Hallucination)이나 미흡함을 매체나 간접 경험으로 접하며 느끼는 대중의 정서적 경계심입니다.  
• '자동화 편향' (숙련/체화 단계): 일단 유저가 제품을 일상적으로 쓰기 시작하면, 100번 중 99번 정답을 내놓는 편리함에 뇌가 적응하면서 인지적 노력을 줄이기 위해 무비판적으로 AI를 신뢰하는 모드로 전환됩니다.

따라서 테스터는 "사용자는 AI를 너무 믿을 것이다"라는 '자동화 편향'에만 치우친 기존 시나리오에서 벗어나, '불신과 거부(Disuse)'까지 포함하는 양극단(Two-Track)의 테스트 설계를 해야 합니다

Track A: '자동화 편향'을 전제한 오용(Misuse) 방지 시나리오

사람이 AI를 너무 믿어서 일어나는 안전사고를 막기 위한 테스팅입니다.

• 자율주행 예시: 운전자가 핸들을 놓고 스마트폰을 보거나 영상 시청을 할 때, 운전자 상태 감지 시스템(DMS)이 위험을 정확히 인지하고 단계별 알림 및 강제 제어권 전환을 정상 수행하는가?
• 생성형 AI 예시: AI가 100% 확신하는 어조로 틀린 답(Hallucination)을 내놓을 때, 시스템 차원에서 경고 라벨이나 확신도 점수(Confidence Score)를 사용자에게 전달하는가?  

Track B: [신규] '사람 같아서 못 믿는' 불신을 극복하기 위한 시스템 상호작용 시나리오

AI를 못 믿어 시스템을 아예 이탈하거나 불필요하게 방해하는 행동을 검증하는 테스팅입니다.

• 설명 가능성(Explainability) 검증: AI가 결과를 냈을 때, 왜 이런 판단을 했는지 근거(Data Source, 추론 과정)를 명확히 제시하여 사용자의 불신을 해소하는 인터페이스가 제대로 작동하는가?  
• 사용자 제어 가능성(User Controllability) & 개입성(Intervenability) 검증: AI가 판단을 내리는 중이라도 사용자가 불안함을 느껴 개입(Override)하고자 할 때, 지연(Latency) 없이 즉시 통제권을 인간에게 넘겨주는가? (ISO/IEC 25010:2023 상호작용 능력 검증)  
• 불신으로 인한 시스템 거부(Disuse) 시나리오: AI의 소소한 실수 하나 때문에 사용자가 시스템 전체를 불신하여 수동 모드로 전환할 때, 시스템이 안전하게 기존 전통적인 알고리즘이나 수동 프로세스로 롤백(Rollback)되는가?  

미국의 설문조사는 대중의 정서 속에 흐르는 '기술에 대한 경계심'을 확인시켜 준 유용한 자료입니다. 비록 제 개인적인 경험에 비추어 볼 때 국내 시장의 특수성에 맞게 결을 조금 달리 해석해야 할 부분도 있고 실제 행동 데이터와는 차이가 있지만, 테스터에게 매우 중요한 시사점을 던집니다.  

사용자는 자율주행 차 안에서 휴대폰을 보며 AI를 너무 믿는 '자동화 편향'을 보이다가도, AI가 작은 말실수나 이상 행동을 하나만 하면 순식간에 '사람 같아서 못 믿겠다'며 극도의 불신으로 돌아서 버립니다.  

결국 AI 시대의 실무 테스팅은 이 두 가지 양극단의 사용자 심리를 모두 시나리오에 담아내고, 그 사이에서 시스템이 설명 가능성, 신뢰성, 그리고 명확한 인간 통제권(Human Controllability)을 유지하도록 설계하는 것이 핵심입니다.  

은하수를 항해하는 우리 히치하이커들이 끝내 놓치지 말아야 할 가치도 바로 그 '비판적 사고'와 '품질에 대한 엄정함'일 것입니다.