기본 콘텐츠로 건너뛰기

STAREAST 참관기 - Critical Thinking for Software Testers

STAREAST 2일차입니다.

2일차에는 하루종일 진행되는 'Critical Thinking for Software Testers'를 들었습니다.

우리 나라 말로 하면 비판적 사고라고 할 수 있습니다.

하루 종일 참여한 사람들이 질문을 하면 바크가 대답을 하는 식으로 세션이 진행되었습니다.

PT와 함께 바크가 이야기하는 경우는 PT의 내용을 참조해서 바크의 이야기를 알아듣기가 용이한데 참여한 사람들과의 토론(?)이 주가 되다 보니 참여자의 얘기는 정말 듣기 힘들더군요.

바크도 점점 말이 빨라지면서 세션을 진행하는 공간의 분위기는 후끈한데.. 저는 점점 사색으로 변해가며 식은땀이.. ㅠㅠ

오전은 어떻게 어떻게 들었는데..

오후에는 점점 머리가 멍~~ 해지더군요..

그런 의미로 이번 후기는 그다지 쓸 얘기가 많지 않습니다.

다만 이 세션의 핵심은 이것이었습니다.

바크가 참여한 사람들에게 던지는 질문과 참여한 사람들이 던지는 질문에 대한 대답도 이것이었습니다.

그것은...

다른 관점에서 생각하는 것이었습니다.

이와 관련해서 질문을 하는 기법에 대해 꽤 많은 시간이 할애되었습니다.

대표적인 질문이..

왜 그런가요?
이렇게 생각할 수 있지 않나요?
정말 그렇게 확신합니까?
그것을 어떻게 증명할 수 있습니까?

머 이런 질문들이었습니다.

결론은 테스터는 테스트를 수행하면서 끊임없이 비판적으로 생각하고 질문을 만들어내야한다는 것이었습니다.

제품에 대한 이해와 테스트의 완성도를 높이기 위해서 끊임없이 생각하고 질문하는 활동을 반복해야한다는 것이었습니다.

보이는 것이 전부가 아니기 때문에 그 이면에 대한 끊임없는 탐구를 멈추지 말라는 것이었습니다.

테스팅은 곧 비판적 사고이다.

제품이 정상동작하는지 단순히 명세를 확인하는 것 이상의 문제를 찾는 탐색의 과정이 테스팅이라는 것입니다.

단순히 명세를 확인하는 것은 테스팅이 아니라 체킹이라고 하더군요.

그리고 이러한 문제를 예측하고 탐색하고 검증하는 과정에서 필요한 것이 비판적 사고입니다.

비판적 사고는 확신에 대한 의심 그리고 검증이라는 것입니다.

따라서 좋은 테스터는 다양한 가능성에 대해 의문을 가지고 질문을 하는 테스터라고 했습니다.

이와 관련해서 제시한 예제가 리그레션 테스팅에 관한 것이었습니다.

우리가 A라는 테스트 슈트를 작성해서 테스트를 수행하고 수정되어서 온 제품을 다시 A라는 테스트 슈트로 테스트를 수행해서 결함이 없다면 테스트를 끝내도 좋은 것인가? 제품에 결함이 모두 수정되어서 안정화되었다고 확신할 수 있는가? 라는 질문이었습니다.

바크는 리그레션 테스팅은 환상이라고 말하더군요.

꽤 도발적이지만 한번쯤 다른 관점에서 바라볼 수 있는 좋은 시간이었습니다.

댓글

이 블로그의 인기 게시물

피드백 루프: AI 시대 테스터가 지켜내야 할 핵심 엔진

소프트웨어 개발과 테스팅 현장에서 가장 자주 언급되지만, 막상 시스템이 복잡해질수록 쉽게 경시되곤 하는 핵심 개념이 바로 '피드백 루프(Feedback Loop)'입니다. 코드를 수정하고, 빌드하고, 테스트 결과를 확인하고, 다시 개선하는 그 순환 과정의 속도와 정확도가 결국 소프트웨어의 품질을 결정짓기 때문입니다. 품질 전문가 매슈 하이저(Matthew Heusser)가 자신의 블로그 Quality Remarks에 기고한 "One Loop After Another" 아티클은 바로 이 피드백 루프의 다층적 구조와, AI 시대에 우리가 놓치지 말아야 할 품질 검증의 본질을 날카롭게 되짚어 줍니다. (출처: Quality Remarks - One Loop After Another / Matthew Heusser) https://qualityremarks.com/one-loop-after-another/ 매슈 하이저는 소프트웨어 개발 생태계가 단순히 하나의 커다란 테스트 루프로 돌아가는 것이 아니라, 시간 축과 관점에 따라 겹겹이 쌓인 '연쇄적인 피드백 루프들(One Loop After Another)'로 이루어져 있다고 설명합니다. 초단기 루프 (Inner Loop): 개발자가 코드를 작성하는 몇 초~몇 분 단위의 루프입니다. 단위 테스트(Unit Test)나 IDE의 Linter, AI 자동 완성이 즉각적인 피드백을 주는 영역입니다. 단기 루프 (Daily / CI Loop): 커밋과 푸시가 이루어지고, CI/CD 파이프라인에서 통합 테스트와 정적 분석이 실행되는 몇 시간 단위의 루프입니다. 중기 루프 (Iteration / Exploration Loop): 스프린트 단위로 탐색적 테스팅(Exploratory Testing)을 수행하고, 실제 사용자 시나리오나 엣지 케이스를 사람이 직접 검증하며 시스템의 유기적 작동을 확인하는 며칠~몇 주 단위의 루프입니다. 장기 루프 (Outer / Market Loop): 실제 ...

에이전틱 AI 프로젝트에서 테스터의 5가지 핵심 원칙

AI 코딩 에이전트와 자율형 에이전트가 빠르게 개발 워크플로우에 통합되면서, 단순히 코드를 잘 짜는 것을 넘어 '에이전트와 어떻게 협업하고 통제할 것인가'가 개발자와 아키텍트들의 가장 큰 화두로 떠올랐습니다. 윤석찬 님의 아티클 "AI 에이전트 시대, 개발자는 어떻게 일해야 하는가? – 프론티어 엔지니어링의 10가지 원칙"은 에이전틱 AI 시대에 엔지니어가 마주하는 패러다임 변화와, 실무 현장에서 일하는 방식을 어떻게 재정의해야 하는지 아주 명확한 가이드라인을 제시해 줍니다. (출처: channy.creation.net - 윤석찬 님의 블로그) https://channy.creation.net/blog/1989 비록 대규모 에이전트 오케스트레이션이나 초거대 인프라 시스템을 개인이 직접 구축하고 운용하는 것은 비용적·기술적으로 현실적인 한계가 있습니다. 하지만 개인 프로젝트에서 AI와 바이브 코딩(Vibe Coding)을 활용하며 겪었던 맥락 손실, 환각, 통제 불능의 경험들을 떠올려보면, 이 아티클이 제시하는 10가지 프론티어 엔지니어링 원칙은 소규모 개인 개발 환경에서도 대단히 깊은 공감을 불러일으킵니다. 이 글은 단순히 "AI 도구를 잘 쓰자"는 수준에 머무르지 않습니다. AI 에이전트가 생성해내는 불확실성 속에서 인간 엔지니어가 시스템의 맥락을 주도하고, 오작동을 제어하며, 품질의 키(Steering Wheel)를 쥐기 위한 구조적 사고법을 다룹니다. 그렇다면 프론티어 엔지니어링의 원칙을 바탕으로, 시스템의 신뢰성과 안전성을 검증해야 하는 테스터는 과연 어떤 실무 원칙을 세워나갈 수 있을까요? 윤석찬 님이 제시한 엔지니어링 원칙을 테스팅 관점으로 재해석해 보면, 다음과 같은 5가지 원칙으로 정리할 수 있을 것 같습니다. 1. 결정론적 검증에서 '경계선 및 허용 오차(Boundary)' 테스팅으로 전환하라 에이전트 기반 시스템은 같은 입력을 주어도 매번 다른 추론 경로를 거치는 확률적(Stoc...

에이전틱 AI 시대에 테스팅은?

 "소프트웨어 엔지니어링은 과연 끝난 것일까?" 최근 AI 코딩 에이전트와 바이브 코딩(Vibe Coding)의 급부상 속에서, 엔지니어들과 아키텍트들이 스스로에게 던지는 가장 뼈아픈 질문입니다. 이 질문에 대해 기술 현장의 날카로운 시선을 담은 이원국 님의 아티클 "소프트웨어 엔지니어링의 종말"과 arXiv 논문 "Agentic Software: How AI Agents Are Restructuring the Software Paradigm"은 아주 근본적인 패러다임의 변화를 짚어내고 있습니다. (출처: blog.wonkooklee.com - 소프트웨어 엔지니어링의 종말) https://blog.wonkooklee.com/blog/20260913_02/ (출처: arXiv - Agentic Software: How AI Agents Are Restructuring the Software Paradigm) https://arxiv.org/html/2606.05608v2 이원국님의 아티클과 논문에서 공통적으로 말하는 핵심은, 우리가 알고 있던 '인간이 직접 코드를 다듬고 작성하던 전통적 소프트웨어 엔지니어링'의 정체성은 종말을 고하고 있으며, 그 자리를 '에이전트 패러다임(Agentic Paradigm)'이 빠르게 대체하고 있다는 사실입니다. arXiv 논문 "Agentic Software"에서는 소프트웨어 구축의 단위가 단순히 결정론적(Deterministic) 알고리즘이나 코드에서, 목표를 스스로 자율 추론하고 도구를 호출하며 과업을 완수하는 'AI 에이전트 오케스트레이션'으로 이동하고 있음을 말하고 있습니다. 이제 개발자는 시스템의 메서드나 API 하나하나를 직접 타이핑하는 존재가 아닙니다. AI 에이전트가 코드를 생성하고, 실행하고, 테스트를 돌리고, 스스로 디버깅하는 일련의 자율 루프(Autonomous Loop)를 설계하는 '시스템...