기본 콘텐츠로 건너뛰기

STAREAST 참관기 - Build the Right Regression Suite with Behavior-Driven Testing

컨퍼런스 2일차 오후 첫번째 세션은 그 유명한 ThoughtWorks 사의 Anand Bagmar 라는 분이 발표한 'Build the Right Regression Suite with Behavior-Driven Testing'라는 세션을 들었습니다.

처음에 들어갈때는 ThoughtWorks 사의 발표인줄 몰랐다가 나중에 보니 ThoughtWorks 사의 발표더군요.. 웬지 모를 급 호감이...

사실 들을만한 세션이 없어서 반은 호기심으로 들어갔던 세션인데 생각보다 세션 내용이 매우 좋았습니다.

발표를 듣는 사람도 엄청 많아서 좌석이 모자라서 서서 드는 사람이 있을 정도였습니다. 웬지 모를 뜨거운 반응이었습니다. 제가 들었던 세션 중 그토록 뜨거웠던 반응을 보인 세션은 이 세션이 유일했습니다.

발표하시는 분이 인도분이라서 발음을 못알아들을까봐 매우 걱정했는데 발음도 좋으시고...

하지만 이 세션을 들어도 사실 전 아직도 BDT를 잘 모르겟습니다. 개념은 대충 알겠는데.. 흠..

세션 발표내용을 요약하면 이렇습니다.

애자일 개발 조직에서는 단위테스트가 아무래도 자동화가 용이하다보니 단위테스트만 비대해지는 경향이 있다. 그래서 대체로 애자일 개발 조직에서는 테스트가 피라미드 모양이 된다. 아래가 길고 위는 얇은..

이렇게 되면 필연적으로 GUI 테스트가 약해질 수밖에 없다. GUI 테스트는 아무래도 자동화 테스트가 어려운 것이 사실이다. GUI 테스트를 모두 자동화할 수는 없다. 자동화와 함께 탐색적 테스팅과 같이 사람이 하는 테스트도 중요하다.

그럼 GUI 테스트를 어떻게 자동화할것인가?

그에 대한 방안이 BDD 또는 BDT이다.

BDT는 기능이 아닌 행동(액션, 목적)에 집중하는 것이다. 큰 그림을 볼 수 있어야 한다.

기능에 집중하면 테스트 케이스를 많이 만들 수는 있지만 중요한 것을 놓칠 수 있다.

BDT를 작성하기 위해서는 퍼소나를 먼저 작성해야하고 그다음 퍼소나의 비즈니스 플로우에 집중해서 테스트 케이스를 도출해야한다.

정황이 최고다(Context is KING!!).

그리고 BDT로 작성한 테스트 케이스는 CI를 통해 지속적으로 통합, 수행되어야 한다.

머 이런 내용이었습니다.

사실 도구에 대한 소개나 시연 같은 것을 기대했었는데, BDD의 기본 개념만 소개되었고 마지막에 이러한 BDD의 구현은 돌아가서 각자 알아서 하라고 하더군요.

도구는 cucumber를 고려하라고 간단하게 말하고 넘어갔습니다.

그리고 여기서도 역시 CI 도구로 Jenkis를 강조하더군요.

정말로 재미있게 들었던 세션이었습니다.

댓글

이 블로그의 인기 게시물

피드백 루프: AI 시대 테스터가 지켜내야 할 핵심 엔진

소프트웨어 개발과 테스팅 현장에서 가장 자주 언급되지만, 막상 시스템이 복잡해질수록 쉽게 경시되곤 하는 핵심 개념이 바로 '피드백 루프(Feedback Loop)'입니다. 코드를 수정하고, 빌드하고, 테스트 결과를 확인하고, 다시 개선하는 그 순환 과정의 속도와 정확도가 결국 소프트웨어의 품질을 결정짓기 때문입니다. 품질 전문가 매슈 하이저(Matthew Heusser)가 자신의 블로그 Quality Remarks에 기고한 "One Loop After Another" 아티클은 바로 이 피드백 루프의 다층적 구조와, AI 시대에 우리가 놓치지 말아야 할 품질 검증의 본질을 날카롭게 되짚어 줍니다. (출처: Quality Remarks - One Loop After Another / Matthew Heusser) https://qualityremarks.com/one-loop-after-another/ 매슈 하이저는 소프트웨어 개발 생태계가 단순히 하나의 커다란 테스트 루프로 돌아가는 것이 아니라, 시간 축과 관점에 따라 겹겹이 쌓인 '연쇄적인 피드백 루프들(One Loop After Another)'로 이루어져 있다고 설명합니다. 초단기 루프 (Inner Loop): 개발자가 코드를 작성하는 몇 초~몇 분 단위의 루프입니다. 단위 테스트(Unit Test)나 IDE의 Linter, AI 자동 완성이 즉각적인 피드백을 주는 영역입니다. 단기 루프 (Daily / CI Loop): 커밋과 푸시가 이루어지고, CI/CD 파이프라인에서 통합 테스트와 정적 분석이 실행되는 몇 시간 단위의 루프입니다. 중기 루프 (Iteration / Exploration Loop): 스프린트 단위로 탐색적 테스팅(Exploratory Testing)을 수행하고, 실제 사용자 시나리오나 엣지 케이스를 사람이 직접 검증하며 시스템의 유기적 작동을 확인하는 며칠~몇 주 단위의 루프입니다. 장기 루프 (Outer / Market Loop): 실제 ...

에이전틱 AI 프로젝트에서 테스터의 5가지 핵심 원칙

AI 코딩 에이전트와 자율형 에이전트가 빠르게 개발 워크플로우에 통합되면서, 단순히 코드를 잘 짜는 것을 넘어 '에이전트와 어떻게 협업하고 통제할 것인가'가 개발자와 아키텍트들의 가장 큰 화두로 떠올랐습니다. 윤석찬 님의 아티클 "AI 에이전트 시대, 개발자는 어떻게 일해야 하는가? – 프론티어 엔지니어링의 10가지 원칙"은 에이전틱 AI 시대에 엔지니어가 마주하는 패러다임 변화와, 실무 현장에서 일하는 방식을 어떻게 재정의해야 하는지 아주 명확한 가이드라인을 제시해 줍니다. (출처: channy.creation.net - 윤석찬 님의 블로그) https://channy.creation.net/blog/1989 비록 대규모 에이전트 오케스트레이션이나 초거대 인프라 시스템을 개인이 직접 구축하고 운용하는 것은 비용적·기술적으로 현실적인 한계가 있습니다. 하지만 개인 프로젝트에서 AI와 바이브 코딩(Vibe Coding)을 활용하며 겪었던 맥락 손실, 환각, 통제 불능의 경험들을 떠올려보면, 이 아티클이 제시하는 10가지 프론티어 엔지니어링 원칙은 소규모 개인 개발 환경에서도 대단히 깊은 공감을 불러일으킵니다. 이 글은 단순히 "AI 도구를 잘 쓰자"는 수준에 머무르지 않습니다. AI 에이전트가 생성해내는 불확실성 속에서 인간 엔지니어가 시스템의 맥락을 주도하고, 오작동을 제어하며, 품질의 키(Steering Wheel)를 쥐기 위한 구조적 사고법을 다룹니다. 그렇다면 프론티어 엔지니어링의 원칙을 바탕으로, 시스템의 신뢰성과 안전성을 검증해야 하는 테스터는 과연 어떤 실무 원칙을 세워나갈 수 있을까요? 윤석찬 님이 제시한 엔지니어링 원칙을 테스팅 관점으로 재해석해 보면, 다음과 같은 5가지 원칙으로 정리할 수 있을 것 같습니다. 1. 결정론적 검증에서 '경계선 및 허용 오차(Boundary)' 테스팅으로 전환하라 에이전트 기반 시스템은 같은 입력을 주어도 매번 다른 추론 경로를 거치는 확률적(Stoc...

결국 테스팅은 어렵다

 AI 코딩 에이전트와 대형 언어 모델(LLM)이 코드를 순식간에 쏟아내고 테스트 스크립트까지 자동으로 만들어주는 시대가 되면서, 일각에서는 "이제 테스팅도 버튼 하나 누르면 끝나는 쉽고 단순한 일 아닌가?"라는 착각에 빠지곤 합니다. 하지만 품질 전문가 매슈 하이저(Matthew Heusser)가 자신의 블로그 Quality Remarks에 기고한 "Turns Out Testing is Hard" 아티클은, 기술이 아무리 화려하게 발전하더라도 소프트웨어의 '진짜 품질'을 검증하는 일은 여전히 지독하게 어렵고 복잡하다는 현실을 서늘하게 되짚어 줍니다. (출처: Quality Remarks - Turns Out Testing is Hard / Matthew Heusser) https://qualityremarks.com/turns-out-testing-is-hard/ 이 아티클이 말하는 핵심은 간단합니다. 단순한 스크립트 실행이나 표면적인 기능 작동 여부를 확인하는 '체크(Checking)'는 AI나 도구를 통해 얼마든지 자동화하고 속도를 높일 수 있지만, 시스템의 숨겨진 리스크를 탐색하고 비판적으로 질문을 던지는 '진짜 테스팅(Testing)'의 난이도는 오히려 이전보다 더 올라갔다는 점입니다. AI 코딩 에이전트가 단 몇 초 만에 수백 줄의 코드를 생성을 해내면서 당장 눈앞의 기능은 돌아가는 것처럼 보입니다. 하지만 그 이면에서는 오작동이 일어날 수 있는 엣지 케이스, 시스템 간의 미묘한 맥락 단절, 그리고 나중에 거대한 장애로 돌아올 인지부채가 순식간에 쌓여갑니다. 매슈 하이저는 왜 테스팅이 여전히 지독히 어려운 과제로 남아있는지 몇 가지 근본적인 이유를 제시합니다. 첫째, '모호함과의 싸움'입니다. 소프트웨어 요구사항은 언제나 비어있는 행간과 모호함을 품고 있습니다. AI는 주어진 텍스트 그대로 명시적인 조건만 테스트하지만, 실제 인간 테스터는 명시되지 않은 사용...