기본 콘텐츠로 건너뛰기

새로운 자동화 도구는 쉽게 버림 받는다. - Shelfware

난 나름 얼리어답터라고 자부를 한다. 물론 경제적인 이유로 돈이 들어가는 하드웨어나 일부 상용소프트웨어나 게임 같은 것은 건들지는 않는다.

하지만 뉴스그룹이나 블로그 등을 매일 매일 보면서 새로이 소개되는 각종 오픈소스 프로그램이나 프리웨어는 내 컴퓨가 걸레가 되어도 꼭 사용해본다.

하지만 그 수많은 프로그램 중에서 내가 지속적으로 쭈욱 사용하는 프로그램은 많지 않다.

실제로 아이폰과 같은 스마트폰에 수만개의 어플리케이션이 있고 새로 구매한 사람들은 그중에서 많은 수의 어플리케이션을 시도해 보지만 실제적으로 꾸준하게 사용되는 어플리케이션은 몇개 되지 않는다는 것은 이미 잘 알려진 사실이다.

일전에 어떤 한 업체를 방문했을 때 선반 가득 진열되어 있던 생전에 한번 구경해볼까 생각했던 비싼 도구들이 가득 진열되어 있는 것을 본적이 있다.

너무 비싼 가격에 한번도 써보지 못했지만 주변에서 그 도구들의 엄청난 유요성과 효과에 들었던터라 그 도구를 실제로 업무에 적용하느냐고 물어보았을 때 대답은 '아니오' 였다. 너무나 의외의 대답에 참 놀랬던 기억이 있다.

그때는 왜 그러한 도구들을 제대로 사용하지 못하고 그렇게 전시품으로 쓰는 것인지 잘 알지 못했다.

이렇게 구매만 하고 잘 사용되지 않는 버려진 도구들을 가리켜 '쉘프웨어(shelfware)' 라고도 한다.

테스팅은 주로 사람이 하는 작업이 많지만 테스팅에도 분명 자동화 도구들이 있고 그러한 도구 중에는 테스팅의 생산성을 높일 수 있는 도구들이 있다. 품질을 높이는데 도움을 줄 수 있는 도구들도 있다.

하지만 많은 경우 그러한 도구들이 있다는 사실조차 모르는 경우도 있고 사용이 되지 않고 선반에서 먼지만 쌓이는 경우도 있다.(물론, 제대로 잘 사용하고 있는 업체들도 많다.)

왜 그런것일까?

역시나 문제는 학습곡선이다. 도구를 사용해야하는 사람이 문제다. 그리고 그러한 사람을 통제하는 성과지표와 정책 그리고 전략의 문제이다.

새로운 도구나 기술을 도입하는 경우 즉각적인 생산성 향상의 효과는 당연히 없다. 오히려 퇴행한다.

새로운 도구나 기술에 대한 열정과 광분이 식고 나면 특히 일정의 압박으로 인해 더 빨리 그러한 열정이 사그러들고 나면 그 도구를 배우는데 필요한 노력은 더 이상 의미가 없게 된다.

일정의 압박속에서는 기존에 하던 방법 즉, 우리가 이미 익숙한 방법이 가장 좋은 방법이 된다.

결함 보고를 위해서 지라나 맨티스 같은 도구를 도입한다고 해도 일정의 압박속에서는 기존에 하던 구두로 전달하거나 엑셀등의 문서로 작성하여 메일로 보내는 작업이 더 빠르게 느껴지고 그렇게 수행하게 된다.

커버리지 분석기가 아무리 좋다 한들 특정 커버리지에 도달하기 위한 작업 시간이 너무 오래 걸려 일정을 맞출 수 없다면 아무런 의미가 없다.

새로운 도구는 배울 때는 재미있지만 일을 할때는 또 다른 문제가 된다.

많은 경우 새로운 도구는 방해가 될 뿐이다. 아니 그렇게 느껴지게 되어 있다.

어떤 경우는 새로운 도구를 배우는 것이 재미가 없는 경우도 있다.

즉, 문제는 언제나 불가능할 일정을 추정하고 그것을 강제하는 우리의 문화가 자동화의 발목을 잡고 있다.

난 이것을 D.D.D 라고 부른다. Deadline Decision Development. 즉, 마감 기한을 정하고 하는 개발을 말하고 싶다.

이 썩어빠진 병폐가 사라지지 않는 한 우리 IT 업계에서 소프트웨어의 품질과 생산성의 향상은 없을것이라고 난 단언하고 싶다.

댓글

이 블로그의 인기 게시물

피드백 루프: AI 시대 테스터가 지켜내야 할 핵심 엔진

소프트웨어 개발과 테스팅 현장에서 가장 자주 언급되지만, 막상 시스템이 복잡해질수록 쉽게 경시되곤 하는 핵심 개념이 바로 '피드백 루프(Feedback Loop)'입니다. 코드를 수정하고, 빌드하고, 테스트 결과를 확인하고, 다시 개선하는 그 순환 과정의 속도와 정확도가 결국 소프트웨어의 품질을 결정짓기 때문입니다. 품질 전문가 매슈 하이저(Matthew Heusser)가 자신의 블로그 Quality Remarks에 기고한 "One Loop After Another" 아티클은 바로 이 피드백 루프의 다층적 구조와, AI 시대에 우리가 놓치지 말아야 할 품질 검증의 본질을 날카롭게 되짚어 줍니다. (출처: Quality Remarks - One Loop After Another / Matthew Heusser) https://qualityremarks.com/one-loop-after-another/ 매슈 하이저는 소프트웨어 개발 생태계가 단순히 하나의 커다란 테스트 루프로 돌아가는 것이 아니라, 시간 축과 관점에 따라 겹겹이 쌓인 '연쇄적인 피드백 루프들(One Loop After Another)'로 이루어져 있다고 설명합니다. 초단기 루프 (Inner Loop): 개발자가 코드를 작성하는 몇 초~몇 분 단위의 루프입니다. 단위 테스트(Unit Test)나 IDE의 Linter, AI 자동 완성이 즉각적인 피드백을 주는 영역입니다. 단기 루프 (Daily / CI Loop): 커밋과 푸시가 이루어지고, CI/CD 파이프라인에서 통합 테스트와 정적 분석이 실행되는 몇 시간 단위의 루프입니다. 중기 루프 (Iteration / Exploration Loop): 스프린트 단위로 탐색적 테스팅(Exploratory Testing)을 수행하고, 실제 사용자 시나리오나 엣지 케이스를 사람이 직접 검증하며 시스템의 유기적 작동을 확인하는 며칠~몇 주 단위의 루프입니다. 장기 루프 (Outer / Market Loop): 실제 ...

에이전틱 AI 프로젝트에서 테스터의 5가지 핵심 원칙

AI 코딩 에이전트와 자율형 에이전트가 빠르게 개발 워크플로우에 통합되면서, 단순히 코드를 잘 짜는 것을 넘어 '에이전트와 어떻게 협업하고 통제할 것인가'가 개발자와 아키텍트들의 가장 큰 화두로 떠올랐습니다. 윤석찬 님의 아티클 "AI 에이전트 시대, 개발자는 어떻게 일해야 하는가? – 프론티어 엔지니어링의 10가지 원칙"은 에이전틱 AI 시대에 엔지니어가 마주하는 패러다임 변화와, 실무 현장에서 일하는 방식을 어떻게 재정의해야 하는지 아주 명확한 가이드라인을 제시해 줍니다. (출처: channy.creation.net - 윤석찬 님의 블로그) https://channy.creation.net/blog/1989 비록 대규모 에이전트 오케스트레이션이나 초거대 인프라 시스템을 개인이 직접 구축하고 운용하는 것은 비용적·기술적으로 현실적인 한계가 있습니다. 하지만 개인 프로젝트에서 AI와 바이브 코딩(Vibe Coding)을 활용하며 겪었던 맥락 손실, 환각, 통제 불능의 경험들을 떠올려보면, 이 아티클이 제시하는 10가지 프론티어 엔지니어링 원칙은 소규모 개인 개발 환경에서도 대단히 깊은 공감을 불러일으킵니다. 이 글은 단순히 "AI 도구를 잘 쓰자"는 수준에 머무르지 않습니다. AI 에이전트가 생성해내는 불확실성 속에서 인간 엔지니어가 시스템의 맥락을 주도하고, 오작동을 제어하며, 품질의 키(Steering Wheel)를 쥐기 위한 구조적 사고법을 다룹니다. 그렇다면 프론티어 엔지니어링의 원칙을 바탕으로, 시스템의 신뢰성과 안전성을 검증해야 하는 테스터는 과연 어떤 실무 원칙을 세워나갈 수 있을까요? 윤석찬 님이 제시한 엔지니어링 원칙을 테스팅 관점으로 재해석해 보면, 다음과 같은 5가지 원칙으로 정리할 수 있을 것 같습니다. 1. 결정론적 검증에서 '경계선 및 허용 오차(Boundary)' 테스팅으로 전환하라 에이전트 기반 시스템은 같은 입력을 주어도 매번 다른 추론 경로를 거치는 확률적(Stoc...

결국 테스팅은 어렵다

 AI 코딩 에이전트와 대형 언어 모델(LLM)이 코드를 순식간에 쏟아내고 테스트 스크립트까지 자동으로 만들어주는 시대가 되면서, 일각에서는 "이제 테스팅도 버튼 하나 누르면 끝나는 쉽고 단순한 일 아닌가?"라는 착각에 빠지곤 합니다. 하지만 품질 전문가 매슈 하이저(Matthew Heusser)가 자신의 블로그 Quality Remarks에 기고한 "Turns Out Testing is Hard" 아티클은, 기술이 아무리 화려하게 발전하더라도 소프트웨어의 '진짜 품질'을 검증하는 일은 여전히 지독하게 어렵고 복잡하다는 현실을 서늘하게 되짚어 줍니다. (출처: Quality Remarks - Turns Out Testing is Hard / Matthew Heusser) https://qualityremarks.com/turns-out-testing-is-hard/ 이 아티클이 말하는 핵심은 간단합니다. 단순한 스크립트 실행이나 표면적인 기능 작동 여부를 확인하는 '체크(Checking)'는 AI나 도구를 통해 얼마든지 자동화하고 속도를 높일 수 있지만, 시스템의 숨겨진 리스크를 탐색하고 비판적으로 질문을 던지는 '진짜 테스팅(Testing)'의 난이도는 오히려 이전보다 더 올라갔다는 점입니다. AI 코딩 에이전트가 단 몇 초 만에 수백 줄의 코드를 생성을 해내면서 당장 눈앞의 기능은 돌아가는 것처럼 보입니다. 하지만 그 이면에서는 오작동이 일어날 수 있는 엣지 케이스, 시스템 간의 미묘한 맥락 단절, 그리고 나중에 거대한 장애로 돌아올 인지부채가 순식간에 쌓여갑니다. 매슈 하이저는 왜 테스팅이 여전히 지독히 어려운 과제로 남아있는지 몇 가지 근본적인 이유를 제시합니다. 첫째, '모호함과의 싸움'입니다. 소프트웨어 요구사항은 언제나 비어있는 행간과 모호함을 품고 있습니다. AI는 주어진 텍스트 그대로 명시적인 조건만 테스트하지만, 실제 인간 테스터는 명시되지 않은 사용...