테스팅 히치하이커를 위한 안내서

테스트 계획을 수립하고 전략을 수립하는 방법론은 정말 수많은 방법론이 있습니다. 아마 이 시간에도 이 세상 어디선가 어떤 연구소에서 또는 어떤 기업에서는 또다른 방법론을 만들고 있을 것입니다. 그 수많은 방법론 중 리스크 기반 테스트 전략이 있습니다. 이 방법론은 ISTQB나 ISO/IEC 29119 국제 표준에서도 전폭적인 지지를 받는 가장 성공적인 사례가 많은 것으로 꼽히는 방법론이자 이론적인 기반도 충실한 방법론 중 하나입니다. 그런데, 막상 주변을 보면 이러한 리스크 기반 테스트 전략을 적용하는 곳도 드물고 적용하여 효과를 톡톡히 보는 곳도 은근 드뭅니다. 왜 그런것일까요? 리스크 기반 테스트 전략은 사실 여러가지 버전이 있습니다. 솔직히 어떤 버전이 정답이다라고 말할 수 없을 정도로 수많은 버전들이 있습니다. 그 중에 국내에 가장 많이 소개된 방법은 ISTQB에서 소개하는 리스크 아이템을 선정하고 리스크 펙터를 선정하여 점수를 기입하고 리스크 매트릭스에 따라 리스크 아이템을 구분하여 전략을 수립하는 방법입니다. 그런데 이 방법이 가지는 약간의 문제가 있습니다. 무엇인고 하니 이 방법이 은근 무겁다는 것입니다. 절차나 협의 과정 자체가 실무에서는 쉽게 복잡해지는 경우가 많습니다. 개인적으로는 이래서는 리스크에 따라 테스트 전략을 수립하고 계획을 수립하는게 큰 의미가 없다고 봅니다. 내용을 바꾸어서 리스크 기반 테스트 전략을 수행하고 계시거나 도입을 고려중이시라면 왜? 리스크 기반 테스트 전략을 선택했고 왜? 도입을 원하는 것인지 묻고 싶습니다. 좀 더 원론적인 얘기를 한다면 리스크란 무엇이라고 생각하시나요? 이 2가지 질문에 선뜻 답을 하지 못하신다면 리스크 기반 테스트 전략을 도입하시기를 잠시 미루시기를 권해드립니다. 그렇지 않다면 여러분은 리스크를 관리하는 것이 아니라 리스크를 측정하기 위한 방법에 파 묻혀 자멸하실지도 모릅니다. 많은 조직에서 어떤 방법론을 도입할 때 그 방법론을 통해서 얻어야 할 것들을 고민하기 보다는 방법론 자체의 도입에 더 큰...

테스트 프로젝트의 경우 수많은 형태의 프로젝트가 존재하고 수많은 형태의 방법론이 적용되고 있는 것이 현실이다. 그 많은 프로젝트들을 일일이 나열하기는 힘들지만 대다수의 프로젝트들이 수행되는 형태를 본다면 크게 2가지를 생각해 볼 수 있다. 하나는 효과적 테스트이고 다른 하나는 효율적 테스트이다. 효과적 테스트는 말 그대로 테스트의 효과를 극대화 하는 것을 목적으로 하는 테스트이다. 즉, 결함을 많이 발견하거나 품질을 극대화 하는 방향으로 모든 테스트의 방향이 결정되는 테스트를 말한다. 이러한 유형은 공식적인 테스트 설계기법을 적용하고 커버리지 등의 매트릭으로 품질을 측정하며 여러 특정 분야의 전문가들이 테스트 프로젝트에 투입되게 된다. 결론적으로는 결함이 적은 제품이 출시되게 되겠지만 문제가 된다면 개발기간과 예산이 한없이 들어갈 수 있다는 것이다. 대표적인 예로는 의료, 항공, 우주 산업과 같은 경우를 들 수 있다. 반면 효율적 테스트는 시간과 예산을 절감하는 방향을 목적으로 하는 테스트 이다. 주변의 많은 프로젝트들이 겉으로는 효과적 테스트를 말하지만 실상은 효율적 테스트를 수행하는 곳들이 많은 것이 사실이다. 왜냐하면 테스트 프로젝트를 수행함에 있어서 예산과 시간은 항상 정해져 있는 경우가 많기 때문이다. 이렇게 정해진 예산과 시간마저도 다른 개발 일정과 예산에 따라 우선순위에서 뒤로 밀리는 경우도 다반사이다. 효율적 테스트의 가장 대표적인 방법은 테스트 자동화이다. 테스트 자동화는 시간을 넘어서 테스트 업계에서 가장 큰 이슈로 누구나 꿈꾸는 이상향이다. 하지만 테스트 자동화의 치명적인 약점이라면 살충제 페러독스이다. 테스트 자동화가 분명 효율적 테스트에 일부 기여하는 바는 있지만 그 유지보수에 있어서 오히려 효율이 떨어질 수도 있으며, 유지보수가 지속되지 않는다면 제품의 품질 또한 떨어질 수도 있다. 효율적 테스트의 또다른 부작용이라 한다면 일정과 예산에 따라 반드시 수행되어야 할 테스트가 생략되거나 계약직과 같은 비전문가들에 대한 테스트 수행 등으로 ...

효과적인 테스팅과 효율적인 테스팅의 트레이드 오프의 결과로 최근에 가장 추천되는 테스팅 수행 전략과 접근법은 리스크 기반 테스팅이다. 리스크 기반 테스팅은 간단히 말한다면 리스크가 높은 영역은 동원할 수 있는 모든 리소스를 투입하여 완성도 높게 테스트 하고 리스크가 낮은 영역은 그에 맞는 리소스를 투입하자는 것이다. 이 리스크 기반 테스팅을 소개할 때 가장 많이 드는 예제 중 하나가 원자력 발전, 우주항공산업, 의료산업 등에 사용되는 소프트웨어들이다. 이러한 산업들에 사용되는 소프트웨어들의 공통점은 결함에 의한 장애가 발생할 경우 인간의 생명과 직결되는 경우가 많고 비용적인 손해가 막대하다는 점이다. 즉, 리스크가 매우 높다는 것이다. 이러한 소프트웨어에 요구되는 여러 특성 중 하나가 바로 결함발생율이다. 위의 산업 분야에서 사용되는 소프트웨어들은 실제 운용되는 환경에서 결함이 발생할 확률은 말 그대로 0에 가까워야만 한다. 지금까지 이야기는 그 자체로 그다지 문제가 없어 보이는 아주 당연한 이야기이다. 하지만 위의 예제에서 우리가 한가지 잊고 있는 가정이 하나 있다. 그것이 과연 무엇일까? 아마 많은 분들이 쉽게 알아낼 수 있을 것이라고 생각되지만, 혹시 확~~ 생각나지 않으신다면 잠시 곰곰히 생각해 보시기 바란다. 펼쳐두기.. 위의 예제에서 우리가 잊고 있는 가정은 바로 변동성, 그 변동성의 근본이 되는 사용자이다. 잘 생각해 보자. 원자력 발전, 우주항공산업, 의료 산업등에 사용되는 소프트웨어는 그 사용자가 매우 제한되어 있다. 이 사용자들의 행동 패턴은 충분히 통제 가능한 수준이다. 필요한 경우에는 정해진 행동만을 할 수 있도록 사용자를 교육하기도 한다. 위의 소프트웨어들은 개발 초기부터 발생할 수 있는 모든 상황과 사용 가능한 모든 경우를 한정하고 통제 가능한 상황아래 가정을 세우고 개발을 한다. 때문에 위의 소프트웨어들을 개발할 때는 폭포수 개발 모델이 유용할 수도 있다. 그리고 위와 같이 변동성을 통제할 수 있다면 결함의 발생...