테스팅 히치하이커를 위한 안내서

테스트 프로젝트의 경우 수많은 형태의 프로젝트가 존재하고 수많은 형태의 방법론이 적용되고 있는 것이 현실이다. 그 많은 프로젝트들을 일일이 나열하기는 힘들지만 대다수의 프로젝트들이 수행되는 형태를 본다면 크게 2가지를 생각해 볼 수 있다. 하나는 효과적 테스트이고 다른 하나는 효율적 테스트이다. 효과적 테스트는 말 그대로 테스트의 효과를 극대화 하는 것을 목적으로 하는 테스트이다. 즉, 결함을 많이 발견하거나 품질을 극대화 하는 방향으로 모든 테스트의 방향이 결정되는 테스트를 말한다. 이러한 유형은 공식적인 테스트 설계기법을 적용하고 커버리지 등의 매트릭으로 품질을 측정하며 여러 특정 분야의 전문가들이 테스트 프로젝트에 투입되게 된다. 결론적으로는 결함이 적은 제품이 출시되게 되겠지만 문제가 된다면 개발기간과 예산이 한없이 들어갈 수 있다는 것이다. 대표적인 예로는 의료, 항공, 우주 산업과 같은 경우를 들 수 있다. 반면 효율적 테스트는 시간과 예산을 절감하는 방향을 목적으로 하는 테스트 이다. 주변의 많은 프로젝트들이 겉으로는 효과적 테스트를 말하지만 실상은 효율적 테스트를 수행하는 곳들이 많은 것이 사실이다. 왜냐하면 테스트 프로젝트를 수행함에 있어서 예산과 시간은 항상 정해져 있는 경우가 많기 때문이다. 이렇게 정해진 예산과 시간마저도 다른 개발 일정과 예산에 따라 우선순위에서 뒤로 밀리는 경우도 다반사이다. 효율적 테스트의 가장 대표적인 방법은 테스트 자동화이다. 테스트 자동화는 시간을 넘어서 테스트 업계에서 가장 큰 이슈로 누구나 꿈꾸는 이상향이다. 하지만 테스트 자동화의 치명적인 약점이라면 살충제 페러독스이다. 테스트 자동화가 분명 효율적 테스트에 일부 기여하는 바는 있지만 그 유지보수에 있어서 오히려 효율이 떨어질 수도 있으며, 유지보수가 지속되지 않는다면 제품의 품질 또한 떨어질 수도 있다. 효율적 테스트의 또다른 부작용이라 한다면 일정과 예산에 따라 반드시 수행되어야 할 테스트가 생략되거나 계약직과 같은 비전문가들에 대한 테스트 수행 등으로 ...

효과적인 테스팅과 효율적인 테스팅의 트레이드 오프의 결과로 최근에 가장 추천되는 테스팅 수행 전략과 접근법은 리스크 기반 테스팅이다. 리스크 기반 테스팅은 간단히 말한다면 리스크가 높은 영역은 동원할 수 있는 모든 리소스를 투입하여 완성도 높게 테스트 하고 리스크가 낮은 영역은 그에 맞는 리소스를 투입하자는 것이다. 이 리스크 기반 테스팅을 소개할 때 가장 많이 드는 예제 중 하나가 원자력 발전, 우주항공산업, 의료산업 등에 사용되는 소프트웨어들이다. 이러한 산업들에 사용되는 소프트웨어들의 공통점은 결함에 의한 장애가 발생할 경우 인간의 생명과 직결되는 경우가 많고 비용적인 손해가 막대하다는 점이다. 즉, 리스크가 매우 높다는 것이다. 이러한 소프트웨어에 요구되는 여러 특성 중 하나가 바로 결함발생율이다. 위의 산업 분야에서 사용되는 소프트웨어들은 실제 운용되는 환경에서 결함이 발생할 확률은 말 그대로 0에 가까워야만 한다. 지금까지 이야기는 그 자체로 그다지 문제가 없어 보이는 아주 당연한 이야기이다. 하지만 위의 예제에서 우리가 한가지 잊고 있는 가정이 하나 있다. 그것이 과연 무엇일까? 아마 많은 분들이 쉽게 알아낼 수 있을 것이라고 생각되지만, 혹시 확~~ 생각나지 않으신다면 잠시 곰곰히 생각해 보시기 바란다. 펼쳐두기.. 위의 예제에서 우리가 잊고 있는 가정은 바로 변동성, 그 변동성의 근본이 되는 사용자이다. 잘 생각해 보자. 원자력 발전, 우주항공산업, 의료 산업등에 사용되는 소프트웨어는 그 사용자가 매우 제한되어 있다. 이 사용자들의 행동 패턴은 충분히 통제 가능한 수준이다. 필요한 경우에는 정해진 행동만을 할 수 있도록 사용자를 교육하기도 한다. 위의 소프트웨어들은 개발 초기부터 발생할 수 있는 모든 상황과 사용 가능한 모든 경우를 한정하고 통제 가능한 상황아래 가정을 세우고 개발을 한다. 때문에 위의 소프트웨어들을 개발할 때는 폭포수 개발 모델이 유용할 수도 있다. 그리고 위와 같이 변동성을 통제할 수 있다면 결함의 발생...