테스트 프로젝트의 경우 수많은 형태의 프로젝트가 존재하고 수많은 형태의 방법론이 적용되고 있는 것이 현실이다.
그 많은 프로젝트들을 일일이 나열하기는 힘들지만 대다수의 프로젝트들이 수행되는 형태를 본다면 크게 2가지를 생각해 볼 수 있다.
하나는 효과적 테스트이고 다른 하나는 효율적 테스트이다.
효과적 테스트는 말 그대로 테스트의 효과를 극대화 하는 것을 목적으로 하는 테스트이다. 즉, 결함을 많이 발견하거나 품질을 극대화 하는 방향으로 모든 테스트의 방향이 결정되는 테스트를 말한다.
이러한 유형은 공식적인 테스트 설계기법을 적용하고 커버리지 등의 매트릭으로 품질을 측정하며 여러 특정 분야의 전문가들이 테스트 프로젝트에 투입되게 된다.
결론적으로는 결함이 적은 제품이 출시되게 되겠지만 문제가 된다면 개발기간과 예산이 한없이 들어갈 수 있다는 것이다.
대표적인 예로는 의료, 항공, 우주 산업과 같은 경우를 들 수 있다.
반면 효율적 테스트는 시간과 예산을 절감하는 방향을 목적으로 하는 테스트 이다. 주변의 많은 프로젝트들이 겉으로는 효과적 테스트를 말하지만 실상은 효율적 테스트를 수행하는 곳들이 많은 것이 사실이다.
왜냐하면 테스트 프로젝트를 수행함에 있어서 예산과 시간은 항상 정해져 있는 경우가 많기 때문이다. 이렇게 정해진 예산과 시간마저도 다른 개발 일정과 예산에 따라 우선순위에서 뒤로 밀리는 경우도 다반사이다.
효율적 테스트의 가장 대표적인 방법은 테스트 자동화이다. 테스트 자동화는 시간을 넘어서 테스트 업계에서 가장 큰 이슈로 누구나 꿈꾸는 이상향이다.
하지만 테스트 자동화의 치명적인 약점이라면 살충제 페러독스이다. 테스트 자동화가 분명 효율적 테스트에 일부 기여하는 바는 있지만 그 유지보수에 있어서 오히려 효율이 떨어질 수도 있으며, 유지보수가 지속되지 않는다면 제품의 품질 또한 떨어질 수도 있다.
효율적 테스트의 또다른 부작용이라 한다면 일정과 예산에 따라 반드시 수행되어야 할 테스트가 생략되거나 계약직과 같은 비전문가들에 대한 테스트 수행 등으로 인해 신뢰성이 저하된다거나 테스트 결과를 신뢰할 수 없는 등의 부작용이 있을 수 있다.
이러한 효과적 테스트와 효율적 테스트는 반비례 관계에 있다.
즉, 효과적 테스트를 강조하다보면 테스트 프로젝트는 그만큼 비효율적이 되고 효율적인 테스트를 강조하다 보면 효과적 테스트를 소홀히 하게 된다.
이 두가지 유형의 테스트는 절대로 공존할 수 없는 것처럼 보인다.
실제로 많은 회사에서는 매번 이 두가지 유형의 테스트 사이에서 갈등하며 그때 그때마다 그 상황에 맞는 한쪽을 선택하게 된다.
이러한 선택이 아슬 아슬하게 맞아 떨어져 간다면 회사는 그럭저럭 유지되겠지만 어떤 포인트를 넘어서게 된다면 회사는 돌이킬 수 없는 타격을 받을 수 있고 그런 경우 회사가 망하는 경우도 있을 수 있다.
아래는 그러한 순환 논리를 간단하게 도식화 해 본 것이다. 실제의 경우에는 좀 더 구체적인 정황이 들어가겠지만 그다지 큰 차이는 없다고 생각한다.
그렇다면 과연 이 두가지 유형의 테스트 사이에서 시소게임을 하는 것만이 최선의 방법인 것일까? 다른 방법은 정말 없는 것일까?
적은 예산과 짧은 개발 기간동안 사용자가 원하는 좋은 품질의 제품을 개발할 수는 없는 것일까?
테스트 수행에 관한 수많은 방법론들이 위 질문에 대한 해답을 내놓기 위해 수많은 사례와 연구를 반복했었다.
그리고 그 중 가장 성공확률이 높고 이론적으로 완성도가 높은 방법론을 꼽는다면 리스크 기반 테스트를 추천해 줄 수 있다.
결론적으로 리스크 기반 테스팅은 리스크가 높은 곳은 효과적 테스트를 수행하고 리스크가 낮은 곳은 효율적 테스트를 수행하는 것을 말한다.
리스크에 따라 제한된 리소스를 적절하게 배분하고 각각의 목적을 다르게 설정함으로써 그 중도를 찾고자 하는 것이다.
즉, 사람들은 효과와 효율이 모두 높은 A 영역에 해당하는 방법을 찾고 있지만 실제적으로 그러한 방법은 없다고 볼 수 있다. 그러한 방법을 찾고자 하는 노력으로 인하여 갈등만 증폭되고 문제는 해결되지 않고 점점 더 어려워지는 것이다.
현실은 B와 D사이를 시소게임을 하는 것과 같이 진동하고 있는 것이다. 그리고 그러한 과정에서 많은 자원이 낭비되고 있고 조직과 회사 자체의 리스크는 항상 아슬아슬한 상태로 조절되고 있다.
어떤 회사들은 C 영역에서 머물면서 현실을 인식하지 못하는 곳들도 있다.
리스크 기반 테스팅은 제품의 리스크에 따라 두 영역을 모두 취함으로써 평형상태에 이르고자 하는 것이다. 리스크가 높은 곳에서는 B 영역의 방법을 리스크가 낮은 곳은 D 영역의 방법을 취하는 것이다.
하지만 이론적으로 완벽해 보이고 설득력이 있는 리스크 기반 테스트 역시 실무에 적용할 경우 많은 어려움이 있다.
대표적인 어려움만 생각해 본다면
하지만 실제적으로 리스크 기반 테스팅은 조직에서 그 수행이 체득화 될수만 있다면 현재까지 소개된 수많은 방법론 중에서는 가장 합리적인 방법론 중 하나인 것만은 의심의 여지가 없는 사실이라고 생각된다.
그 많은 프로젝트들을 일일이 나열하기는 힘들지만 대다수의 프로젝트들이 수행되는 형태를 본다면 크게 2가지를 생각해 볼 수 있다.
하나는 효과적 테스트이고 다른 하나는 효율적 테스트이다.
효과적 테스트는 말 그대로 테스트의 효과를 극대화 하는 것을 목적으로 하는 테스트이다. 즉, 결함을 많이 발견하거나 품질을 극대화 하는 방향으로 모든 테스트의 방향이 결정되는 테스트를 말한다.
이러한 유형은 공식적인 테스트 설계기법을 적용하고 커버리지 등의 매트릭으로 품질을 측정하며 여러 특정 분야의 전문가들이 테스트 프로젝트에 투입되게 된다.
결론적으로는 결함이 적은 제품이 출시되게 되겠지만 문제가 된다면 개발기간과 예산이 한없이 들어갈 수 있다는 것이다.
대표적인 예로는 의료, 항공, 우주 산업과 같은 경우를 들 수 있다.
반면 효율적 테스트는 시간과 예산을 절감하는 방향을 목적으로 하는 테스트 이다. 주변의 많은 프로젝트들이 겉으로는 효과적 테스트를 말하지만 실상은 효율적 테스트를 수행하는 곳들이 많은 것이 사실이다.
왜냐하면 테스트 프로젝트를 수행함에 있어서 예산과 시간은 항상 정해져 있는 경우가 많기 때문이다. 이렇게 정해진 예산과 시간마저도 다른 개발 일정과 예산에 따라 우선순위에서 뒤로 밀리는 경우도 다반사이다.
효율적 테스트의 가장 대표적인 방법은 테스트 자동화이다. 테스트 자동화는 시간을 넘어서 테스트 업계에서 가장 큰 이슈로 누구나 꿈꾸는 이상향이다.
하지만 테스트 자동화의 치명적인 약점이라면 살충제 페러독스이다. 테스트 자동화가 분명 효율적 테스트에 일부 기여하는 바는 있지만 그 유지보수에 있어서 오히려 효율이 떨어질 수도 있으며, 유지보수가 지속되지 않는다면 제품의 품질 또한 떨어질 수도 있다.
효율적 테스트의 또다른 부작용이라 한다면 일정과 예산에 따라 반드시 수행되어야 할 테스트가 생략되거나 계약직과 같은 비전문가들에 대한 테스트 수행 등으로 인해 신뢰성이 저하된다거나 테스트 결과를 신뢰할 수 없는 등의 부작용이 있을 수 있다.
이러한 효과적 테스트와 효율적 테스트는 반비례 관계에 있다.
즉, 효과적 테스트를 강조하다보면 테스트 프로젝트는 그만큼 비효율적이 되고 효율적인 테스트를 강조하다 보면 효과적 테스트를 소홀히 하게 된다.
이 두가지 유형의 테스트는 절대로 공존할 수 없는 것처럼 보인다.
실제로 많은 회사에서는 매번 이 두가지 유형의 테스트 사이에서 갈등하며 그때 그때마다 그 상황에 맞는 한쪽을 선택하게 된다.
이러한 선택이 아슬 아슬하게 맞아 떨어져 간다면 회사는 그럭저럭 유지되겠지만 어떤 포인트를 넘어서게 된다면 회사는 돌이킬 수 없는 타격을 받을 수 있고 그런 경우 회사가 망하는 경우도 있을 수 있다.
아래는 그러한 순환 논리를 간단하게 도식화 해 본 것이다. 실제의 경우에는 좀 더 구체적인 정황이 들어가겠지만 그다지 큰 차이는 없다고 생각한다.
그렇다면 과연 이 두가지 유형의 테스트 사이에서 시소게임을 하는 것만이 최선의 방법인 것일까? 다른 방법은 정말 없는 것일까?
적은 예산과 짧은 개발 기간동안 사용자가 원하는 좋은 품질의 제품을 개발할 수는 없는 것일까?
테스트 수행에 관한 수많은 방법론들이 위 질문에 대한 해답을 내놓기 위해 수많은 사례와 연구를 반복했었다.
그리고 그 중 가장 성공확률이 높고 이론적으로 완성도가 높은 방법론을 꼽는다면 리스크 기반 테스트를 추천해 줄 수 있다.
결론적으로 리스크 기반 테스팅은 리스크가 높은 곳은 효과적 테스트를 수행하고 리스크가 낮은 곳은 효율적 테스트를 수행하는 것을 말한다.
리스크에 따라 제한된 리소스를 적절하게 배분하고 각각의 목적을 다르게 설정함으로써 그 중도를 찾고자 하는 것이다.
즉, 사람들은 효과와 효율이 모두 높은 A 영역에 해당하는 방법을 찾고 있지만 실제적으로 그러한 방법은 없다고 볼 수 있다. 그러한 방법을 찾고자 하는 노력으로 인하여 갈등만 증폭되고 문제는 해결되지 않고 점점 더 어려워지는 것이다.
현실은 B와 D사이를 시소게임을 하는 것과 같이 진동하고 있는 것이다. 그리고 그러한 과정에서 많은 자원이 낭비되고 있고 조직과 회사 자체의 리스크는 항상 아슬아슬한 상태로 조절되고 있다.
어떤 회사들은 C 영역에서 머물면서 현실을 인식하지 못하는 곳들도 있다.
리스크 기반 테스팅은 제품의 리스크에 따라 두 영역을 모두 취함으로써 평형상태에 이르고자 하는 것이다. 리스크가 높은 곳에서는 B 영역의 방법을 리스크가 낮은 곳은 D 영역의 방법을 취하는 것이다.
하지만 이론적으로 완벽해 보이고 설득력이 있는 리스크 기반 테스트 역시 실무에 적용할 경우 많은 어려움이 있다.
대표적인 어려움만 생각해 본다면
- 리스크를 판별할 기준 선정(리스크 펙터)
- 리스크를 식별할 범위 선정(리스크 아이템)
- 리스크를 분석하는 사람들의 개인적인 수준차와 리스크 아이템에 대한 이해와 인식의 수준차
- 분석 및 협의에 들어가는 시간적인 지연
- 개발기간동안 변동되는 리스크에 대한 통제와 제어
하지만 실제적으로 리스크 기반 테스팅은 조직에서 그 수행이 체득화 될수만 있다면 현재까지 소개된 수많은 방법론 중에서는 가장 합리적인 방법론 중 하나인 것만은 의심의 여지가 없는 사실이라고 생각된다.
댓글
댓글 쓰기