테스팅 히치하이커를 위한 안내서

생산성에 대한 패러다임에 대해 생각해 보도록 하자. 아래 그림을 보도록 하자. 앞부분의 화살표는 요구사항, 중간의 녹색 원통은 개발팀, 마지막 파란 원통은 테스팅 팀이라고 가정해 보자. A의 경우에 개발팀은 10의 요구사항을 개발할 수 있는 능력이 있지만 요구사항은 5만 들어오고 있다. 개발팀만을 생각한다면 현재 개발팀의 생산성은 50%이다. 반면에 테스팅 팀은 5만큼의 개발 결과물을 테스팅 할 수 있고 개발팀으로부터는 5만큼의 개발 결과물이 만들어지고 있기 때문에 테스팅 팀의 생산성은 100%이다. 따라서 전체 프로젝트의 생산성은 75%이다. B의 경우에는 개발팀은 100%의 생산성을 테스팅 팀 역시 100%의 생산성을 보인다. 반면에 테스팅 팀은 5의 능력뿐이지만 개발팀에서는 10만큼이 오고 있기 때문에 언제나 5의 재고가 쌓여있게 된다. 하지만 전체 프로젝트의 생산성은 100%이다. 당신은 어떤 팀이 더 훌륭한 팀이라고 생각되는가? A팀은 효과적인 팀이라고 한다. 여기서 효과라는 것은 목표 달성율을 말한다. A팀의 경우에는 모든 요구사항과 모든 개발 결과물을 처리하고 있기 때문에 할당된 모든 목표를 달성하고 있다. B팀은 효율적인 팀이라고 한다. 효율이라는 것은 자원 활용 능력을 말한다. A팀의 개발팀의 경우는 자원 활용율은 겨우 50%이다. 반면 B 팀은 모든 팀의 자원 활용율이 100%이다. 우리는 일반적으로 효과보다는 효율적인 팀에 집중한다. B팀은 개발팀의 결과물을 테스팅 팀에서 모두 소화하지 못하고 만성적인 지연에 시달리고 있다. 이럴 때 많은 경우 테스팅 팀은 계속되는 야근과 철야 등으로 자원 활용율을 200%로 올리는 방식으로 최적화를 하게 된다. 이게 정말 좋은 방식일까? 여기서 생각해 볼 개념은 TOC의 Throughput, 투자, 운영비용 이다. 쓰루풋은 Input 대비 Output의 비율이다. TOC에서는 개선을 할 때 투자와 운영비용의 추가 지출을 지양한다. 추가 지출을 하더라도 투자와 운영비용의 합이 쓰루풋보다 반드시 작아야 한다....

조직에서 테스터의 자질은 무엇으로 평가되어야 할까요? 품질은 어떤 지표로 측정해야 하는 걸까요? 테스트의 결과는 무엇을 측정해서 제출해야 하는 걸까요? 개인적으로 테스터 개개인을 측정하는 것에는 반대하는 입장이다. 도데체 테스터의 가치를 단순한 숫자로 정의 내릴 수 있다는 생각은 누가 한 것일까? 개개인을 단순한 숫자로 측정하는 것은 관리자의 편의성을 생각해 볼때 이만한 해결책 이상은 있을 수가 없다. 하지만 내가 테스터 개개인의 측정을 반대하는 것은 측정 자체가 아니라 어떤 기준에 맞춰 모든 테스터가 그 기준을 상회해야한다는 그 어이없는 믿음에 반대하는 것이다. 예를 들면, 테스트 케이스의 갯수, 결함 발견 갯수 등등으로 테스터의 능력치를 측정합니다. 그런 이면에는 모든 사람이 슈퍼맨이길 바라는 관리자의 헛된 야망이 숨어있습니다. 하지만 모든 사람이 다 슈펴맨이 가능한 걸까요? 슈퍼맨이 된다고 해도 그런 슈퍼맨들만 모인 팀의 생산성이 과연 높은 것일까요? 예전에 히딩크 감독이 멀티 플레이를 주장했다 하지만 그렇다고 해서 축구에서 진영이나 포지션이 없어진 것은 아니다. 그리고 날고 긴다는 사람들만 모아놓은 대표팀이라고 해서 언제나 어디서나 승리하는 것은 아니라는 것을 알고 있다. 테스터 개개인의 능력을 측정하는 것은 필요로 하는 일이다. 하지만 테스터가 모든 분야에서 특정 기준 이상이어야 한다는 믿음에는 동의할 수 없다. 조직원의 특성을 파악하고 그 특성을 조화롭게 이끌어 내어 팀의 생산성을 높일 수 있는 관리자가 필요하다. 다양한 척도를 이용해서 테스터의 생산성을 측정하겠다는 가장 큰 약점이라면 테스터가 측정값을 속이기 쉽다는 것이다. 테스트나 품질 그 자체보다는 성과와 인사고과만을 위해 일하는 바보같은 테스터가 양산되어 버린다. 예를 들어 테스트 케이스 갯수를 가지고 생산성을 측정한다면 테스터는 의도적으로 의미없는 테스트 케이스 갯수를 늘릴 가능성이 매우 높다. 단순히 결함의 갯수만으르 가지고 측정한다면 테스터는 오타와 같은 쓸모없는 결함만을 양산해 낼 가...