우리가 어떤 대상을 측정하고 분석하는데는 크게 두가지 방법이 있습니다. 하나는 정성적방법이고 다른 하나는 정량적방법 입니다. 별다른 설명을 하지 않아도 많은 사람들이 이 두 방법의 차이를 알고 있을 것입니다. 이 두 방법 중 우리는 많은 경우 정량적방법을 더 선호하는 편입니다. 왜 우리는 정량적방법을 더 선호하는 것일까요? 여러가지 이유를 생각할 수 있겠지만 아무래도 정보와 숫자가 전해주는 명확성과 신뢰성 때문이 아닐까 생각됩니다. 그런데 문제는 정량적방법이 어려운 경우에도 무모하게 정량적방법을 감행하는 경우 또는 정성적방법을 통해 측정하고 분석할 대상을 정량적방법으로 표현할 때 여러가지 문제가 발생합니다. 가장 대표적인 예가 바로 품질입니다. 이전에도 얘기한 적이 있지만, 하드웨어의 품질을 측정할 때는 정량적방법이 가능합니다. 품질을 정량적방법으로 측정하고 분석한 역사는 매우 오래되었으며, 수많은 검증을 통해 입증된 방법입니다. 그리고 이 방법은 소프트웨어를 측정할 때도 사용됩니다. 하지만 정량적방법으로 소프트웨어의 품질을 측정할 때 우리는 아주 커다란 오해를 하게 됩니다. 예를 들어 오픈 오피스와 MS 오피스 그리고 한컴 오피스 3개의 제품에 제가 각각 10점 만점에 9점, 5점, 3점을 부여했다고 가정해 봅시다. 이러한 점수를 부여하기 위해서 전 나름대로 많은 기준과 가이드를 작성했을 것입니다. 그리고 면밀하게 분석하고 측정해서 점수를 주었을 것입니다. 아무도 이러한 방식에 대해 의문을 제기하지 않습니다. 특히 이러한 점수를 부여한 기관이 신뢰할 수 있는 기관(예를 들면, 인증기관)이라면 더 그렇습니다. 그런데, 조금 다르게 생각해 본다면 9점을 받은 오픈 오피스는 3점을 받은 한컴 오피스보다 품질이 정말 3배 더 높은 것일까요? 많은 사람들은 무의식적으로 그렇게 받아들입니다. 그런데 실제로 오픈 오피스가 한컴 오피스보다 3배나 높은 품질을 지니고 있다는 기준이나 증거를 요구하는 경우 많은 사람들의 반응은 실제로는 그렇게 여기지 않는 다는 것입니다. 즉,...