정성적방법과 정량적방법

우리가 어떤 대상을 측정하고 분석하는데는 크게 두가지 방법이 있습니다.

하나는 정성적방법이고 다른 하나는 정량적방법 입니다.

별다른 설명을 하지 않아도 많은 사람들이 이 두 방법의 차이를 알고 있을 것입니다.

이 두 방법 중 우리는 많은 경우 정량적방법을 더 선호하는 편입니다.

왜 우리는 정량적방법을 더 선호하는 것일까요?

여러가지 이유를 생각할 수 있겠지만 아무래도 정보와 숫자가 전해주는 명확성과 신뢰성 때문이 아닐까 생각됩니다.

그런데 문제는 정량적방법이 어려운 경우에도 무모하게 정량적방법을 감행하는 경우 또는 정성적방법을 통해 측정하고 분석할 대상을 정량적방법으로 표현할 때 여러가지 문제가 발생합니다.

가장 대표적인 예가 바로 품질입니다.

이전에도 얘기한 적이 있지만, 하드웨어의 품질을 측정할 때는 정량적방법이 가능합니다.

품질을 정량적방법으로 측정하고 분석한 역사는 매우 오래되었으며, 수많은 검증을 통해 입증된 방법입니다.

그리고 이 방법은 소프트웨어를 측정할 때도 사용됩니다.

하지만 정량적방법으로 소프트웨어의 품질을 측정할 때 우리는 아주 커다란 오해를 하게 됩니다.

예를 들어 오픈 오피스와 MS 오피스 그리고 한컴 오피스 3개의 제품에 제가 각각 10점 만점에 9점, 5점, 3점을 부여했다고 가정해 봅시다.

이러한 점수를 부여하기 위해서 전 나름대로 많은 기준과 가이드를 작성했을 것입니다. 그리고 면밀하게 분석하고 측정해서 점수를 주었을 것입니다.

아무도 이러한 방식에 대해 의문을 제기하지 않습니다. 특히 이러한 점수를 부여한 기관이 신뢰할 수 있는 기관(예를 들면, 인증기관)이라면 더 그렇습니다.

그런데, 조금 다르게 생각해 본다면 9점을 받은 오픈 오피스는 3점을 받은 한컴 오피스보다 품질이 정말 3배 더 높은 것일까요?

많은 사람들은 무의식적으로 그렇게 받아들입니다. 그런데 실제로 오픈 오피스가 한컴 오피스보다 3배나 높은 품질을 지니고 있다는 기준이나 증거를 요구하는 경우 많은 사람들의 반응은 실제로는 그렇게 여기지 않는 다는 것입니다.

즉, 점수만 주어졌을 때 우리는 점수만큼의 차이를 산술적으로 받아들이지만 실제 인식에서는 그러한 산술적 차이를 인정하지 않고 있는 것입니다.

이 두가지 인식의 차이는 매우 흥미롭습니다.

그리고 이러한 인식의 차이가 소프트웨어의 품질을 측정하는 것을 더 어렵게 합니다.

즉, 점수와 같은 어떤 정량적방법을 통해 제시된 품질 지수에 대해 우리는 그다지 큰 거부감이 없습니다. 하지만 실제로 그 품질에 대해 다시 논의를 할 때 많은 경우 그 측정의 기준에 대해 의문을 표합니다.

다시 말해 9점의 오픈 오피스라는 점수에 대해서는 의문을 제기하지 않지만, 왜 9점이라는 점수를 부여했느냐에 대해서는 많은 경우 의심을 하게 됩니다. 특히 자신이 기본적으로 생각하는 기준에 의한 점수와 비교하여 그 차이가 심하다면 그런 경향은 더욱 커집니다.

결론적으로 우리는 잘못된 방법으로 소프트웨어의 품질을 측정하고 있다고 생각합니다.

소프트웨어의 품질에 대해 다시 한번 생각해 보고 측정 방법과 그 지표에 대해 좀 더 고민해봐야 한다고 생각합니다.

그런데 이러한 노력이 크게 각광을 받거나 주목받지 못하는 이유는 우리의 의식을 지배하는 일종의 선입견 때문에 그렇습니다.

그 밑에는 모든 사람이 어떤 형체가 없는 그 무엇인가에 대한 인식이 동일하지 않기 때문이라는 이유가 있습니다.

예를 들면 사랑을 우리가 정량적방법으로 측정한다면 어떻게 측정할 수 있을까요? 사람들이 온갖 설문지와 측정 지표를 만든다고 해도 결국에는 이러한 측정 방법이 의미가 없다는 것을 깨닫게 될 것입니다.

그것은 사랑이라는 것이 실제로는 존재하지만 그것을 인식하는 기준이나 정도에 대해 그 어느 누구도 동일하지 않다라는 것입니다.

우리는 이렇게 명확하지 않고 인식할 수 없는 것에 대해 약간의 불안감과 거부감을 느낍니다.

품질도 마찬가지입니다.

그래서 우리는 정성적방법으로 측정되어야 할 품질을 정량적방법으로 측정하는 것이라고 생각합니다.

즉, 우리는 품질은 매우 나쁨, 나쁨, 보통임, 좋음, 매우 좋음 과 같은 방식으로 측정하는 것에 대해 기본적으로 신뢰하지도 못하고 거부감을 느낀다는 것입니다.

비슷한 경우로는 리스크 분석과 같은 것에서도 찾아볼 수 있습니다.

9점의 리스크와 3점의 리스크에 대해 점수만이 주어졌을 때 사람들은 9점의 리스크가 3점의 리스크보다 3배나 리스크가 높은 것으로 인식하지만 분석 후 각각의 점수가 부여도니 리스크 아이템에 대해 실제적으로 그 차이를 물어본다면 정확하게 3배의 리스크 차이로 인식하지 않는 경우가 많다는 것입니다.

그렇다면 과연 신뢰할 수 있을 만한 정성적방법을 통한 측정 지표는 개발될 수 있는 것일까요?
누구나 동의하고 공감할 수 있는 그런 정성적 측정 지표는 과연 개발될 수 있을까요? 존재하기는 하는 걸까요?

관련된 의견이나 혹시 이러한 것을 알고 계시는 분은 댓글이나 트랙백으로 알려주시면 고맙겠습니다.