기본 콘텐츠로 건너뛰기

정성적방법과 정량적방법

우리가 어떤 대상을 측정하고 분석하는데는 크게 두가지 방법이 있습니다.

하나는 정성적방법이고 다른 하나는 정량적방법 입니다.

별다른 설명을 하지 않아도 많은 사람들이 이 두 방법의 차이를 알고 있을 것입니다.

이 두 방법 중 우리는 많은 경우 정량적방법을 더 선호하는 편입니다.

왜 우리는 정량적방법을 더 선호하는 것일까요?

여러가지 이유를 생각할 수 있겠지만 아무래도 정보와 숫자가 전해주는 명확성과 신뢰성 때문이 아닐까 생각됩니다.

그런데 문제는 정량적방법이 어려운 경우에도 무모하게 정량적방법을 감행하는 경우 또는 정성적방법을 통해 측정하고 분석할 대상을 정량적방법으로 표현할 때 여러가지 문제가 발생합니다.

가장 대표적인 예가 바로 품질입니다.

이전에도 얘기한 적이 있지만, 하드웨어의 품질을 측정할 때는 정량적방법이 가능합니다.

품질을 정량적방법으로 측정하고 분석한 역사는 매우 오래되었으며, 수많은 검증을 통해 입증된 방법입니다.

그리고 이 방법은 소프트웨어를 측정할 때도 사용됩니다.

하지만 정량적방법으로 소프트웨어의 품질을 측정할 때 우리는 아주 커다란 오해를 하게 됩니다.

예를 들어 오픈 오피스와 MS 오피스 그리고 한컴 오피스 3개의 제품에 제가 각각 10점 만점에 9점, 5점, 3점을 부여했다고 가정해 봅시다.

이러한 점수를 부여하기 위해서 전 나름대로 많은 기준과 가이드를 작성했을 것입니다. 그리고 면밀하게 분석하고 측정해서 점수를 주었을 것입니다.

아무도 이러한 방식에 대해 의문을 제기하지 않습니다. 특히 이러한 점수를 부여한 기관이 신뢰할 수 있는 기관(예를 들면, 인증기관)이라면 더 그렇습니다.

그런데, 조금 다르게 생각해 본다면 9점을 받은 오픈 오피스는 3점을 받은 한컴 오피스보다 품질이 정말 3배 더 높은 것일까요?

많은 사람들은 무의식적으로 그렇게 받아들입니다. 그런데 실제로 오픈 오피스가 한컴 오피스보다 3배나 높은 품질을 지니고 있다는 기준이나 증거를 요구하는 경우 많은 사람들의 반응은 실제로는 그렇게 여기지 않는 다는 것입니다.

즉, 점수만 주어졌을 때 우리는 점수만큼의 차이를 산술적으로 받아들이지만 실제 인식에서는 그러한 산술적 차이를 인정하지 않고 있는 것입니다.

이 두가지 인식의 차이는 매우 흥미롭습니다.

그리고 이러한 인식의 차이가 소프트웨어의 품질을 측정하는 것을 더 어렵게 합니다.

즉, 점수와 같은 어떤 정량적방법을 통해 제시된 품질 지수에 대해 우리는 그다지 큰 거부감이 없습니다. 하지만 실제로 그 품질에 대해 다시 논의를 할 때 많은 경우 그 측정의 기준에 대해 의문을 표합니다.

다시 말해 9점의 오픈 오피스라는 점수에 대해서는 의문을 제기하지 않지만, 왜 9점이라는 점수를 부여했느냐에 대해서는 많은 경우 의심을 하게 됩니다. 특히 자신이 기본적으로 생각하는 기준에 의한 점수와 비교하여 그 차이가 심하다면 그런 경향은 더욱 커집니다.

결론적으로 우리는 잘못된 방법으로 소프트웨어의 품질을 측정하고 있다고 생각합니다.

소프트웨어의 품질에 대해 다시 한번 생각해 보고 측정 방법과 그 지표에 대해 좀 더 고민해봐야 한다고 생각합니다.

그런데 이러한 노력이 크게 각광을 받거나 주목받지 못하는 이유는 우리의 의식을 지배하는 일종의 선입견 때문에 그렇습니다.

그 밑에는 모든 사람이 어떤 형체가 없는 그 무엇인가에 대한 인식이 동일하지 않기 때문이라는 이유가 있습니다.

예를 들면 사랑을 우리가 정량적방법으로 측정한다면 어떻게 측정할 수 있을까요? 사람들이 온갖 설문지와 측정 지표를 만든다고 해도 결국에는 이러한 측정 방법이 의미가 없다는 것을 깨닫게 될 것입니다.

그것은 사랑이라는 것이 실제로는 존재하지만 그것을 인식하는 기준이나 정도에 대해 그 어느 누구도 동일하지 않다라는 것입니다.

우리는 이렇게 명확하지 않고 인식할 수 없는 것에 대해 약간의 불안감과 거부감을 느낍니다.

품질도 마찬가지입니다.

그래서 우리는 정성적방법으로 측정되어야 할 품질을 정량적방법으로 측정하는 것이라고 생각합니다.

즉, 우리는 품질은 매우 나쁨, 나쁨, 보통임, 좋음, 매우 좋음 과 같은 방식으로 측정하는 것에 대해 기본적으로 신뢰하지도 못하고 거부감을 느낀다는 것입니다.

비슷한 경우로는 리스크 분석과 같은 것에서도 찾아볼 수 있습니다.

9점의 리스크와 3점의 리스크에 대해 점수만이 주어졌을 때 사람들은 9점의 리스크가 3점의 리스크보다 3배나 리스크가 높은 것으로 인식하지만 분석 후 각각의 점수가 부여도니 리스크 아이템에 대해 실제적으로 그 차이를 물어본다면 정확하게 3배의 리스크 차이로 인식하지 않는 경우가 많다는 것입니다.

그렇다면 과연 신뢰할 수 있을 만한 정성적방법을 통한 측정 지표는 개발될 수 있는 것일까요?
누구나 동의하고 공감할 수 있는 그런 정성적 측정 지표는 과연 개발될 수 있을까요? 존재하기는 하는 걸까요?

관련된 의견이나 혹시 이러한 것을 알고 계시는 분은 댓글이나 트랙백으로 알려주시면 고맙겠습니다.

댓글

  1. ISO/IEC12117을 읽어보시면 궁금증이 풀리시라 생각됩니다.

    답글삭제
  2. iqzero 님의 댓글 고맙습니다.



    사람이 처음 시작할 때는 표준이라는 것이 분명 도움이 되고 의사소통이 등에 있어 분명 좋은 점은 있지만 시간이 흐르다 보면 표준이라는 것이 오히려 개선의 발목을 잡는 경우가 많습니다.



    저는 표준을 떠나서 다른 방법에 대한 것들을 고민하는 차원에서 글을 쓰면서 조금 부적절한 의견등이 들어간 것 같습니다.



    적어주신 의견은 고맙게 더 잘 생각해 보겠습니다.

    답글삭제
  3. 김주봉7/9/10 15:01

    좋은 글 감사합니다~

    답글삭제

댓글 쓰기

이 블로그의 인기 게시물

비츠 스튜디오 버즈 플러스(투명) 사용 후기

제 내자분은 아직도 유선 이어폰을 쓰고 있습니다. 그게 좋다고 하시더라구요. 작년에 혹시나 해서 앤커 사운드코어 라이프Q35를 구매해서 조공해봤지만 결국은 안쓰시더라구요. 그래서 작년 추운 겨울에 제가 귀마게 용으로 잘 사용해왔는데.. 여름이 되니.. 와.. 이건 너무 덥고 무거워서 못쓰겠더라구요. 아이폰도 사고 애플 워치도 샀으니.. 다음은 에어팟인데.... 노이즈 캔슬링이 된다는 에어팟 프로 2는 ... 네... 너무 비싸더라구요... 이건 내자분께 얘기해봐야 결제가 될리가 없어서... 고민하고 있던차에.. 네.. 저는 봐버리고 말았습니다. 비츠 스튜디오 버즈 플러스의 그 영롱한 투명 버전의 자태를... 급 뽐뿌가 왔지만.. 여전히 20만원의 고가더라구요... 초기 출시 시기에 이벤트로 16만원 정도 했던거 같은데.. 그정도 가격이면 선 결제 후 보고 하면 될거 같은데.. 20만원은 너무 너무 비싸서 침만 삼키던 차에.. 당근에 15만원에 올라온 물건을 덥석 물었습니다. 애플 뮤직 6개월 프로모션 코드도 사용하지 않은 따끈따끈한 제품이라서 그냥 질렀습니다. 이상하게 인터넷이 실제 리뷰 게시물을 찾기 힘들어서.. 고민을 잠깐 했지만.. 그 투명하고 영롱한 자태에 그만... 어쨌든 구매하고 한달 정도 사용해본 후기를 간단하게 남겨봅니다. 1. 노이즈 캔슬링은 기대한 것과는 좀 다르고 앤커 사운드코어 라이프Q35 정도 되는 것 같습니다. 노이즈 캔슬링은 활성화하면 이게 소리를 막아준다기보다는 주변의 작은 소음만 제거해준다고 생각하시면 됩니다. 그러니까 옆에서 소근 거리는 소리나 선풍기 바람 소리 같은 작은 소리들이 사라지고 음악 같은 내가 듣고자 하는 소리가 굉장히 뚜렸해지만 지하철 안내 방송 같은 조금 큰 소리는 그냥 들립니다. 그래서 주변음 허용 모드를 켜보면 너무 시끄러워서 안쓰게 되더라구요. 전 에어팟 프로 2를 사용해 본적이 없어서 비교할 수는 없지만.. 아주 못쓸 정도의 성능은 아니라고 생각됩니다. 2. 저는 귓구멍이 너무 작아서 XS 사이즈의 이어팁

테스트 케이스와 체크리스트의 차이가 뭐여?

테스트 실무에서 가장 혼돈되어 사용되는 용어 중 하나가 테스트 케이스와 체크리스트입니다. 많은 경우 체크리스트를 테스트 케이스로 사용하는 경우가 많습니다. 실제로 인터넷 커뮤니티나 블로그, ISO, IEEE, ISTQB 등등을 검색해보시면 테스트 케이스와 체크리스트에 대한 구분이 다 제각각입니다. 각각에 대한 정의가 다 제각각입니다. 사정이 이러하다보니 많은 사람들이 테스트 케이스와 체크리스트를 잘 구분하지 못하고 혼동해서 사용하는 경우가 많습니다. 물과 기름처럼 테스트 케이스와 체크리스트를 정확하게 구분할 수는 없겠지만.. ISTQB를 기준으로 말씀드리면 설계 기법을 통해 도출된 것은 테스트 케이스 그렇지 않은 것은 체크리스트라고 생각하시면 쉽습니다. 예를 들면 아래는 결정 테이블 테스팅 기법을 통해 도출된 테스트 케이스의 예제입니다. 실제 테스트 케이스는 위보다 복잡하겠지만 어쨌든 얘기하고 싶은 것은 위와 같이 설계 기법을 통해서 도출된 것은 테스트 케이스라고 합니다. 그런데 딱 보시면 아시겠지만 실제 테스트에서는 저 정도로는 테스트 커버리지를 충분히 만족했다고 얘기하기 힘듭니다. 그렇습니다. 어떤 분들은 테스트 케이스가 전가의 보도, 은 총알 쯤으로 생각하시는데.. 테스트 케이스는 일종의 마지노 선이라고 보시면 됩니다. 최소한 제품을 테스트 할때 이정도는 해줘야 한다는 최후의 방어선 정도라고 보시면 됩니다. 전쟁에서 최후의 방어선은 물러설 수 없는 마지막 보루입니다. 하지만 최후의 방어선만 지킨다고 전쟁에서 승리할 수는 없습니다. 프랑스는 마지노 요새만 믿고 있다가 독일에게 깔끔하게 발렸던 과거가 있지요. 전쟁에서 승리하려면 앞으로 나가야하고 치밀한 전략과 전술이 뒷받침 되어야 합니다. 더 높은 커버리지를 도달하고, 충분히 좋은 테스트가 수행되려면 테스트 케이스는 기본이 되어야 하고 거기에 더해서 체크리스트가 따라와 줘야 합니다. 이러한 체크리스트는 팀의 경험과 과거 프로젝트의 데이

웹 애플리케이션의 보안 취약점을 찾기 위한 통합 침투 테스트 도구 - OWASP Zed Attack Proxy

웹 애플리케이션의 보안 취약점을 테스트하기 위해 그동안 Paros 란 프로그램을 사용해 왔었는데, 안타깝게도 이 프로그램이 업데이트가 되지 않은지 너무 오래돼서 최신의 보안 취약점 검사에는 한계가 있어 이번에 다시 한번 열심히 검색해서 제 나름 기준으로 꽤 좋은 도구를 하나 찾아서 소개해볼까 합니다. 분명 국내에는 저보다 더 능력이 되시는 많은 보안 테스터분들께서 더 좋은 도구를 가지고 테스트를 하시리라 믿습니다만.. 구글에서는 어찌 된 것이 아무리 검색해도 한글로 된 자료를 찾기가 참 어렵습니다. 아마 오늘 제가 소개해 드리는 이 프로그램도 제가 최초가 아닐까? 조심스럽게 생각해 봅니다. 그리고 저도 아직까지 이 프로그램의 모든 기능을 전문적으로 사용하고 있지 못하기 때문에 관련된 자료나 방법을 아시는 분은 같이 공유해주시면 고맙겠습니다. 오늘 소개해드리는 프로그램은 제가 OWASP 홈페이지를 검색하면서 찾아낸 도구입니다. 이 프로그램은 Paros에서 갈라져 나온 프로그램으로 기본적인 사용방법은 Paros와 거의 똑같습니다. 다만 Paros에는 없는 여러가지 기능들이 포함된 정말 종합선물세트와 같은 프로그램입니다. 이 프로그램이 무엇이냐? 바로 OWASP Zed Attack Proxy 라는 프로그램입니다. 이 프로그램에 대한 자세한 내용은 https://www.owasp.org/index.php/ZAP 에서 보실 수 있습니다. 프로그램 소개에는 한국어도 지원한다고 하지만 제 경우에는 아무리 해도 한국어로 나오지는 않네요. 프로그램을 다운로드 하셔서 설치하시고 Weekly Release도 같이 설치하시기 바랍니다. Weekly Release는 zip 파일의 압축을 해제하셔서 설치 디렉토리업 덮어쓰기 하시면 됩니다. 설치를 다 하셨으면 이제 이걸 쓰는 법을 알아보겠습니다. 우선은 브라우저에서 프록시 설정을 해주셔야 합니다. 프록시를 설정하시는 방법은 프로그램에서 F1을 누르셔서 도움말을 실행하신 후에 Getti