기본 콘텐츠로 건너뛰기

누적 결함 S 커브

'SOS! 죽어가는 프로젝트 살리기'에서 프로젝트 재난 여부 평가는 일정, 예산 그리고 마지막으로 품질이다.

그런데 테스팅 에반젤리스트로서 이 책의 품질에 대한 측정보다는 아래에서 소개하고자 하는 '누적 결함 S 커브'가 더욱 더 효과적일 듯 하다.

머 판단은 책을 읽고 이 글을 읽는 여러분이 판단할 문제이긴 하다.

우선 책에 있는 문제를 내 맘대로 수정해 보았다.

아래 표를 보도록 하자.

단계
 사소한 문제
   심각한 문제
  치명적 문제
  

신규
수정
잔존
신규
수정
잔존
신규
수정
잔존
1
 

 

 
212
 122
  2
 
318
10
203
1
 42  2
413
15
184
2 62  4
515
13
201
3
 431
 6
615
20
158
4 841
 9
731
18
2910
6
 1212
 8
842
25
4616
8
 2093 14
9         
10         
11         
12         


위 그래프를 각각의 심각도 별로 그래프를 그리면 아래와 같다.


그래프를 읽는 법은 특정 심각도의 신규 결함과 수정된 결함을 누적하여 그린 후 두 곡선 사이의 가로 간격이 결함을 수정하는 데 걸린 시간이고 세로 축이 특정 시점에서의 잔존 결함이다.

위 그래프를 보면 현재 이 프로젝트는 심각하다. 지금 당장 경보를 울려야 할 상황이다.

이유인즉 모든 심각도에서 결함이 계속해서 발견되고 있다. 문제는 발견된 결함의 수정 활동이 사소한 문제에 집중되어 있지만 신규로 발견되는 결함을 모두 처리하지 못하고 있다.

더 심각한 것은 치명적 결함이다. 결함이 수정되는데 적어도 3단계의 기간이 필요하다. 그리고 잔존 결함이 전혀 줄어들지 않고 있다.

책에서도 결함이 수정된 것은 문제 목록에서 제거해야 한다고 적혀 있긴 하다.

하지만 단순한 표만으로 현재 결함의 증가 추세와 결함을 해결하는데 걸리는 시간 등에 대한 정보를 한번에 파악하기가 쉽지 않다.

이럴 때 '누적 결함 S 커브'는 일목요연하게 현재 프로젝트의 상황을 전달해 주는 데 효과적이라고 생각된다.

그리고 단순히 결함의 심각도 뿐만 아니라 리스크 영역별에 따라 심각도별 누적 결함 S 커브를 그려서 각 리스크 영역별에 따라 심각도 별 잔존 결함과 결함의 수정 시차에 대해 종합적으로 고려해야만 한다.

결론적으로 'SOS! 죽어가는 프로젝트 살리기'에서 프로젝트 재난 여부 평가는 일정이 지연되면서 돈만 까먹는 순간으로 정의하는 것 같다.

그리고 그러한 순간을 파악할 수 있는 핵심적인 역할을 할 조직으로는 역시 테스팅 조직인 것 같다.

일정이 지연되고 예산이 늘어나는 현상을 대부분의 경우 개발팀의 관점으로 바라보지만 실제로 소프트웨어가 개발되는 중에 일정이 지연되고 예산이 늘어나는 많은 경우는 결함을 수정하지 못하는 경우라고 생각된다.

많은 경우 소프트웨어 개발에서 테스팅에 필요한 기간이나 예산에 소홀한 경향이 있다. 이런 경우 실제 프로젝트를 진행할 때 일정 지연과 예산 증가는 필수 불가결한 요소가 되어 버린다.

거기다가 심각한 결함이 해결되지 않거나 해결한 결함이 계속해서 또 다른 사이드 이펙트를 발생시킨다면 개발은 지연될 수 밖에 없다. 특히 이러한 일들이 프로젝트 후반부에 닥친다면 프로젝트는 점점 아수라장이 되어 버린다.

때문에 테스팅 활동은 개발 초기부터 수행되어야 할 필요성이 있는 것이다.


댓글

  1. 김주봉9/6/10 12:28

    감사히 잘 읽었습니다.

    답글삭제
  2. Anonymous26/7/10 15:08

    비밀 댓글 입니다.

    답글삭제
  3. @Anonymous - 2010/07/26 15:08
    고맙습니다.



    말씀해 주신 내용을 수정했습니다.

    답글삭제

댓글 쓰기

이 블로그의 인기 게시물

테슬라 구매 과정 후기

올해 제 인생 최대 지름이 될.. 테슬라 구매를 했습니다. 스파크만 13년을 몰았는데... 내자분이 애들도 컸고.. 이젠 스파크가 좁고 덥고 힘들다면서... 4월 6일 하남 테슬라 전시장에서 새로 나온 업그레이드 된 모델 3를 보고 4월 7일 덜컥 계약을 해버리게 되었습니다. 이후에 4월 11일에 보조금 설문 조사 문자를 받았습니다. 그리고 다시 기다림의 시간이.. 사실, 처음에 하얀색을 계약을 했다가 하얀색은 관리하기가 너무 힘들거 같아 4월 20일에 블루로 변경을 했었는데.. 다른 사람들은 하나 둘 차량을 인도 받는데.. 아무리 기다려도 인도 일정이 배정이 되지 않아서... 혹시나 하고 4월 25일 하얀색으로 변경하자마자 VIN이 배정되고 4월 29일 인도 일정 셀프 예약 문자가 왔습니다. 파란색이 정말 인기가 없었나 봅니다. (그런데, 소문에 듣자하니.. 파란색은 5월 첫주부터 인도 일정 셀프 예약 문자가 왔었다고 합니다.. 크흑.. ㅠㅠ) 덕분에 기다리고 기다리긴 했지만 아무 준비도 없던 와중에 이제부터 정말 실제 차량을 인도받기 위한 질주가 시작되었습니다. 4월 30일 셀프 인도 예약 완료 문자가 왔고 5월 2일 오전 10시 5분에 전기자동차 구매지원 자격 부여 문자가 오고 오후 3시 5분에 전기차 보조금 지원 대상자 확정 문자를 받았습니다. 사실 기다림의 시간이 제일 힘든건.. 보조금을 못받으면 어떻게 하지?라는 초조함이었습니다. 얼마 안되는 보조금이라고 하더라도 한푼이 아쉬운 입장에서는 정말 필요한 돈이었는데.. 다행히 큰 문제 없이 지원 대상자가 될 수 있었습니다. 그리고 5월 2일 오후 4시 12분에 차량 대금을 후다닥 결제를 진행했습니다. 유투브와 네이버 카페 등을 열심히 읽어두었지만 막상 진행해보니 다른 설명과는 좀 다르게 진행되어서 불안했었는데.. 큰 문제 없이 결제가 완려되었습니다. 이미 차량 인도는 5월 14일로 결정되었기 때문에 이제는 차량 등록에 대한 기다림이 시작되었습니다. 드디어 5월 8일 오후 2시 23분에 등록 대행 비용 및

테스트 케이스와 체크리스트의 차이가 뭐여?

테스트 실무에서 가장 혼돈되어 사용되는 용어 중 하나가 테스트 케이스와 체크리스트입니다. 많은 경우 체크리스트를 테스트 케이스로 사용하는 경우가 많습니다. 실제로 인터넷 커뮤니티나 블로그, ISO, IEEE, ISTQB 등등을 검색해보시면 테스트 케이스와 체크리스트에 대한 구분이 다 제각각입니다. 각각에 대한 정의가 다 제각각입니다. 사정이 이러하다보니 많은 사람들이 테스트 케이스와 체크리스트를 잘 구분하지 못하고 혼동해서 사용하는 경우가 많습니다. 물과 기름처럼 테스트 케이스와 체크리스트를 정확하게 구분할 수는 없겠지만.. ISTQB를 기준으로 말씀드리면 설계 기법을 통해 도출된 것은 테스트 케이스 그렇지 않은 것은 체크리스트라고 생각하시면 쉽습니다. 예를 들면 아래는 결정 테이블 테스팅 기법을 통해 도출된 테스트 케이스의 예제입니다. 실제 테스트 케이스는 위보다 복잡하겠지만 어쨌든 얘기하고 싶은 것은 위와 같이 설계 기법을 통해서 도출된 것은 테스트 케이스라고 합니다. 그런데 딱 보시면 아시겠지만 실제 테스트에서는 저 정도로는 테스트 커버리지를 충분히 만족했다고 얘기하기 힘듭니다. 그렇습니다. 어떤 분들은 테스트 케이스가 전가의 보도, 은 총알 쯤으로 생각하시는데.. 테스트 케이스는 일종의 마지노 선이라고 보시면 됩니다. 최소한 제품을 테스트 할때 이정도는 해줘야 한다는 최후의 방어선 정도라고 보시면 됩니다. 전쟁에서 최후의 방어선은 물러설 수 없는 마지막 보루입니다. 하지만 최후의 방어선만 지킨다고 전쟁에서 승리할 수는 없습니다. 프랑스는 마지노 요새만 믿고 있다가 독일에게 깔끔하게 발렸던 과거가 있지요. 전쟁에서 승리하려면 앞으로 나가야하고 치밀한 전략과 전술이 뒷받침 되어야 합니다. 더 높은 커버리지를 도달하고, 충분히 좋은 테스트가 수행되려면 테스트 케이스는 기본이 되어야 하고 거기에 더해서 체크리스트가 따라와 줘야 합니다. 이러한 체크리스트는 팀의 경험과 과거 프로젝트의 데이

비츠 스튜디오 버즈 플러스(투명) 사용 후기

제 내자분은 아직도 유선 이어폰을 쓰고 있습니다. 그게 좋다고 하시더라구요. 작년에 혹시나 해서 앤커 사운드코어 라이프Q35를 구매해서 조공해봤지만 결국은 안쓰시더라구요. 그래서 작년 추운 겨울에 제가 귀마게 용으로 잘 사용해왔는데.. 여름이 되니.. 와.. 이건 너무 덥고 무거워서 못쓰겠더라구요. 아이폰도 사고 애플 워치도 샀으니.. 다음은 에어팟인데.... 노이즈 캔슬링이 된다는 에어팟 프로 2는 ... 네... 너무 비싸더라구요... 이건 내자분께 얘기해봐야 결제가 될리가 없어서... 고민하고 있던차에.. 네.. 저는 봐버리고 말았습니다. 비츠 스튜디오 버즈 플러스의 그 영롱한 투명 버전의 자태를... 급 뽐뿌가 왔지만.. 여전히 20만원의 고가더라구요... 초기 출시 시기에 이벤트로 16만원 정도 했던거 같은데.. 그정도 가격이면 선 결제 후 보고 하면 될거 같은데.. 20만원은 너무 너무 비싸서 침만 삼키던 차에.. 당근에 15만원에 올라온 물건을 덥석 물었습니다. 애플 뮤직 6개월 프로모션 코드도 사용하지 않은 따끈따끈한 제품이라서 그냥 질렀습니다. 이상하게 인터넷이 실제 리뷰 게시물을 찾기 힘들어서.. 고민을 잠깐 했지만.. 그 투명하고 영롱한 자태에 그만... 어쨌든 구매하고 한달 정도 사용해본 후기를 간단하게 남겨봅니다. 1. 노이즈 캔슬링은 기대한 것과는 좀 다르고 앤커 사운드코어 라이프Q35 정도 되는 것 같습니다. 노이즈 캔슬링은 활성화하면 이게 소리를 막아준다기보다는 주변의 작은 소음만 제거해준다고 생각하시면 됩니다. 그러니까 옆에서 소근 거리는 소리나 선풍기 바람 소리 같은 작은 소리들이 사라지고 음악 같은 내가 듣고자 하는 소리가 굉장히 뚜렸해지만 지하철 안내 방송 같은 조금 큰 소리는 그냥 들립니다. 그래서 주변음 허용 모드를 켜보면 너무 시끄러워서 안쓰게 되더라구요. 전 에어팟 프로 2를 사용해 본적이 없어서 비교할 수는 없지만.. 아주 못쓸 정도의 성능은 아니라고 생각됩니다. 2. 저는 귓구멍이 너무 작아서 XS 사이즈의 이어팁