테스트 케이스 딜레마

소프트웨어 테스트를 하면서 제일 어려운 것이 무엇일까요?

이 질문보다 어리석은 질문이 또 있을까? 싶군요.

사실 테스트를 수행하는 것 자체가 어렵고 그와 관련된 모든 것들이 어느 하나 쉬운 것이 없는것이 현실입니다.

저는 그 중에서 테스트 케이스에 대한 이야기를 하려고 합니다.

소프트웨어 테스트는 계획 → 분석/설계 → 수행 → 리포팅 → 마감활동의 순서로 진행되지만 실상 현업에서 가장 주된 단계는 대체로 수행 쪽입니다.

그런데 테스트를 수행하려면 어디서부터 어디까지 어느 정도의 강도록 어쩐 절차를 거쳐서 수행을 해야하는지에 대한 정의가 필요합니다.

이 정의를 담고 있는 문서가 바로 테스트 케이스라고 할 수 있습니다.

그런데, 이 테스트 케이스는 만드는 것부터가 참 쉽지 않습니다.

우선 결함의 판단 기준이 되고 테스트 케이스 작성의 소스가 되는 테스트 베이시스가 없거나 취득하기 어려운 경우가 태반입니다.

다음으로는 테스트 케이스를 만드는 법을 모르는 경우가 부지기 수입니다. 물론 경험적으로 동등분할, 경계값 분석같은 간단한 기법들은 아시는 분들이 많지만 체계적으로 테스트 베이시스나 제품을 분석해서 테스트 케이스를 도출하는 설계 기법에 대해서 알고 있거나 현업에 적용하고 계신 분들이 중소기업을 기준으로 본다면 많지 않습니다.

그러다보니 어쩌다 만든 테스트 케이스도 도무지 확신이 없습니다.

그리고 이제 막 테스트 설계 기법을 배우신 분들이 가장 많이 하시는 실수 중 하나는 설계 기법을 은총알로 생각하신다는 점입니다.

그런데.. 사실 테스트 케이스로 테스트의 충분함을 논하는거 자체가 우스울 정도로 테스트 케이스를 잘 만들어서 수행하는것만으로 테스트가 충분하다고 말할 수가 없다는게 또 현실입니다.

그리고 테스트 케이스를 설계 기법을 적용하여 제대로 만들면 테스트 분량이 줄어드느냐? 절대 아니죠. 일반적으로 테스트 분량이 정말 눈물 쏙 나도록 늘어납니다.

그러다보니 현업에서는 그냥 옛날에 하던 테스트 방법이 더 좋았어.. 라며 테스트 설계 기법 적용을 포기하는 경우도 생깁니다.

또한 실무에서 테스트 케이스를 잘 안만들게 되는 경우는 유지보수가 정말 육두문자가 튀어나올정도로 쉽지 않다는 점입니다.

자.. 이쯤에서 제가 말하고자하는 테스트 케이스 딜레마는 아래와 같습니다.

1. 뽀대나게 테스트를 하려면 테스트 설계 기법으로 테스트 케이스를 만들고 싶은데.. 설계 기법이 먼가요?

2. 테스트는 얼마나 하면 충분한건가요? 이거 기준이 먼가요?

3. 설계 기법으로 테스트 케이스를 만들면 테스트 케이스가 줄어든다고 하던데.. 뻥이었나봐요.. 오히려 늘어나서 죽을거 같아요.

4. 테스트 케이스를 친절하게 상세하게 만들었더니 유지보수 하려니 미칠거 같아요.

5. 테스트 케이스를 안만들고 테스트 하려니 테스트에 확신은 안생기고 만들어서 하려니 시간이 허락하지를 않아요. 우리 회사는 분석이나 설계는 고려해주지 않아요.

6. 테스트 케이스 그거 꼭 만들어야 하나요? 그거 안만들고 테스트 해도 결함 잘 발견되고 제품 출시해서 큰 문제 없었는데요.

이외에도 현업에서는 테스트 케이스에 대한 여러 의견과 논란이 있습니다.

여러분은 이러한 문제들, 딜레마에 대해 어떤 해법을 가지고 계신가요?

저는 대체로 테스트 케이스를 문서화하지 않는 편입니다.

만들지 않는 것이 아니라 인터넷에 떠도는 그런 흔한 형식의 테스트 케이스를 잘 만들지 않습니다.

왜냐하면 사전 조건, 진행 절차, 기대결과, 실제 결과 등등 여러 필드로 구성된 엑셀이나 테스트 링크와 같은 도구를 사용하여 작성된 표 형식의 테스트 케이스는 대체로 보기가 힘들고 전체를 파악하기가 쉽지 않습니다.

유지보수도 어렵습니다.

그래서 저는 대체로 그림을 그리는 편입니다. 그리고 상세한 테스트 케이스는 결함보고서에 집어 넣습니다.

그리고 체크리스트를 많이 활용합니다.

벽 한쪽에 커다란 전지를 붙이고 전체 기능들과 테스트 데이터, 사전 조건등을 깨알같이 그려놓고 한쪽부터 차근 테스트를 하면서 지워나가는 방식을 선호합니다.

설계기법 추종론자들은 그래서 저를 별로 좋아하지 않습니다.

특히 문서화가 잘 되지 않아서 더 좋아하지 않습니다.

하지만 전 설계기법이나 문서화보다 더 중요한 것은 빠진것 없이 중요한 부분부터 꼼꼼하게 테스트를  하는 것이라고 생각합니다.

여러분은 테스트 케이스를 설계해서 만들고 계신가요?

만들고 계시다면 어떻게 만들고 계신가요?

유지보수는 어떻게 하고 계신가요?

테스트 케이스에 대한 경험만 공유하더라도 하루짜리 워크샵이나 컨퍼런스도 거뜬할 거라고 생각됩니다만.. 아직 그런 행사를 보지는 못했습니다.

여러분도 여러분들만의 경험을 공유해주시면 좀 더 좋은 세상이 될거라고 생각합니다.