기본 콘텐츠로 건너뛰기

테스트 케이스 딜레마

소프트웨어 테스트를 하면서 제일 어려운 것이 무엇일까요?

이 질문보다 어리석은 질문이 또 있을까? 싶군요.

사실 테스트를 수행하는 것 자체가 어렵고 그와 관련된 모든 것들이 어느 하나 쉬운 것이 없는것이 현실입니다.

저는 그 중에서 테스트 케이스에 대한 이야기를 하려고 합니다.

소프트웨어 테스트는 계획 분석/설계 수행 리포팅 마감활동의 순서로 진행되지만 실상 현업에서 가장 주된 단계는 대체로 수행 쪽입니다.

그런데 테스트를 수행하려면 어디서부터 어디까지 어느 정도의 강도록 어쩐 절차를 거쳐서 수행을 해야하는지에 대한 정의가 필요합니다.

이 정의를 담고 있는 문서가 바로 테스트 케이스라고 할 수 있습니다.

그런데, 이 테스트 케이스는 만드는 것부터가 참 쉽지 않습니다.

우선 결함의 판단 기준이 되고 테스트 케이스 작성의 소스가 되는 테스트 베이시스가 없거나 취득하기 어려운 경우가 태반입니다.

다음으로는 테스트 케이스를 만드는 법을 모르는 경우가 부지기 수입니다. 물론 경험적으로 동등분할, 경계값 분석같은 간단한 기법들은 아시는 분들이 많지만 체계적으로 테스트 베이시스나 제품을 분석해서 테스트 케이스를 도출하는 설계 기법에 대해서 알고 있거나 현업에 적용하고 계신 분들이 중소기업을 기준으로 본다면 많지 않습니다.

그러다보니 어쩌다 만든 테스트 케이스도 도무지 확신이 없습니다.

그리고 이제 막 테스트 설계 기법을 배우신 분들이 가장 많이 하시는 실수 중 하나는 설계 기법을 은총알로 생각하신다는 점입니다.

그런데.. 사실 테스트 케이스로 테스트의 충분함을 논하는거 자체가 우스울 정도로 테스트 케이스를 잘 만들어서 수행하는것만으로 테스트가 충분하다고 말할 수가 없다는게 또 현실입니다.

그리고 테스트 케이스를 설계 기법을 적용하여 제대로 만들면 테스트 분량이 줄어드느냐? 절대 아니죠. 일반적으로 테스트 분량이 정말 눈물 쏙 나도록 늘어납니다.

그러다보니 현업에서는 그냥 옛날에 하던 테스트 방법이 더 좋았어.. 라며 테스트 설계 기법 적용을 포기하는 경우도 생깁니다.

또한 실무에서 테스트 케이스를 잘 안만들게 되는 경우는 유지보수가 정말 육두문자가 튀어나올정도로 쉽지 않다는 점입니다.

자.. 이쯤에서 제가 말하고자하는 테스트 케이스 딜레마는 아래와 같습니다.

1. 뽀대나게 테스트를 하려면 테스트 설계 기법으로 테스트 케이스를 만들고 싶은데.. 설계 기법이 먼가요?

2. 테스트는 얼마나 하면 충분한건가요? 이거 기준이 먼가요?

3. 설계 기법으로 테스트 케이스를 만들면 테스트 케이스가 줄어든다고 하던데.. 뻥이었나봐요.. 오히려 늘어나서 죽을거 같아요.

4. 테스트 케이스를 친절하게 상세하게 만들었더니 유지보수 하려니 미칠거 같아요.

5. 테스트 케이스를 안만들고 테스트 하려니 테스트에 확신은 안생기고 만들어서 하려니 시간이 허락하지를 않아요. 우리 회사는 분석이나 설계는 고려해주지 않아요.

6. 테스트 케이스 그거 꼭 만들어야 하나요? 그거 안만들고 테스트 해도 결함 잘 발견되고 제품 출시해서 큰 문제 없었는데요.

이외에도 현업에서는 테스트 케이스에 대한 여러 의견과 논란이 있습니다.

여러분은 이러한 문제들, 딜레마에 대해 어떤 해법을 가지고 계신가요?

저는 대체로 테스트 케이스를 문서화하지 않는 편입니다.

만들지 않는 것이 아니라 인터넷에 떠도는 그런 흔한 형식의 테스트 케이스를 잘 만들지 않습니다.

왜냐하면 사전 조건, 진행 절차, 기대결과, 실제 결과 등등 여러 필드로 구성된 엑셀이나 테스트 링크와 같은 도구를 사용하여 작성된 표 형식의 테스트 케이스는 대체로 보기가 힘들고 전체를 파악하기가 쉽지 않습니다.

유지보수도 어렵습니다.

그래서 저는 대체로 그림을 그리는 편입니다. 그리고 상세한 테스트 케이스는 결함보고서에 집어 넣습니다.

그리고 체크리스트를 많이 활용합니다.

벽 한쪽에 커다란 전지를 붙이고 전체 기능들과 테스트 데이터, 사전 조건등을 깨알같이 그려놓고 한쪽부터 차근 테스트를 하면서 지워나가는 방식을 선호합니다.

설계기법 추종론자들은 그래서 저를 별로 좋아하지 않습니다.

특히 문서화가 잘 되지 않아서 더 좋아하지 않습니다.

하지만 전 설계기법이나 문서화보다 더 중요한 것은 빠진것 없이 중요한 부분부터 꼼꼼하게 테스트를  하는 것이라고 생각합니다.

여러분은 테스트 케이스를 설계해서 만들고 계신가요?

만들고 계시다면 어떻게 만들고 계신가요?

유지보수는 어떻게 하고 계신가요?

테스트 케이스에 대한 경험만 공유하더라도 하루짜리 워크샵이나 컨퍼런스도 거뜬할 거라고 생각됩니다만.. 아직 그런 행사를 보지는 못했습니다.

여러분도 여러분들만의 경험을 공유해주시면 좀 더 좋은 세상이 될거라고 생각합니다.

댓글

이 블로그의 인기 게시물

프로젝트의 3요소 - Project Management

프로젝트는 예산, 일정, 품질 3가지 요소로 이루어진다고 볼 수 있다. 물론 위 3가지 요소 외에도 개발 범위, 팀워크, 자원 조달 등 여러가지 요소들도 고려해 볼 수 있지만, 가장 중요한 요소를 꼽는다면 예산, 일정, 품질일 것이다. 위에서 말한 여러가지 요소들은 프로젝트를 계획하여 완료하는 순간까지 복합적으로 작용해서 프로젝트의 성과를 제한하게 된다. 위의 요소들을 잘 통제한다면 성공적인 프로젝트가 되는 것이고 그렇지 못한다면 실패하거나 사라지게 될 것이다. 프로젝트 관리란 그런 면에서 제한된 자원을 가지고 목적한 바를 제한된 기간내에 최소의 비용으로 완수할 수 있도록 하는 것으로 정의할 수 있을 것이다. 이것을 도식화 한다면 아래와 같은 그림으로 표현할 수 있을 것이다. 위의 그림에 보는 것처럼 일정과 품질, 예산은 우리의 프로젝트가 목적하는 바를 달성하도록 하기 위해 상호 연관되어 작용하게 된다. 우리가 접하게 되는 많은 방법론들의 가정에는 위의 요소들을 어떻게 관리할 것인가에 대한 기본적인 가정들이 설정되어 있다. 조직에서 어떤 특정한 방법론을 도입한다는 것은 그런 가정에 동의하는 것이고 그러한 철학을 받아들인다는 것이기 때문에, 방법론을 채택하기 전에 조직의 근본 문제와 문화에 대해 점검해 볼 필요가 있다. 그리고 위의 요소들 외에 고려해 볼 사항은 위의 요소들은 변동성과 불확실성을 내포하고 있다는 것이다. 특히 비용과 예산, 목적은 프로젝트를 진행하면서 가변할 가능성이 매우 큰 요소들이다. 대부분의 방법론은 이러한 변동성에 대한 안전장치들을 가정해서 세워져 있다. 변동성의 측면에서 위의 요소들을 다시 살펴본다면 아래와 같이 가정할 수 있다. 위의 그림을 일부 해석해 본다면 일정이 늘어난다면 비용은 늘어나게 된다. 범위가 변경되어도 비용은 늘어나게 된다. 범위와 일정은 상호 의존적이 된다. 만약 위 3가지 요소의 변동성을 통제하지 못하게 된다면 프로젝트는

코디에서 클라우드 저장소 연동해서 비디오 라이브러리 생성하기

저희 집에는 TV가 없습니다. 모니터만 있지요.. 몇년 전까지만 해도 IPTV를 이용했지만.. 자주 보는 것도 아니고.. 비용도 비용인지라.. 그냥 TV를 없앴습니다. 사실은 기레기 시키들 보기 싫어서 KBS 수신료 내는거 싫어서 그냥 TV를 없애버렸습니다. 대신에 스마트폰에서 OTT 서비스 실행해서 크롬캐스트로 전송해서 보고 싶은 프로그램만 봤었는데 슬슬 불편해서 고민고민하다 그냥 질렀습니다. TV 보는 것도 불편했지만 다른 이유는 PC에 저장된 동영상을 보고 싶을 때 매번 PC를 켜야하는 것도 불편하더라고요. 저희 집 컴이 이제 10년이 넘어서.. 부팅 부터가.. ㅠㅠ 그래서 오피스 365 월결제를 끊으면 원드라이브 1테라를 사용할 수 있습니다. 이 원드라이브에 제가 가지고 있는 영화 200여편을 몽땅 올렸는데.. 원드라이브에 있는 영화를 스마트폰에서 실행해서 크롬캐스트로 전송하는 것도 불편하더군요. 어쨌든 이런 저런 이유로 너무 불편해서.. 지금은 사라진 TELEBEE 의 미박스 3에 글로벌 롬을 올려서 싸게 판다는 정보를 입수하고 그냥 질렀습니다. 싸다고 하는데 싼지는 모르겠지만.. 크롬캐스트 울트라보다는 싸더라구요. 넷플릭스를 이용하지는 않지만 조건만 맞으면 4K도 재생되고 국내 AS도 된다고 해서 질렀습니다. 관련 정보는 네이버 카페 [Eddy Lab] UHD 미니 PC 포럼 에서 보실 수 있고, 지금도 구매가 가능한지는 모르겠지만 MiBox3-EddyLab 에디션 안드로이드 셋탑 에서 구매하실 수 있습니다. 안드로이드 셋탑은 질렀는데.. 국내 IPTV처럼 친절하게 설정되어 있는 셋탑이 아닌지라 처음 켜보고 뭐부터 해야할지 참 막막하더라구요. 우선은 중요한건 TV를 편하게 보고 싶은것과 원드라이브의 영화를 편하게 감상하는 것이기 때문에 여기에 중점을 두고 네이버 카페와 구글을 하염없이 떠돌아다녀보니.. 코디라고 하는 앱이 가장 정보가 많다는 것을 알게되었습니다. 그래서 우선 무작정 코디를 설치했습니다. 코디

스위치봇 & 스위치봇 허브 미니 간단 사용기

제 블로그에 예전부터 오셨던 분들은 제가 사브작 사브작 홈 오토메이션을 어설프게 해온 것을 아실겁니다. 작년부터 너무 하고 싶었던 도어락 자동화에 도전해봤습니다. 우리 나라에 자체 서비스로 앱을 통해 도어락을 제어하는 제품은 꽤 있습니다. 게이트맨도 있고, 키위도 있고, 삼성도 있죠.. 그런데.. 전 그것보다 구글 어시스턴트를 지원하는 도어락이 필요했는데... 그런건 안만들더라구요.. 꼭 필요한건 아니지만 웬지 해보고 싶은데... 언제 제품이 출시될지도 몰라서.. 가능한 방법을 찾아보다가.. 스위치봇이라는 제품으로 도어락을 버튼을 꾹 누르는 방법을 찾아서 스위치봇이 직구가 아닌 국내에 출시되었길래 낼름 구매해서 도전해봤습니다. 스위치봇 제품에 대한 내용이나 구매는  https://www.wakers.shop/  에서 하시면 됩니다. 저는 스위치봇에 스위치봇을 구글 홈에 연결시키기 위해 스위치봇 허브 미니까지 구매했습니다. 스위치봇 허브 미니가 없으면 스위치봇을 외부에서 제어하거나 구글 홈에 연결할 수 없습니다. 그리고 제가 스위치봇 허브 미니를 구매한 이유 중 다른 하나는 이 제품이 RF 리모컨 기능이 지원됩니다. 집에 있는 모니터를 제어할 필요가 있어서 이참 저참으로 같이 구매했습니다. 제품 등록은 어렵지 않습니다. 여기서는 스위치봇 허브 미니에 RF 리모컨을 등록해서 구글 어시스턴트로 제어하는 방법을 소개해드릴까 합니다. 제가 스위치봇 허브 미니로 모니터를 제어하고 싶었던 부분은 컴퓨터에서 크롬캐스트로 외부 입력을 때에 따라 바꿔야 하는데.. 그때마다 리모컨을 찾는게 너무 불편해서였습니다.  어차피 리모컨은 외부 입력 바꿀 때 빼고는 쓸 일도 없는지라.. 매번 어디로 사라지면 정말 불편해서 이걸 자동화 하고 싶었습니다. 그런데, 처음에 스위치봇 허브 미니를 등록하고 여기에 리모컨을 등록하니.. 구글 홈에 등록된 리모컨이 자동으로 등록이 됩니다. 그런데, 등록된걸 확인해보니 전원 On/Off만 제어되는 것이고, 나머지 버튼은 구글 홈으로 제어가 안되어서..