기본 콘텐츠로 건너뛰기

테스트 케이스와 체크리스트의 차이가 뭐여?

테스트 실무에서 가장 혼돈되어 사용되는 용어 중 하나가 테스트 케이스와 체크리스트입니다.

많은 경우 체크리스트를 테스트 케이스로 사용하는 경우가 많습니다.

실제로 인터넷 커뮤니티나 블로그, ISO, IEEE, ISTQB 등등을 검색해보시면 테스트 케이스와 체크리스트에 대한 구분이 다 제각각입니다.

각각에 대한 정의가 다 제각각입니다.

사정이 이러하다보니 많은 사람들이 테스트 케이스와 체크리스트를 잘 구분하지 못하고 혼동해서 사용하는 경우가 많습니다.

물과 기름처럼 테스트 케이스와 체크리스트를 정확하게 구분할 수는 없겠지만..

ISTQB를 기준으로 말씀드리면 설계 기법을 통해 도출된 것은 테스트 케이스 그렇지 않은 것은 체크리스트라고 생각하시면 쉽습니다.

예를 들면 아래는 결정 테이블 테스팅 기법을 통해 도출된 테스트 케이스의 예제입니다.



실제 테스트 케이스는 위보다 복잡하겠지만 어쨌든 얘기하고 싶은 것은 위와 같이 설계 기법을 통해서 도출된 것은 테스트 케이스라고 합니다.

그런데 딱 보시면 아시겠지만 실제 테스트에서는 저 정도로는 테스트 커버리지를 충분히 만족했다고 얘기하기 힘듭니다.

그렇습니다.

어떤 분들은 테스트 케이스가 전가의 보도, 은 총알 쯤으로 생각하시는데..

테스트 케이스는 일종의 마지노 선이라고 보시면 됩니다.

최소한 제품을 테스트 할때 이정도는 해줘야 한다는 최후의 방어선 정도라고 보시면 됩니다.

전쟁에서 최후의 방어선은 물러설 수 없는 마지막 보루입니다.

하지만 최후의 방어선만 지킨다고 전쟁에서 승리할 수는 없습니다.

프랑스는 마지노 요새만 믿고 있다가 독일에게 깔끔하게 발렸던 과거가 있지요.

전쟁에서 승리하려면 앞으로 나가야하고 치밀한 전략과 전술이 뒷받침 되어야 합니다.

더 높은 커버리지를 도달하고, 충분히 좋은 테스트가 수행되려면 테스트 케이스는 기본이 되어야 하고 거기에 더해서 체크리스트가 따라와 줘야 합니다.

이러한 체크리스트는 팀의 경험과 과거 프로젝트의 데이터를 통해서 도출되어야 합니다.

위와 같은 테스트 케이스에 추가적으로 체크리스트를 붙인다면 어떤것이 있을 수 있을까요?

예를 들면, 이런것이 있겠죠.

1. 캐릭터가 정확히 표현되고 이펙트가 정확히 출력되는지 확인한다.
2. 맵이 깨지는 곳이 있는지 확인한다.
3. 이동할 수 없는 곳에 캐릭터가 이동하는지 확인한다.

등등등..

이러한 체크리스트의 범위는 테스트의 목적 및 목표, 범위에 따라서 적절하게 조정할 수 있을 겁니다.

실제 실무에서는 이러한 많은 고민들에 따라 테스트 계획이 수립되어야겠지요.

이제, 테스트 케이스와 체크리스트가 조금은 구분이 되시나요?

제 경험상 아직도 많은 곳에서는 체크리스트를 테스트 케이스로 부르는 경우가 많습니다.

하지만 체크리스트는 커버리지를 보장하는 측면에서 매우 취약합니다.

그나마 상태가 좋은 체크리스트는 제대로 된 사용자 설명서가 있다는 가정에서 사용자 설명서를 기반으로 만들어진 체크리스트라고 할 수 있지만 그것도 그다지 썩 뛰어나지는 않습니다.

더 좋은 테스트를 위해서 테스터 여러분들이 결함이 집중되는 곳을 논리적으로 탐구하고 더 나은 설계기법을 개발하는 노력을 아낌없이 경주하셨으면 하는 바램입니다.

저 같은 경우는 실무에서 체크리스트를 작성할 때 간단한 설계기법을 적용하는 경우가 많습니다.

사실 테스트 케이스가 무엇이냐? 체크리스가 무엇이냐? 는 중요하지 않다고 생각합니다. 실제로 ISTQB에서는 체크리스트를 경험기반 기법의 하나로 다루고 있습니다.

정작 중요한 것은 테스트 커버리지에 대하여 고민하고 충분히 좋은 테스트를 수행하기 위해 노력하는 것이라고 생각합니다. 체크리스트와 테스트 케이스는 그러한 노력에 대한 하나의 도구일 뿐입니다.

댓글

  1. 감사합니다. 테스트 케이스와 체크리스트의 차이점에 대해 명쾌하게 알게 되었습니다!

    답글삭제

댓글 쓰기

이 블로그의 인기 게시물

스위치봇 & 스위치봇 허브 미니 간단 사용기

제 블로그에 예전부터 오셨던 분들은 제가 사브작 사브작 홈 오토메이션을 어설프게 해온 것을 아실겁니다. 작년부터 너무 하고 싶었던 도어락 자동화에 도전해봤습니다. 우리 나라에 자체 서비스로 앱을 통해 도어락을 제어하는 제품은 꽤 있습니다. 게이트맨도 있고, 키위도 있고, 삼성도 있죠.. 그런데.. 전 그것보다 구글 어시스턴트를 지원하는 도어락이 필요했는데... 그런건 안만들더라구요.. 꼭 필요한건 아니지만 웬지 해보고 싶은데... 언제 제품이 출시될지도 몰라서.. 가능한 방법을 찾아보다가.. 스위치봇이라는 제품으로 도어락을 버튼을 꾹 누르는 방법을 찾아서 스위치봇이 직구가 아닌 국내에 출시되었길래 낼름 구매해서 도전해봤습니다. 스위치봇 제품에 대한 내용이나 구매는  https://www.wakers.shop/  에서 하시면 됩니다. 저는 스위치봇에 스위치봇을 구글 홈에 연결시키기 위해 스위치봇 허브 미니까지 구매했습니다. 스위치봇 허브 미니가 없으면 스위치봇을 외부에서 제어하거나 구글 홈에 연결할 수 없습니다. 그리고 제가 스위치봇 허브 미니를 구매한 이유 중 다른 하나는 이 제품이 RF 리모컨 기능이 지원됩니다. 집에 있는 모니터를 제어할 필요가 있어서 이참 저참으로 같이 구매했습니다. 제품 등록은 어렵지 않습니다. 여기서는 스위치봇 허브 미니에 RF 리모컨을 등록해서 구글 어시스턴트로 제어하는 방법을 소개해드릴까 합니다. 제가 스위치봇 허브 미니로 모니터를 제어하고 싶었던 부분은 컴퓨터에서 크롬캐스트로 외부 입력을 때에 따라 바꿔야 하는데.. 그때마다 리모컨을 찾는게 너무 불편해서였습니다.  어차피 리모컨은 외부 입력 바꿀 때 빼고는 쓸 일도 없는지라.. 매번 어디로 사라지면 정말 불편해서 이걸 자동화 하고 싶었습니다. 그런데, 처음에 스위치봇 허브 미니를 등록하고 여기에 리모컨을 등록하니.. 구글 홈에 등록된 리모컨이 자동으로 등록이 됩니다. 그런데, 등록된걸 확인해보니 전원 On/Off만 제어되는 것이고, 나머지 버튼은 구글 홈으로 제어가 안되어서..

안드로이드 오토에서 사용할 수 있는 지도 3종 초간단 리뷰

국내에 카카오 네비게이션과 함께 안드로이드 오토가 서비스 된지도 많은 시간이 지났습니다. 카카오 네비게이션 서비스가 2018년 7월 12일이었네요. ( https://murianwind.blogspot.com/2018/08/blog-post.html ) 시간이 흘러 흘러.. 하나의 국가에 하나의 네비게이션만 가능하다더니.. 작년 12월에 티맵이 베타 서비스를 시작하더니.. 얼마전에는 아이나비 에어도 베타 서비스를 시작했습니다. 그래서 현재 국내에서 안드로이드 오토에 3종류의 네비게이션을 사용할 수 있습니다. 사용자 입장에서는 선택의 폭이 넓어져서 좋은거죠.. 3가지 네비를 모두 사용해 본 간단한 후기를 남겨볼까 합니다. 1. 카카오 네비 장점:  차량 화면에서 지도 확대, 축소가 됩니다.  가장 먼저 서비스를 시작해서 가장 안정적이고 무난합니다. 다양한 안내 음성을 들을 수 있지만, 써본적은 없네요. 단점:  경로 안내 도중 주행 안내선에 현재 도로의 교통량이 표시되지 않습니다. 지도를 축소해야 보입니다. ㅡ.ㅡ 2. 티맵 장점:  미래의 특정 날짜의 이동 소요시간을 확인할 수 있습니다.  마일리지로 보험 할인 같은것을 받아볼 수 있습니다. 자신의 운전 습관, 경로 등을 자세하게 확인해볼 수 있습니다. 주행 안내선에 현재 도로 교통량이 표시됩니다. 단점:  광고.. 광고.. 광고..  그리고 안전 운전으로는 마일리지가 적립되지 않습니다. 경로 안내를 받아도 마일리지가 심심하면 적립되지 않습니다. 도착지에 도착했을 때 경로 안내 종료가 제대로 되지 않을때가 많습니다.  차량 화면에서 지도 확대, 축소가 지원되지 않습니다. 3. 아이나비 에어 장점:  심플합니다. 카툰 네비는 좀 특이하긴 합니다. 단점: 안내음성이 딸랑 2개 지도 정보가 오류가 많고 업데이트가 안되어 있습니다. 앱 아이콘이 안이쁩니다. 익스트림 에어 3D 지도 선택 시 경로가 제대로 보이지 않습니다. 이 지도 해상도가 생각보다 높지 않아서 지도에서 길이 제대로 보이지를 않습니다. 마일리지가 있긴

샤오미 손세정기 2세대와 TCO 쓰윽비누 고급형 거품비누디스펜서 비교하기

옛날 옛날 한 옛날 2018년 11월에 그 때 당시 유행했던 샤오미 손세정기 2세대를 2대를 샀었습니다. 그 때 샀던 손세정기 2대 중 1대는 1년도 채 되지 않아서 사망해버리고... 남은 1대로 2021년 7월까지 썼으니 얼추 2년 넘게 썼습니다. 7월에 고장나서 눈물을 머금고 버릴 때는 금방 고장나서 버린 것 같았는데.. 다시 구매 내역을 뒤져보니 정말 오래도 사용했네요. 안써본 사람은 있어도 한번 써본 사람은 이 디스펜서를 계속 쓰게 됩니다. 2년동안 써보 샤오미 손세정기는 우선 디자인이 너무 이쁩니다. 하지만 방수 기능이 시원치 않아서 늘 조마조마했습니다. 전용 세정액을 써야하는 것도 좀 불편했습니다. 리필 하는 방법이 있긴 하지만.. 솔직히 쉽지 않아서 늘 전용 세정액을 구매해서 사용했었습니다. 하지만 고장이 나고나서 리필을 쉽게 할 수 있고 방수 기능도 되는 디스펜서가 필요해서 이것 저것 검색하다가 TCO 쓰윽비누 고급형 거품비누디스펜서(이하 '쓰윽')을 구매하게 되었습니다. 그런데, 2달도 안되어서 모터가 나가버렸습니다. 참, 어이가 없네요.. 뭐.. 이런... 중국 제품보다 내구성이 떨어지네요.. 겨우 2달 써봤지만... 간단하게 리뷰를 남겨볼까 합니다. 우선 디자인으로 따지면 샤오미와 비교해서 못생겨도 너무 못생겼습니다. 대충 이렇게 생겼는데.. 큼.. 전원 버튼은 샤오미는 터치라면 이건 버튼으로 되어 있고 방수를 위해서인지 위에 실링이 붙어 있습니다. 보기에는 별로지만 그래도 없는 것보다 나은 거라고 생각했는데... 샤오미는 거품 양을 조절할 수 없지만, 쓰윽은 3단계로 조절할 수 있습니다. 그런데, 조절은 할 수 있는데.. 나오는 거품 양은 그야말로 랜덤입니다. 센서 정밀도가 좀 문제인지.. 제 생각에는 1번이 아니라 2번이나 3번으로 인식해서 거품이 많이 나오는 것 같았습니다. 샤오미는 AA 건전지를 4개 사용하고, 쓰윽은 AAA 건전지 4개를 사용합니다. 그런데, 샤오미는 건전지로 전원이 겨우 2주 정도 유지했는데.. 쓰윽