탐색적 테스팅에서의 세션과 차터

탐색적 테스팅이라는 방법론이 국내에 소개되고 여기저기서 우리는 탐색적 테스팅을 한다고 말하는 조직이 우후죽순처럼 늘어나기 시작한지 몇년이 흘렀습니다.

하지만 제가 그동안 탐색적 테스팅을 한다고 말하는 조직을 관찰한 결과로는 제대로 하는 조직을 본적이 거의 없습니다.

그냥 수박 겉핥기처럼 자신들 입맛에 맞는 몇가지만 가져다가 흉내도 못내고 있다는것이 제 개인적인 소견입니다.

마치 우리는 애자일로 개발하고 있습니다.. 라고 얘기하는 것이 뻥인것처럼 말이죠.

탐색적 테스팅 보급의 최전선에 있는 제임스 바흐는 최근에는 탐색적 테스팅에 리스크 기반 테스팅과 휴리스틱 테스팅을 합쳐서 라피드 소프트웨어 테스팅이라는 개념으로 활동하시더군요.

저도 탐색적 테스팅을 잘한다고 절대 말할 수 없는 사람이지만 제가 제자리에 머물러 있는 동안 많은 것이 발전한 것 같습니다.

각설하고, 어제 오랜만에 세션과 차터의 개념을 좀 정확히 해보고자 제임스바흐와 트위터로 얘기를 나눈 부분을 공유하고자 합니다.

세션과 차터에 대하여 명확히 이해하지 못하시는 분들께 약간이나마 도움이 되셨으면 합니다.

저의 콩글리쉬는 대충 이해하시면 됩니다. 제임스 바흐도 제 콩글리쉬를 잘 이해하지 못해서 약간의 어려움이 있었습니다. ㅠㅠ

• @jamesmarcusbach Hi, James.I've got a question. I confuse the definition of a session.What is exact definition of session? posted at 17:07:03
• A session is an "uninterrupted" time-box within which we attempt to test. It has a charter and reviewable outcome.
• @jamesmarcusbach Have got a lots of charter in one session? posted at 17:07:09
• A session has one charter.
• @jamesmarcusbach Each testers assigned to each sessions? Multiple testers to perform multiple charts in just one sessions ? posted at 17:16:48
• There may be multiple testers on a session, but that counts as multiple sessions in the metrics.
• @jamesmarcusbach In this case, a few sessions? https://t.co/ZRl1M3xL posted at 17:41:11
• I don't know what that spreadsheet means, but I think you may not understand SBTM. Have you read the article about it?
• @jamesmarcusbach One day, one tester, test perform four times. For example, tester1 perform four times a day charter1. posted at 17:47:27
• @jamesmarcusbach Tester4 performed charter1 3 times, last time performed charter3. posted at 17:48:21
• Why would a tester perform a "charter" more than once?
• @jamesmarcusbach The result of risk analysis, high-risk cahrter performed several times. posted at 17:51:49
• Can you tell me what a charter is?
• @jamesmarcusbach I think the charter as a functional unit. posted at 17:55:03
• I'm still curious what you think a charter is.
• I don't know what that means.
• A charter is not a functional unit of anything. It's a description.
• A charter is a brief description (typically one or two sentences) of the mission for that test session.
• @jamesmarcusbach Google document has been modified.Purposes, including the scope of the tests known as the Charter. posted at 17:58:56
• Typically you would not plan to do a session with the same charter twice in a row, but it's possible you would.
• @jamesmarcusbach Sorry, one more thing. I check about sessions in this documents. Is ths correct? http://t.co/LnOi4Mnk posted at 18:33:43
• How long is a session?
• @jamesmarcusbach About 45min. posted at 18:53:07
• okay, that's about the minimum possible and still getting things done. I use 90 minutes.
• You haven't actually written charters, so I'm not really able to evaluate what you laid out.
• @jamesmarcusbach Thank a lot. Have a nice dream.. posted at 18:55:49

그리고 나중에 친절한 마이클 볼튼 아저씨가 아래와 같은 정보를 주었습니다.

• Try looking here: http://bit.ly/8WGHJi  and here: http://bit.ly/SHSBVd . Charters in session sheets in this: http://bit.ly/SHSYPr
• In this paper, you'll find several good examples of charters (page 5)

결론적으로 저는 이렇게 이해했습니다.

1. '1 세션 - 1차터' 가 원칙이다.
2. 필요하다면 '1세션 - 여러 차터' 도 가능하다. 단, 한 차터는 한 테스터가 진행한다. 하나의 세션에 여러 차터가 진행된다고 해서 차터별로 세션수를 카운트 하지는 않는다.
3. 세션이란 시간 기둥이다. 그러니까, 테스트를 시작하고 끝내는 하나의 시간 단위이다. 저는 일반적으로 하루에 3개의 세션을 진행합니다. 그리고 리스크가 높은 차터는 하나의 세션에 여러명의 테스터가 동시에 수행하고 리스크가 낮은 차터는 하나의 세션에 여러개의 차터를 여러명의 테스터가 수행합니다.
그런데, 이렇게 진행하게 되면 리스크가 낮은 차터들을 진행한 세션에서는 회고가 원할하게 진행하기 힘듭니다. 저는 그럴때는 과감하게 회고를 진행하지 않고 결함보고서 리뷰 미팅만 진행합니다.

내용은 위의 대화와 링크된 구글 문서를 보시면 이해하실 수 있으실 거라고 생각합니다. 관련해서 궁금하신 점은 저나 제임스 바흐에게 물어보시면 될 것 같습니다.