기본 콘텐츠로 건너뛰기

STAREAST 참관기 - Rapid Software Testing: Reporting

제가 두번째로 들은 세션은 보고서에 관련된 세션이었습니다.

처음에 세션을 신청하고 기대했던 것은 문서 양식이나 문서에 적을 내용에 대한 예시나 예제 같은 걸 기대했었는데...(우리 나라 대다수 사람들이 교육이나 세미나에서 항상 기대하는...)

세션을 듣고 나서 그런걸 기대한 제 자신이 조금은 부끄러워졌습니다.

그리고 RST를 잘하기 위해서는 글도 잘 써야 하는데.. 저는 작문 실력이 미천해서 참.. 답이 안보이는 그런 부끄러운 마음이 들었습니다. 작문 수업을 어디서 체계적으로 받든지 해야 할 것 같습니다.

이 보고서 세션에서 제가 가장 인상깊게 들은 내용들은 아래와 같습니다.

첫번째는 보고서는 신뢰할 수 있도록 작성되어야 한다는 것이었습니다.

너무나 당연한 이야기인데, 다른 관점에서 과연 내가 작성한 테스트 보고서 나아가서 내가 수행한 테스트를 과연 고객이 신뢰하는가? 신뢰를 얻기 위해 나는 무엇을 했는가?에 대해 많은 고민을 하도록 해주는 내용이었습니다.

우리는 일반적으로 신뢰받는 보고서를 작성하기 위해 숫자를 많이 사용하고 보고서 두께를 두텁게 만드는 경향이 있는데 이게 다 부질없는 짓이더군요.

그런다고 신뢰가 쌓이는 것은 아닌데 말이죠..

바크의 얘기로는 내 테스트가 내 보고서가 신뢰받지 못한다는 몇가지 징표가 있답니다.

첫번째가 의사결정권자가 자신들에게 불편한 정보는 들으려 하지 않는답니다.
두번째가 의사결정권자가 테스터들이 중요한 정보(surprising information)을 숨긴다고(mistaken) 가정한답니다.
세번째가 테스터들이 리스크(문제)에 대해서 과장한다고 가정한답니다.
네번째가 테스트 보고서를 세세하게 관리하려고 한답니다.

듣고 보니 과연 고객들이 나를 얼마나 신뢰하는지 돌아보게 되더군요.

닭이 먼저냐? 달걀이 먼저냐? 의 문제이긴 한데 신뢰를 잃으면 관리자는 테스트를 세세하게 정량화해서 관리하려고 하고 그렇게 되면 테스트는 더욱더 수렁으로 빠져들고 그렇게 되면 신뢰는 더욱더 떨어지고 그러면 더욱 꽉꽉 조여가며 관리하는 악순환이 된다는 얘기였습니다.

그래서 나중에 그렇다면 고객에게 이해관계자, 의사결정권자에게 과연 신뢰를 어떻게 얻을 수 있느냐에 대해 물어보았더니 테스터가 전문가가 되어야 한다는 아주 일반적인 얘기를 해주었습니다.

그러면서 여러 비유를 얘기했는데, 그 중에 가장 인상적인 비유가 의사들의 진단서에 대한 비유였습니다.

만약 제가 암에 걸려서 의사로부터 진단을 받았을 때 진단서에 과연 숫자가 얼마나 적혀 있느냐고 묻더군요.

그리고 그 결과에 대해 우리가 얼마나 의심하느냐고 묻더군요. (물론, 처음에 대다수의 사람들은 부정하기는 하지만 암이 아니라 감기나 그런 일반적인 병이라면 그냥 의사가 감기입니다.. 라고 했을 때 대부분은 그냥 믿어버리죠.. 약 먹어도 낫지 않는다면 의심하기는 하지만요..)

암진단서에는 만약 암이라면 치료법과 현재 상황에 대한 상세한 이야기가 적히고, 암이 아니라면 암이 발병할 가능성과 주의할 점이 적히고 의사도 우리에게 그런 이야기를 한다는 것입니다.

어떤 의사도 당신의 간 수치가 숫자로 얼마고, 확률적으로 이러 저러해서 당신은 암입니다.. 라고 얘기를 안해준다는 거죠.

결국 우리가 적는 보고서도 숫자나 도표보다는 이야기, 정확하게는 정황에 기반한 이야기를 담아야 한다고 얘기했습니다.

테스팅 보고서는 단순히 문서 양식에 따라 문서를 만드는 것이 아니라 이야기를 만드는 것이라고 하더군요.

두번째는 그런 의미에서 이렇게 얘기했습니다.

Never use a number out of context!!

숫자를 무조건 쓰지 말라는 것이 아니라 정황이 없는 단순히 숫자만 나열된 보고서를 쓰지 말라는 얘기였습니다.

예로 든 것이 테스트 케이스 숫자와 진척율이었습니다.

많은 조직에서 진척율을 테스트 케이스 수행율로 측정하는 경우가 많은데요..

테스트 케이스 갯수가 과연 무슨 의미냐는 것이었습니다.

그러니까 만약 제가 보안성 테스트를 수행하고 보고서에

몇일동안 몇개의 보안성 테스트 케이스를 수행하였고 그 결과 제품의 보안 설정에 문제 없음

이라고 적는다면 이것이 무슨 의미가 있느냐는 것이었습니다.

위와 같이 단순히 숫자로 된 메트릭을 사용하는 것보다는

예상되는 보안 문제가 이런 것이 있었고 그래서 우리는 이러한 테스트를 설계해서 이러한 데이터와 환경에서 테스트를 수행한 결과 제품에서 현재까지 장애가 발견되지는 않았다.

와 같이 적어야 한다는 것이었습니다.

세번째는 이와 관련해서 보고서에는 안전한 용어만 사용하라는 것이었습니다.

어떠한 것에도 100%라는 것은 있을 수 없으니 함부로 판정을 내리지 말라는 것이었습니다.

그 외에도 여러 얘기가 오고 갔지만 대부분 질문과 답변이었고 사실 그 질문과 답변에서도 좋은 얘기가 꽤 있었습니다.

하지만 대부분의 대화가 위의 내용에 기반한 내용들이었습니다.

그리고 세션 진행 중에 한국에 대한 이야기가 꽤 많이 언급되었는데요.. 전부 다 안좋은 사례였습니다.

이걸 기뻐해야하는 것인지 참..

그리고 마지막에 개인적으로 만나서 커버리지에 대한 이야기를 나누었던 것이 정말 좋았습니다.

제임스 바크는 결론적으로 테스트의 충분함에서 의미 있는 메트릭은 시간과 정황에 기반한 스토리라고 얘기해줬습니다.

그리고 한국은 나이, 학연 등에 따른 서열 문화가 가장 큰 문제라고 얘기해주더군요.

세션이 끝나고 개인적인 대화가 끝난 후 지금까지 여운이 가시지 않고 여러모로 많은 생각을 하게 해준 귀중한 세션이었습니다.

그러고보니 하다 더 있군요.

바크가 그러더군요.

보고서에서 의미없는 숫자를 제외하고 싶다면 두가지 방법이 있답니다.

하나는 관리자, 이해관계자, 의사결정권자들이 테스트를 공부해서 테스트를 잘 아는 것이랍니다. 테스트에 대한 이해가 높아져야 된다고 합니다.

만약 이게 여의치 않다면

다른 하나는 테스터가 진정한 전문가가 되어야 한답니다.

위에 나온 얘기의 반복인데 어쨌든 네 테스트 결과를 누군가 신뢰하지 않는다면 네가 문제라고 하더군요.

그러면서 네 테스트 결과에 대해 의문을 제기하는 사람에게 해결책을 물어보았을 때 상대가 해결책을 제시하지 못한다면 너에 대한 신뢰가 없는 것이라고 하더군요.

컨설턴트로서 여러가지를 생각하게 해주는 얘기였습니다.

나중에 이틀동안 점심에 같은 주제로 마이클 볼튼과 얘기할때도 거의 같은 얘기를 들려주었습니다.

테스터의 책임감, 신뢰가 매우 중요하다는 것을 깨다른 정말 좋은 경험이었습니다.

이렇게 STAREAST 첫날을 마무리했습니다.

댓글

이 블로그의 인기 게시물

프로젝트의 3요소 - Project Management

프로젝트는 예산, 일정, 품질 3가지 요소로 이루어진다고 볼 수 있다. 물론 위 3가지 요소 외에도 개발 범위, 팀워크, 자원 조달 등 여러가지 요소들도 고려해 볼 수 있지만, 가장 중요한 요소를 꼽는다면 예산, 일정, 품질일 것이다. 위에서 말한 여러가지 요소들은 프로젝트를 계획하여 완료하는 순간까지 복합적으로 작용해서 프로젝트의 성과를 제한하게 된다. 위의 요소들을 잘 통제한다면 성공적인 프로젝트가 되는 것이고 그렇지 못한다면 실패하거나 사라지게 될 것이다. 프로젝트 관리란 그런 면에서 제한된 자원을 가지고 목적한 바를 제한된 기간내에 최소의 비용으로 완수할 수 있도록 하는 것으로 정의할 수 있을 것이다. 이것을 도식화 한다면 아래와 같은 그림으로 표현할 수 있을 것이다. 위의 그림에 보는 것처럼 일정과 품질, 예산은 우리의 프로젝트가 목적하는 바를 달성하도록 하기 위해 상호 연관되어 작용하게 된다. 우리가 접하게 되는 많은 방법론들의 가정에는 위의 요소들을 어떻게 관리할 것인가에 대한 기본적인 가정들이 설정되어 있다. 조직에서 어떤 특정한 방법론을 도입한다는 것은 그런 가정에 동의하는 것이고 그러한 철학을 받아들인다는 것이기 때문에, 방법론을 채택하기 전에 조직의 근본 문제와 문화에 대해 점검해 볼 필요가 있다. 그리고 위의 요소들 외에 고려해 볼 사항은 위의 요소들은 변동성과 불확실성을 내포하고 있다는 것이다. 특히 비용과 예산, 목적은 프로젝트를 진행하면서 가변할 가능성이 매우 큰 요소들이다. 대부분의 방법론은 이러한 변동성에 대한 안전장치들을 가정해서 세워져 있다. 변동성의 측면에서 위의 요소들을 다시 살펴본다면 아래와 같이 가정할 수 있다. 위의 그림을 일부 해석해 본다면 일정이 늘어난다면 비용은 늘어나게 된다. 범위가 변경되어도 비용은 늘어나게 된다. 범위와 일정은 상호 의존적이 된다. 만약 위 3가지 요소의 변동성을 통제하지 못하게 된다면 프로젝트는...

일본 출장 갔다 온 후기

어쩌다 보니.. 우연치 않게.. 일본으로 2박 3일 짧은 출장을 다녀왔습니다. 태어나 처음으로 일본을 가보게 되었고.. 한 6년만에 나가본 외국이라서.. 난리도 아니었습니다. 출장 일정을 착각해서 1박 2일로 잡았던 항공편 일정 변경하고 숙박업소 찾느라.. 에휴.. 어쨌든 오랜만에 나가본 외국이고 처음 가본 일본이라 다녀오고 알게 된 몇가지 사실은 이미 인터넷을 찾아보면 쉽게 찾을 수 있지만 그래도 기록으로 남겨보고자 합니다. 1. 여행용 멀티 어뎁터를 더 이상 공항 로밍 센터(김포 공항 기준)에서 무료로 대여를 안해주더라구요. 로밍 요금을 가입해야 빌려준다는데.. 쩝.... 가장 가까운 다이소도 롯데몰까지 걸어가기에는 멀고.. 공항 편의점에서 파는데 정말 더럽게 비싸더라구요. 그러니 미리미리 다이소에서 구매하시거나 인터넷에서 싼걸로 장만하시는게 좋습니다. 일본에서도 편의점이나 100엔샵 뒤져보았지만 안팔더라구요. 돈키호테에서는 판다고 하는데.. 거기까지 가기에는 출장 일정 상 이동하기 쉽지 않아서.. 정말 무겁게 노트북 들고가서 켜보지도 못했습니다. 물론 웬만한 모텔급 이상 숙박업소에서는 프론트에 얘기하면 무료로 빌려주기는 하는데.. 낮에는 플러그가 없으니 충전이.. ㅠㅠ 그래서 만약에 한국에서 준비를 못해간걸 일본에서 깨달았다면.. 어떻게 하느냐... 이미 공항을 떠나셨다면 주변에서 BIC 이라는 전자 제품 파는 곳에서 구매하시면 되고..  하네다 공항 3번 터미널 출국장 위쪽 4F에 가시면 BIC 가게가 있고 거기서 구매하실 수 있습니다. 한 300엔 했던 걸로 기억합니다.  2. 애플 페이로 교통카드를 하시려면 현재로는 현대카드 마스터 카드가 있어야 합니다. 비자 카드로 충전이 안되어서 애플 페이로 교통카드를 만들 수 없습니다. 일본에서 지하철을 애플 페이로 타보고자 했던 저의 꿈은 파사삭... 스이카 앱으로는 비자 카드로 충전이 된다고 하는데.. 귀찮습니다. ㅠㅠ 한국에서 스이카 웰컴 카드를 구매해 가시는 것도 방법인데.. 이 카드는 ...

테슬라 구매 과정 후기

올해 제 인생 최대 지름이 될.. 테슬라 구매를 했습니다. 스파크만 13년을 몰았는데... 내자분이 애들도 컸고.. 이젠 스파크가 좁고 덥고 힘들다면서... 4월 6일 하남 테슬라 전시장에서 새로 나온 업그레이드 된 모델 3를 보고 4월 7일 덜컥 계약을 해버리게 되었습니다. 이후에 4월 11일에 보조금 설문 조사 문자를 받았습니다. 그리고 다시 기다림의 시간이.. 사실, 처음에 하얀색을 계약을 했다가 하얀색은 관리하기가 너무 힘들거 같아 4월 20일에 블루로 변경을 했었는데.. 다른 사람들은 하나 둘 차량을 인도 받는데.. 아무리 기다려도 인도 일정이 배정이 되지 않아서... 혹시나 하고 4월 25일 하얀색으로 변경하자마자 VIN이 배정되고 4월 29일 인도 일정 셀프 예약 문자가 왔습니다. 파란색이 정말 인기가 없었나 봅니다. (그런데, 소문에 듣자하니.. 파란색은 5월 첫주부터 인도 일정 셀프 예약 문자가 왔었다고 합니다.. 크흑.. ㅠㅠ) 덕분에 기다리고 기다리긴 했지만 아무 준비도 없던 와중에 이제부터 정말 실제 차량을 인도받기 위한 질주가 시작되었습니다. 4월 30일 셀프 인도 예약 완료 문자가 왔고 5월 2일 오전 10시 5분에 전기자동차 구매지원 자격 부여 문자가 오고 오후 3시 5분에 전기차 보조금 지원 대상자 확정 문자를 받았습니다. 사실 기다림의 시간이 제일 힘든건.. 보조금을 못받으면 어떻게 하지?라는 초조함이었습니다. 얼마 안되는 보조금이라고 하더라도 한푼이 아쉬운 입장에서는 정말 필요한 돈이었는데.. 다행히 큰 문제 없이 지원 대상자가 될 수 있었습니다. 그리고 5월 2일 오후 4시 12분에 차량 대금을 후다닥 결제를 진행했습니다. 유투브와 네이버 카페 등을 열심히 읽어두었지만 막상 진행해보니 다른 설명과는 좀 다르게 진행되어서 불안했었는데.. 큰 문제 없이 결제가 완려되었습니다. 이미 차량 인도는 5월 14일로 결정되었기 때문에 이제는 차량 등록에 대한 기다림이 시작되었습니다. 드디어 5월 8일 오후 2시 23분에 등록 대행 비용 및...