기본 콘텐츠로 건너뛰기

STAREAST 참관기 - Rapid Software Testing: Reporting

제가 두번째로 들은 세션은 보고서에 관련된 세션이었습니다.

처음에 세션을 신청하고 기대했던 것은 문서 양식이나 문서에 적을 내용에 대한 예시나 예제 같은 걸 기대했었는데...(우리 나라 대다수 사람들이 교육이나 세미나에서 항상 기대하는...)

세션을 듣고 나서 그런걸 기대한 제 자신이 조금은 부끄러워졌습니다.

그리고 RST를 잘하기 위해서는 글도 잘 써야 하는데.. 저는 작문 실력이 미천해서 참.. 답이 안보이는 그런 부끄러운 마음이 들었습니다. 작문 수업을 어디서 체계적으로 받든지 해야 할 것 같습니다.

이 보고서 세션에서 제가 가장 인상깊게 들은 내용들은 아래와 같습니다.

첫번째는 보고서는 신뢰할 수 있도록 작성되어야 한다는 것이었습니다.

너무나 당연한 이야기인데, 다른 관점에서 과연 내가 작성한 테스트 보고서 나아가서 내가 수행한 테스트를 과연 고객이 신뢰하는가? 신뢰를 얻기 위해 나는 무엇을 했는가?에 대해 많은 고민을 하도록 해주는 내용이었습니다.

우리는 일반적으로 신뢰받는 보고서를 작성하기 위해 숫자를 많이 사용하고 보고서 두께를 두텁게 만드는 경향이 있는데 이게 다 부질없는 짓이더군요.

그런다고 신뢰가 쌓이는 것은 아닌데 말이죠..

바크의 얘기로는 내 테스트가 내 보고서가 신뢰받지 못한다는 몇가지 징표가 있답니다.

첫번째가 의사결정권자가 자신들에게 불편한 정보는 들으려 하지 않는답니다.
두번째가 의사결정권자가 테스터들이 중요한 정보(surprising information)을 숨긴다고(mistaken) 가정한답니다.
세번째가 테스터들이 리스크(문제)에 대해서 과장한다고 가정한답니다.
네번째가 테스트 보고서를 세세하게 관리하려고 한답니다.

듣고 보니 과연 고객들이 나를 얼마나 신뢰하는지 돌아보게 되더군요.

닭이 먼저냐? 달걀이 먼저냐? 의 문제이긴 한데 신뢰를 잃으면 관리자는 테스트를 세세하게 정량화해서 관리하려고 하고 그렇게 되면 테스트는 더욱더 수렁으로 빠져들고 그렇게 되면 신뢰는 더욱더 떨어지고 그러면 더욱 꽉꽉 조여가며 관리하는 악순환이 된다는 얘기였습니다.

그래서 나중에 그렇다면 고객에게 이해관계자, 의사결정권자에게 과연 신뢰를 어떻게 얻을 수 있느냐에 대해 물어보았더니 테스터가 전문가가 되어야 한다는 아주 일반적인 얘기를 해주었습니다.

그러면서 여러 비유를 얘기했는데, 그 중에 가장 인상적인 비유가 의사들의 진단서에 대한 비유였습니다.

만약 제가 암에 걸려서 의사로부터 진단을 받았을 때 진단서에 과연 숫자가 얼마나 적혀 있느냐고 묻더군요.

그리고 그 결과에 대해 우리가 얼마나 의심하느냐고 묻더군요. (물론, 처음에 대다수의 사람들은 부정하기는 하지만 암이 아니라 감기나 그런 일반적인 병이라면 그냥 의사가 감기입니다.. 라고 했을 때 대부분은 그냥 믿어버리죠.. 약 먹어도 낫지 않는다면 의심하기는 하지만요..)

암진단서에는 만약 암이라면 치료법과 현재 상황에 대한 상세한 이야기가 적히고, 암이 아니라면 암이 발병할 가능성과 주의할 점이 적히고 의사도 우리에게 그런 이야기를 한다는 것입니다.

어떤 의사도 당신의 간 수치가 숫자로 얼마고, 확률적으로 이러 저러해서 당신은 암입니다.. 라고 얘기를 안해준다는 거죠.

결국 우리가 적는 보고서도 숫자나 도표보다는 이야기, 정확하게는 정황에 기반한 이야기를 담아야 한다고 얘기했습니다.

테스팅 보고서는 단순히 문서 양식에 따라 문서를 만드는 것이 아니라 이야기를 만드는 것이라고 하더군요.

두번째는 그런 의미에서 이렇게 얘기했습니다.

Never use a number out of context!!

숫자를 무조건 쓰지 말라는 것이 아니라 정황이 없는 단순히 숫자만 나열된 보고서를 쓰지 말라는 얘기였습니다.

예로 든 것이 테스트 케이스 숫자와 진척율이었습니다.

많은 조직에서 진척율을 테스트 케이스 수행율로 측정하는 경우가 많은데요..

테스트 케이스 갯수가 과연 무슨 의미냐는 것이었습니다.

그러니까 만약 제가 보안성 테스트를 수행하고 보고서에

몇일동안 몇개의 보안성 테스트 케이스를 수행하였고 그 결과 제품의 보안 설정에 문제 없음

이라고 적는다면 이것이 무슨 의미가 있느냐는 것이었습니다.

위와 같이 단순히 숫자로 된 메트릭을 사용하는 것보다는

예상되는 보안 문제가 이런 것이 있었고 그래서 우리는 이러한 테스트를 설계해서 이러한 데이터와 환경에서 테스트를 수행한 결과 제품에서 현재까지 장애가 발견되지는 않았다.

와 같이 적어야 한다는 것이었습니다.

세번째는 이와 관련해서 보고서에는 안전한 용어만 사용하라는 것이었습니다.

어떠한 것에도 100%라는 것은 있을 수 없으니 함부로 판정을 내리지 말라는 것이었습니다.

그 외에도 여러 얘기가 오고 갔지만 대부분 질문과 답변이었고 사실 그 질문과 답변에서도 좋은 얘기가 꽤 있었습니다.

하지만 대부분의 대화가 위의 내용에 기반한 내용들이었습니다.

그리고 세션 진행 중에 한국에 대한 이야기가 꽤 많이 언급되었는데요.. 전부 다 안좋은 사례였습니다.

이걸 기뻐해야하는 것인지 참..

그리고 마지막에 개인적으로 만나서 커버리지에 대한 이야기를 나누었던 것이 정말 좋았습니다.

제임스 바크는 결론적으로 테스트의 충분함에서 의미 있는 메트릭은 시간과 정황에 기반한 스토리라고 얘기해줬습니다.

그리고 한국은 나이, 학연 등에 따른 서열 문화가 가장 큰 문제라고 얘기해주더군요.

세션이 끝나고 개인적인 대화가 끝난 후 지금까지 여운이 가시지 않고 여러모로 많은 생각을 하게 해준 귀중한 세션이었습니다.

그러고보니 하다 더 있군요.

바크가 그러더군요.

보고서에서 의미없는 숫자를 제외하고 싶다면 두가지 방법이 있답니다.

하나는 관리자, 이해관계자, 의사결정권자들이 테스트를 공부해서 테스트를 잘 아는 것이랍니다. 테스트에 대한 이해가 높아져야 된다고 합니다.

만약 이게 여의치 않다면

다른 하나는 테스터가 진정한 전문가가 되어야 한답니다.

위에 나온 얘기의 반복인데 어쨌든 네 테스트 결과를 누군가 신뢰하지 않는다면 네가 문제라고 하더군요.

그러면서 네 테스트 결과에 대해 의문을 제기하는 사람에게 해결책을 물어보았을 때 상대가 해결책을 제시하지 못한다면 너에 대한 신뢰가 없는 것이라고 하더군요.

컨설턴트로서 여러가지를 생각하게 해주는 얘기였습니다.

나중에 이틀동안 점심에 같은 주제로 마이클 볼튼과 얘기할때도 거의 같은 얘기를 들려주었습니다.

테스터의 책임감, 신뢰가 매우 중요하다는 것을 깨다른 정말 좋은 경험이었습니다.

이렇게 STAREAST 첫날을 마무리했습니다.

댓글

이 블로그의 인기 게시물

샤오미 손세정기 2세대와 TCO 쓰윽비누 고급형 거품비누디스펜서 비교하기

옛날 옛날 한 옛날 2018년 11월에 그 때 당시 유행했던 샤오미 손세정기 2세대를 2대를 샀었습니다. 그 때 샀던 손세정기 2대 중 1대는 1년도 채 되지 않아서 사망해버리고... 남은 1대로 2021년 7월까지 썼으니 얼추 2년 넘게 썼습니다. 7월에 고장나서 눈물을 머금고 버릴 때는 금방 고장나서 버린 것 같았는데.. 다시 구매 내역을 뒤져보니 정말 오래도 사용했네요. 안써본 사람은 있어도 한번 써본 사람은 이 디스펜서를 계속 쓰게 됩니다. 2년동안 써보 샤오미 손세정기는 우선 디자인이 너무 이쁩니다. 하지만 방수 기능이 시원치 않아서 늘 조마조마했습니다. 전용 세정액을 써야하는 것도 좀 불편했습니다. 리필 하는 방법이 있긴 하지만.. 솔직히 쉽지 않아서 늘 전용 세정액을 구매해서 사용했었습니다. 하지만 고장이 나고나서 리필을 쉽게 할 수 있고 방수 기능도 되는 디스펜서가 필요해서 이것 저것 검색하다가 TCO 쓰윽비누 고급형 거품비누디스펜서(이하 '쓰윽')을 구매하게 되었습니다. 그런데, 2달도 안되어서 모터가 나가버렸습니다. 참, 어이가 없네요.. 뭐.. 이런... 중국 제품보다 내구성이 떨어지네요.. 겨우 2달 써봤지만... 간단하게 리뷰를 남겨볼까 합니다. 우선 디자인으로 따지면 샤오미와 비교해서 못생겨도 너무 못생겼습니다. 대충 이렇게 생겼는데.. 큼.. 전원 버튼은 샤오미는 터치라면 이건 버튼으로 되어 있고 방수를 위해서인지 위에 실링이 붙어 있습니다. 보기에는 별로지만 그래도 없는 것보다 나은 거라고 생각했는데... 샤오미는 거품 양을 조절할 수 없지만, 쓰윽은 3단계로 조절할 수 있습니다. 그런데, 조절은 할 수 있는데.. 나오는 거품 양은 그야말로 랜덤입니다. 센서 정밀도가 좀 문제인지.. 제 생각에는 1번이 아니라 2번이나 3번으로 인식해서 거품이 많이 나오는 것 같았습니다. 샤오미는 AA 건전지를 4개 사용하고, 쓰윽은 AAA 건전지 4개를 사용합니다. 그런데, 샤오미는 건전지로 전원이 겨우 2주 정도 유지했는데.. 쓰윽

코디에서 TV 시리즈에 극장판 결합하기

이 방법은 코디 스킨에 따라 될 수도 있고 안될 수도 있습니다. 하지만 대체로 가능하다고 봅니다.  일본 애니메이션 중에는 극장판이 중간 중간 있는 애니메이션이 꽤 있습니다. 그런데 코디에서서는 영화 라이브러리와 TV 시리즈 라이브러리가 구분되어 있기 때문에 한 화면에서 보면서 몰아보기가 쉽지 않습니다. 그런데, 주말에 코디 메뉴를 뒤적거리다가 처음 보는 기능을 발견했습니다. 예전부터 있던거지만 몰랐을 수도 있죠. 어쨌든 특정 영화를 특정 TV 시리즈에 연결해서 한 화면에서 볼 수 있습니다. 시작해 볼까요.. 먼저 영화 라이브러리에서 TV 시리즈와 연결하기 원하는 영화를 선택하고 팝업 메뉴를 호출합니다.(리모컨에서 확인 키 길게 눌러서..) 그리고 관리를 선택합니다. 그러면 아래같은 메뉴가 나옵니다. 여기서 TV 쇼 연결을 선택하시면 현재 코디에 등록된 TV 시리즈가 주르륵 출력되고 거기서 원하는 TV 쇼를 선택하시면 됩니다. 그 다음에 해당 TV 시리즈 화면으로 가보시면 아래처럼 에피소드와 영화가 한 화면에 출력됩니다. 그리고 팁 하나를 더 추가하자면 코디에서 스크래퍼로 영화나 TV 시리즈를 추가하려고 해도 정보가 없다며 추가가 되지 않는 경우가 있습니다. 그렇다면 아래 옵션을 꺼주시면 정상적으로 스크래퍼에서 정보를 불러와 등록을 할 수 있습니다. 등록하려고 하는 영상 파일에 메타 정보가 올바르지 않으면 스크래퍼에서 정보를 불러오지 못하더라구요. 우리 모두 코디와 함께 즐거운 미디어 라이프를...

스위치봇 & 스위치봇 허브 미니 간단 사용기

제 블로그에 예전부터 오셨던 분들은 제가 사브작 사브작 홈 오토메이션을 어설프게 해온 것을 아실겁니다. 작년부터 너무 하고 싶었던 도어락 자동화에 도전해봤습니다. 우리 나라에 자체 서비스로 앱을 통해 도어락을 제어하는 제품은 꽤 있습니다. 게이트맨도 있고, 키위도 있고, 삼성도 있죠.. 그런데.. 전 그것보다 구글 어시스턴트를 지원하는 도어락이 필요했는데... 그런건 안만들더라구요.. 꼭 필요한건 아니지만 웬지 해보고 싶은데... 언제 제품이 출시될지도 몰라서.. 가능한 방법을 찾아보다가.. 스위치봇이라는 제품으로 도어락을 버튼을 꾹 누르는 방법을 찾아서 스위치봇이 직구가 아닌 국내에 출시되었길래 낼름 구매해서 도전해봤습니다. 스위치봇 제품에 대한 내용이나 구매는  https://www.wakers.shop/  에서 하시면 됩니다. 저는 스위치봇에 스위치봇을 구글 홈에 연결시키기 위해 스위치봇 허브 미니까지 구매했습니다. 스위치봇 허브 미니가 없으면 스위치봇을 외부에서 제어하거나 구글 홈에 연결할 수 없습니다. 그리고 제가 스위치봇 허브 미니를 구매한 이유 중 다른 하나는 이 제품이 RF 리모컨 기능이 지원됩니다. 집에 있는 모니터를 제어할 필요가 있어서 이참 저참으로 같이 구매했습니다. 제품 등록은 어렵지 않습니다. 여기서는 스위치봇 허브 미니에 RF 리모컨을 등록해서 구글 어시스턴트로 제어하는 방법을 소개해드릴까 합니다. 제가 스위치봇 허브 미니로 모니터를 제어하고 싶었던 부분은 컴퓨터에서 크롬캐스트로 외부 입력을 때에 따라 바꿔야 하는데.. 그때마다 리모컨을 찾는게 너무 불편해서였습니다.  어차피 리모컨은 외부 입력 바꿀 때 빼고는 쓸 일도 없는지라.. 매번 어디로 사라지면 정말 불편해서 이걸 자동화 하고 싶었습니다. 그런데, 처음에 스위치봇 허브 미니를 등록하고 여기에 리모컨을 등록하니.. 구글 홈에 등록된 리모컨이 자동으로 등록이 됩니다. 그런데, 등록된걸 확인해보니 전원 On/Off만 제어되는 것이고, 나머지 버튼은 구글 홈으로 제어가 안되어서..