기본 콘텐츠로 건너뛰기

STAREAST 참관기 - Critical Thinking for Software Testers

STAREAST 2일차입니다.

2일차에는 하루종일 진행되는 'Critical Thinking for Software Testers'를 들었습니다.

우리 나라 말로 하면 비판적 사고라고 할 수 있습니다.

하루 종일 참여한 사람들이 질문을 하면 바크가 대답을 하는 식으로 세션이 진행되었습니다.

PT와 함께 바크가 이야기하는 경우는 PT의 내용을 참조해서 바크의 이야기를 알아듣기가 용이한데 참여한 사람들과의 토론(?)이 주가 되다 보니 참여자의 얘기는 정말 듣기 힘들더군요.

바크도 점점 말이 빨라지면서 세션을 진행하는 공간의 분위기는 후끈한데.. 저는 점점 사색으로 변해가며 식은땀이.. ㅠㅠ

오전은 어떻게 어떻게 들었는데..

오후에는 점점 머리가 멍~~ 해지더군요..

그런 의미로 이번 후기는 그다지 쓸 얘기가 많지 않습니다.

다만 이 세션의 핵심은 이것이었습니다.

바크가 참여한 사람들에게 던지는 질문과 참여한 사람들이 던지는 질문에 대한 대답도 이것이었습니다.

그것은...

다른 관점에서 생각하는 것이었습니다.

이와 관련해서 질문을 하는 기법에 대해 꽤 많은 시간이 할애되었습니다.

대표적인 질문이..

왜 그런가요?
이렇게 생각할 수 있지 않나요?
정말 그렇게 확신합니까?
그것을 어떻게 증명할 수 있습니까?

머 이런 질문들이었습니다.

결론은 테스터는 테스트를 수행하면서 끊임없이 비판적으로 생각하고 질문을 만들어내야한다는 것이었습니다.

제품에 대한 이해와 테스트의 완성도를 높이기 위해서 끊임없이 생각하고 질문하는 활동을 반복해야한다는 것이었습니다.

보이는 것이 전부가 아니기 때문에 그 이면에 대한 끊임없는 탐구를 멈추지 말라는 것이었습니다.

테스팅은 곧 비판적 사고이다.

제품이 정상동작하는지 단순히 명세를 확인하는 것 이상의 문제를 찾는 탐색의 과정이 테스팅이라는 것입니다.

단순히 명세를 확인하는 것은 테스팅이 아니라 체킹이라고 하더군요.

그리고 이러한 문제를 예측하고 탐색하고 검증하는 과정에서 필요한 것이 비판적 사고입니다.

비판적 사고는 확신에 대한 의심 그리고 검증이라는 것입니다.

따라서 좋은 테스터는 다양한 가능성에 대해 의문을 가지고 질문을 하는 테스터라고 했습니다.

이와 관련해서 제시한 예제가 리그레션 테스팅에 관한 것이었습니다.

우리가 A라는 테스트 슈트를 작성해서 테스트를 수행하고 수정되어서 온 제품을 다시 A라는 테스트 슈트로 테스트를 수행해서 결함이 없다면 테스트를 끝내도 좋은 것인가? 제품에 결함이 모두 수정되어서 안정화되었다고 확신할 수 있는가? 라는 질문이었습니다.

바크는 리그레션 테스팅은 환상이라고 말하더군요.

꽤 도발적이지만 한번쯤 다른 관점에서 바라볼 수 있는 좋은 시간이었습니다.

댓글

이 블로그의 인기 게시물

쓸모 없는 구글 드라이브 관련 미립자 팁..

제가 사는 아파트는 지역난방입니다. 난방비는 유량을 기준으로 계산되는 방식입니다. 지난 달에 이사하고 지역난방에 대한 이해가 전혀 없는 상태에서 난방을 하다가 난방비만 50만원이 나오는 폭탄을 맞았습니다. 그래서 최근에는 매일 매일 유량을 확인하면서 춥게 살고 있습니다. 아파트가 정말 최악중의 최악이라서 단열 자체가 안됩니다. 제 블로그를 보신 분은 아시겠지만 지은지 이제 겨우 20년된 아파트의 샷시가 어찌나 부실하던지 외풍 차단 자체도 안됩니다. 정말 올해 겨울에는 단열도 안되고 외풍도 심한 아파트에서 난방비를 아끼기 위해 정말 눈물겹게 보내고 있습니다.(사실 난방의 의미는 거의 없다고 보아도 무방한 환경입니다.) 이런 곳에서 앞으로 얼마나 더 살아야할지 생각하면 더 눈물납니다. ㅠㅠ 어쨌든 그래서 매일 매일 유량을 체크하고 가상의 난방비를 계산하는 시트를 구글 드라이브에 만들어서 매일 매일 쓰고 있습니다. 그런데 아내님께서 이왕 만든거 매일 매일 기온을 알면 기온에 따라서 얼마나 더 쓰고 덜 쓰는지 알 수 있지 않겠느냐는 특명을 내리셨습니다. 그래서 어떻게 하면 자동으로 매일 매일의 기온을 구글 드라이브에 자동으로 입력시킬 수 있을가(머.. 매일 매인 손으로 입력하는 것도 방법이긴 합니다. 어차피 매일 유량도 수작업으로 기록하고 있으니까요.. 하지만 저라는 사람.. 워낙에 게을러서 입력값이 하나에서 최저기온, 최고 기온을 포함한 3가지로 늘어나는것이 너무 귀찮아서..)를 고민한 결과를 간단하게 공유해볼까 합니다. 도데체 이런 팁이 어느 분에게 도움이 될지는 모르겠지만.. 그래도 알아두시면 좋을 2가지 팁을 공유합니다. 첫번째 팁은 매일 매일의 최저 기온과 최고 기온을 자동으로 얻어오는 방법입니다. 프로그래밍을 좀 하실 수 있는 분, xml 데이터를 좀 다룰 줄 아시는 분은 아주 쉽게 기상청이나 다른 기상 예보 사이트에서 xml을 분석하셔서 해당 데이터만 파싱해서 불러오는 방법이 있습니다만.. 저는 그런 거에 까

스위치봇 & 스위치봇 허브 미니 간단 사용기

제 블로그에 예전부터 오셨던 분들은 제가 사브작 사브작 홈 오토메이션을 어설프게 해온 것을 아실겁니다. 작년부터 너무 하고 싶었던 도어락 자동화에 도전해봤습니다. 우리 나라에 자체 서비스로 앱을 통해 도어락을 제어하는 제품은 꽤 있습니다. 게이트맨도 있고, 키위도 있고, 삼성도 있죠.. 그런데.. 전 그것보다 구글 어시스턴트를 지원하는 도어락이 필요했는데... 그런건 안만들더라구요.. 꼭 필요한건 아니지만 웬지 해보고 싶은데... 언제 제품이 출시될지도 몰라서.. 가능한 방법을 찾아보다가.. 스위치봇이라는 제품으로 도어락을 버튼을 꾹 누르는 방법을 찾아서 스위치봇이 직구가 아닌 국내에 출시되었길래 낼름 구매해서 도전해봤습니다. 스위치봇 제품에 대한 내용이나 구매는  https://www.wakers.shop/  에서 하시면 됩니다. 저는 스위치봇에 스위치봇을 구글 홈에 연결시키기 위해 스위치봇 허브 미니까지 구매했습니다. 스위치봇 허브 미니가 없으면 스위치봇을 외부에서 제어하거나 구글 홈에 연결할 수 없습니다. 그리고 제가 스위치봇 허브 미니를 구매한 이유 중 다른 하나는 이 제품이 RF 리모컨 기능이 지원됩니다. 집에 있는 모니터를 제어할 필요가 있어서 이참 저참으로 같이 구매했습니다. 제품 등록은 어렵지 않습니다. 여기서는 스위치봇 허브 미니에 RF 리모컨을 등록해서 구글 어시스턴트로 제어하는 방법을 소개해드릴까 합니다. 제가 스위치봇 허브 미니로 모니터를 제어하고 싶었던 부분은 컴퓨터에서 크롬캐스트로 외부 입력을 때에 따라 바꿔야 하는데.. 그때마다 리모컨을 찾는게 너무 불편해서였습니다.  어차피 리모컨은 외부 입력 바꿀 때 빼고는 쓸 일도 없는지라.. 매번 어디로 사라지면 정말 불편해서 이걸 자동화 하고 싶었습니다. 그런데, 처음에 스위치봇 허브 미니를 등록하고 여기에 리모컨을 등록하니.. 구글 홈에 등록된 리모컨이 자동으로 등록이 됩니다. 그런데, 등록된걸 확인해보니 전원 On/Off만 제어되는 것이고, 나머지 버튼은 구글 홈으로 제어가 안되어서..

테스트 케이스와 체크리스트의 차이가 뭐여?

테스트 실무에서 가장 혼돈되어 사용되는 용어 중 하나가 테스트 케이스와 체크리스트입니다. 많은 경우 체크리스트를 테스트 케이스로 사용하는 경우가 많습니다. 실제로 인터넷 커뮤니티나 블로그, ISO, IEEE, ISTQB 등등을 검색해보시면 테스트 케이스와 체크리스트에 대한 구분이 다 제각각입니다. 각각에 대한 정의가 다 제각각입니다. 사정이 이러하다보니 많은 사람들이 테스트 케이스와 체크리스트를 잘 구분하지 못하고 혼동해서 사용하는 경우가 많습니다. 물과 기름처럼 테스트 케이스와 체크리스트를 정확하게 구분할 수는 없겠지만.. ISTQB를 기준으로 말씀드리면 설계 기법을 통해 도출된 것은 테스트 케이스 그렇지 않은 것은 체크리스트라고 생각하시면 쉽습니다. 예를 들면 아래는 결정 테이블 테스팅 기법을 통해 도출된 테스트 케이스의 예제입니다. 실제 테스트 케이스는 위보다 복잡하겠지만 어쨌든 얘기하고 싶은 것은 위와 같이 설계 기법을 통해서 도출된 것은 테스트 케이스라고 합니다. 그런데 딱 보시면 아시겠지만 실제 테스트에서는 저 정도로는 테스트 커버리지를 충분히 만족했다고 얘기하기 힘듭니다. 그렇습니다. 어떤 분들은 테스트 케이스가 전가의 보도, 은 총알 쯤으로 생각하시는데.. 테스트 케이스는 일종의 마지노 선이라고 보시면 됩니다. 최소한 제품을 테스트 할때 이정도는 해줘야 한다는 최후의 방어선 정도라고 보시면 됩니다. 전쟁에서 최후의 방어선은 물러설 수 없는 마지막 보루입니다. 하지만 최후의 방어선만 지킨다고 전쟁에서 승리할 수는 없습니다. 프랑스는 마지노 요새만 믿고 있다가 독일에게 깔끔하게 발렸던 과거가 있지요. 전쟁에서 승리하려면 앞으로 나가야하고 치밀한 전략과 전술이 뒷받침 되어야 합니다. 더 높은 커버리지를 도달하고, 충분히 좋은 테스트가 수행되려면 테스트 케이스는 기본이 되어야 하고 거기에 더해서 체크리스트가 따라와 줘야 합니다. 이러한 체크리스트는 팀의 경험과 과거 프로젝트의 데이