기본 콘텐츠로 건너뛰기

STAREAST 참관기 - Performance Testing in Agile: The Path to 5 Star App Reviews

드디어 STAREAST 마지막 날입니다.

짧다면 짧고 길다면 긴 4일의 일정인데.. 그곳에 있을때는 참 긴 시간이었는데..

지금 돌아보니 정말 찰나였던 것 같습니다.

그 수많은 세션을 다 듣지 못한것이 아쉬울 따름입니다.

지난주에는 제 스마트폰이 갑자기 급사(커스텀 커널 올렸다가 무한 부팅에 빠지는 바람에.. )하면서 스마트폰 복구하고 회사 업무 보느라 미처 후기를 올리지 못했습니다.

STAREAST 참관기는 이번주 안에 마무리 지을 생각입니다.

컨퍼런스 2일차는 첫날과 달리 Agile Testing과 Personal Excellence 세션이 빠지고 대신 Mobile Testing과 Performance Testing 세션이 진행되었습니다.

키노트는 Theresa Lanowitz 라는 분의 'Extreme Automation: Software Quality for the Next Generation Enterprise' 였는데. 최신 IT 업계의 트렌드와 함께 이런 트렌드에 맞춰 테스트 자동화가 중요하다는 일반적인 내용이었습니다.

그 다음으로 첫번째 세션으로 Mobile App Testing Secrets 를 들었는데 컨퍼런스 첫날 들었던 Improving the Mobile Application User Experience(UX) 만큼은 아니었지만 저에게는 그다지 영양가가 높지 않은 세션이었습니다.

세션 내용은 결국은 모바일 테스팅의 최신 트렌드는 크라우드 테스팅이고 자신의 회사가 서비스하고 있는 크라우드 테스팅은 이런 장점이 있고 불라 불라.. 머 그런 내용이었습니다.

최근 국내에서도 STA(STEN?)에서 크라우드 테스팅을 시도하고 있는데.. 과연 이 서비스가 국내에 정착할 수 있을지는 저는 좀 의문입니다.(이 크라우드 테스팅이라는것이 머 새로운 서비스도 아니고 벌써 한 10년은 된 서비스인데.. 그동안 국내에서는 말도 안되는 보안 어쩌고 저쩌고에 돈이 들어간다는 이유로 몇번이고 시도는 있었지만 흥하지 못한 서비스였는데.. 최근에 모바일 테스팅을 포함해서 테스트 환경의 복잡성이 너무 높아지고 제어와 구축에 들어가는 비용이 너무 높아지다보니 다시 한번 각광받고 있는데.. 글쎄요.. 외국에서는 uTest와 같은 나름 성공한 사례도 있지만 국내에서는 흠.. )

그 다음 들은 세션이 Shane Evans 이라는 분이 발표한 'Performance Testing in Agile: The Path to 5 Star App Reviews' 입니다.

이 발표도 첫날 들었던 The Three Pillars Approach to Your Agile Test Strategy 와 내용상으로는 그다지 큰 차이가 없었습니다.

다만 발표 내용이 성능 테스팅에 좀 더 특화되어 있었고 HP에서 발표한 내용이어서 처음에는 로드러너 홍보를 하려나 했는데, 웹의 전체적인 구조와 각각의 단계에서 수행해야 할 테스팅에 대해 전체 개괄적인 내용을 제공하는 생각보다 알찬 발표였습니다.

결론적으로 성능 테스팅 대상과 방법은 많은데 애자일에서 성능 테스팅은 어떻게 수행해야하는가?에 대해서

스프린트에 성능 테스팅을 통합하고 테스트 환경을 가상화할 필요가 있다는 것이 첫번째 였습니다.

두번째는 성능 테스트를 위한 스크립트는 유지보수가 쉬워야 하고 성능 테스팅은 한번에 끝나느 것이 아니라 피드백을 통해 지속적으로 테스트를 수행하는 것이 중요하다는 것이었습니다.

세번째는 적절한 데이터를 제공하는 중요하다는 것이었습니다.

이 모든 것이 절대 불가능할 것처럼 보이지만(이것에 대해서 유니콘을 비유로 들던데.. 좀 뜬금없는 느낌이 있었습니다.) 그렇지 않다라는 것을 강조했습니다.

분명히 어려운 일이지만 불가능하지 않다. 가능하다라는 것이었고, 결론은 역시 테스트 자동화였습니다.

조금은 뻔한 결론이었지만 전체적인 성능 테스팅을 이해하는데에는 꽤 괜찮은 세션이었습니다.

이렇게 오전 세션이 끝났습니다.

다음에는 오후 세션에 대한 후기를 올리겠습니다.

댓글

이 블로그의 인기 게시물

테스트 케이스와 체크리스트의 차이가 뭐여?

테스트 실무에서 가장 혼돈되어 사용되는 용어 중 하나가 테스트 케이스와 체크리스트입니다. 많은 경우 체크리스트를 테스트 케이스로 사용하는 경우가 많습니다. 실제로 인터넷 커뮤니티나 블로그, ISO, IEEE, ISTQB 등등을 검색해보시면 테스트 케이스와 체크리스트에 대한 구분이 다 제각각입니다. 각각에 대한 정의가 다 제각각입니다. 사정이 이러하다보니 많은 사람들이 테스트 케이스와 체크리스트를 잘 구분하지 못하고 혼동해서 사용하는 경우가 많습니다. 물과 기름처럼 테스트 케이스와 체크리스트를 정확하게 구분할 수는 없겠지만.. ISTQB를 기준으로 말씀드리면 설계 기법을 통해 도출된 것은 테스트 케이스 그렇지 않은 것은 체크리스트라고 생각하시면 쉽습니다. 예를 들면 아래는 결정 테이블 테스팅 기법을 통해 도출된 테스트 케이스의 예제입니다. 실제 테스트 케이스는 위보다 복잡하겠지만 어쨌든 얘기하고 싶은 것은 위와 같이 설계 기법을 통해서 도출된 것은 테스트 케이스라고 합니다. 그런데 딱 보시면 아시겠지만 실제 테스트에서는 저 정도로는 테스트 커버리지를 충분히 만족했다고 얘기하기 힘듭니다. 그렇습니다. 어떤 분들은 테스트 케이스가 전가의 보도, 은 총알 쯤으로 생각하시는데.. 테스트 케이스는 일종의 마지노 선이라고 보시면 됩니다. 최소한 제품을 테스트 할때 이정도는 해줘야 한다는 최후의 방어선 정도라고 보시면 됩니다. 전쟁에서 최후의 방어선은 물러설 수 없는 마지막 보루입니다. 하지만 최후의 방어선만 지킨다고 전쟁에서 승리할 수는 없습니다. 프랑스는 마지노 요새만 믿고 있다가 독일에게 깔끔하게 발렸던 과거가 있지요. 전쟁에서 승리하려면 앞으로 나가야하고 치밀한 전략과 전술이 뒷받침 되어야 합니다. 더 높은 커버리지를 도달하고, 충분히 좋은 테스트가 수행되려면 테스트 케이스는 기본이 되어야 하고 거기에 더해서 체크리스트가 따라와 줘야 합니다. 이러한 체크리스트는 팀의 경험과 과거 프로젝트의 데이

리드스위치로 원격에서 가스 검침하기

집 바깥의 가스검침기의 가스 사용량을 집안에서 편하게 조회해볼 수 있는 기능을 구현해보고자 합니다. 그런데, 원격에서 가스 검침을 하시려면 가스 검침기에 해당 기능이 지원되어야 합니다. 본인 집의 가스 검침기에 가셔서 가스 사용량을 표시하는 아래 부분에 리드 센서를 부착하는 곳이 있는지 확인해 보시기 바랍니다. 위에 표시한 곳에 리드 센서를 장착할 수 있는 홈이 있어야 합니다. ​ 자 그럼 시작해볼까요? 우선은 준비물이 필요하겠죠.. 기본적인 준비물은 https://murianwind.blogspot.com/2021/12/esp.html 에서 소개해 드린 준비물과 크게 다르지 않습니다. 이미 지역난방 유량계 작업을 하셨던 분이라면 준비물이 넉넉히 남아 있으실 수도 있고.. 유량계와 가스 검침을 동시에 하시려면 각각 필요한 만큼 적당히 물품을 구매하시면 됩니다. ​ 다만.. 이번에는 유량계에서 사용했던 것만큼의 오버 스펙이 필요한건 아니라서 조금 더 저렴한 ESP8266 을 이용하도록 하겠습니다. ​ 이것도 2번만에 조금 익숙해지고 나서 생각하니.. 유량계도 ESP8266으로 구현해도 충분한 것이었는데.. 뭐.. 이미 구현해버렸으니 후회는 없습니다. ESP8266을 저는 납땜하기 귀찮아서 NodeMCU로 구매했습니다. https://www.11st.co.kr/products/3079314807?&xfrom=&xzone= 그리고 빵보드 2개, 터미널 블록 1개, 점프 케이블 2개가 필요합니다. 그리고 중요한 리스센서가 필요한데.. 리드 센서는 본인의 가스 검침기를 사진으로 찍은신 후에 https://m.blog.naver.com/pjwook0129/221265570229 에 연락해서 구입하시면 됩니다. ​ 준비된 물품을 아래처럼 구현했습니다. D7과 G에 가스 검침기에 부착한 리드센서의 전선을 연결해 주시면 됩니다. ​ ESP8266에 처음으로 플래싱하는 부분은 이전에 올렸던 유량계 게시물을 참조하시면 됩니다. 그리고 윈도우에서 버추얼 박스를 쓰시는

스위치봇 & 스위치봇 허브 미니 간단 사용기

제 블로그에 예전부터 오셨던 분들은 제가 사브작 사브작 홈 오토메이션을 어설프게 해온 것을 아실겁니다. 작년부터 너무 하고 싶었던 도어락 자동화에 도전해봤습니다. 우리 나라에 자체 서비스로 앱을 통해 도어락을 제어하는 제품은 꽤 있습니다. 게이트맨도 있고, 키위도 있고, 삼성도 있죠.. 그런데.. 전 그것보다 구글 어시스턴트를 지원하는 도어락이 필요했는데... 그런건 안만들더라구요.. 꼭 필요한건 아니지만 웬지 해보고 싶은데... 언제 제품이 출시될지도 몰라서.. 가능한 방법을 찾아보다가.. 스위치봇이라는 제품으로 도어락을 버튼을 꾹 누르는 방법을 찾아서 스위치봇이 직구가 아닌 국내에 출시되었길래 낼름 구매해서 도전해봤습니다. 스위치봇 제품에 대한 내용이나 구매는  https://www.wakers.shop/  에서 하시면 됩니다. 저는 스위치봇에 스위치봇을 구글 홈에 연결시키기 위해 스위치봇 허브 미니까지 구매했습니다. 스위치봇 허브 미니가 없으면 스위치봇을 외부에서 제어하거나 구글 홈에 연결할 수 없습니다. 그리고 제가 스위치봇 허브 미니를 구매한 이유 중 다른 하나는 이 제품이 RF 리모컨 기능이 지원됩니다. 집에 있는 모니터를 제어할 필요가 있어서 이참 저참으로 같이 구매했습니다. 제품 등록은 어렵지 않습니다. 여기서는 스위치봇 허브 미니에 RF 리모컨을 등록해서 구글 어시스턴트로 제어하는 방법을 소개해드릴까 합니다. 제가 스위치봇 허브 미니로 모니터를 제어하고 싶었던 부분은 컴퓨터에서 크롬캐스트로 외부 입력을 때에 따라 바꿔야 하는데.. 그때마다 리모컨을 찾는게 너무 불편해서였습니다.  어차피 리모컨은 외부 입력 바꿀 때 빼고는 쓸 일도 없는지라.. 매번 어디로 사라지면 정말 불편해서 이걸 자동화 하고 싶었습니다. 그런데, 처음에 스위치봇 허브 미니를 등록하고 여기에 리모컨을 등록하니.. 구글 홈에 등록된 리모컨이 자동으로 등록이 됩니다. 그런데, 등록된걸 확인해보니 전원 On/Off만 제어되는 것이고, 나머지 버튼은 구글 홈으로 제어가 안되어서..