STAREAST 참관기 - Top Practices for Successful Mobile Test Automation

드디어 컨퍼런스 마지막 세션입니다.

하아.. 끝이 보이네요.

마지막으로 제가 선택해서 들은 세션은 'Top Practices for Successful Mobile Test Automation'입니다.

제목과 내용으로 미루어 모바일 테스트 자동화 사례 발표를 기대하고 들어갔는데.. 역시나 이번에도 전혀 다른 내용의 세션이 진행되었습니다. 하지만 내용은 정말 좋았습니다.

세션 내용은 성공적인 모바일 테스트 자동화를 위한 전략에 대한 내용이었습니다.

자동화를 성공하기 위해서는 이렇게 해야한다.. 머 이런 내용이었습니다.

발표는 Fred Beringer 라는 프랑스 사람이 발표를 했습니다.

프랑스에서 왔다는 얘기를 듣고 버터 바른 듯 발음이 마구 굴러다니면 어쩌나 했는데 매우 듣기 좋은 발음이었습니다.

우선 발표 내용은 대략 이렇습니다.

모바일 테스트 자동화 자체가 하나의 프로젝트로 계획과 전략을 잘 세워야 성공할 수 있다. 그리고 테스트 자동화는 선택이 아닌 필수다..(이 얘기도 자주 듣다보니 슬금 슬금 지겨워지기 시작하는..)

모바일 테스트 자동화를 위한 계획과 전략 수립에서 고려해야할 내용은 아래와 같다.

1. 올바른 목표 설정이 매우 매우 중요하다.
2. 목표를 추적해라. 목표에 맞는 메트릭 선정이 중요하다. 측정할 수 없다면 존재하지 않는 것이다.
대표적인 메트릭은 수정시간, 만족도, 결함 숫자, EMTE(Equivalent Manual Test Effort), Customer onboarding time 등이 있다.
기준선을 설정하고 ROI를 측정해라. 비용을 계산해라.(Value = Benefit-cost)
하지만 너무 많은 메트릭은 독이 될 수 있다.
이러한 메트릭은 자동화 프레임워크에 통합되어야 하고 올바른 메트릭을 수집할때까지 반복하고 수정되어야 한다.
3. 모든 것을 자동화해라. 여기서 모든 것이란 테스트만 의미하는 것이 아니라 프로젝트 활동의 모든 것을 자동화해라. 개발, 설계, 빌드, 배포 등 모든 것을 자동화해라.(여기서도 Jenkis를 강조하더군요..)
4. 지금 즉시 자동화를 시작해라. 하지만 작은 것부터 기본부터 시작해서 점차 확장해라.
5. 자동화를 위한 올바른 테스트 전략을 선택하라. 리스크 기반 테스트 전략을 추천한다.
6. 테스트 환경을 고려해라. 너의 시장을 이해하고 올바른 환경을 선택하라. 사용자는 시뮬레이터에서 제품을 사용하지 않는다. 크라우드 테스팅이나 클라우트 테스팅을 고려하는 것도 좋다.(크라우트 테스팅이 최대 관심사 중 하나인건 확실한것 같습니다.)
7. 효율적인 테스트를 설계하라.
8. 테스트 용이성을 고려하라.
9. 올바른 데이터를 사용해라.
10. 시간을 고려해야한다면 신뢰할 수 있는 데이터를 사용해라. 시간 지연은 잊어라. 실제적인 시간을 고려해라.
11. 테스트 자동화 도구의 성능도 중요하다.
12. 이 모든 것을 제대로 수행할 수 있는 제대로 된 팀을 구성해라.

각각이 매우 당연한 얘기인데 한번에 일목요연하게 정리해주니 귀에 쏙쏙 들어오는 꽤 좋은 세션이었습니다.

이 세션도 다른 세션과 비슷하게 자동화와 팀을 매우 강조하는 세션이었습니다.

그런데 과연 날이면 날마다 사람이 바뀌고 프로젝트 하나 끝나기도 전에 다른 프로젝트에 투입되면서 뺑뺑이 도는 우리나라와 같은 개발환경에서는 .. 들으면서 참 씁쓸한 생각이 많이 들었습니다.

이제 키노트와 전체 정리 2개 정도의 후기만 더 올리면 STAREAST 참관기도 끝날 것 같습니다.

시간이 지나면서 기억이 희미해지고 있는데 이렇게 정리하면서 다시 한번 돌아보니 참 좋은 것 같습니다. 그때는 참 힘들었는데.. 지금 생각해보니 벌써 그립군요.

그럼 다음 후기를 기약하며..