테스팅의 목적은 무엇일까요? 가장 중요한 것은 무엇일까요?

소프트웨어 테스팅에서 가장 중요한 것은 무엇일까요?

소프트웨어 테스팅은 왜 하는 걸까요? 목적이 무엇일까요?

ISTQB Foundation Level 에서는 소프트웨어 테스팅의 목적으로 4가지를 얘기하고 있습니다.

1. 결함 발견
2. 결함 예방
3. 의사 결정을 위한 데이터 제공
4. 품질에 대한 자신감 획득

4가지 목적 중 2가지가 결함에 관한 것입니다.

실제로 소프트웨어 테스팅이 무엇이냐 하면 결함을 찾는 것이라 말합니다.

많은 테스터들이 하나라도 더 많은 결함을 찾기 위해 지금 이 순간도 땀을 흘리고 있고 어떻게 하면 적은 금액으로 적은 시간을 들여서 많은 결함을 찾을 수 있을지 연구에 연구를 하고 있습니다.

그런데, 정말 결함을 하나라도 더 찾는것이 정말로 중요할까요?

결함을 하나라도 더 찾는 것이 테스팅의 목적일까요?

결함을 하나라도 더 찾아서 해결하면 정말 소프트웨어의 품질이 좋아지기는 하는걸까요?

얼마전 어느 곳에서 고객이 발견할 수 없는 결함까지 찾아서 해결하는 것이 과연 좋은 것인가? 에 대한 논의를 본적이 있습니다.

과연.. 그러한 결함까지 찾아야 하는 것이 테스팅의 목적이고 우리가 해야할 일인걸까요?

저는 과감하게 아니다라고 얘기하고 싶습니다.

많은 사람들이 테스팅이라고 하면 결함에 집중합니다.

모든 것이 결함에서 시작해서 결함으로 끝납니다.

보고서의 주요 측정 지표도 결함입니다.

그런데, 이렇게 결함만을 추구하다보면 우리가 놓치는 것이 있습니다.

이것은 마치 회중시계를 든 토끼를 이상하다 생각하지 않고 그 토끼를 찾아 엄청난 모험을 벌인 앨리스와 같다고 생각합니다.

우리가 이쁘게 다듬어진 조경수를 볼 때 그것을 멋있다라고 하는 것은 전체적인 모양새와 주변과의 어울림을 보고 멋있다고 합니다.

그 나무에 옹이가 하나도 없고 시들어서 누렇게 된 잎이 하나도 없어야 멋있다고 하지는 않습니다.

ISTQB Foundation Level 에서 얘기하는 테스팅의 7가지 기본 원리 중 저는 2가지에 초점을 맞춰보고 싶습니다.

1. 완벽한 테스팅은 불가능하다.
2. 오류 - 부재의 궤변

모든 결함을 찾는 것은 불가능합니다. 모든 결함을 찾겠다고 하는 것은 무모한 도전이라고 생각합니다.

설사 모든 결함을 다 찾는다고 하더라도.. 그 결함을 모두 해결했다 하더라도 그것을 우리는 품질이 좋은 제품이라고 단정지어서 얘기할 수 없습니다.

저는 테스터가 집중해야할 것은 결함이 아니라고 생각합니다.

물론 결함을 찾는 것은 중요합니다. 하지만 그것보다 더 중요한 것은 소프트웨어를 사용할 사용자라고 생각합니다.

우리가 집중해야 할 것은 사용자와 그 사용자가 소프트웨어를 운용하면서 겪게 될 문제라고 생각합니다.

결함이란 바로 사용자가 실제 소프트웨어를 운용하면서 겪는 문제라고 정의해야 한다고 생각합니다.

전체를 바라보고 거기서 문제를 찾아가는 과정이 중요하다고 생각합니다.

테스터를 처음 시작하는 테스터나 약간 편집광적인 성격을 가지는 테스터들이 하는 가장 빈번한 실수가 결함의 꼬리를 쫓아 또 다른 결함을 찾아 헤메는 것이라고 봅니다.

7가지 원리 중 '결함 집중'의 원리에 따라 발견된 하나의 결함 주변을 탐색하면 더 많은 결함을 발견할 수 있습니다. 그것에 보람과 희열을 느끼는 테스터들도 있습니다.

하지만 한정된 시간과 비용과 인력에서 그렇게 한 곳에만 집중하게 되면 다른 곳은 더욱 더 취약해질 수밖에 없다고 생각합니다.

따라서 테스터라면 좀 더 넓은 시각에서 좀 더 폭 넓게 바라보고 고객을 이해하고 고객의 정황에서 문제를 찾는 과정 그것을 테스팅이라고 생각하고 그것이 우리가 집중해야 할 곳이라고 생각합니다.

결함을 발견하는 것은 중요합니다. 하지만 결함의 꼬리를 쫒아서 뛰지는 말았으면 합니다.