테스팅 히치하이커를 위한 안내서

여러분의 조직에서 품질은 어떻게 측정되고 있습니까? 품질이 좋은 것과 품질이 나쁜 것의 기준점은 무엇입니까? 고객이 찾는 제품과 고객에게 잊혀져 버린 제품의 차이는 무엇입니까? 제품의 품질을 측정하는 기준은 정말 많습니다. 대표적으로 ISO/OEC 9126 품질 메트릭을 생각해 볼 수 있습니다. 그리고 많은 조직에서 가장 많이 사용되는 품질 측정 지표 중 하나가 결함입니다. 결함은 제품의 신뢰성과 직결되는 가장 중요한 지표 중 하나입니다. 그만큼 테스트 활동 역시 중요합니다.(하지만 정말 중요하게 취급되는지는 잘 모르겠습니다.) 우리는 일반적으로 결함이 적은 제품은 품질이 좋다고 얘기합니다. 하지만 이것이 언제나 성립되는 진실일까요? 많은 사람들이 좋은 제품은 결함이 없어야 한다고 얘기하고, 테스트가 끝나고 나면 테스트 팀에 결함이 없느냐고 물어봅니다. 하지만, 진실은 결함이 없는 제품은 하나님이 만들지 않는 이상 절대 나올 수 없을 것입니다. 아니 어쩌면 하나님이 만드셔도 결함은 있을 것입니다. 인간은 완전 결함 투성이의 실패작처럼 보이니까요... 즉, 우리가 좋은 제품이라고 찬양하는 포토샵, 아이폰, 엑셀 등 많은 제품들은 모두 결함을 가지고 있습니다. 여러분은 포토샵이나 아이폰, 엑셀 등을 사용하면서 단 한번도 결함이 발생하는 것을 경험해 본적이 없으십니까? 내가 정말로 필요한 기능인데 왜 이런 기능은 없을까라고 고민해 보신적이 정말 단 한번도 없으신가요? 즉, 결함은 분명 품질을 측정하는 가장 중요한 지표 중 하나이지만 이것이 전부는 아닙니다. 정작 중요한 것은 사용자가 원할 때 정상적으로 동작하고 제품이 사용자에게 얼마나 쓸모있고 반드시 필요한 제품인가입니다. 하지만 우리가 주변에서 흔하게 접하는 품질 관리 프로세스들을 바라보면 대부분의 활동이 결함을 발견하고 결함을 제거하는 활동에 집중하고 있습니다. 많은 품질 관리 프로세스들이 무조건적으로 결함에만 집중하는 모습을 볼 수 있습니다. 그 정점에 있는 프로세스 중 가장 대표적인 것이 6시그마와 ZD를 ...

트위터에서 @onsooyoung 님이 QA가 무엇을 말하는지.. 그리고 결론적으로 테스터와 QA의 큰 차이가 무엇인지에 대해 물어보셨다.. 내가 이전에 썼던 글이 그다지 친철하지 못했던 것 같아 반성해 본다.. 혹시나 했지만 역시나 글을 쓴다는 건 무척 어려운것 같다. 특히 나에게는 당연한 것을 다른 사람에게 전달할 때는 더 어려운 것 같다. 먼저 QA에 대해서 잠깐 말해보도록 하겠습니다. QA 는 Quality Assuranced의 약자를 말합니다. 우리 나라 말로 하자면 품질 보증이라고 할 수 있습니다. QA는 QM(Quality management)의 한 단계입니다. QM은 QC(Quality control), QA, QI(Quality improvement)의 3가지 주요 단계로 구성됩니다. 자세한 것은 위키피디아와 같은 내용을 참조하시고, 여기서는 간략하게 결론부터 말하자면.. 테스트는 QC에 훨씬 가깝습니다. 품질 공학에서 말하는 곳마다 조금씩 틀리지만 제품의 품질을 관리하는 것은 3단계를 걸칩니다. 먼저 품질 매트릭을 정의하고 측정하고 수집하고 통계를 내는 QC 단계를 거칩니다. QC 단계를 지나면 수집된 데이터를 통해 생산되는 제품에 대해 일정 품질을 보장할 수 있는 QA 단계에 이릅니다. 그리고 그 다음은 그런 품질을 더 나은 품질로 개선하는 QI 단계로 갑니다. 소프트웨어의 품질에 대해서는 ISO/IEC 25000 표준(ISO/IEC 9126의 최신 버전)을 참고하시면 됩니다. ISO/IEC 25000을 참고한다면 QA가 하는 일이라 하면 기능성 뿐만 아니라, 이식성, 유지 보수성, 보안성, 상호운용성, 사용성 등 품질에 대한 매트릭이 측정 가능해야 하며 그런 측정 활동을 통해 제품에 일정 수준의 품질을 보장할 수 있어야 합니다. 하지만 국내에서 QA 조직을 보면 대부분의 경우 기능성, 성능, 보안성 등 특정 영역에 치중되어 있고, 측정하는 부분도 제대로 된 매트릭을 수집해서 측정하고 보장할 정도의 수준에 도달한 곳도 손에 꼽을 정도입니다. ...