테스팅 히치하이커를 위한 안내서

여러분의 조직에서 품질은 어떻게 측정되고 있습니까? 품질이 좋은 것과 품질이 나쁜 것의 기준점은 무엇입니까? 고객이 찾는 제품과 고객에게 잊혀져 버린 제품의 차이는 무엇입니까? 제품의 품질을 측정하는 기준은 정말 많습니다. 대표적으로 ISO/OEC 9126 품질 메트릭을 생각해 볼 수 있습니다. 그리고 많은 조직에서 가장 많이 사용되는 품질 측정 지표 중 하나가 결함입니다. 결함은 제품의 신뢰성과 직결되는 가장 중요한 지표 중 하나입니다. 그만큼 테스트 활동 역시 중요합니다.(하지만 정말 중요하게 취급되는지는 잘 모르겠습니다.) 우리는 일반적으로 결함이 적은 제품은 품질이 좋다고 얘기합니다. 하지만 이것이 언제나 성립되는 진실일까요? 많은 사람들이 좋은 제품은 결함이 없어야 한다고 얘기하고, 테스트가 끝나고 나면 테스트 팀에 결함이 없느냐고 물어봅니다. 하지만, 진실은 결함이 없는 제품은 하나님이 만들지 않는 이상 절대 나올 수 없을 것입니다. 아니 어쩌면 하나님이 만드셔도 결함은 있을 것입니다. 인간은 완전 결함 투성이의 실패작처럼 보이니까요... 즉, 우리가 좋은 제품이라고 찬양하는 포토샵, 아이폰, 엑셀 등 많은 제품들은 모두 결함을 가지고 있습니다. 여러분은 포토샵이나 아이폰, 엑셀 등을 사용하면서 단 한번도 결함이 발생하는 것을 경험해 본적이 없으십니까? 내가 정말로 필요한 기능인데 왜 이런 기능은 없을까라고 고민해 보신적이 정말 단 한번도 없으신가요? 즉, 결함은 분명 품질을 측정하는 가장 중요한 지표 중 하나이지만 이것이 전부는 아닙니다. 정작 중요한 것은 사용자가 원할 때 정상적으로 동작하고 제품이 사용자에게 얼마나 쓸모있고 반드시 필요한 제품인가입니다. 하지만 우리가 주변에서 흔하게 접하는 품질 관리 프로세스들을 바라보면 대부분의 활동이 결함을 발견하고 결함을 제거하는 활동에 집중하고 있습니다. 많은 품질 관리 프로세스들이 무조건적으로 결함에만 집중하는 모습을 볼 수 있습니다. 그 정점에 있는 프로세스 중 가장 대표적인 것이 6시그마와 ZD를 ...

솔직히 나는 대학교에서 품질공학과 관련된 강의를 들어본적도 없다. 어쩌다 보니 테스트를 시작했고 테스트를 하다 보니 욕심이 생겼고 필요에 의해 띄엄 띄엄 품질에 대한 자료를 찾아가며 공부를 하고 있다. 그러다 보니 품질이라는 것에 대해 내가 오해하고 있는 부분이 있을 수도 있고 품질공학을 전공한 사람의 입장에서 본다면 잘못된 내용이 있을 수도 있다. 아래 내용은 다분히 내 개인적인 의견이고, 이 의견에 대한 조언은 댓글이나 트랙백으로 주시면 대단히 고맙겠습니다. 품질관리 기법은 굉장히 많은 기법이 알려져 있습니다. 이러한 품질관리 기법들을 연대순으로 주요한 기법들만 나열해 본다면 아래와 같은 기법들을 제시해 볼 수 있습니다. 1. 1798년 휘트니의 표준화 - 호환성의 원리 2. 1924년 벨연구소의 통계적 품질 관리(SQC) 3. 1960년 GE 사 파이겐바움의 TQC 4. 1962년 이시가와의 품질관리 분임조 5. 1962년 마틴 사의 ZD 운동 6. 1969년 일본전장 사의 TPM 7. 1972년 디즈니 사의 고객만족 8. 1987년 모토롤라 사의 6시그마 이전에도 얘기한 적 있지만 이러한 수많은 기법들 중 어떤 기법을 선택할 것인가 또는 어떤 순서로 도입할 것인가 하는 문제의 해답을 얻기 위해서는 이러한 기법들의 본질에 대한 이해가 선결되어야 합니다. 그리고 그러한 본질에 대한 이해를 위해서는 해당 기법들이 탄생하게 된 배경을 이해하는 것이 꼭 필요합니다. 왜냐하면 우리가 어떤 특정한 기법들을 도입하기 위해서는 그러한 기법이 탄생하기 이전에 그러한 기법들을 도입했던 선진 기업들의 시행착오를 꼭 한번씩은 거쳐야 하기 때문입니다. 그들이 실패했던 경험을 거치지 않는다면 최신 기법에 대한 배경과 본질에 대해 심도있게 이해할 수 없기 때문입니다. 최근에 대기업부터 일반 중소기업까지 수많은 사람들과 이야기를 해보면 국내에서는 대기업과 일반 중소기업의 기술, 경영 등 전반에 걸친 격차가 매우 크다는 것을 새삼 느끼게 됩니다. 그런데 일반 중소기업들은 성과 위주로 ...

트위터에서 @onsooyoung 님이 QA가 무엇을 말하는지.. 그리고 결론적으로 테스터와 QA의 큰 차이가 무엇인지에 대해 물어보셨다.. 내가 이전에 썼던 글이 그다지 친철하지 못했던 것 같아 반성해 본다.. 혹시나 했지만 역시나 글을 쓴다는 건 무척 어려운것 같다. 특히 나에게는 당연한 것을 다른 사람에게 전달할 때는 더 어려운 것 같다. 먼저 QA에 대해서 잠깐 말해보도록 하겠습니다. QA 는 Quality Assuranced의 약자를 말합니다. 우리 나라 말로 하자면 품질 보증이라고 할 수 있습니다. QA는 QM(Quality management)의 한 단계입니다. QM은 QC(Quality control), QA, QI(Quality improvement)의 3가지 주요 단계로 구성됩니다. 자세한 것은 위키피디아와 같은 내용을 참조하시고, 여기서는 간략하게 결론부터 말하자면.. 테스트는 QC에 훨씬 가깝습니다. 품질 공학에서 말하는 곳마다 조금씩 틀리지만 제품의 품질을 관리하는 것은 3단계를 걸칩니다. 먼저 품질 매트릭을 정의하고 측정하고 수집하고 통계를 내는 QC 단계를 거칩니다. QC 단계를 지나면 수집된 데이터를 통해 생산되는 제품에 대해 일정 품질을 보장할 수 있는 QA 단계에 이릅니다. 그리고 그 다음은 그런 품질을 더 나은 품질로 개선하는 QI 단계로 갑니다. 소프트웨어의 품질에 대해서는 ISO/IEC 25000 표준(ISO/IEC 9126의 최신 버전)을 참고하시면 됩니다. ISO/IEC 25000을 참고한다면 QA가 하는 일이라 하면 기능성 뿐만 아니라, 이식성, 유지 보수성, 보안성, 상호운용성, 사용성 등 품질에 대한 매트릭이 측정 가능해야 하며 그런 측정 활동을 통해 제품에 일정 수준의 품질을 보장할 수 있어야 합니다. 하지만 국내에서 QA 조직을 보면 대부분의 경우 기능성, 성능, 보안성 등 특정 영역에 치중되어 있고, 측정하는 부분도 제대로 된 매트릭을 수집해서 측정하고 보장할 정도의 수준에 도달한 곳도 손에 꼽을 정도입니다. ...