기본 콘텐츠로 건너뛰기

품질 기준은 누가 만드는 것인가?

테스트를 하면 결함이 발견됩니다.

시스템이 어떤 원인으로 충돌이 발생해서 죽어버리거나 하는 문제는 별다른 이견 없이 개발 조직 전체가 수정을 하기 위해 노력을 합니다.

하지만 사용성, 보안성, 효율성과 같은 비기능성 결함들에 대해서는 얘기가 달라집니다.

개발에 참여하는 이해관계자들간의 의견 충돌로 결론을 내지 못하고 수정되지 못하는 경우가 비일비재합니다.

테스터들은 사용자에게 불편하다며 사용자가 원한다며 사용자를 들먹거리지만 다른 이해관계자들은 내가 아는 사용자는 그렇지 아니하다며 기획 의도라며 무시하기 일쑤입니다.

결함의 본질은 흐려지고 정치 싸움의 아수라장이 되기 십상입니다.

이런 아수라장의 원인에는 이러한 비기능성 결함에 대하여 테스트 조직이 근거를 명확하게 제시하지 못하기 때문입니다.

근거를 명확하게 제시하지 못하는 이유는 첫번째는 기준이 없기 때문이고 두번째는 실제로 사용자를 대상으로 조사나 테스트를 수행해 본적이 없기 때문입니다.

많은 테스트 조직이 비기능성 결함에 대한 근거로 사용자를 들먹거리지만 실상은 그냥 테스터들의 직감, 경험일 뿐입니다.

그 어디에도 사용자는 없습니다.

사정이 이러하다보니 소프트웨어 개발에 있어 품질 기준이 있을리 만무합니다.

소프트웨어 개발의 전체 과정에서 품질 기준은 가장 격렬한 분쟁을 일으키기 좋은 소재입니다.

과연 품질 기준은 어떻게 만들어야 할까요?

많은 조직들은 고객이 원하는 품질 기준을 알아내기 위하여 노력을 합니다. 물론 노력조차 하지 않는 조직도 있습니다.

하지만 아무리 많은 비용과 시간 그리고 좋은 방법론, 접근법을 사용한다 하더라도 절대로 사용자가 원하는 품질 기준은 알아낼 수 없습니다.

왜냐하면 사용자는 절대로 자신이 어느 정도의 품질을 원하는지 알지 못하기 때문입니다.

사용자는 그저 소프트웨어를 개발한 회사가 제시해주는 품질에 만족하며 사용할 뿐입니다.

그런데 이러한 소프트웨어를 만드는 회사가 시장을 독과점 하는 경우라면 사용자들은 그냥 그 회사의 품질에 길들여지고 그 회사의 품질이 최고인듯 생각하게 됩니다.

비교군 자체가 없기 때문에 그렇습니다. 그리고 어떤 문제가 발생하더라도 나만 아니면 괜찮다는 인지부조화로 합리화시켜버립니다.

우리 나라에서 쏟아져 나오는 많은 소프트웨어가 이러한 상황에서 국제적인 경쟁력조차 갖추지 못하는 낮은 품질의 소프트웨어를 만듭니다.

특히 우리 나라의 대다수 사용자들은 영어권에서 쏟아져 나오는 높은 품질의 소프트웨어를 접할 기회가 그다지 없습니다.

그 회사들은 시장이 작은 우리 나라에 관심을 기울일 이유가 그다지 크지 않기 때문입니다.

영어권 국가들은 다양한 사용자들을 만족시켜야 하기 때문에 품질에 대하여 좀 더 심각하게 고민해야만 살아남을 수 있지만 우리 나라 기업은 그런 고민이 없습니다.

우리 나라의 소프트웨어가 외국에 팔리지 못하는 것은 우물안 개구리처럼 품질 기준조차 만들지 못하는 낮은 성숙도를 가지는 조직의 문제가 크다고 봅니다.

품질 기준은 만드는 사람이 세워야 합니다. 자신들이 정한 기준에 도달하기 위해 끝없이 도전하고 도전해야 합니다.

하지만 우리 나라에서 그런 회사를 보기가 쉽지 않습니다.

많은 회사들이 이러한 품질 기준을 세우는 것을 꺼려합니다. 왜냐하면 그러한 품질 기준을 맞추고 그러한 품질 기준에 따라 제품을 만드는 것은 초기 비용이 꽤 많이 들어갑니다.

많은 실패와 도전에 대한 기회 비용이 필요한데, 여기에 대해 투자할 이유가 없는 것입니다.

그냥 대충 만들어도 넙죽 넙죽 받아 쓰는 멍청한 고객이 사방에 널려 있는데 품질 기준을 만들고 그 품질에 도전할 동기가 없는 것이죠.

하지만 결국은 우물 안 개구리로 외부 충격이 가해지면 쉽게 쓰러져버립니다.

그런데, 품질 기준을 세우고 그 기준에 대한 투자가 정말로 그렇게 많은 비용이 들어가는 작업일까요?

여러분이 정말 품질이 좋은 제품이라고 생각하는 제품을 하나 생각해 보십시오.

그리고 그 제품을 생산하는 단가를 생각해 보십시오.

예를 들면 자동차를 생각해보죠.

정말 좋은 자동차를 만드는 회사로 어떤 회사가 떠오르시나요?

볼보, BMW, 렉서스??

그러면 그러한 자동차를 생산하는데 들어가는 단가는 얼마나 될까요? 이러한 자동차는 과연 얼마나 비싼걸까요?

우리 나라는 여러 보호 무역 장치와 옵션 장난질로 길들여진 마인드로 객관적 비교가 힘들긴 하지만 현대나 기아에 비해 크게 비싼 가격은 아닙니다.

자동차에 정말로 중요한 것이 무엇인지를 생각해본다면 말입니다.

안전을 기준으로 투자를 한다고 하면 말입니다.

조직 자체의 품질 기준을 세우고 그에 대한 도전은 장기적으로는 많은 비용 절감의 효과를 가져올 수 있습니다.

품질 기준은 누구에게 물어서 알아낼 수 없는 것입니다.

고객은 절대 품질 기준을 얘기해 줄 수 없습니다.

품질 기준은 소프트웨어를 개발하는 당사자들이 세워야 하는 것입니다.

이건 테스터가 만드는 것도 개발자가 만드는 것도 사장님이 만드는 것도 아닙니다.

이해관계자 전체의 총의가 모여 하나의 목표가 되어야 합니다.

지금 당장은 경쟁 업체를 이기기 위해서 아니면 최소한 따라가기에 급급하기 때문에 품질이 중요하게 생각되지 않으시나요?

경쟁 업체의 품질 수준과 비슷한 수준으로만 만드는 정도로 비용 절감을 극대화하면 과연 살아남을 수는 있는걸까요?

고객은 생각외로 영악하고 매우 냉정합니다.

독과점 시장으로 다져진 패러다임이라해도 계속되는 충격이 가해진다면 언제 어느 순간에 파도 앞의 모래성과 같이 될지 아무도 알 수 없는 것입니다.

중요한 것은 기존의 품질보다 더 나은 품질의 블루오션을 잡아낸다면 더 적은 비용으로 경쟁 업체를 이길 수도 있을 겁니다.

그러기 위해서는 사용자를 이해하려는 노력과 사용자를 위해 우리가 품질의 기준을 제시할 수 있어야 한다고 생각합니다.

애플은 그러한 일을 꽤 오랫동안 잘 해왔던 업체 중 하나입니다.

애증의 삼성은 글쎄요...

많은 사람들이 삼성이 위기라고 말하지만 전 아직 시작도 안했다고 봅니다.

삼성을 포함한 우리 나라 기업들의 위기는 베껴야 할 품질 기준의 선도 업체가 사라지는 순간이라고 봅니다.

그런 의미에서 애플이 앞으로도 계속 잘 나갔으면 하는 바램입니다.

그 전에 우리가 스스로 품질에 대한 기준을 제시하는 수준으로 성숙되었으면 하는 바램입니다.

댓글

이 블로그의 인기 게시물

비츠 스튜디오 버즈 플러스(투명) 사용 후기

제 내자분은 아직도 유선 이어폰을 쓰고 있습니다. 그게 좋다고 하시더라구요. 작년에 혹시나 해서 앤커 사운드코어 라이프Q35를 구매해서 조공해봤지만 결국은 안쓰시더라구요. 그래서 작년 추운 겨울에 제가 귀마게 용으로 잘 사용해왔는데.. 여름이 되니.. 와.. 이건 너무 덥고 무거워서 못쓰겠더라구요. 아이폰도 사고 애플 워치도 샀으니.. 다음은 에어팟인데.... 노이즈 캔슬링이 된다는 에어팟 프로 2는 ... 네... 너무 비싸더라구요... 이건 내자분께 얘기해봐야 결제가 될리가 없어서... 고민하고 있던차에.. 네.. 저는 봐버리고 말았습니다. 비츠 스튜디오 버즈 플러스의 그 영롱한 투명 버전의 자태를... 급 뽐뿌가 왔지만.. 여전히 20만원의 고가더라구요... 초기 출시 시기에 이벤트로 16만원 정도 했던거 같은데.. 그정도 가격이면 선 결제 후 보고 하면 될거 같은데.. 20만원은 너무 너무 비싸서 침만 삼키던 차에.. 당근에 15만원에 올라온 물건을 덥석 물었습니다. 애플 뮤직 6개월 프로모션 코드도 사용하지 않은 따끈따끈한 제품이라서 그냥 질렀습니다. 이상하게 인터넷이 실제 리뷰 게시물을 찾기 힘들어서.. 고민을 잠깐 했지만.. 그 투명하고 영롱한 자태에 그만... 어쨌든 구매하고 한달 정도 사용해본 후기를 간단하게 남겨봅니다. 1. 노이즈 캔슬링은 기대한 것과는 좀 다르고 앤커 사운드코어 라이프Q35 정도 되는 것 같습니다. 노이즈 캔슬링은 활성화하면 이게 소리를 막아준다기보다는 주변의 작은 소음만 제거해준다고 생각하시면 됩니다. 그러니까 옆에서 소근 거리는 소리나 선풍기 바람 소리 같은 작은 소리들이 사라지고 음악 같은 내가 듣고자 하는 소리가 굉장히 뚜렸해지만 지하철 안내 방송 같은 조금 큰 소리는 그냥 들립니다. 그래서 주변음 허용 모드를 켜보면 너무 시끄러워서 안쓰게 되더라구요. 전 에어팟 프로 2를 사용해 본적이 없어서 비교할 수는 없지만.. 아주 못쓸 정도의 성능은 아니라고 생각됩니다. 2. 저는 귓구멍이 너무 작아서 XS 사이즈의 이어팁

테스트 케이스와 체크리스트의 차이가 뭐여?

테스트 실무에서 가장 혼돈되어 사용되는 용어 중 하나가 테스트 케이스와 체크리스트입니다. 많은 경우 체크리스트를 테스트 케이스로 사용하는 경우가 많습니다. 실제로 인터넷 커뮤니티나 블로그, ISO, IEEE, ISTQB 등등을 검색해보시면 테스트 케이스와 체크리스트에 대한 구분이 다 제각각입니다. 각각에 대한 정의가 다 제각각입니다. 사정이 이러하다보니 많은 사람들이 테스트 케이스와 체크리스트를 잘 구분하지 못하고 혼동해서 사용하는 경우가 많습니다. 물과 기름처럼 테스트 케이스와 체크리스트를 정확하게 구분할 수는 없겠지만.. ISTQB를 기준으로 말씀드리면 설계 기법을 통해 도출된 것은 테스트 케이스 그렇지 않은 것은 체크리스트라고 생각하시면 쉽습니다. 예를 들면 아래는 결정 테이블 테스팅 기법을 통해 도출된 테스트 케이스의 예제입니다. 실제 테스트 케이스는 위보다 복잡하겠지만 어쨌든 얘기하고 싶은 것은 위와 같이 설계 기법을 통해서 도출된 것은 테스트 케이스라고 합니다. 그런데 딱 보시면 아시겠지만 실제 테스트에서는 저 정도로는 테스트 커버리지를 충분히 만족했다고 얘기하기 힘듭니다. 그렇습니다. 어떤 분들은 테스트 케이스가 전가의 보도, 은 총알 쯤으로 생각하시는데.. 테스트 케이스는 일종의 마지노 선이라고 보시면 됩니다. 최소한 제품을 테스트 할때 이정도는 해줘야 한다는 최후의 방어선 정도라고 보시면 됩니다. 전쟁에서 최후의 방어선은 물러설 수 없는 마지막 보루입니다. 하지만 최후의 방어선만 지킨다고 전쟁에서 승리할 수는 없습니다. 프랑스는 마지노 요새만 믿고 있다가 독일에게 깔끔하게 발렸던 과거가 있지요. 전쟁에서 승리하려면 앞으로 나가야하고 치밀한 전략과 전술이 뒷받침 되어야 합니다. 더 높은 커버리지를 도달하고, 충분히 좋은 테스트가 수행되려면 테스트 케이스는 기본이 되어야 하고 거기에 더해서 체크리스트가 따라와 줘야 합니다. 이러한 체크리스트는 팀의 경험과 과거 프로젝트의 데이

웹 애플리케이션의 보안 취약점을 찾기 위한 통합 침투 테스트 도구 - OWASP Zed Attack Proxy

웹 애플리케이션의 보안 취약점을 테스트하기 위해 그동안 Paros 란 프로그램을 사용해 왔었는데, 안타깝게도 이 프로그램이 업데이트가 되지 않은지 너무 오래돼서 최신의 보안 취약점 검사에는 한계가 있어 이번에 다시 한번 열심히 검색해서 제 나름 기준으로 꽤 좋은 도구를 하나 찾아서 소개해볼까 합니다. 분명 국내에는 저보다 더 능력이 되시는 많은 보안 테스터분들께서 더 좋은 도구를 가지고 테스트를 하시리라 믿습니다만.. 구글에서는 어찌 된 것이 아무리 검색해도 한글로 된 자료를 찾기가 참 어렵습니다. 아마 오늘 제가 소개해 드리는 이 프로그램도 제가 최초가 아닐까? 조심스럽게 생각해 봅니다. 그리고 저도 아직까지 이 프로그램의 모든 기능을 전문적으로 사용하고 있지 못하기 때문에 관련된 자료나 방법을 아시는 분은 같이 공유해주시면 고맙겠습니다. 오늘 소개해드리는 프로그램은 제가 OWASP 홈페이지를 검색하면서 찾아낸 도구입니다. 이 프로그램은 Paros에서 갈라져 나온 프로그램으로 기본적인 사용방법은 Paros와 거의 똑같습니다. 다만 Paros에는 없는 여러가지 기능들이 포함된 정말 종합선물세트와 같은 프로그램입니다. 이 프로그램이 무엇이냐? 바로 OWASP Zed Attack Proxy 라는 프로그램입니다. 이 프로그램에 대한 자세한 내용은 https://www.owasp.org/index.php/ZAP 에서 보실 수 있습니다. 프로그램 소개에는 한국어도 지원한다고 하지만 제 경우에는 아무리 해도 한국어로 나오지는 않네요. 프로그램을 다운로드 하셔서 설치하시고 Weekly Release도 같이 설치하시기 바랍니다. Weekly Release는 zip 파일의 압축을 해제하셔서 설치 디렉토리업 덮어쓰기 하시면 됩니다. 설치를 다 하셨으면 이제 이걸 쓰는 법을 알아보겠습니다. 우선은 브라우저에서 프록시 설정을 해주셔야 합니다. 프록시를 설정하시는 방법은 프로그램에서 F1을 누르셔서 도움말을 실행하신 후에 Getti