기본 콘텐츠로 건너뛰기

사용자 테스팅

Rapid Usability Testing 연재 후 7번째 글입니다.

전체 내용 중 이제 절반 정도 작성된 것 같습니다.

그래서 전체 내용을 한번 정리해 드릴까 합니다.

연재 내용은 아래처럼 구성되어 있습니다.

------------------------------------------------------------

1. 사용성 테스팅(Massive and Rapid Usability Testing)

 가. 사용성 테스팅의 정의

 나. Rapid Usbility Testing

 다. Massive Usability Testing vs. Rapid Usability Testing

2. 사용성 테스팅 계획(개발 수명주기에서의 사용성 테스팅)

 가. 사용성 테스팅은 언제 수행하나요?

3. 참가자 선정

 가. 사용성 테스팅에 얼마나 많은 참가자가 적당한가?

 나. 사용성 테스팅에서 사용자란 누구인가?

4. 사용성 테스팅 수행

 가. 사용자 테스팅
  - 사용자 테스팅 소개
  - 테스트 과제와 시나리오 작성
  - 관찰실
  - 테스트 진행
  - 회고 그리고 보고서
  - 체크리스트
  - 사용자 테스팅의 장점과 단점

 나. 카드 소팅

 다. 소원의 나무

5. 정리(?)

------------------------------------------------------------

지금까지는 Usabilty Testing 에 대한 일반적인 내용을 다루었다면 이번 글부터는 좀 더 세부적인 각각의 기법(?)들에 대해 다루도록 하겠습니다.

그 첫번째로 소개시켜드리는 기법이 사용자 테스팅입니다.

사용자 테스팅이란 Lab Testing 이라고도 불립니다.

기본적으로 실제 사용자를 대상으로 사용자에게 테스트 과제와 시나리오를 수행하도록 하고 사용자의 행동을 관찰하고 분석함으로써 사용성 문제를 도출하는 기법입니다.

사용자 테스팅이 Lab Testing 과 조금 다른 점이 있다면 사용자를 관찰하는 사람들이 사용성 테스팅 전문가들 뿐만 아니라 제품과 관련된 이해관계자들이 같이 참석한다는 점입니다.

사용자 테스팅이 성공하기 위해서는 반드시 제품과 관련된 이해관계자(개발자 등)의 참석이 필수이며, 되도록 많은 관찰자들이 참가하도록 유도하는 것이 좋습니다.

사용자 테스팅을 위해서는 사용자가 과제를 수행할 테스트실과 관찰자들이 사용자가 제품을 사용하고 과제를 수행하는 모습을 관찰할 관찰실이 필요합니다.

그리고 사용성 테스트에 참가하기 위해 온 참가자가 안내를 받고 쉴 수 있는 공간을 추가로 준비해 주시는 것이 좋습니다.

테스트실과 관찰실은 아래처럼 구성됩니다.


위와 같이 관찰실과 테스트실을 구성할 때 주의할 점은 참가하는 관찰자들이 테스트실의 위치를 알지 못하도록 관찰실과 테스트실을 격리시켜 구성해야한다는 점입니다.

부득이하게 테스트실과 관찰실을 같은 건물 안에 구성해야한다면 접근할 수 있는 입구를 분리시키거나 서로 다른 층에 위치하도록 구성하는 것이 좋습니다.

이유인즉 관찰실에 참가하는 사람들 중 개발자 등과 같이 제품의 개발에 직접적인 연관이 있는 사람들은 참가자(사용자)를 직접 만나고 싶어하거나 감정적으로 대응할 경우가 있는데 이런 경우 관찰자들이 참가자를 직접적으로 만나는 것은 테스트의 결과와 참가자의 개인적인 비밀 유지에 있어 나쁜 결과를 가져오는 경우가 많습니다. 때문에 관찰실과 테스트실은 반드시 분리시켜 위치하도록 하고 관찰자들이 절대적으로 테스트실의 위치를 모르도록 하셔야 합니다.

사용자 테스팅을 위해서 필요한 준비물로는 테스트 대상 제품에 따라 적절한 화면 녹화기와 공유 프로그램이 필요합니다.

또한 관찰실과 연락하기 위한 전화기 또는 무전기가 필요합니다.

이러한 장비로는 유료 장비나 서비스들도 있지만 저는 스카이프를 즐겨 사용합니다. 스카이프는 화면 공유와 전화 또는 메신저를 모두 제공하기 때문에 매우 유용한 도구 중 하나입니다.

만약 테스트 대상 제품이 컴퓨터로 직접적으로 영상을 전송할 수 없다면 대상 제품의 사용 장면을 전송시키기 위한 캠코더와 삼각대와 같은 장비가 추가로 필요합니다.

그리고 테스트실에는 사용자가 제품을 사용하면서 생각을 말할 수 있도록 마이크 장비가 필요하며 관찰실에는 해당 음성이 출력되도록 스피커가 필요합니다.

영상 등을 전송하기 위하여 테스트실과 관찰실은 Lan 또는 상응하는 인터넷 장비로 연결되어 있어야 합니다.

그리고 관찰실에는 무엇보다 풍성한 간식이 준비되는 것이 좋습니다. 간식은 테스트 진행과정에서 긴장을 늦추고 집중하도록 하는 효과가 있습니다.

이러한 사용자 테스팅의 가장 중요한 점은 이 사용자 테스팅 자체가 마치 한편의 연극이나 뮤지컬과 같도록 꾸미는 것입니다.

사용자 테스팅의 목적은 제품의 사용성 문제들에 대하여 제품에 관계된 모든 이해관계자가 같이 인식하고 그것을 해결하기 위해 서로 협력할 수 있도록 동기를 부여하는데 있습니다.

사용자 테스팅을 진행하기 위해서는 2~3명의 사람이 한조가 됩니다.

필요한 사람들은 아래와 같습니다.

1. 진행자
실제 사용자 테스트를 진행하는 사람입니다. 참가자와 같은 방 또는 안전 유리 뒤에서 사용자에게 과제를 부여하고 실제적으로 사용자를 관찰하며 사용성 문제를 찾는 사람입니다.
사용성 테스트의 성패를 좌우하는 가장 중요한 사람입니다.
진행자는 참가자를 편안하게 배려하고 참가자로부터 많은 정보를 얻을 수 있는 인터뷰 기술이 필요하며, 제품에 대하여 중립적인 사람이 좋습니다.
제품에 깊이 관련된 사람이 진행자를 맡는 경우 사용자가 원하는 과제보다는 특정 이해관계에 따른 과제 수행으로 실제적인 사용성 문제를 찾을 수 없을 수도 있습니다.

2. 관찰실 모니터링 요원
관찰실의 관찰자들을 통제하고 원할한 관찰이 이루어지도록 도움을 주는 사람입니다.

3. 접견실 요원
추가적으로 예정 시간보다 일찍 오는 참가자를 맞이하고 참가자가 테스트 장소로 잘 찾아 오고 있는 지 확인하는 사람이 필요합니다. 접견실 요원은 참가자가 가장 먼저 마주치는 사람으로 사교적이고 친절한 사람이 맡는 것이 좋습니다.
회사에 안내 데스크 등이 있는 경우 필요 없을 수도 있습니다.

위와 같은 사람들이 하나의 팀으로 사용자 테스팅을 진행합니다.

그외에 사용자 테스트를 위해서는 참가자와 관찰자가 필요합니다.

1. 참가자
실제 사용자 테스트에 참가하여 과제를 수행하는 사람입니다.

2. 관찰자
제품의 개발자, 기획자 등과 같은 제품과 관련된 이해관계자들이 관찰자로 참석하는 것이 좋습니다.
개인적으로 경영진과 개발자들은 반드시 참석하도록 하는 것이 좋습니다.
필요하다면 외부 사람들을 관찰자로 초대할 수도 있습니다.
관찰자는 필요한 인원 수에 제한은 없지만 너무 많은 인원이 참가할 경우 통제가 어려울 수 있으므로 적절한 인원을 초대하여 진행하는 것이 좋습니다.(개인적으로 10여명의 사람이 가장 적당하다고 생각합니다.)

이러한 사용자 테스팅에 대한 세부적인 내용들은 다음에 계속 다루도록 하겠습니다.

댓글

이 블로그의 인기 게시물

비츠 스튜디오 버즈 플러스(투명) 사용 후기

제 내자분은 아직도 유선 이어폰을 쓰고 있습니다. 그게 좋다고 하시더라구요. 작년에 혹시나 해서 앤커 사운드코어 라이프Q35를 구매해서 조공해봤지만 결국은 안쓰시더라구요. 그래서 작년 추운 겨울에 제가 귀마게 용으로 잘 사용해왔는데.. 여름이 되니.. 와.. 이건 너무 덥고 무거워서 못쓰겠더라구요. 아이폰도 사고 애플 워치도 샀으니.. 다음은 에어팟인데.... 노이즈 캔슬링이 된다는 에어팟 프로 2는 ... 네... 너무 비싸더라구요... 이건 내자분께 얘기해봐야 결제가 될리가 없어서... 고민하고 있던차에.. 네.. 저는 봐버리고 말았습니다. 비츠 스튜디오 버즈 플러스의 그 영롱한 투명 버전의 자태를... 급 뽐뿌가 왔지만.. 여전히 20만원의 고가더라구요... 초기 출시 시기에 이벤트로 16만원 정도 했던거 같은데.. 그정도 가격이면 선 결제 후 보고 하면 될거 같은데.. 20만원은 너무 너무 비싸서 침만 삼키던 차에.. 당근에 15만원에 올라온 물건을 덥석 물었습니다. 애플 뮤직 6개월 프로모션 코드도 사용하지 않은 따끈따끈한 제품이라서 그냥 질렀습니다. 이상하게 인터넷이 실제 리뷰 게시물을 찾기 힘들어서.. 고민을 잠깐 했지만.. 그 투명하고 영롱한 자태에 그만... 어쨌든 구매하고 한달 정도 사용해본 후기를 간단하게 남겨봅니다. 1. 노이즈 캔슬링은 기대한 것과는 좀 다르고 앤커 사운드코어 라이프Q35 정도 되는 것 같습니다. 노이즈 캔슬링은 활성화하면 이게 소리를 막아준다기보다는 주변의 작은 소음만 제거해준다고 생각하시면 됩니다. 그러니까 옆에서 소근 거리는 소리나 선풍기 바람 소리 같은 작은 소리들이 사라지고 음악 같은 내가 듣고자 하는 소리가 굉장히 뚜렸해지만 지하철 안내 방송 같은 조금 큰 소리는 그냥 들립니다. 그래서 주변음 허용 모드를 켜보면 너무 시끄러워서 안쓰게 되더라구요. 전 에어팟 프로 2를 사용해 본적이 없어서 비교할 수는 없지만.. 아주 못쓸 정도의 성능은 아니라고 생각됩니다. 2. 저는 귓구멍이 너무 작아서 XS 사이즈의 이어팁

테스트 케이스와 체크리스트의 차이가 뭐여?

테스트 실무에서 가장 혼돈되어 사용되는 용어 중 하나가 테스트 케이스와 체크리스트입니다. 많은 경우 체크리스트를 테스트 케이스로 사용하는 경우가 많습니다. 실제로 인터넷 커뮤니티나 블로그, ISO, IEEE, ISTQB 등등을 검색해보시면 테스트 케이스와 체크리스트에 대한 구분이 다 제각각입니다. 각각에 대한 정의가 다 제각각입니다. 사정이 이러하다보니 많은 사람들이 테스트 케이스와 체크리스트를 잘 구분하지 못하고 혼동해서 사용하는 경우가 많습니다. 물과 기름처럼 테스트 케이스와 체크리스트를 정확하게 구분할 수는 없겠지만.. ISTQB를 기준으로 말씀드리면 설계 기법을 통해 도출된 것은 테스트 케이스 그렇지 않은 것은 체크리스트라고 생각하시면 쉽습니다. 예를 들면 아래는 결정 테이블 테스팅 기법을 통해 도출된 테스트 케이스의 예제입니다. 실제 테스트 케이스는 위보다 복잡하겠지만 어쨌든 얘기하고 싶은 것은 위와 같이 설계 기법을 통해서 도출된 것은 테스트 케이스라고 합니다. 그런데 딱 보시면 아시겠지만 실제 테스트에서는 저 정도로는 테스트 커버리지를 충분히 만족했다고 얘기하기 힘듭니다. 그렇습니다. 어떤 분들은 테스트 케이스가 전가의 보도, 은 총알 쯤으로 생각하시는데.. 테스트 케이스는 일종의 마지노 선이라고 보시면 됩니다. 최소한 제품을 테스트 할때 이정도는 해줘야 한다는 최후의 방어선 정도라고 보시면 됩니다. 전쟁에서 최후의 방어선은 물러설 수 없는 마지막 보루입니다. 하지만 최후의 방어선만 지킨다고 전쟁에서 승리할 수는 없습니다. 프랑스는 마지노 요새만 믿고 있다가 독일에게 깔끔하게 발렸던 과거가 있지요. 전쟁에서 승리하려면 앞으로 나가야하고 치밀한 전략과 전술이 뒷받침 되어야 합니다. 더 높은 커버리지를 도달하고, 충분히 좋은 테스트가 수행되려면 테스트 케이스는 기본이 되어야 하고 거기에 더해서 체크리스트가 따라와 줘야 합니다. 이러한 체크리스트는 팀의 경험과 과거 프로젝트의 데이

웹 애플리케이션의 보안 취약점을 찾기 위한 통합 침투 테스트 도구 - OWASP Zed Attack Proxy

웹 애플리케이션의 보안 취약점을 테스트하기 위해 그동안 Paros 란 프로그램을 사용해 왔었는데, 안타깝게도 이 프로그램이 업데이트가 되지 않은지 너무 오래돼서 최신의 보안 취약점 검사에는 한계가 있어 이번에 다시 한번 열심히 검색해서 제 나름 기준으로 꽤 좋은 도구를 하나 찾아서 소개해볼까 합니다. 분명 국내에는 저보다 더 능력이 되시는 많은 보안 테스터분들께서 더 좋은 도구를 가지고 테스트를 하시리라 믿습니다만.. 구글에서는 어찌 된 것이 아무리 검색해도 한글로 된 자료를 찾기가 참 어렵습니다. 아마 오늘 제가 소개해 드리는 이 프로그램도 제가 최초가 아닐까? 조심스럽게 생각해 봅니다. 그리고 저도 아직까지 이 프로그램의 모든 기능을 전문적으로 사용하고 있지 못하기 때문에 관련된 자료나 방법을 아시는 분은 같이 공유해주시면 고맙겠습니다. 오늘 소개해드리는 프로그램은 제가 OWASP 홈페이지를 검색하면서 찾아낸 도구입니다. 이 프로그램은 Paros에서 갈라져 나온 프로그램으로 기본적인 사용방법은 Paros와 거의 똑같습니다. 다만 Paros에는 없는 여러가지 기능들이 포함된 정말 종합선물세트와 같은 프로그램입니다. 이 프로그램이 무엇이냐? 바로 OWASP Zed Attack Proxy 라는 프로그램입니다. 이 프로그램에 대한 자세한 내용은 https://www.owasp.org/index.php/ZAP 에서 보실 수 있습니다. 프로그램 소개에는 한국어도 지원한다고 하지만 제 경우에는 아무리 해도 한국어로 나오지는 않네요. 프로그램을 다운로드 하셔서 설치하시고 Weekly Release도 같이 설치하시기 바랍니다. Weekly Release는 zip 파일의 압축을 해제하셔서 설치 디렉토리업 덮어쓰기 하시면 됩니다. 설치를 다 하셨으면 이제 이걸 쓰는 법을 알아보겠습니다. 우선은 브라우저에서 프록시 설정을 해주셔야 합니다. 프록시를 설정하시는 방법은 프로그램에서 F1을 누르셔서 도움말을 실행하신 후에 Getti