네이버 게임 QA 커뮤니티 1차 정모 후기

지난 10월 16일 토요일 정독도서관에서는 네이버 게임 QA 커뮤니티(http://cafe.naver.com/comeonqa)의 1차 정모가 있었습니다.

정독도서관은 3시간 한정으로 무료로 세미나실을 빌릴 수 있어서 정말 좋더군요.. 교통 좋고, 조용하고, 빔과 스피커까지 갖춰져 있어 최적이더군요..

이번 정모에서는 바닐라님의 '리스크 기반 테스팅 전략 구축하기(유지보수 짧고 많은 프로젝트 사이에서)' 에 대한 발표와 제가 진행한 'Extreme Hour' 게임이 있었습니다.

원래는 정든이님의 '게임 개발 QA 경험담' 발표가 하다 더 있었는데.. 정든이님이 늦게 오시면서 제가 게임으로 2시간을 모두 사용해 버려서 발표를 하시지 못하게 되었습니다.

이 글을 빌어 다시 한번 정든이님에게 죄송하다는 말씀을....

정든이님 발표는 다음 번 정모에서 기대하고 있겠습니다.

바닐라님의 발표는 실무에 적용하기 어렵고 무거운 리스크 기반 테스팅 전략을 어떻게 조직에 적용했는지에 대한 주옥같은 발표를 들을 수 있어서 너무 좋았습니다.

실제적인 전략과 리스크 아이템 선정 부분에서 같이 토론하고 싶은 부분도 있고 궁금한 부분도 있었지만 실제적이고 구체적인 이야기는 다음 기회에 나눠봐야할것 같습니다.

그날은 너무 시간이 부족했거든요.

제가 진행한 게임은 'Extreme Hour'란 게임으로 XP를 경험해보기 위해 고안된 게임 중 하나입니다.

'Extreme Hour' 에 대한 상세한 내용은 http://www.c2.com/cgi/wiki?ExtremeHour 에서 확인해 보시기 바랍니다.

저는 위의 내용을 테스트팀이 좀 더 주도적으로 프로젝트를 이끌 수 있게 조금 변형해서 진행했습니다.

제가 진행했던 'Extreme Hour' 은 http://www.c2.com/cgi/wiki?ExtremeHour 에서 다운로드 하실 수 있습니다.

저는 'Extreme Hour'을 경험해본 결과 이 게임은 솔직히 XP를 경험한다기보다는 실제 우리가 프로젝트에서 어떻게 행동하는지를 경험하고 관찰하는데 더 최적인 것 같습니다.

특히 관찰자들의 기록을 읽어보고 나면 좀 더 생각할 점이 많은 것이 좋은 것 같습니다.

XP를 설명하기 전에 이 게임을 통해 실제 프로젝트 안에서 우리의 행동등을 관찰하고 경험한 후 그 문제점을 꺼내 토론한다면 더 좋은 시간이 될 것 같더군요.

아래 각 관찰자들의 기록을 첨부합니다.

개발팀..

개발팀의 기록은 올라오는 데로 가져오겠습니다.

테스트팀.

rhythm3님의 기록을 무단으로 퍼왔습니다.

--------------------------

안녕하세요.

테스팅 그룹 기록을 올립니다.

기다린 분들이 있는 것 같은데, 늦어서 죄송하네요.

각 단계에서 제 눈에 보인 테스트팀의 액션에 대한 나열을 하겠습니다.

그리고 각 단계의 관찰자로써 느낀점을 같이 좀 남기겠씁니다.

 

1. 사용자 스토리와 아키텍처 구상

- 고객의 요구사항에 대해서 키워드를 캐치하며 기록

- 불명확한 고객의 요구에 대한 질문

- 게임 컨셉에 대한 정리

   - 세부적인 컨셉에 대한 질문

   - 플랫폼(NDS)에 관련한 질문

   - 캐릭터 컨셉에 대한 질문

- 요구사항을 제대로 듣지 않고 테스트팀 끼리 얘기를 하면서 상상을 하는 상황

 

느낀점

(물론 전체적으로 해야 할 일이 무엇인지 제대로 인지하지 못하고 있었기 때문에 발생한 문제라고 생각합니다만...시간도 짧았고...)

1. 전체적인 컨셉의 정리는 하고 있었지만, 시스템 전반에 대한 구성에 대한 정리를 하지 않음(물론 질문하지 않았다.)

2. 궁금한 사항을 질문하지 않고 테스트팀 내에서 애매하게 판단하는 사항이 있음(상상 혹은 경험에 의존하여)

 

2. 우선순위 결정과 추정

- 개발팀과 고객의 미팅에서 정해진 스펙을 다시 정리

- 중요도와 컨셉을 다시 세부적으로 스토리카드에 정리

 

느낀점

1. 실제로 이 단계에서 해야할 액션인 '취약점과 리스크'에 대해서는 거의 논의를 하지 못함

2. 앞 단계에서 부족했던 전체 시스템 구성에 대해서 의문을 가지고는 있지만 질문할 생각을 못하고 있음

 

3. 1차 일정 약속

- 우선순위가 높은사항부터 테스트시 고려해야 할 사항에 대해서 논의

- 복제 방지 (시스템 특성상 예외)

- 난이도 (밸런스)

- 캐릭터 라이센스 (시스템 특성상 예외)

- 얘기가 주제와 관련 없는 쪽으로 흘러가다가 시간이 부족해서 자르고 다음 항목으로 넘어가는 일이 몇 회 발생

- 시간이 부족해서 해당 단계의 일정 딜레이 (이때 한명은 개발과 고객 미팅에 파견)

- 파견간 한명은 테스트 케이스 설계에 필요한 변경사항을 전달함

- 변경된 사항을 스토리카드에 업데이트

- 마지막에는 고객과 개발 사이의 미팅의 결론을 듣고만 있음

 

느낀점

1. 이 프로젝트의 구조상 테스트팀의 역할은 실제 기획서에 해당하는 부분을 결정하는 역할을 해줘야 하지만

매우 수동적인 모습을 보이고 있음

2. 여러시각에서 예외처리에 대한 TC가 나오고는 있지만 전체 계획이 없이 항목만 따라가고 있음

 

4. 1차 이터레이션

- 항목별로 테스트해야 할타겟에 대한 논의

- 항목을 2조로 나누어 논의 시작 (업무량 분담)

- 구체적인 케이스를 만들고 있지만 여전히 기준은 없음

- 테스트 구현이 애매한 사항에 대해서 상상을 하고 있음

 

느낀점

1. 숲을 보지 못하고 나무만 보고 있음 (각자 생각이 나는 부분이 언급되면 그것만 따라가게 되는 상황)

 

5. 일정 수정

- 가지고 있는 TC의 우선순위대로 테스트를 진행하다가 다른 곳으로 빠짐

- 눈에 보이는 (화이트보드에 그려진) 것을 따라감

- 실제 가지고 있는 TC를 다 활용하지 않음

- 브리핑 이후

   - 테스트가 부족했던 부분을 수정

   - 개발과 고객의 미팅에서 수정되는 요구사항을 스토리카드에 반영

   - 직접적으로 문제가 예상되는 부분에 대해서 질문을 함

 

느낀점

1. TC자체에 자신이 없기 때문에 몇가지의 자신있는 TC만을 활용한 것으로 보임

2. 액티브하게 변경되는 스펙과 컨셉 이슈로 인해서 삽질이 늘어나고 있으나 이것을 컨트롤 하려는 능동성이 없음

 

6. 2차 이터레이션

- 새로 요구된 사항 중 우선순위가 높은 사항에 대해서 TC작성

- 예외사항이 발생할 만한 이슈를 중심으로 TC를 작성

- 어떤것을 테스트 해야하는지 정신이 없음

- TC작성시 애매한 부분을 상상에 의존하게 되니 기획서가 없다는 한탄이 나옴

- 테스트 우선순위를 정함

 

느낀점

1. 처음부터 테스트팀의 역할에 대한 인지가 부족한 상태로 진행했기 때문에 첫 단추부터 문제가 있었고

연쇄적인 삽질이 계속 되고 있음

2. 기능 테스트와 예외 테스트를 구조적으로 작성하지 않음

------------------------------------------------------------------------------

전체적으로 봤을 때,

 

XP에서는 테스트팀의 역할이 기획자를 포함하고 있으나,

처음부터 그것을 인지하지 못하고 있었습니다.

 

그 때문에 전체적인 스펙이나 컨셉을 구조적으로 정리하지 못했고

TC를 만들기 위한 test basis를 갖추지 못한 상태로 시작했으며

중간중간 그것을 얻기 위한 적극성 역시 부족했습니다.

 

역할과 각 단계에서 해야할 일을 숙지한 상태로

다시 한 번 진행한다면 완전히 다른 결과가 나오지 않을까 싶습니다.

 

 

관찰자로서 이런 것들이 보였지만, 아마 저도 그 팀에 껴있었다면

동일한 양상으로 진행됐을 것으로 생각합니다. -_-;

 

지켜보는 입장에서는 재미있었고 많은 생각을 할 수 있었습니다.

다음에 이런 기회가 주어진다면 꼭 기록자를 해보시길 강추 합니다

고객..

역사가님의 기록을 무단으로 퍼왔습니다.

-------------------------------------

안녕하세요 ^^ 역사가입니다.

오늘 정모같다 왓는데 엄청 재미있더라구요..

ㅋㅋㅋㅋㅋㅋㅋㅋ

지금쯤이면 어른들끼리 모여서 술 한잔 하시구 있으시겠군요..ㅇㅅㅇ..

전 학생이라 걍왓는데..ㅋㅋㅋㅋㅋㅋ

 

본론으로 들어가서 고객의 입장에서의 기록한걸 쓰겠습니다.

( 참고로 제가 아무것도 모르는 초짜라는걸 이해해 주시고 봐주시길..)

일단 고객은 바닐라님 그리고 또 남자님(누군지 모르겠어여.!)

이렇게 두분이구요.

기록 :1차: 어린이들이 주로 하는 게임이니, 캐릭은 뽀로로로 하는게 좋겠고, 비폭력적으로 게임을 만들면 좋겠다.

미로 형식으로 게임이 진행되었으면 좋겠으며, 중간중간 몬스터가 존재, 몬스터와 대결구조는 (영어, 한문)으로

학습적으로 몬스터와 싸우며 이길시 비폭력적으로 몬스터를 퇴치 (아마 이렇게 되면 턴 형식이겠죠?)

중간 보스는 드래곤(남자분꼐서 끝까지 밀고 나가셔서..) 최종 보스는 쥐마왕(-_-;;)이것에 맞게 세계관을 추가했음 좋겠다.

NDS 플랫폼 추가(강조), 업적시스템, 트레이딩 시스템 추가. 칭호 시스템 추가(한자 10개를 풀시,등등)

몬스터가 죽을떄 웃음꽝스럽게 죽음(개발자들은 이것을 보글보글형식으로 거품내뱉으면 하늘로 올라간다고 하던군요 ㅇㅅㅇ)

뽀너스 스테이지(중간중간에) 강조.

2차: 캐릭터 디자인(보스, 뽀로로)등을 다시 만들었으면 좋겠고, 샘플을 많이 보여주었음 좋겟다.

튜토리얼을 세계관에 대해서 동영상을 넣고 터치추가, 오답샘플, 인트로(wow급으로), 업적시스템 추가 트레이딩 시스템

(트레이딩 카드형식-사고팔수있게, 컬렉션 할수있게,갤러리)

3차 : 마지막 출시를 할것인가..?

고객 : 의도가 많이 다르고 튜토리얼 링크가 이상하고 캐릭터문제와 중간중간 저장이 불가능해서

프로젝트 폐기

잡애기 : 고객답게 요구상황이 너무 많고 코치분과 잡담을 너무 많이 하고 남자분계서는 아이폰 타령중이시고 잡담(사생할)애기를 하시고 웃음이 너무 많으시고 한가롭고 남자분계서는 애들게임을 액션게임으로 만들실려고 하시고 개발님 무시 - 등등.

 

 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 뭔 내용이신지 모르시겠지만, 정모 같다온 분들만 알수있는 내용입니다.

 엄청 웃고, 교훈도 많은 정모(?)였습니다.ㅋㅋㅋㅋㅋㅋㅋ

 처음에는 서먹서먹 하더니, 뮤리안님꼐서고안해낸, 게임을 토대로 팀짜서 하다보니 금방 친해지시는것 같더군요..^^

 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 특히 개발팀 맡은 분들이 너무 웃음이 많이 주셔서,(자희님도 포함) 엄청 웃었어요.ㅋㅋㅋ

 바닐라님도 엄청 웃으시더라구요...ㅋㅋㅋㅋㅋㅋㅋㅋㅋ'

 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

 그리고 충격적인건 전 진짜 진지하실줄 안 뮤리안님꼐서.....전혀 다른이미지..ㅠㅠㅠㅠㅠㅠㅠㅠ

 

 하튼 엄청 재미있었습니다.!

 다음에는, 둿풀이, 꼭 가고싶군효..ㅠ

 어린나이에 그냥 쓰는것이지만, 자희님하고 바닐라님하고 약간 통하시는게 있으신것 같아요.ㅋㅋ

 http://www.cyworld.com/01049473981  싸이하는분들 일촌좀요 ㅋㅋㅋㅋㅋㅋ

모처럼 즐겁고 유쾌하고 의미있는 정모였습니다. 다음번에도 이런 기회가 계속되면 좋겠습니다.