기본 콘텐츠로 건너뛰기

STAREAST 참관기 - Meet Big Agile: Testing on Large-Scale Projects

컨퍼런스 첫날 마지막 세션입니다.

이 세션 이전에 'Improving the Mobile Application User Experience(UX)'라는 세션을 들었는데... 언급조차 하고 싶지 않을 정도로 최악이었습니다.

국내에서 제 사용성 테스팅 교육에 들어오시는 분들이 원하는 딱 그런 내용이었습니다.

그냥 싼맛에 사용자 없이 팀 내부에서 기존의 디자인 원칙에 따라 쿵쿵짝짝 고려해야 할 내용들에 대한 사례를 기반으로 한 내용이었는데.. 영양가가.. 0로 수렴하는...

차라리 Erik van Veenendaal의 'Risk-Based Testing for Agile Projects'를 들을걸 후회가 막심했습니다. 에릭은 오랜만에 얼굴을 보니 못알아볼정도로 역변을 했더군요. 제 기억력이 안좋은 건지 처음에는 못알아볼뻔 했습니다. 인사를 할까? 하다가 너무 오랜만이라서 저 같은 사람 기억도 못할 것 같아 소심한 마음에 인사도 못했습니다.

그래서 두번째 세션 후기는 넘어가고 마지막 세션 후기입니다.

이 세션은 Geoff Meyer 라는 분이 발표를 했고, 발표 내용은 Dell의 전사 애자일 적용에 대한 사례 발표였습니다.

델은 미국에 2개, 인도에 2개의 디자인 센터를 운영하며 over sea 프로젝트를 애자일 방법론으로 오래전부터 운영해왔다고 합니다.

이 디자인 센터에서는 서버 시스템 관리 프로그램이나 콘솔 플러그인과 같은 임베디드 소프트웨어를 개발하고 있는데 업데이트 주기가 6개월 이내로 일정 압박이 심하고, 경쟁 제품과 경쟁에 대한 압박 그리고 자주 변경되는 요구사항 등등 초기에는 여러 문제가 발생해서 책을 통해 내부적으로 공부도 하고, 컨퍼런스도 참가해보고 전문가 그룹과 컨설턴트의 도움을 받아 2009년부터 단계적으로 애자일을 도입했다고 합니다.

그러면서 하는 얘기가 애자일 프로젝트 도입은 한번에 완성될 수 없으니 단계적으로 도입하기 위한 로드맵을 잘 구성해야한다고 했습니다.

인상적이었던 내용은 각각의 팀안에서의 인원구성이었습니다. 델은 기본적으로 언제나 개발자와 테스터의 비율을 3:1로 구성한다고 합니다.

그리고 스크럼 팀 내의 테스터와 별도로 전사 차원의 테스트 아키텍처가 별도로 있고 이 사람들이 테스트 설계를 전담한다고 합니다. 이외에도 자동화 아키텍처가 따로 있고 이 사람들은 테스트 아키텍처와 협업을 통해 테스트 자동화를 구축한다고 합니다.

그 외에 개발 초기에 테스팅을 시작하는 것을 굉장히 강조했고, 애자일 개발은 사람에게 부하가 심해서 반드시 휴식이 필요하다고 강조했습니다.

그래서 델에서는 하나의 프로젝트가 끝나고 새로운 프로젝트를 수행하기 전에 반드시 Refresh Workshop을 가진답니다.

델은 거대한 제품 개발을 위해 하나의 이터레이션에 여러 스크럼팀이 동시에 작업을 수행하는데 이러한 여러 팀이 문제 없이 움직이기 위해 각 스크럼팀의 기술지원을 담당하는 아키텍처와 프로덕트 오너가 모든 것을 집중해서 관리하는 식으로 프로세스를 구축했더군요.

그리고 그러한 프로세스가 정상적으로 동작하기 위해 2가지를 강조했습니다.

하나는 작업 방식에 대한 표준 즉, 프로세스가 표준화 되어야 한다.

그리고 자동화.. 할 수 있는 것은 모두 자동화를 했다고 합니다. 빌드, 테스트 등.. 정말 많은 자동화를 진행했더군요.

짧은 시간 동안의 사례 발표라서 실제적으로 어떻게 일하는지는 알 수 없었지만 대형 프로젝트에서 전사적으로 애자일이 적용될 수 있는 사례 발표로 꽤 좋았습니다.

발표하시는 분은 꽤 자부심을 가지고 발표를 해서 그런지 웬지 모르게 더 신뢰가 가더군요.

국내에서는 여러 사정으로 애자일이 확산이 안되고 있는데 그런 면에서 참 부러운 발표였습니다.

튜터리얼 부터 컨퍼런스까지 매 시간이 끝나면 간단한 설문지를 수거해서 모니터링을 하더군요.

설문지를 수거하거나 배포하시는 분들은 얼핏 보기에는 자원봉사자 분들처럼 보였습니다.

나이가 지긋하신 할머니 할아버지 분들이 하시더군요..

그리고 중간 중간 간식을 주고 점심도 빵빵하게 먹여주니 정말 좋았습니다.

음식이 달고 느끼하긴 했지만요.. 정말 과일만 열심히 먹었던것 같습니다.

이 세션이 끝나고 마지막 키노트 세션이 하나 더 있긴 한데.. 무슨 내용이었는지 기억이 나질 않네요..

적어 놓은게 없으니 먼가 아쉽지만 이렇게 첫날 컨퍼런스가 끝났습니다.

댓글

이 블로그의 인기 게시물

AI 에이전트의 환각과 프롬프트 폭증을 막는 '컨텍스트 엔지니어링(Context Engineering)'과 아키텍처의 미래

AI 코딩 에이전트나 생성형 LLM을 소프트웨어 개발에 접목하는 시도가 늘어나면서, 엔지니어들이 마주하는 가장 큰 기술적 병목 중 하나는 바로 '컨텍스트(Context)'의 관리입니다. 저 역시 최근 AI와 바이브 코딩(Vibe Coding)을 활용해 여러 프로젝트를 진행하고 있는데, 하나의 대화창(세션)을 오래 켜둔 채 작업을 계속 이어가다 보면 AI가 초기 맥락을 잊어버리거나 이전에 지켜달라고 했던 제약조건을 놓치며 실수를 저지르는 경우를 자주 겪곤 합니다. 그래서 저는 목적별로 대화창을 명확하게 분리해서 작업하거나, 어느 정도 작업 단계가 진행되면 지금까지의 구현 내용과 의사결정을 요약 정리한 뒤 새 대화창에서 AI에게 이를 다시 학습시키는 방식으로 맥락을 관리하고 있습니다. 그렇다면 엔지니어링 아키텍처 차원에서는 이 문제를 어떻게 접근하고 있을까요? InfoQ의 발표 아티클 "Architecture / Context Engineering"에서는 바로 이 지점, 즉 단순한 프롬프트 엔지니어링을 넘어 시스템 아키텍처 수준에서 컨텍스트를 제어하는 '컨텍스트 엔지니어링(Context Engineering)'의 필요성과 구체적인 프레임워크를 다루고 있습니다. (출처: InfoQ - Architecture / Context Engineering) https://www.infoq.com/presentations/architecture-context-engineering/ 발표자들은 코딩 에이전트나 자율형 에이전트가 현장에서 실패하는 가장 큰 이유로 '비대해진 컨텍스트 윈도우(Bloated Context Windows)'와 무분별하게 채워진 프롬프트(Stuffed Prompts)를 꼽습니다. AI에게 너무 많은 정보를 한 번에 주면, 모델의 주의력(Attention)이 분산되거나 논리적 우선순위를 놓치는 현상이 발생합니다. 마치 인간 엔지니어에게 백과사전 수십 권을 던져주고 "이거 다 읽고 10초 ...

합성 사용자(Synthetic Users)의 5가지 유형과 AI 테스팅 현장에서의 활용법

AI와 생성형 모델 기술이 발전하면서, 사용자 경험(UX) 연구와 테스팅 현장에서 가상 퍼소나를 활용해 테스트 데이터를 수집하거나 사용성을 평가하려는 시도가 급격히 늘고 있습니다. 이를 흔히 '합성 사용자(Synthetic Users)'라고 부릅니다. 하지만 막연히 "AI에게 사용자 역할을 시켜 테스트를 돌린다"고 할 때, 그 가상 사용자가 어떤 방식과 데이터로 생성되었는지 명확히 구분하지 않으면 자칫 왜곡된 결과에 빠질 위험이 있습니다. UX 및 사용성 리서치 분야의 권위 있는 기관인 MeasuringU에서 이 합성 사용자의 개념을 명쾌하게 분류한 아티클을 공개했습니다. 바로 "What Are the Different Types of Synthetic Users?"라는 글입니다. (출처: MeasuringU - What Are the Different Types of Synthetic Users? / Jeff Sauro, PhD & Jim Lewis, PhD) https://measuringu.com/what-are-the-different-types-of-synthetic-users/ Jeff Sauro와 Jim Lewis 박사는 합성 사용자를 단순히 하나의 개념으로 뭉뚱그리지 않고, 생성 기술의 근거와 데이터 기반에 따라 크게 5가지 유형으로 깔끔하게 정리해 줍니다. 첫째는 규칙 기반(Rule-Based) 합성 사용자입니다. AI 모델이 아니라 사전 정의된 조건문, 정규식, 시나리오 스크립트에 따라 움직이는 전통적인 형태의 가상 사용자입니다. 예측 가능하고 정확하지만, 인간 사용자의 복잡한 정서나 미묘한 변수를 반영하진 못합니다. Selenium, Playwright, K6 같은 도구를 통해 지정된 경로대로 버튼을 누르고 데이터를 입력하는 방식을 들 수 있습니다. 둘째는 퍼소나 기반 LLM(Persona-Based LLM) 합성 사용자입니다. 생성형 AI에게 "너는 50대 비테크놀로지 사용...

AI의 UX, 단 5개 문항으로 측정하는 방법: SUXAI

테스트 관리에는 아주 유명한 명언이 있습니다. 어쩌면 이 말은 테스트 관리에서만 유용한 얘기는 아닐거고.. 어쩌면 여러분도 다른 곳에서 들었을 수도 있습니다. "측정할 수 없으면 개선할 수 없다" 지난 글(https://murianwind.blogspot.com/2026/07/ai_01010698011.html)에서 생성형 AI 시대에는 기존의 일반적인 사용성 지표(SUS 등)만으로는 부족하며 정확성, 신뢰성, 설명 가능성, 제어 가능성이라는 AI 에 특화된 품질 특성이 필요하다고 정리해 드린 바 있습니다. 하지만 실무자의 입장에서 항상 부딪히는 현실적인 고민이 있습니다. "이론은 좋은데, 당장 매주 업데이트되는 AI 기능의 UX를 바쁜 현장에서 어떻게 빠르고 정량적으로 측정할 것인가?"라는 점이죠. MeasuringU에서 이에 대한 명확하고 실용적인 해답을 제시하는 후속 아티클을 공개했습니다. 바로 "Streamlined Measurement of the UX of AI"입니다. (출처: MeasuringU - Streamlined Measurement of the UX of AI / Jeff Sauro, PhD & Jim Lewis, PhD) https://measuringu.com/streamlined-measurement-of-the-ux-of-ai/ Jeff Sauro와 Jim Lewis 박사는 실무 연구자들과 테스터들이 긴 설문이나 복잡한 프레임워크 없이도 AI 제품의 핵심 품질을 빠르게 측정할 수 있도록 SUXAI(Streamlined UX of AI)라는 간소화된 측정 모델을 구축했습니다. 기존에 수많은 문항으로 분산되어 있던 지표들을 통계적 요인 분석을 통해 쥐어짜고 압축하여, 핵심적인 5가지 5점 척 문항 으로 표준화했습니다. SUXAI를 구성하는 5가지 핵심 평가 문항 정확성 (Accuracy): "이 AI가 생성한 결과물은 정확하다." 신뢰성 (Trust/Re...