테스트는 재미있으면 안되나요??
우리 스쿼드의 Dev QA
안녕하세요 원티드랩 QA팀 김명관 입니다.
원티드랩 에서는 2주 단위의 스프린트를 진행하며Dev QA라는 이름의 개발 환경 통합 테스트 기간을 갖고 있습니다.
개발에 참여한 모든 스쿼드 구성원이 참여하여 QA가 작성한 TC나 테스트 맵을 따라 테스트를 수행하고 스테이징 환경에 배포되기 전까지 최대한 버그를 잡아 수정함으로써 요구사항을 충족하는지 점검하죠.
2021년 12월에 UGC 스쿼드에 참여하게 된 후, 2022년 상반기에는 QA 프로세스를 다지고 Dev QA에서 버그를 최대한 찾아 내는 데에 집중했어요. 이 과정에서 Dev QA 방식에 대한 고민과 개선점이 보이기 시작했고 2022년 하반기에는 저의 고민을 해결해 보려는 시도를 하고 있습니다.
그 중 첫 번째로 [스쿼드 구성원들이 QA를 더 잘 할 수 있게 도와주자] 를 위해 시도했던 방식을 소개합니다.
테스트는 재미가 없어요
최소한 지금까지 제가 만나본 수 많은 테스터, QA분들 중 테스팅 활동이 재미있다고 얘기하시는 분은 없었습니다.
저는 테스트도 재밌고 테스트 설계 활동도 재미있지만 이렇게 얘기하면 주변에서 이상하게 쳐다보곤 합니다..
어쨌든, 일반적으로 테스트는 원래 귀찮고 재미가 없습니다. QA에게도 테스트는 재미가 없는데 기획자, 개발자, 디자이너 분들은 어떨까요? 기능 마다 세세하게 꼬집고 찔러보며 기술적으로 문제가 없음에도 사용성 측면도 고려하며 이미 확인했던 기능을 반복하며 체크해야 하는 활동들이 재미 있을 리가 없습니다.
재미가 없다면 구성원들의 테스트에 대한 적극성이 떨어지고, 적극성이 떨어지면 곧 생산성도 떨어져 테스트 결과에 대한 신뢰도나 버그 검출률이 떨어지기 마련입니다.
그래서 [만약에 테스트가 재미있어지면 구성원들이 테스트를 적극적으로 참여할 수 있게 되지 않을까?] 라는 생각을 하게 되었습니다.
구성원들이 Dev QA에 흥미와 참여 욕구를 느낄 수 있도록 스쿼드 내에서 소소한 이벤트를 준비해 보았습니다.
버그찾기 대회
스쿼드 내 버그바운티 대회를 열기로 했습니다.
버그바운티
서비스나 제품의 취약점을 찾아 제보하고 포상금을 지급 받는 제도
버그바운티의 이름만 빌려와 스프린트 진행 중 가장 많은 버그를 제보해 주신 두 분께 상품을 지급하기로 했어요. TC에 있는 버그를 찾는 경우 1점, TC에 없는 버그를 찾는 경우 2점을 올리게 됩니다.
우승하신 2분께는 간단한 인터뷰를 통해 버그바운티 대회의 효용성을 확인해 보기로 했어요.
버그바운티 시작
제 1회 버그바운티는 해당 스프린트의 Dev QA와 함께 시작되었습니다.
제가 버그바운티를 통해 바라는 점은 이렇습니다.
1. 구성원의 Dev QA에 대한 흥미 유발.
2. TC 외에서 발생하는 이슈의 발견.
3. Dev QA에서 더 높은 품질을 달성.
4. QA업무에 대한 이해도 상승.
무엇보다 Dev QA가 재미있고 그것이 흥미를 끌기를 바랬어요. Dev QA간 버그바운티가 진행되고 있다는 점을 모두 잊지 않도록 하기 위해 버그바운티 진행을 공지하고, 매일 업무를 마무리 하기 전에 현재 1위와 2위를 알려드렸습니다.
버그바운티 결산
Dev QA가 끝나고 버그바운티 대회를 개최한 효과가 얼마나 있었는지 확인해 보았습니다.
- 구성원의 Dev QA에 대한 흥미 유발.
버그바운티를 개최한다는 공지를 올렸을 때 구성원들의 반응은 정말 좋았습니다.
당시엔 아직 정해지지 않았던 ‘상품’에 대한 기대감도 볼 수 있었고 처음 진행하는 이벤트이다 보니 모두 흥미를 가지고 있었습니다.
하지만, 대회 개최 공지로부터 Dev QA까지 약 1주 정도 텀이 있었고 그동안 기대감이 많이 낮아져 있었습니다.(잊으셨던 것 같기도 해요.😭)
하지만 일부 구성원은 확실히 대회 형식의 Dev QA에 꾸준한 관심을 보여주셨습니다.
이전 스프린트들에서 저 외의 구성원의 이슈 등록 비율은 약 20% 였지만 이번 스프린트에선 10% 증가해 약 30%를 달성했습니다. - TC 외에서 발생하는 이슈의 발견.
이전의 Dev QA는 주로 QA가 작성한 TC나 테스트 맵을 따라 테스트가 진행되었습니다.
하지만 이번 스프린트에는 구성원 분들이 발견하신 이슈 중 TC 외에서 발견된 이슈가 등록 되었습니다.
실제로 인터뷰 결과 테스트 맵 외의 이슈를 찾기 위해 노력하셨다는 답변을 받았어요. - Dev QA에서 더 높은 품질을 달성.
모두들 평소보다 더 적극적으로 Dev QA에 참여해 주셨고 탐색적 테스트를 진행하기도 하신 분들도 있었습니다.
이번 스프린트에 당장 더 높은 품질을 달성 했느냐에 대해서는 확실히 “그렇다.” 라고 답할 순 없지만, 더 높은 레벨의 테스팅 활동을 유도하는 과정에서 좀 더 고도화된 테스팅 활동이 습관이 되고 당연시 된다면 장기적으로 더 높은 품질을 달성하는 데에 도움이 될 거라고 생각됩니다. - QA 업무에 대한 이해도 상승.
원티드랩 구성원들은 QA를 단순히 “기능 체크 하는 사람”으로 인식하지 않습니다. 굉장히 좋은 개발 문화 수준과 인식을 가지고 있는 조직이라 생각하고, 그럴수록 QA로써 기능 체크 이상의 생산성을 낼 수 있는 업무를 해야 한다고 생각합니다. (기능 체크는 QA업무의 일부일 뿐이니까요.)
제가 이번에 했던 엉뚱한 대회의 개최로써 구성원들이 “QA는 저런 일도 하는구나.” 라고 새로운 시선으로 보게 되셨다면 좋겠습니다.
생각해볼 점
하지만 생각해 볼 점도 있었습니다.
- 단순히 찾은 버그 개수를 우승의 기준으로 삼아야 할까요?
이렇게 될 경우 버그 개수 만을 늘리기 위해 Known-issue나 프로젝트 스펙 외의 이슈 등을 무작정 등록하여 짧은 시간 동안 프로젝트에 집중해 진행해야 하는 Dev QA 세션에 집중력이 흐려질 수 있습니다.
(실제로 2건 이상의 이슈가 프로젝트 스펙 외의 이슈로 점수로 카운트 되지 않았습니다.)
우리가 진행하고 있는 프로젝트에 집중할 수 있는 새로운 우승 기준과 가이드가 필요해 보입니다.
- 보상으로만 꾸준한 흥미와 참여도를 유지할 수 있을까요?
빅터 브룸(V.Vroom)의 동기 유발 이론에 따르면 동기 유발력(노력)은 미래에 발생할 성과와 보상에 의해 결정된다고 합니다.
이번 버그바운티 대회의 상품으로는 1인 당 약 6~7000원 사이의 상품이 지급 되었습니다. 비싸지 않은 상품이지만 처음 진행되는 버그바운티 대회이기에 충분한 동기부여가 되었다고 생각합니다. 하지만 동일한 내용의 버그바운티 대회를 열 수록 보상의 기대 가치는 급격히 떨어질 것이기에 대회가 반복될수록 동기 유발력(노력) 또한 급격히 감소할 것입니다.
당장의 테스트 효과를 위해서 상품을 지급하는 것도 좋지만, 테스트의 고도화를 문화이자 습관으로 정착 시키는 방안도 중요할 것입니다.
우승 인터뷰
- 대회는 재미 있으셨나요?
네! 재미있는 경험이었습니다!
네! 버그 바운티라는 걸 처음 알게 되었고 신기했어요, 우리 스쿼드 에서 진행했다는 점도 새롭고 재밌었어요.
- 상품은 마음에 드세요?
완전! 귀여운 호돌이 장난감과 버그라는 연결 고리를 가진 뱃지가 너무 마음에 들어요.
상품이 부담스럽지 않고 재미있어서 좋았습니다!
- 대회가 진행되는 걸 잊지는 않으셨죠?
초반 알림 받고 잊고 있었는데, 중간에 등수를 알려주셔서 리마인드 되었어요!
새롭게 시도해 보는 대회라서 인지하고 있었어요.
- 대회가 동기 유발에 도움이 되었나요?
조금은 그런 것 같아요 상품을 타고 싶었어요! 그런데 버그는 안 나오는게 좋고 복잡한 감정..
테스트 맵도 수행하고 (약간) 탐색적 테스트도 진행해 보게 되었어요!
- 대회가 우리 제품에 도움이 될까요?
네. QA기간에 대한 감정이 긍정적으로 변할 것 같아요!
도움이 될 것 같지만 너무 많은 이슈가 보고되면 해결해야 한다는 부담감이.. 전사적으로 이런 대회를 개최해서 해결해야 될 이슈를 정하고 같이 해결해 봐도 좋을 것 같아요.
- 대회의 어떤 점을 개선하면 좋을까요?
버그 찾은 개수를 매일 카운트하고 공유하면 더 의지가 생길 것 같아요!
(버그를 등록할 때마다 피그잼에 스탬프를 찍어 준다던가..)처음이라 재미있었지만 계속해서 하는 건 느슨해 질 것 같아요. 규모가 크고 다같이 참여할 수 있는 프로젝트에 다시 해보면 좋을 것 같아요!
- 우승 소감 부탁 드려요!
재밌는 이벤트를 열어 주셔서 감사해요~~ 파이팅!
DevQA 열심히 참여했는데 상품까지 받아서 더 의미 있고 좋았어요! 주최해 주셔서 감사합니다~
우승하신 2분께 소정의 상품을 전달해 드렸는데요.
(빙글빙글 호돌이, 센과 치히로의 행방불명 금속 뱃지)
레버를 빙글빙글 돌리면 신나는(킹받는) 노래가 나오는 장난감인데 이 날 원티드랩 에서는 호돌이 노래가 종종 들려왔습니다.🎵🎵🎵🎵
마무리
장기간 생각만 가지고 있다가 실제로 진행해 보게 되어 너무 기대되고 재미있었어요. 또 다들 호응해 주시고 적극적으로 참여해 주셔서 너무 감사했습니다.
사실 스프린트 중반을 넘어서며 구성원 분들이 대회에 대해 잊어버리시거나 크게 기대를 하지 않는 것 같아 1회로 마무리 될 것 같다는 생각이 들었어요.
그런데, 상품을 보고 우승을 놓친 분들이 (진심으로)아쉬워 하시고 다음 대회는 언제 진행하는지, 회사 문화로 정착되었으면 좋겠다 말씀해 주시기도 하는 모습을 보며 2회는 더 재밌게 준비해야겠다는 결심이 생겼습니다.
1회를 마무리하며 얻은 교훈을 가지고 대회 뿐 아니라 우리의 제품을 더 멋있게 만들 수 있는 다양한 방안들을 고민하고 시도해 볼 수 있도록 노력하겠습니다.
감사합니다.
