🚀 IHFB야 좋아져라!

안녕하세요! IHFB QA Engineer 김한준입니다.

저희 IHFB에 QA 팀이 구성된 지 1년하고 2개월이 지나고 있는데요. 오늘은 저희 QA 팀이 IHFB 프로덕트를 위해 일 하는 방식과 문화 그리고 QA 팀이 구성되기 전에는 저희 R&D 본부에서 QA 를 어떻게 진행했는지, QA팀이 구성되고 나서는 현재 어떻게 진행하고 더 발전하기 위해 어떤 것들을 노력 중 인지에 대해 소개하도록 하고자 합니다!

기존 QA 진행 과정

QA 팀이 구성되기 전, 기존 IHFB의 QA는 개발자와 디자이너가 직접 검증을 진행했습니다.

이때의 프로세스는 TC를 기반으로 진행하는 검증이 아닌, 아래와 같이 해당 기능에 따른 체크리스트를 기반으로 해당 기능이 작동하는지에 대한 해피패스 위주의 검증으로 집중되어 있었습니다.

체크리스트의 해피패스를 주로 검증했기 때문에 IHFB 시스템 전체의 품질 관리에는 아래와 같은 한계를 갖고 있었습니다.

현재 QA 진행 과정

QA 테스트

현재 저희 QA 팀은 크게 ‘에픽 기능 테스트’와 ‘리그레션 테스트’ 2가지로 IHFB 품질을 관리하고 있습니다. IHFB에서는 4주를 한 스프린트로 계획해, 스프린트마다 새로 추가되어야 할 기능 또는 개선되어야 할 기능들을 에픽으로 선정해서 해당 기능에 대해 에픽 기능 검증을 진행하고 있습니다. 리그레션 테스트의 경우 스프린트 마지막 주에 CMS, LMS, B2C 3개의 도메인에서 전체 기능을 대상으로 진행하고 있습니다. 리그레션 테스트를 통해 스프린트 동안 추가된 새로운 기능, 버그 수정, 코드 리팩토링 등 코드 변경 시 영향을 미치는 문제들을 발견해 기존 기능들의 안정성을 유지하고 코드 변경으로 인한 예상치 못한 오류나 기능 저하를 방지하고 있습니다.

QA 자동화

IHFB의 3개의 도메인 중 CMS는 방대한 양의 콘텐츠를 관리하는 시스템으로, 콘텐츠 및 커리큘럼 관리 구조는 복잡하고 반복적인 작업이 많기 때문에 Selenium과 Selenium IDE를 활용해 자동화를 진행하고 있습니다.

1️⃣ Selenium

자동화를 처음 진행하다 보니 초기에는 구조가 없이

<“로그인 → 콘텐츠 생성 → 콘텐츠 편집 → 커리큘럼 생성 → 커리큘럼 편집”>

이러한 한 번에 진행되는 막 코드였습니다. 이는 반복되는 복잡한 구조의 기존 기능과 지속해서 추가되는 새로운 기능의 유지 보수에 적합하지 못했습니다. 이런 문제들은 CTO님의 리뷰와 데이터 팀의 도움으로 코드의 재사용성을 높여 유지 보수가 용이한 함수형으로 새롭게 구조를 개선했습니다. Selenium의 경우 전체 로그인부터 컨텐츠와 커리큘럼에서 생성, 편집, 삭제 및 필터링 등까지 전체적인 플로우를 검증을 진행하고 있습니다.

먼저 컨텐츠 생성을 단계별로

1. 메타컨텐츠 생성
2. 메타컨텐츠 모듈 생성
3. 스터디 액티비티 생성

나눠 로그인 함수와 합쳐 로그인 — 메타컨텐츠 생성 함수를 생성했습니다.

추가로 일반, 학습지, 자료, 강의, 난이도, 객관식/주관식, 싱글/멀티 등의 옵션을 추가해

• 일반 유형 84개의 타입
• 학습지 유형 24개의 타입
• 강의 유형 3타입
• 자료 유형 6타입

분류해 컨텐츠 생성 및 편집 자동화를 관리하고 있습니다.

2️⃣ Selenium IDE

Selenium IDE는 레코딩 및 재생 기능을 통해 테스트 스크립트 작성을 간편하게 해주며, 빠른 반복 테스트가 가능했기 때문에 전체 플로우가 아닌 플로우 중간 기능에 대한 검증으로는 Selenium IDE를 사용하고 있습니다.

문제 유형 작성부터 데이터 분석, 태그 등 기능별로 20개 이상의 기능으로 분류해 기능별 검증을 빠르게 반복할 수 있게 테스트를 진행하고 있습니다.

3️⃣ 지속적인 개선

저희 IHFB은 다양한 도구와 방법을 활용하여 QA 자동화를 지속해서 개선하고 있습니다. Jetbrains Aqua와 같은 API 테스트 자동화 도구와 K9과 같은 성능 테스트 도구 도입을 통해 자동화 수준을 더욱 높일 계획이며, IHFB QA 팀은 Selenium 및 기타 자동화 도구 사용 전문성을 강화하고 있습니다.

BTS 구축

Slack과 Jira에 산재해 있던 버그 리포팅을 QA BTS 보드와 R&D-QA-notice 채널로 관리하면서 스프린트 주차 별로 총 이슈 리포트 개수, 해결 완료, 미해결, 백로그, 등 에픽에서 발생하는 기능 이슈, 리그레션 테스트에서 발생하는 이슈 그리고 백로그로 있던 논이슈까지 한 번에 다 같이 관리하고 해결할 수 있는 프로세스를 구축했습니다.

IHFB QA 프로세스

IHFB QA 프로세스는 꼼꼼한 검증과 팀원들의 협력을 통해 높은 품질의 서비스를 제공하기 위한 핵심 과정입니다. 킥오프부터 시작하여 버그 배시, 검증, 버그 리포트, 수정 후 재검증까지 이어지는 단계별 프로세스를 자세히 살펴보겠습니다.

• 킥오프 — QA도 참여한다 기획부터!

IHFB QA 프로세스의 첫 단계는 킥오프입니다. 킥오프 미팅에서는 프로젝트 목표, 일정, 주요 기능 등을 명확하게 이해하고 QA 관점에서 의견을 제시하여 프로젝트의 성공적인 시작을 돕습니다.

QA팀은 기획 단계부터 참여하여 사용자 스토리 및 기능 정의에 적극적으로 참여하고 사용성을 고려한 요구사항을 명확하게 제시합니다. 또한 디자이너와 개발자와 긴밀하게 협력하여 QA 목표와 방향성을 설정하고, 기존 기능과의 연계성을 검토하며 시스템 전체의 품질을 향상합니다. 마지막으로 기능, 성능 보안 등 다양한 테스트 시나리오를 설계하고 테스트 범위를 설정하여 효율적인 검증을 준비합니다.

• 검증 준비 — 시작이 반이다. 검증 준비!

IHFB QA 프로세스의 핵심은 철저한 준비에 있습니다. 킥오프 미팅에서 나온 기획과 디자인 시안을 바탕으로 TC 작성 준비를 시작하며, 새로 추가되는 기능 또는 개선되는 기능의 요구사항을 꼼꼼하게 정리합니다. 이 과정에서 TC 작성에 필요한 정보를 수집하고 예상치 못한 문제점을 미리 찾아 해결 방안을 모색합니다.

다음 단계는 기능 요구사항을 기반으로 다양한 테스트 시나리오를 고려하여 TC를 작성하는 것입니다. 또한 테스트 실행을 위한 시작 조건을 명확하게 정의하여 테스트의 일관성을 유지하고 정확한 결과를 도출합니다. 이러한 준비 과정을 통해 IHFB QA 팀은 완벽한 검증을 수행하고 높은 품질의 서비스를 제공하기 위한 토대를 마련합니다.

• 버그배시 — 디자이너 & 개발자 여러분 잘 부탁드립니다!

버그 배시는 개발자와 디자이너가 시작 조건을 바탕으로 기능의 기본적인 작동 여부를 확인하는 단계입니다. QA 팀은 이 과정에서 참여하여 발생하는 문제점을 관찰하고 추가적인 테스트 시나리오를 작성합니다. 또한 버그배시 과정에서 발견된 문제점은 개발자와 함께 논의하여 해결 방안을 모색하고 우선순위를 정합니다. 이러한 예방적 검증을 통해 QA 팀은 시스템 출시 이전에 문제점을 최대한 해결하고 품질을 향상합니다.

• 검증 — 검증 만이 살 길이다!

버그 배시를 마친 후, QA 팀은 꼼꼼한 기능 검증을 통해 시스템의 완성도를 높입니다. 다양한 테스트 시나리오를 활용하여 예상치 못한 문제점을 발견하고, 기능의 정확성, 안정성, 사용성 등을 면밀하게 검증합니다. 또한, 테스트 결과를 꼼꼼하게 기록하고 분석하여 시스템의 문제점을 파악하고 개선 방안을 제시합니다. 이러한 꼼꼼한 검증 과정을 통해 IHFB QA 팀은 높은 품질의 서비스를 제공하기 위해 지속하고 있습니다.

• 버그 리포트 — 좋아져라 IHFB!

기능 검증 후 발생한 버그는 QA BTS 보드에 이슈 리포트로 작성하여 개발팀에 전달합니다. 이슈 리포트에는 버그의 발생 조건, 재현 단계, 예상 결과, 실제 결과 등을 명확하게 기록하여 개발팀과 협력해 버그 해결 방안을 모색하고 해결 진행 상황을 추적하고 있습니다.

개발팀에서는 버그를 수정한 수에는 QA 팀이 다시 검증을 진행하여 버그가 완전히 해결되었는지 확인합니다. 이 과정을 통해 IHFB QA 팀은 꼼꼼한 검증과 철저한 관리를 통해 높은 품질의 서비스를 제공하기 위해 노력하고 있습니다.

IHFB QA 문화

IHFB QA 팀은 궁극적으로 프로젝트의 품질을 향상하기 위해 여러 가지 노력을 기울이고 있습니다. IHFB QA 프로세스의 핵심 요소인 QA Align, QA Sync, QA Study에 대해 알아보겠습니다.

• QA Align — 우리의 방향성이 맞나요?

매주 월요일 CTO, PM, QA 팀원이 모여 진행하는 QA Align은 마치 미니 프로젝트 회의라고 생각하시면 됩니다. 지난주 QA 진행 상황을 공유하고, 이번 주 어떤 작업을 어떻게 진행할지 논의하며 팀의 방향성을 맞춰가는 시간입니다. 주요 배포 예정 기능, 핫픽스, 논이슈 등에 대한 QA 진행 상황을 공유하며 프로젝트 전반의 품질을 관리하는 데 중요한 역할을 하고 있습니다.

• QA Sync — 우린 잘 하고 있나요?

매주 금요일 QA 팀원만 모여 진행하는 QA Sync는 다음 주 진행할 QA 작업에 대한 구체적인 계획을 세우는 시간입니다. 어느 에픽을 어떻게 검증할지, 예를 들어 1차, 2차로 나눠서 검증을 진행하거나 검증에 있어 논이슈가 포함이 되거나, 또는 기획이 변경되면서 제외되는 부분들까지 꼼꼼하게 계획하고, 진행 상황을 공유하며 문제점을 예측하고 해결하는 데 집중하고 있습니다.

• QA Study — 다 같이 성장해요!

IHFB QA 팀은 끊임없이 발전하기 위해 노력하고 있습니다. 과거에는 디자이너와 개발자들과 같이 통계와 SQL에 대해 스터디를 진행했었고 현재는 ISTQB를 예정하고 있습니다. 자격증 취득이 목적이 아닌 ISTQB 학습을 통해 QA 지식 체계를 탄탄하게 하고, 최신 QA 기술과 방법론을 연구해서 여러 테스트 방법을 IHFB 제품에 적용하기 위해 스터디를 계획하고 있습니다.