‘End to End’ 테스트로 품질 보증하기

오픈소스컨설팅의 QA는 어떻게 일할까?

안녕하세요.
저는 Playce Dev팀 QA(Quality Assurance)로 근무하고 있는 김혜현입니다.
솔루션 기획부터 개발, 검증에 이르는 모든 과정에서 함께 호흡하며 고객사와의 신뢰를 만들어가는 QA로서 일한다는 것의 의미와 어떤 방식으로 일하고 있는지 이야기하려고 합니다.

오픈소스컨설팅에 처음 합류했을 때, 1인 팀이었기 때문에 ‘무엇을’ 할 지보다 ‘어떻게’ 할 지에 대한 고민이 많았습니다.
QA와 협업해 본 개발자분들도 극소수 였기에 QA가 단순히 테스트하는 일 외에 어떤 역할을 하는지, 또 얼마나 중요한지에 대해 존재를 증명하는 일에 집중했던 것 같아요.

QA Part의 리소스가 부족한 상태에서, 통합테스트는 부담이었지만 개발팀원의 도움으로 무탈한 릴리즈를 하며 3.5.0버전을 출시하기까지 안정적인 서비스를 유지할 수 있었던 것 같습니다.

오픈소스컨설팅에서의 QA

QA는 오픈소스컨설팅이 제공하는 Digital Transformation의 본질과 품질을 보다 많은 고객사가 경험하고 신뢰할 수 있도록 돕는 일을 합니다.
가장 대표적인 예로, 실시간 인프라 현황 분석 및 클라우드 전환 솔루션인 Playce RoRo를 사용할 수 있게 고객사 환경을 최적화하고 다양한 케이스와 데이터 검증을 통해 안정적인 품질을 관리하는 업무들을 하고 있습니다.
QA는 개발팀에서 릴리즈(Release)되는 모든 피처의 품질을 책임지게 되며, 2주 단위의 Planning에 참여하여 안정적인 품질을 유지할 수 있도록 다함께 고민합니다.

기획과 분석, 설계 과정에서의 QA

고객사의 요구사항을 통해 도출된 기획 리뷰를 통해, QA관점에서 검토 하고 기능/비기능 이슈 검출을 위한 TestCase를 설계합니다. 이때 포함할 기능, 개선점에 대한 우선 순위 부여하며, 기능적인 UX/UI적인 문제 보고도 함께 이루어지고 있습니다.
또한, 기존 로직이 변경되었다면 TestCase 재검토로 히스토리 관리를 체계화 합니다.

테스트 구현과 실행 과정에서의 QA

개발 프로세스 상 후반부에 업무가 몰리는 QA는 불가피하게 생기는 시간을 최소화하기 위해
개발 초기에 단위 테스트를 진행하여 빠른 수행 결과를 통해 초기 비용을 감소시키려고 노력합니다.

통합빌드와 완료조건 평가 과정에서의 QA

통합테스트 기간에 QA는 모든 요구사항이 반영된 최종 TestCase 기준으로 테스트를 진행합니다.
전체 TC의 95% 이상의 진행율을 가질 때 Conditional PASS로 판단하며, Minor한 잔여 이슈 등은 개선 일정을 재수립하여 추후 확인합니다.

이슈관리 과정의 QA

이슈는 High, Medium, Low로 구분하여 리포팅하고 있으며, 높은 우선 순위를 가진 이슈가 빠르게 해결될 수 있도록 합니다.
테스트 요구사항을 파악하고 테스트 레벨을 정의하여 테스트 수행, 결함 보고서를 작성하면서
발견된 결함과 미해결 결함의 추이 및 기록 등을 통해 우선순위를 수치화합니다.

검증 후 출시 과정에서의 QA

통합빌드에서 추가로 발견된 크리티컬한 이슈가 없다면 릴리즈를 진행합니다.
출시 이후 솔루션의 전체 기능을 재 점검하여 안정적인 서비스를 유지할 수 있도록 합니다.
보안 관련, 네트워크 설정, 인스턴스 사양 등 사내에서 발견하지 못한 고객사의 사이트 이슈 발생 시,
Hotfix가 진행되고 사이트 이슈가 처리되면 해당 이슈를 재현하고, TC에 반영하여 추후 재현되지 않도록 보완합니다.

마치며

오픈소스컨설팅에서는 Scaled Agile Framework(SAFe)을 사용하며 SW의 결함을 조기에 발견해
‘Playce RoRo’의 완성도를 검증하고, 다양한 API 및 기능의 안정성을 높은 수준으로 유지할 수 있었다고 생각합니다. 앞으로도 테스트 품질 개선 및 프로세스 개선을 위한 고민과 시도를 계속하면서, 다양한 고객사의 보다 높은 품질의 경험, 그리고 신뢰를 꾸준히 드리는 QA가 되어야겠습니다.