[테스트 전략 수립] AI, '정답 없는 기능'을 어떻게 검증할 것인가?

안녕하세요, 다들 잘 지내시나요?

지난번 역기획 리뷰에서 무신사의 'AI 기반 유사 상품 추천' 기능을 분석해 보았습니다.

그때는 기능이 왜 만들어졌고, 어떻게 작동하는지를 QA 관점에서 추정해 보는 시간이었다면  오늘은

"이 기능을 어떻게 테스트할 것인가?"에 대한 전략을 세워보았습니다.

 

🔻 이전에 작성한 글이 궁금하시다면?

2025.09.13 - [🖋 끄적끄적] - [역기획 리뷰] 무신사 비슷한 상품 AI추천 기능

🤔 테스트 전략을 세운다는 것

뭘 몰라서 어려운 일이 어려운 일인지 몰랐던 그 시절

사실 테스트 전략이라는 게 처음에는 머리로는 이해 되었지만 막상 적용해보려 하니 막연하게 느껴졌습니다.

이전에 저는 그저 명세서를 보고 동작해야 하는 것들을 확인 후 테스트케이스를 작성하였었으니까요 하지만 막상 해보니 그게 아니더라고요.

특히 이번처럼 명세서도 없고, 내부 로직도 모르는 상황에서는 더욱 그랬습니다. 그래서 저는 이렇게 접근해 보기로 했습니다.

• 어떤 방식으로 테스트할 것인가? (블랙박스, 관찰 중심)
• 어떤 시나리오를 우선적으로 테스트할 것인가? (리스크 기반)
• 언제 테스트가 완료되었다고 볼 것인가? (완료 기준 정의)

이 세 가지 질문을 중심으로 테스트 전략을 정리해 보았습니다.

---

🔻 테스트 접근 방식 :  관찰 중심 블랙박스 테스트

무신사는 제가 일하는 회사가 아니기 때문에 당연히 내부 API 문서나 기획 명세를 볼 수 없었습니다.

그래서 선택할 수 있는 방법은 사용자 관점에서 기능을 직접 관찰하고 추론하는 블랙박스 테스트 방식을 선택했습니다.

이 방식의 핵심은 "사용자가 실제로 경험하는 흐름"을 중심으로 시나리오를 만드는 것입니다.

예를 들어 이런 식입니다.

• 색상을 변경하면 추천 상품도 달라질까?
• 로그인 상태에 따라 추천이 달라질까?
• 카테고리마다 추천 기능이 노출될까?

이렇게 실제 사용 흐름에서 발생할 수 있는 상황들을 하나씩 시나리오로 정리하고 테스트해 보는 방식입니다.

🔻 우선순위를 어떻게 정할 것인가 : 리스크 기반 테스트(RBT)

QA라면 다들 잘 아실 겁니다ㅎㅎ!

테스트를 하다 보면 모든 것을 다 볼 수는 없습니다. 시간도 한정적이고, 어떤 부분은 더 중요하고 어떤 부분은 덜 중요하니까요.

그래서 저는 리스크 기반 테스트(RBT) 방식을 적용해 보았습니다. 간단하게 말하면 "이게 잘못되면 얼마나 큰 문제가 될까?"와 "이게 실제로 발생할 가능성은 얼마나 될까?"를 점수로 매겨서 우선순위를 정하는 방법입니다.

 

---

🔻실제 리스크 항목 정리

그나마 조금 더 정돈된 구조를 위해 노션 문서를 보여드립니다.

 

이렇게 정리하고 나니 P1 항목부터 집중하여 케이스 및 시나리오 개발하고 P2, P3 순서로 확장해 나가면 되겠다는 계획이 명확해졌습니다.

---

🔻 테스트 완료 기준

테스트를 하다 보면 "이제 그만해도 되나?" 싶은 순간이 옵니다. 그래서 저는 미리 완료 기준을 정해두었습니다.
이 기준들을 하나씩 체크하면서 테스트를 진행하면 "언제 끝나는 거지?" 하는 막연함이 줄어들 것 같았습니다.

 

📑 항목완료 기준내용

시나리오 커버리지	도출된 테스트 시나리오 100% 실행 완료	정상 + 엣지 케이스 포함
리스크 커버리지	리스크 분석 기반 상/중 우선순위 항목 모두 검증 완료	-
기기/환경 테스트	웹(Chrome), 모바일(iOS Safari) 환경 모두에서 주요 시나리오 테스트 완료	-
결과 문서화	테스트 실행 결과 및 주요 이슈, 인사이트를 문서화 완료	Notion 기준
자동화 가능성 평가	반복성이 높은 흐름에 대해 자동화 도입 검토 완료	리스트 노출, 클릭 후 이동 등
결함 탐지율 기준	테스트 중 발견된 주요 결함 기록	해결 여부 및 등록은 불가함

 

🔍 이번 작업에서 얻은 인사이트

이번에 테스트 전략을 간략하게 세워보면서 가장 크게 깨달은 점이 있습니다.

AI 기능은 '정답'을 찾는 게 아니라, '일관된 품질'을 유지하는지를 검증하는 것이다.

 

기존에 제가 진행했던 일반적인 기능들은

"로그인 버튼을 누르면 로그인이 되어야 한다"처럼 명확한 기대값이 있습니다.

하지만 AI 추천 기능은 다릅니다. 어떤 상품을 추천하는 게 정답인지 명확하게 말할 수 없으니까요. 그래서 저는 이렇게 접근했습니다.

• 추천 결과 자체가 '맞다/틀리다'를 판단하는 게 아니라
• 추천 품질이 일정 수준 이상 유지되는지를 관찰하는 것

예를 들어 "특정 시점부터 갑자기 동일 브랜드만 반복 추천된다"면 이건 품질 저하 신호일 수 있습니다. 이런 패턴 변화를 감지하는 것이 AI 기능 테스트에서 중요한 포인트라는 걸 알게 되었습니다.

⚙️ 자동화는 가능할까?

솔직히 현재 저의 상황에서는 어렵다고 판단했습니다.
API를 직접 수집하거나 비교 테스트를 자동화하기엔 제약이 많았기 때문입니다.
하지만 반복성이 높은 흐름들 예를 들어 '추천 리스트 노출 여부', '썸네일 클릭 후 화면 전환' 같은 부분은 추후 자동화 대상으로 검토해 볼 만하다고 생각했습니다.
그래서 테스트 전략 문서에 "자동화 가능성 검토 완료"를 완료 기준 중 하나로 포함시켰습니다. 지금 당장은 아니더라도 나중을 위한 준비는 해두려는 목적으로 말이죠

🏃‍➡️  결론 및 다음 단계

 

이번 테스트 전략 수립 과정은 단순히 "무엇을 테스트할까?"를 넘어서 "왜 이걸 먼저 테스트해야 하는가?", "언제 테스트가 끝났다고 볼 것인가?"까지 고민해 볼 수 있는 시간이었습니다.

특히 명세서가 없는 상황에서도 리스크 기반으로 우선순위를 정하고, 관찰 중심으로 테스트 시나리오를 도출하는 과정이 실무에서도 충분히 활용할 수 있는 방법이라는 걸 느꼈습니다.

 

다음 단계는 이제 이 전략을 바탕으로 실제 테스트 케이스를 작성하고, 직접 테스트를 실행해 보는 것입니다. 그 과정에서 어떤 결과가 나올지, 또 어떤 이슈를 발견하게 될지 기대됩니다.

 

마지막으로 역시나 피드백은 언제나 감사드립니다! 🙇