A/B Test 시리즈의 첫번째 문서입니다!
해당 시리즈에서 A/B Test를 계획하고 실행하는 법, 테스트 및 정보들을 해석하는 방법 등의 내용들을 다룰 예정입니다.
1. A/B Test 살펴보기
1-1. A/B Test 를 하는 이유
기업에서 기존의 시스템을 개선하거나 새로운 시도를 할 때 성과를 어떻게 측정할 수 있을 까요?
가장 직관적이고 확실한 방법은 AS-IS와 TO-BE의 결과를 직접 비교하는 것입니다. 혹은 임의로 두 집단으로 나눠서 서로 다른 콘텐츠를 보여준 다음 어떤 집단이 더 높은 성과를 보이는 지를 비교할 수 있습니다.
어떠한 결과를 얻었을 때, 그 원인을 명확하게 두는 인과추론 적으로 가장 쉽게 접근할 수 있습니다.
따라서 인과추론으로 접근할 수 있는 가장 쉬운 방법인 A/B Test 으로 접근하는 것을 많이 활용합니다.
1-2. A/B Test 란 무엇인가?
분할 테스트 또는 버킷 테스트라고도 하는 A/B 테스트는 두 가지 콘텐츠를 비교 하여 더 좋은 방안을 찾아내는 것입니다.
(비즈니스 관련 지표가 개선되는 지 객관적으로 측정하고 의사결정하기 위함!)
보통 프로덕션 환경에서 2개 또는 그 이상의 버전(Variants)을 비교합니다.
- 베이스라인 버전("control") vs 하나 혹은 그 이상의 테스트 버전("test")
- control : 현재버전
- test : 새버전
1-3. 실제 활용사례
🔎 더 살펴보기
오바마의 대선 홍보 활동은 데이터를 잘 활용하였다고 널리 알려져있습니다. 다양한 테스트를 통해 더 좋은 방안으로 개선점을 찾아 적용시키며 성공적으로 선거활동을 이끌어나갔습니다.
해당 사진은 기부 절차 단계를 나타내는 화면을 테스트하고 있습니다.
왼쪽에는 한 페이지 내에 많은 항목들을 작성하고
오른쪽은 많은 항목들을 페이지를 쪼개서 작성하도록 보여주고 있습니다. (단계적 흐름)
우측에서 더 좋은 결과를 얻었습니다. (+5%)
실제로 현재 많은 플랫폼을 가입할 때에도 우측 형태의 항목 작성 절차들이 많습니다!
한 화면 내에서 가입 내용을 다 보여주지 않고, 심지어 몇 단계가 남았는지 알려주지 않은 채로 이름입력하세요! 전화번호 입력하세요! 등으로 쪼개져서 입력할 수 있게 만들어 두었더라구요 : >
2. A/B Test 실험하기
그렇다면, 강력한 인과관계를 파악할 수 있는 A/B Test를 실행하기 위해서는 어떤 것 부터 고려해야할까요?
어떤 문제를 가지고 있으며 어떤 방향으로 해결할 것인지를 명확하게 할 필요가 있습니다.
2-1. 비즈니스 문제 정의 & 하고자 하는 실험 정의하기
실험에 앞서 가장 중요한 부분은 비즈니스 문제를 정의하는 것이라고 볼 수 있습니다.
비즈니스 문제를 인식하는 것!
그에 따라 보고자 하는 지표들을 명확하게 정의하고 실험하는 것입니다.
✅ 좋은 실험 선택하기 - 비즈니스 임팩트가 큰 실험
또한, 실험을 준비할때 어떤 실험이 비즈니스 임팩트가 큰지 확인하는 것도 중요합니다.
=> 실험의 중요도에 따라서 실험 순위 배정
👉🏻 제품관점에서 제일 중요한 퍼널을 개선하는 것을 먼저 진행
목적에 따라 다르겠지만 유저가 많이 유입하는 것 자체를 목표로 두고 있다면 최앞단 퍼널 위주로, 현재 매출의 상승을 목적으로 둔다면 결제와 가까운 퍼널을 개선하려고 할 것입니다.
👉🏻 // 다른 예시 사례 // - 구글 색조 실험
비즈니스 임팩트 실험을 고려하는 한 예시로 구글의 색조 후속 실험을 가져왔습니다.
구글은 2009년도에 구글 검색 결과 페이지에 대해 41개 색조의 파란색을 실험했으며 당시 시각 디자이너들의 심기를 불편하게 만들었다고 합니다 (ㅋㅋ..) 하지만, 이 실험은 사용자 참여에 굉장히 긍정적인 결과를 가져왔다고 합니다.
이후, 현 상황에서 색상에 관련한 추가 실험 안건 나온다고 가정한다면 이전에 이미 광범위한 색상을 테스트한 상태이고, 이전만큼 임펙트 있는 개선을 얻기가 힘들고 미미할 확률이 높으니 후순위 또는 해당 실험은 배제하는 것이 좋을 것 입니다.
그렇다면 현재 어떤 것을 문제로 정의하고 개선하려고 하면 좋을까요?
예시를 들어서 생각해보겠습니다.
예1) 데이터리안 입문반 강의 결제 퍼널 개선
아래의 예는 데이터리안이라는 데이터 관련 플랫폼의 입문반 강의 데이터를 통해 퍼널단계를 설정하고, 시각화한 것을 가져왔습니다.
위의 퍼널단계를 보고
1번->2번, 2번->3번 중 어느 단계의 전환율을 개선해야할지를 선택하고 그에 맞는 실험들을 설정할 수 있습니다.
// 🤔 생각 //
위의 자료를 가지고 생각을 해보겠습니다. 저는 현 서비스에서 가장 중요하게 보는 비즈니스 성과 항목이 매출이라고 판단하였습니다.
따라서 결제와 밀접하게 위치한 부분을 개선하는 방향을 생각하려고 합니다.
2->3 퍼널을 개선하는 부분의 가설을 작성해보겠습니다.
(2)스크롤 -> (3)결제 신청 의 퍼널 개선
=> 실험) 페이지에 수강생이 직접 남긴 강의 후기 함께 보여줘서 결제 신청을 높이려함
- 페이지를 내리면서 보지만 결제까지 가지 않는 것을 보니... 혹시, 강의가 신뢰도가 떨어지는 것은 아닌가?!
강의 후기 등을 수강생이 직접 남긴 것들을 볼 수 있도록 페이지에 구성하는 것은 어떨까?
해당 페이지를 본 사용자는 결제클릭율이 더 높게 나오지 않을까?
예2) 넷플릭스의 사용자 참여도 상승 실험
또 다른 예로는 넷플릭스가 목표로 하는 지표는 연간 정기구독 수라고 생각이 듭니다!
해당 지표에 영향을 미치는 것들은 콘텐츠 사용자 참여도이며, 그것을 높이기 위한 실험들을 진행하겠죠..!
=> 실험) 새로운 추천 시스템을 적용하여 사용자 참여도를 높이려고 함
참여도를 판단하기 위한 지표들을 지정해야합니다!
위와 같이 문제를 설정하고 그에 따른 실험 방향성을 정할 수 있을 것 입니다.
2-3. 지표 설정
지표의 유형도 이번 글에서 가볍게 살펴보겠습니다!
1. Goal : 궁극적인 성장과 관련있는 지표
북극성 지표, OKR 지표, 주요 지표 등 회사의 성공과 직결된 지표를 뜻합니다.
(1) 사용자에게 가치를 주고 (2) 이익 창출에 기여하며 (3) 장기적인 성장을 위한 목표로 볼 수 있습니다.
주로 회사의 성장과 직결되는 매출, 방문자 수 등을 많이 생각할 수 있습니다만, 조직 '성공'에 대한 정의에 가깝습니다.
예로 애플의 경우에는 혁신적인 경험을 지속적으로 소비자에게 제공한다.
구글은 세계의 정보를 정리하여 누구에게나 접근 가능하고 유용하게 만든다.
넷플릭스는 세상을 즐겁게 하자가 핵심 미션입니다.
2. Driver : Goal 지표를 개선하기 위하여 관심을 가져야 하는 지표
- 1번인 goal의 측정항목 아래에 포함되어 있음
- A/B Test 를 실행할 때 관심을 가져야 하는 항목
1번에서 정의한 성공을 2번의 지표로 실험결과를 반영하는 지표입니다.
해당 지표를 통해서 1번이 제대로 달성하고 있는지를 파악할 수 있다고 보면 됩니다.
3. Guradrail : 새로운 실험, 변화가 있을 때 생길 수 있는 피해를 방지하는 지표
가드레일 지표
- 서비스에 악영향을 주는 지 파악하는 지표
서비스의 핵심 지표의 개선을 위해서 실험을 진행하였는데, 예상하지 못하게 서비스의 다른 지표가 떨어질 수 있다.
1. 비즈니스 측면 측정항목
실험의 목표 측정항목과 관련된
2. 유효성 측정항목 (신뢰성 모니터링)
위의 지표들을 정하고 실험을 진행하고는 하는데요, 해당 예시는 다음 시리즈에서 보여드리겠습니다!
참고
https://blog.hackle.io/post/conquering-abtest-2
유데미 - Ultimate AB Testing Course with Python Coding
'통계 찔금찔끔 > A|B Test' 카테고리의 다른 글
| A/B Test 시리즈(2) - 애자일하게 A/B Test 진행하는 법 (1) | 2024.02.18 |
|---|---|
| A/B Test 간단하게 직접 실험해보기!! *실패기록 (VWO과 함께, 구글 옵티마이즈 종료) (1) | 2024.01.20 |
댓글