[Product Data] 성과분석 & A/B 테스트

성과분석

성과분석이란 서비스에 적용한 변화가 유저의 행동에 어떤 변화를 주었는지 분석하는 것이다.

서비스의 변화로 기대하는 유저의 행동 변화를 가설로 세우고, 배포 후 유저의 행동이 어떻게, 얼마나 변했는지를 분석한다. 

 

(예시)

추가 기능: 장바구니에 담은 물건이 n일이 지났을 때 알람을 보내는 기능

가설: 장바구니 알람 기능을 추가하면 고객의 구매 전환율이 증가할 것이다. 

 

성과분석을 하기 전 다음과 같은 질문을 생각해봐야한다. 

 

1. 어떠한 변화를 주었는가?

 - 장바구니 알람 기능 추가

2. 어떤 유저들이 변화의 대상인가?

 - 물건을 장바구니에 담고 n일 동안 구매하지 않은 유저

3. 예상되는 행동 변화는 무엇인가?

 - 알람을 받은 유저가 서비스에 진입하여 물건을 구매할 것이다.

 

2번과 3번을 통해 성과를 분석하기 위해 어떤 지표를 확인해야할 지 도출할 수 있다. 

- 구매 행동을 한 유저 수 / 알람을 받은 유저 수

 

그런데 해당 예시로 생각해 보니까 추가로 고려해야할 여러 추가 변수들이 있다..🤔

 

1. 장바구니에 여러개의 품목이 들어가 있을 때,

 - 품목 단위로 구매를 카운팅 할 것인가?

 - 결제 행동으로 구매를 카운팅 할 것인가?

2. 기대하는 유저 행동이 두 가지다. (funnel로 이어져있음)

 - 서비스에 진입 후 ➡️ 구매

 

성과지표를 평가할 때 주의해야하는 것은 '지표의 변화가 실제로 배포 때문에 일어난 것인가?' 라는 것이다.

실험을 설계하기 어려워 통계 수치로 어떤 현상의 인과관계를 추론해야할 때, 실제로 현상의 원인이 되는 '제3의 변수'가 있느냐가 굉장히 중요하다. 

 

대표적인 예시로 아이스크림 paradox가 있다. 아이스크림 판매율이 높으면 물놀이 사고수가 증가한다. 그럼 우리는 아이스크림이 물놀이 사고를 유발한다고 볼 수 있을까? 상식적으로 봐도 아니다. 제 3의 변수인 '여름'이 작용하고 있기 때문이다. 

더우니까 아이스크림도 많이 먹고 더우니까 물놀이를 가는 사람도 많아지면서 그만큼 사고도 증가한다. 

아이스크림 판매율과 물놀이 사고는 상관관계는 있지만 그렇다고 원인과 결과라고는 볼 수 없다.

 

고로 상관관계는 인과관계가 아니다!!

 

---

A/B 테스트

단순한 상관관계로는 인과관계를 추론할 수 없기 때문에 간단한 실험을 설계할 수 있다.

유저를 A그룹과 B그룹으로 나누어 A 그룹은 서비스를 기존대로 유지하고 B 그룹에게는 변화를 적용한 서비스를 제공하는 것이다.

 

예를 들어, 익일 배송의 효용성을 검증한다고 할 때, 유저 그룹 A에게는 기존의 외주업체 배송으로 서비스를 제공하고 유저그룹 B에게는 익일 배송을 제공한다. 그리고 이 두 그룹의 재구매율을 비교하는 것이다.

 

이때 사용할 수 있는 지표는 아래가 있다. 

1) Success Metric (핵심지표)

- 구매전환률

2) Secondary Metric (핵심지표 외 지표)
- 알람벳지 클릭율, 서비스진입율, 진입한 장바구니 지면 체류시간 등

3) Gaurdrail Metric (실험이 영향을 주어서는 안되는 지표)

 

 

A/B 테스트를 진행할 수 없는 케이스들도 있다.

 

1. 유저의 모수가 적을 때

유저의 모수가 적으면 실험에 노출되는 대상이 적고, 

 

2. Spillover Effect가 발생할 수 있을 때

Spillover Effect는 실험군의 행동이 대조군의 행동에 영향을 줄 때 발생한다.

 

예를 들어, 실험군에 속한 A와 대조군에 속한 B가 sns 친구라고 했을 때 A가 실험의 영향으로 어떤 상품에 노출되어 구매(행동변화)를 한다고 하자. 이때 A가 구매한 물건을 sns에 포스팅하여 B에게 노출이 되면, B는 실험에 의해 노출되지 않았더라도 구매할 수 있는 가능성이 올라간다. 

이렇게 통제되지 않은 변수가 존재하면 인과관계를 신뢰하기 어렵기 때문에 A/B 테스트를 진행할 수 없다. 

 

3. 윤리적 문제를 유발할 수 있을 때

페이스북의 대규모 감정 전염 실험 (링크)