# 캠페인 2 분석 (Campaign 2 analysis)

## 데이터 점검

| 항목 | 결과 |
|---|---|
| 노출 | 200행, 고유 사용자 200명, 중복 없음 |
| 배정 | A 100명 / B 100명 |
| 이벤트 | 67행. 중복 `event_id`, 환불, 윈도우 밖(day 0~7 바깥), 무효 상태 행은 없음 |
| 구매 시점 | 15건 모두 day 3, `paid` (윈도우 안) |

- 클릭은 NEW001~NEW052에만, 구매는 NEW001~012, 014, 016, 018에만 있습니다. NEW053~200은 이벤트가 0건이라 지표 정의대로 "클릭·구매 없음"으로 셌습니다.
- 이벤트가 사용자 번호 순서대로 52번에서 끊긴 점은 내보내기 누락 가능성을 의심하게 합니다. 누락이라면 아래 숫자는 모두 바뀝니다.
- 파일에는 최대 day 3까지만 있어서, 모든 사용자가 7일 관찰을 마쳤는지는 확인할 수 없습니다.

## 결과 (이 파일에 있는 데이터 기준)

| 지표 | A | B | 차이 (B−A) |
|---|---|---|---|
| 노출 사용자 | 100 | 100 | |
| 클릭 사용자 | 24 (24%) | 28 (28%) | +4%p |
| 7일 내 유료 구매 사용자 (주 지표) | 6 (6%) | 9 (9%) | +3%p |
| 클릭자 중 구매 (참고용) | 6/24 (25%) | 9/28 (32.1%) | |

## 불확실성

- **구매율:** 차이 +3%p의 95% 신뢰구간은 대략 −4.3%p ~ +10.3%p(정규근사), p≈0.42입니다. 0을 충분히 포함합니다.
- **클릭률:** 차이 +4%p의 95% 신뢰구간은 대략 −8%p ~ +16%p, p≈0.5입니다.
- **표본 크기:** 구매자가 A 6명, B 9명이라 몇 명만 달라져도 순위가 바뀝니다. 이 구매율 차이(6% 대 9%)를 80% 검정력으로 가려내려면 팔당 약 1,200명이 필요하며, 지금은 100명입니다.
- **클릭자 중 구매율:** 클릭 이후에 나눈 하위집단이라 무작위 배정의 보호를 받지 못합니다. 설명용으로만 보세요.
- **배정:** 배정이 이 연습을 위해 모의된 것이라는 전제를 그대로 따랐습니다. 캠페인 1과는 합치지 않았습니다.

**결론:** B의 클릭·구매 수가 더 많지만 이 데이터로는 B가 낫다고 말할 수 없습니다.

## 다음 결정안 (한국어)

1. 이벤트 추출이 52번에서 끊긴 것인지, NEW053~200이 실제로 무반응인지 먼저 확인합니다.
2. 모든 사용자의 7일 관찰이 끝났는지 확인합니다.
3. 데이터가 완전하면 B를 "승자"로 채택하지 않고, 주 지표를 구매율로 고정한 사전 등록형 재시험(팔당 약 1,200명 이상)을 실행합니다.
4. 재시험 중에도 환불, 중복, 윈도우 밖 기록은 숨기지 않고 별도 표시합니다.

## Next decision draft (English)

1. First confirm whether the event export was cut off at user 52, or whether NEW053–200 truly had no activity.
2. Confirm that every user has completed the 7-day observation window.
3. If the data is complete, do not declare B the winner. Run a pre-registered follow-up with purchase rate as the fixed primary metric, at about 1,200+ users per arm.
4. Keep refunds, duplicates, and out-of-window records visible and labeled during the follow-up.
