# Campaign 1 분석 / Analysis

## 1. 행 수 (정리 전 → 후)

| 구분 | 정리 전 | 정리 후 (event_id 중복 제거) |
|---|---|---|
| 노출 행 | 200 (A 100, B 100) | 200 (중복·제외 없음) |
| 이벤트 행 | 75 | 70 |
| A 클릭 / 구매 행 | 26 / 5 | 25 / 5 |
| B 클릭 / 구매 행 | 33 / 11 | 30 / 10 |

- 노출은 사용자 ID가 모두 고유하고, 이벤트의 모든 사용자 ID가 노출 목록에 있으며 variant도 일치합니다.
- 환불(refunded) 상태 행은 없습니다. 모든 구매가 `paid`입니다.

## 2. 제외·표시한 ID

**중복 event_id (제거 5행, 최초 행만 유지)**

| 제거 행 | event_id | 유지한 행 |
|---|---|---|
| R026 | C-A001 | R001 |
| R062 | C-B001 | R032 |
| R063 | C-B002 | R033 |
| R064 | C-B003 | R034 |
| R075 | P-B003 | R067 |

**기간 밖 구매 (삭제하지 않고 표시, 1차 지표에서만 제외)**
- P-B009 (B009, day 8, R073)
- P-B010 (B010, day 9, R074)

## 3. 지표 (사용자 기준)

| 지표 | A | B |
|---|---|---|
| 분모 (노출 고유 사용자) | 100 | 100 |
| 클릭 (고유 클릭 사용자) | 25 → 25.0% | 30 → 30.0% |
| **1차: day 0~7 유료 구매 사용자** | **5 → 5.0%** | **8 → 8.0%** |
| 참고: 기간 밖 포함 구매 사용자 | 5 → 5.0% | 10 → 10.0% |
| 참고: 정리 전 구매 행 / 노출 | 5 / 100 | 11 / 100 |

차이는 구매가 B 쪽에 3명 더 많고(8 대 5), 클릭은 5명 더 많은 것(30 대 25)입니다. 구매 행 기준의 11%는 중복 때문에 부풀려진 값이라 쓰지 않습니다.

## 4. 의사결정 메모 (한국어)

**결론:** 이번 자료로는 B가 더 낫다고 판단하지 않습니다. 확대 적용도 보류합니다.

**근거**
- B의 1차 지표는 8명, A는 5명입니다(각 100명 중). 차이는 3명(3%p)입니다.
- 두 집단의 노출 시간대가 다릅니다. A는 08:00–10:00, B는 18:00–20:00이고, 배정은 무작위가 아닙니다(`time-window-not-random`). 그래서 시간대 효과(구매 성향, 방문자 구성)와 소재 효과를 구분할 수 없습니다.
- 5건 대 8건처럼 건수가 작아서 몇 명만 달라져도 순위가 바뀔 수 있습니다. 참고로 단순 근사로 계산한 차이의 95% 구간은 약 -4%p~+10%p로 0을 포함합니다. 이 계산도 무작위 배정을 전제하므로 이번 자료에는 엄밀히 맞지 않고, 불확실성의 규모만 보여 줍니다.
- B의 기간 밖 구매 2건(day 8, 9)은 1차 지표에 넣지 않았습니다. 넣으면 B는 10%가 되지만, 사전에 정한 7일 기준을 사후에 바꾸는 것이라 채택하지 않습니다.
- 클릭률도 B가 5명 많지만 같은 한계가 적용됩니다.

**다음 조치**
1. 같은 시간대 안에서 사용자를 무작위로 배정하거나, 두 소재를 같은 시간대에 함께 노출해 다시 실험합니다.
2. 필요 표본 수와 판정 기준을 실험 전에 정합니다.
3. 이벤트 수집 단계에서 event_id 중복을 막습니다(이번에 5행).
4. 이번 결과는 "B가 더 높게 관찰됨, 원인 미확정"으로만 보고합니다.

**한계:** 교육용 가상 기록이며 외부 사실은 사용하지 않았습니다. 환불 행이 없어 환불 제외 규칙은 결과에 영향이 없었습니다.

## 5. Decision memo (English)

**Conclusion:** This data does not support calling B better, and I recommend holding off on a rollout.

**Basis**
- The primary metric is 8 of 100 users for B versus 5 of 100 for A, a gap of 3 users (3 percentage points).
- The groups were exposed in different time windows: A at 08:00–10:00 and B at 18:00–20:00. Assignment was not random (`time-window-not-random`). Time-of-day effects and creative effects cannot be separated.
- The counts are small (5 vs 8), so a few users could flip the ranking. A rough approximate 95% interval for the difference is about -4 to +10 points and includes zero. That calculation assumes random assignment, which this data lacks, so it only illustrates the scale of uncertainty.
- Two B purchases fell outside the window (day 8 and day 9) and are excluded from the primary metric. Including them would give B 10%, but that would change the 7-day rule after the fact, so I did not adopt it.
- B also has more clickers (30 vs 25), with the same limitations.

**Next steps**
1. Re-run with random assignment within the same time window, or show both variants simultaneously.
2. Fix the sample size and decision rule before the test.
3. Prevent duplicate event_id values at collection (5 rows this time).
4. Report this result only as "B observed higher, cause undetermined."

**Limits:** These are invented teaching records, and no external facts were used. There were no refunded rows, so the refund exclusion did not affect the result.
