# Campaign 1 개정 (AUD1 반영) / Revision

## 1. 변경 이력 (이전 버전 보존)

| 행 | event_id | 사용자 | day | v1 (원본) | v2 (AUD1 반영) |
|---|---|---|---|---|---|
| R072 | P-B008 | B008 | 2 | `paid` | `refunded` |

- v1 데이터와 이전 분석은 그대로 두고, v2를 새 버전으로 추가합니다.
- 환불 시점과 금액은 제공되지 않아 가정하지 않았습니다.
- 다른 행, 중복 제거(5행), 노출 200건은 바뀌지 않았습니다.

## 2. 수치 변화 (분모는 모두 100)

| 지표 | A v1 → v2 | B v1 → v2 | B 변화 |
|---|---|---|---|
| **1차: day 0~7 유료 구매 사용자** | 5 (5.0%) → 5 (5.0%) | 8 (8.0%) → **7 (7.0%)** | -1명, -1.0%p |
| A 대비 B 차이 | +3명 (3.0%p) → **+2명 (2.0%p)** | | 차이 1명 축소 |
| 참고: 기간 제한 없이 유료 구매 사용자 | 5 → 5 | 10 (10.0%) → 9 (9.0%) | -1명 |
| 클릭 사용자 | 25 (25.0%) | 30 (30.0%) | 변화 없음 |
| 중복 제거 후 구매 행 중 유료 / 환불 | 5 / 0 | 10 / 0 → 9 / 1 | |

1차 지표에서 제외되는 B 구매는 이제 3건입니다: P-B009(day 8), P-B010(day 9), P-B008(환불). B001~B007 7명이 유효 구매자입니다.

## 3. 시간대 교란은 사라졌는가

사라지지 않았습니다. 환불 상태는 결과 값만 바꾸고 배정 방식은 바꾸지 않습니다. A는 여전히 08:00–10:00, B는 18:00–20:00에만 노출되었고, 200건 모두 `time-window-not-random`입니다. 차이가 3명에서 2명으로 줄었다는 사실은 교란이 줄었다는 뜻이 아니라 결과 건수가 하나 줄었다는 뜻일 뿐입니다. 시간대 효과와 소재 효과는 여전히 분리되지 않습니다.

## 4. 의사결정 메모 (한국어, v2)

**결론:** B가 낫다고 판단하지 않으며 확대 적용을 보류합니다. 이전 결론은 유지되고, 관찰된 격차는 오히려 줄었습니다.

**근거**
- 1차 지표는 B 7명, A 5명(각 100명 중)으로 차이는 2명(2%p)입니다. v1의 3명에서 줄었습니다.
- 환불 1건이 반영되어 건수가 바뀌었다는 점 자체가 이 결과의 불안정성을 보여 줍니다. 1명만 달라져도 격차가 3분의 1 줄었습니다.
- 노출 시간대가 변형과 완전히 겹쳐 있고 배정이 무작위가 아닙니다.
- 유의성 검정은 수행하지 않았고 판정 근거로도 쓰지 않습니다. 이전 메모의 근사 구간은 무작위 배정 가정이 맞지 않으므로 이번 개정에서 갱신하지 않고 철회합니다.
- 기간 밖 구매 2건은 계속 표시하되 1차 지표에서 제외합니다.

**다음 조치**
1. 같은 시간대 안 무작위 배정 또는 동시 노출로 재실험합니다.
2. 표본 수와 판정 기준을 사전에 정합니다.
3. 환불 감사의 발생일·사유·금액 필드를 확보하고, 감사 결과가 지표에 반영되는 절차를 정합니다.
4. 이번 결과는 "B가 다소 높게 관찰됨, 원인 미확정"으로만 보고합니다.

**한계:** 교육용 가상 기록이며 AUD1도 가상 감사입니다. 외부 사실은 사용하지 않았습니다.

## 5. Decision memo (English, v2)

**Conclusion:** B is not judged better, and rollout stays on hold. The earlier conclusion holds, and the observed gap has narrowed.

**Basis**
- The primary metric is 7 of 100 users for B and 5 of 100 for A, a gap of 2 users (2 points), down from 3 in v1.
- One refund changed the count, which shows how unstable this result is: a single user shrank the gap by a third.
- Time window still coincides entirely with variant, and assignment is not random.
- No significance test was run and none is used as a basis. The approximate interval in the previous memo assumed random assignment that does not hold, so it is withdrawn here rather than recomputed.
- The two out-of-window purchases remain visible but excluded from the primary metric.

**Next steps**
1. Re-run with random assignment within the same time window, or show both variants simultaneously.
2. Fix sample size and decision rule in advance.
3. Capture refund date, reason, and amount from audits, and define how audit results flow into the metric.
4. Report only as "B observed somewhat higher, cause undetermined."

**Limits:** These are invented teaching records and AUD1 is a fictional audit. No external facts were used.
