# 캠페인 2 의사결정 메모 (초보자용, 수정본)

## 바뀐 근거

| 항목 | 이전 답변 | 이번 수정 |
|---|---|---|
| 누락 의심 (NEW053~200 무이벤트) | 내보내기 누락 가능성 | META2로 해소. 전체 기록이며 실제 무활동으로 구성된 자료 |
| 7일 관찰 완료 여부 | 확인 불가 | META2로 해소. 200명 모두 완료 |
| 검정력 80%, 팔당 약 1,200명, p값 | 권고로 제시 | **철회.** 표본설계의 전제(기대 효과, 허용 오류 등)를 충분히 설명하지 않았음 |
| 차이의 95% 신뢰구간 | 제시 | **이번 메모에서 쓰지 않음.** 편집자가 검증한 숫자가 아니며 전제 설명도 부족했음 |
| 집단별 95% 구간 | 없음 | 편집자가 NIST Wilson 공식(z=1.96)으로 계산한 값을 그대로 사용 |

## 유지되는 집계

파일의 행을 다시 세어 이전 집계와 일치함을 확인했습니다. 중복 `event_id`, 환불, 윈도우 밖 기록은 없었고, 구매 15건은 모두 day 3, `paid`입니다.

| 지표 | A | B |
|---|---|---|
| 노출 사용자 | 100 | 100 |
| 클릭 사용자 | 24 (24%) | 28 (28%) |
| 7일 내 유료 구매 사용자 (주 지표) | 6 (6%) | 9 (9%) |
| 구매율 95% 구간 (Wilson, 편집자 계산) | 2.78~12.48% | 4.81~16.23% |

- 구매자는 B가 3명 많고, 클릭자도 B가 4명 많습니다.
- 클릭자 중 구매자 비율(A 6/24, B 9/28)은 클릭 이후에 나눈 하위집단이라 참고용으로만 보세요.

## 이 숫자가 말해 주는 것과 말해 주지 않는 것

- 위 구간은 **각 집단의 구매율이 어느 범위일 수 있는지**를 보여 줄 뿐, A와 B의 차이를 검정한 것이 아닙니다.
- 구간이 겹쳐도 두 집단이 같다고 할 수 없고, B가 낫다고도 할 수 없습니다. 이 자료만으로는 어느 쪽도 단정할 수 없습니다.
- 구매자가 6명 대 9명이라, 몇 명만 달라져도 순위가 바뀔 수 있는 작은 규모입니다.
- 이 캠페인은 모의 배정·가상 자료이며, 캠페인 1과 합치지 않았습니다.

## 결정 메모

1. 이 캠페인에서 B의 클릭·구매 수가 더 많았다는 사실만 기록하고, "B 승리"로 적지 않습니다.
2. 실제로 B를 채택할지는 잘못 고를 때의 비용과 이득의 크기를 먼저 정한 뒤 판단합니다.
3. 추가 시험이 필요하다고 결정하면, 기대하는 차이와 허용할 오류 수준, 표본 규모, 판정 기준을 **시험 전에** 정해 문서화합니다. 이 메모는 그 숫자를 제시하지 않습니다.
4. 이번 메모는 주어진 가상 자료의 재분석이며, 새 실험을 수행한 것이 아닙니다.

---

# Campaign 2 Decision Memo (beginner version, revised)

## What changed in the basis

| Item | Previous answer | This revision |
|---|---|---|
| Suspected missing events (NEW053–200 empty) | Possible export cut-off | Resolved by META2: the file is the full record, and the inactivity is how the exercise data was built |
| 7-day observation complete? | Could not confirm | Resolved by META2: all 200 users finished |
| 80% power, ~1,200 per arm, p-value | Offered as a recommendation | **Withdrawn.** The assumptions behind the sample-size design (expected effect, tolerated error, etc.) were not adequately explained |
| 95% interval for the difference | Reported | **Not used in this memo.** It was not an editor-verified figure and its assumptions were not explained |
| Per-group 95% intervals | None | Editor's Wilson calculation (NIST formula, z=1.96), used as supplied |

## Counts that stay the same

I recounted the file rows and they match the earlier tallies. There were no duplicate `event_id`s, refunds, or out-of-window records, and all 15 purchases are day 3, `paid`.

| Metric | A | B |
|---|---|---|
| Exposed users | 100 | 100 |
| Users who clicked | 24 (24%) | 28 (28%) |
| Users with a paid purchase within 7 days (primary) | 6 (6%) | 9 (9%) |
| 95% interval for purchase rate (Wilson, editor-calculated) | 2.78–12.48% | 4.81–16.23% |

- B has 3 more purchasers and 4 more clickers.
- Purchasers among clickers (A 6/24, B 9/28) is a subgroup formed after the click, so treat it as reference only.

## What these numbers do and do not say

- The intervals show a plausible range for **each group's own purchase rate**. They are not a test of the difference between A and B.
- Overlapping intervals do not mean the groups are the same, and they do not show B is better. This data alone supports neither conclusion.
- With 6 versus 9 purchasers, a few people changing could flip the ranking.
- This is simulated assignment on fictional data, and it is not pooled with campaign 1.

## Decision memo

1. Record only that B had more clicks and purchases in this campaign. Do not label B the winner.
2. Whether to adopt B in practice depends on the cost of choosing wrongly versus the size of the possible gain, which should be settled first.
3. If you decide a follow-up is needed, fix the expected difference, tolerated error level, sample size, and decision rule in writing **before** it starts. This memo does not propose those numbers.
4. This memo is a re-analysis of the supplied fictional data. No new experiment was run.
