AI로 광고 결과 읽기: 중복을 고치고 성급한 승자 판정 막기

1. 1

   AI에게 광고 승자를 묻기 전에, 어떤 답을 받을지 정합니다

   두 광고의 결과를 AI에게 붙이고 “어느 문구가 더 잘 됐어?”라고 물으면 높은 비율을 고른 설명이 돌아올 수 있습니다. 그러나 파일에 같은 구매가 두 번 찍혔거나 노출 시간이 다르면, 설명이 자연스러워도 광고 문구의 효과를 알았다고 말할 수 없습니다. 이번 수업은 AI를 광고 심판으로 쓰는 대신 원자료를 정리하고, 비교의 한계를 찾고, 의사결정 메모를 수정하는 도구로 사용합니다.

   이 수업에서 익힐 마케팅 AI 활용 순서는 다음과 같습니다. 노출·행동 자료 구분하기 → 같은 기간과 집계 단위 맞추기 → AI에 비교표와 근거 요청하기 → 표본과 불확실성 점검하기 → 환불 등 새 조건으로 해석 수정하기. 각 단계에서 왜 그 자료와 조건이 필요한지 이론을 먼저 설명하고, 요청 예시·완성 예제·해설로 판단 과정을 살펴봅니다. 외부 AI 도구를 사용할 때의 방법을 읽으며 배우는 교재이므로 계정이나 실행 환경을 준비하지 않아도 됩니다.

   A/B는 표현이 다른 두 후보를 비교한다는 뜻입니다. 여기서는 가상의 수납용품 안내 광고 A와 B를 다룹니다. A와 B는 내용 표시일 뿐 실제 제품 성과가 아닙니다. 두 파일은 누가 노출됐는지 기록한 명단과 클릭·구매가 발생한 이벤트 기록입니다. 이벤트는 행동 한 번의 기록이며 같은 사람에게 여러 개가 생길 수 있습니다. 그래서 행 수, 사람 수, 구매 수는 처음부터 다르게 읽어야 합니다.

   AI에게는 원자료를 읽는 일, 지표의 분모를 설명하는 일, 보고서 초안을 만드는 일을 함께 맡깁니다. 계산 검증은 별도 표나 계산식으로 한 번 더 합니다. AI가 어려운 통계 용어를 쓰면 이해하지 못한 채 그대로 옮기지 않고, 어떤 자료와 가정에서 나온 숫자인지 다시 묻습니다. 뒤에서 실제 응답이 불필요한 검정력과 표본 수를 권고한 장면을 보고, 그 부분을 철회하도록 한 추가 요청도 따라갑니다.

   2026년 10월 28일 Claude Sonnet 5.5에 가상 CSV를 텍스트로 붙여 실행했습니다. 도구는 끄고, 첫 분석 뒤에는 같은 대화에서 환불 정보를 추가했습니다. 다음 캠페인은 새 대화로 분리했고, 새 응답의 확인되지 않은 전제를 다시 고쳤습니다. 본문에서 실제 응답이라고 표시한 문장은 실행 기록에서 발췌했으며, 편집자가 독립 계산한 구간과 정답표는 따로 구분합니다. 실제 광고를 집행하거나 고객을 추적한 실험은 아닙니다.

   직접 실행은 선택입니다. 계정이 있다면 두 CSV를 첨부한 뒤 아래 요청을 보내고, 첨부가 안 되면 다운로드의 전체 입력 텍스트를 복사해 붙입니다. 처음 사용하는 사람은 파일 두 개가 각각 어떤 역할인지 확인하는 질문부터 시작해도 됩니다. 응답을 받는 버튼 위치보다 중요한 것은 입력, 기준, 출력, 재검토가 한 대화에서 어떻게 이어지는지입니다. 본문 표와 실제 답만 읽어도 같은 확인 순서를 배울 수 있습니다.

2. 2

   노출 파일과 행동 파일을 나눠 AI에게 설명합니다

   노출 파일은 200행입니다. A 사용자 A001~A100과 B 사용자 B001~B100이 각각 한 번씩 있어 분모는 각 100명입니다. 행동 파일은 75행이며, 클릭이나 구매가 없는 사람은 이 파일에 나오지 않습니다. 행동 파일만 AI에게 주면 분모를 클릭한 사람으로 바꿀 수 있으므로 두 파일을 함께 제공합니다. “행동이 없다고 노출 명단에서도 제외하지 마”라는 조건을 명시하면 결과표의 기준이 분명해집니다.

   

   event_id는 같은 행동의 중복을 찾는 번호이고, user_id는 사람을 세는 번호입니다. A 클릭 행 26개 중 C-A001이 반복돼 고유 클릭 사용자는 25명입니다. B 클릭 행 33개에는 C-B001·C-B002·C-B003의 반복이 있어 30명으로 줄어듭니다. B 구매 행 11개에서도 P-B003이 한 번 더 들어 있습니다. 두 번호를 모두 “아이디”라고만 부르면 AI가 중복 기준을 섞을 수 있으니 열의 뜻을 요청에서 풀어 줍니다.

   이번 1차 지표는 노출일을 0일로 두고 7일까지 유료 구매한 사람의 비율입니다. day_after_exposure가 8과 9인 P-B009·P-B010은 기록 자체가 틀린 것이 아니라 이번 지표 기간 밖입니다. AI가 보기 좋게 삭제하게 하지 말고 별도 제외 목록에 남깁니다. 결과를 본 뒤 B의 구매가 늘어나도록 기준을 9일로 바꾸면 다른 지표가 되므로 처음 정한 비교라고 소개할 수 없습니다.

   또 하나의 중요한 열은 time_window입니다. A는 08~10시, B는 18~20시에만 보였고 assignment는 time-window-not-random입니다. 무작위 배정이 아니라는 뜻입니다. AI가 시간 차이를 읽지 않고 문구만 비교하면 시간대와 사람 구성의 차이를 문구 효과라고 쓸 수 있습니다. 수치 계산에 직접 안 들어가는 열도 판단에는 필요합니다. 합계를 만들기 전에 그 열을 삭제하지 마세요.

   아래 표는 파일 전체의 규모와 문제가 있는 ID를 보여 줍니다. 원본 200명과 75행은 다운로드에 모두 있고, 실제 실행에도 같은 내용을 넣었습니다. 개인정보가 없는 연습 ID이므로 이 자료로 AI 입력을 연습할 수 있습니다. 자신의 광고 자료로 바꿀 때에는 필드 이름만 맞추는 것으로 끝내지 말고 관찰 기간, 환불 기준, 동일 사용자의 집단 이동을 어떻게 처리할지 다시 정해야 합니다. 여기서 정한 규칙이 모든 광고 플랫폼의 기본값이라는 뜻은 아닙니다.

   가상 캠페인 1 원자료의 구조와 점검할 행

   항목	A	B
   노출 고유 사용자	100	100
   클릭 원본 행 → 고유 사용자	26 → 25	33 → 30
   구매 원본 행 → 고유 사건	5 → 5	11 → 10
   중복 event_id	C-A001	C-B001; C-B002; C-B003; P-B003
   7일 밖 구매	없음	P-B009(day 8); P-B010(day 9)
   노출 시간·배정	08:00–10:00 / 시간대 배정	18:00–20:00 / 시간대 배정

   연습 자료와 실행 원문 받기

1. 3

   복사할 요청: 지표마다 분자·분모와 제외 ID를 받습니다

   먼저 대화창에 “첨부한 두 파일의 이름, 행 수, 열의 뜻을 설명해 줘”라고 물어볼 수 있습니다. AI가 노출 파일을 구매 파일로 읽거나 75개 행을 75명의 사용자라고 말하면 그 자리에서 바로잡습니다. 처음의 작은 확인이 끝나면 아래 요청 전체를 보냅니다. 요청에는 자료 역할, 지표 정의, 중복 키, 기간, 환불, 결과 형식이 들어 있습니다. 단어가 많아 보여도 각 문장은 앞에서 발견한 오류 가능성 하나를 줄이기 위한 것입니다.

   본문의 한국어 요청은 첨부 파일 방식이며, 실제 기록은 영문 지시 뒤에 두 CSV 전체 텍스트를 붙인 방식입니다. 자료 묶음에 한국어 전체 입력과 영어 실행 원문을 함께 두어 첨부를 지원하지 않아도 사용할 수 있습니다. 파일명만 쓴 요청을 자료 없이 보내면 AI에게 읽을 표가 없습니다. 응답이 정확한 파일명과 행 수를 돌려주는지 확인하는 이유도 여기에 있습니다. 도구가 파일을 읽지 못했다고 하면 추측하도록 하지 말고 텍스트 입력으로 바꿉니다.

   지표는 하나씩 이름을 붙입니다. 클릭률은 클릭한 고유 사람 수 나누기 노출한 고유 사람 수입니다. 1차 구매율은 기간 안에 유료 구매한 고유 사람 수 나누기 노출한 고유 사람 수입니다. 클릭자 중 구매 비율을 알고 싶다면 별도의 참고 지표로 요청할 수 있지만 5/25와 5/100을 같은 전환율이라고 섞지 않습니다. AI가 분모를 괄호 안에 실제 숫자로 적게 하면 이 혼동을 쉽게 찾을 수 있습니다.

   “중복을 정리해 줘”라는 한 문장만 쓰지 않고 event_id 중복과 user_id 인원 집계를 분리했습니다. 실제 응답은 중복 5행을 제외하고 행동 70행을 남겼습니다. 이때 기간 밖 구매 2건은 70행 안에 여전히 존재하지만 1차 지표에만 들어가지 않습니다. 정리된 파일 행 수와 분자에 들어간 구매 사람 수가 다른 이유를 AI에게 설명하게 하면, 단순한 삭제로 정보를 잃는 처리를 피할 수 있습니다.

   출력 순서는 숫자 정리표, 제외 ID, 지표, 완성 결정 메모입니다. 마지막에 승자를 단정하지 말라는 문장만 붙인다고 모든 과장이 사라지지는 않습니다. 실제 AI는 첫 응답에 요청하지 않은 근사 신뢰구간을 덧붙였습니다. 우리는 그 문장을 그대로 보고서에 붙이지 않고 조건이 맞는지 검토했습니다. 좋은 요청은 검토할 재료를 주지만 검토 자체를 없애 주지는 않는다는 점을 다음 두 절에서 확인합니다.

   첨부한 campaign-1-exposures.csv와 campaign-1-events.csv는 가상 연습 자료야. 외부 정보나 도구 없이 두 파일을 함께 읽어 줘. 1차 지표는 노출 고유 사용자 중 노출일 0일~7일 안에 유료 구매한 고유 사용자 비율이야. event_id 중복을 먼저 정리하고, 사람 수는 user_id로 세어 줘. 환불 구매는 빼고, 기간 밖 구매는 삭제하지 말고 별도 표시해. 클릭률의 분모도 노출 고유 사용자야. 파일별 행 수와 중복 ID·제외 ID, 두 지표의 분자/분모, 한국어와 영어의 완성 결정 메모를 줘. 시간대와 배정 방식이 다르면 원인이나 승자를 단정하지 마. 실제 광고 집행은 하지 마.

2. 4

   실제 응답을 읽고, 높은 수치와 좋은 광고를 구분합니다

   첫 실행에서 Claude는 A의 클릭 25명·구매 5명, B의 클릭 30명·기간 안 구매 8명을 반환했습니다. 분모는 각 100명으로 클릭률 25%와 30%, 1차 구매율 5%와 8%입니다. B의 구매 원본 11행을 100명으로 나눈 11%는 중복과 기간 밖 기록을 포함하므로 이 수업의 지표가 아닙니다. 아래 표는 모델 응답과 별도로 CSV를 다시 세어 검증한 값입니다. 숫자가 같아졌다는 사실과 결론을 채택할 수 있는지는 따로 봅니다.

   실제 메모는 “이번 자료로는 B가 더 낫다고 판단하지 않습니다. 확대 적용도 보류합니다”라고 했습니다. 이 결론은 B의 8%를 지워서 A와 같게 만든 것이 아닙니다. 관찰된 차이는 3명, 즉 3퍼센트포인트로 남겨 두고 그 차이의 원인을 특정하지 않는 것입니다. 퍼센트포인트는 두 비율의 빼기입니다. 상대 증가율처럼 더 크게 보이는 표현을 골라 홍보 성과를 부풀리는 대신 실제 인원과 분모를 함께 적습니다.

   검토할 때는 AI가 제외한 번호를 찾습니다. R026은 C-A001의 중복이고, R062~R064는 B 클릭 중복이며, R075는 P-B003의 중복입니다. R073·R074의 늦은 구매는 별도 표시됩니다. 거래나 이벤트 번호를 남기면 담당자가 내보내기 설정을 확인할 위치가 생깁니다. “노이즈 제거 완료”라는 요약만 받으면 어떤 행을 버렸는지 알 수 없으므로 AI에게 구체적인 번호를 다시 요청하세요.

   이번 자료에서 A와 B의 시간대가 다르다는 사실은 누락값이 아닙니다. 이미 알려진 비교 한계입니다. AI에게 시간대를 맞춰 달라고 말해 기존 기록을 낮 시간으로 고치면 없던 실험을 만드는 셈입니다. 기존 분석에는 이 한계를 남기고, 새 캠페인을 준비할 때 같은 시간 창과 대상 조건을 정해야 합니다. 첫 분석과 새 분석을 구분해 두면 AI가 수정과 재실험을 혼동하지 않도록 도울 수 있습니다.

   아래 응답 인용 뒤의 표를 보고 판단 문장을 직접 한 줄로 써 보세요. 예를 들어 “B는 같은 100명 중 구매가 3명 더 관찰됐지만 노출 시간과 배정 방식이 다르다”입니다. 모델의 원문에 동의하는지만 확인하는 대신 내 말로 이유를 설명해 보는 과정입니다. AI를 실행한 경우에는 첫 답 원문과 내 검토 메모를 함께 저장합니다. 나중에 환불이 발생하면 숫자뿐 아니라 결론의 어떤 부분을 바꿔야 하는지 구체적으로 요청할 수 있습니다.

   실제 Claude Sonnet5.5 첫 응답 발췌 · 2026-10-28

   응답 예제복사

   외부 AI 도구의 활용 과정을 설명하는 교재 예제입니다. 요청 조건에 따라 결과는 달라집니다.

   차이는 구매가 B 쪽에 3명 더 많고(8 대 5), 클릭은 5명 더 많은 것(30 대 25)입니다. 구매 행 기준의 11%는 중복 때문에 부풀려진 값이라 쓰지 않습니다.

   (…)

   이번 자료로는 B가 더 낫다고 판단하지 않습니다. 확대 적용도 보류합니다.

   편집자 독립 검산 · 캠페인 1

   지표	A	B
   노출 인원	100	100
   클릭률	25/100 = 25%	30/100 = 30%
   7일 구매율	5/100 = 5%	8/100 = 8%
   판정	시간대 불일치, 원인 미확정	시간대 불일치, 원인 미확정

   연습 자료와 실행 원문 받기

3. 5

   환불 한 건을 추가하고 같은 대화에서 메모를 갱신합니다

   분석 뒤에 AUD1이라는 확인 자료가 도착했습니다. B008 사용자의 P-B008 구매가 환불됐다는 정보입니다. 처음 CSV는 paid였으므로 새 정보를 반영할 시점과 버전을 남깁니다. 같은 대화에 “P-B008을 refunded로 바꾸고 다른 행은 유지해”라고 추가합니다. 파일 전체를 새로 고치게 하기보다 어떤 근거가 어떤 행의 상태를 바꾸는지 명시하면 AI가 수정 범위를 좁힐 수 있습니다.

   

   아래 추가 요청에는 변경 후 유효 구매 수·구매율·전후 차이를 요구했습니다. 또한 환불을 반영했다고 시간대 차이가 해결됐는지 묻습니다. 숫자가 고쳐진 것과 비교 설계가 고쳐진 것은 다른 문제입니다. 새 버전에서 B의 구매는 8명에서 7명으로, 구매율은 8%에서 7%로 바뀝니다. A는 5명·5% 그대로이고 두 집단 차이는 3명에서 2명으로 줄어듭니다. 클릭률과 노출 인원은 환불로 변하지 않습니다.

   실제 응답은 R072의 P-B008을 v1 paid에서 v2 refunded로 표시하고 이전 분석을 보존한다고 적었습니다. 기간 밖 P-B009·P-B010과 환불 P-B008을 서로 다른 제외 이유로 남겼습니다. “B에서 3건 제외”라는 합계 설명만으로 끝내지 않고 각 번호가 왜 빠졌는지 읽을 수 있습니다. 이런 표를 요청해 두면 나중에 환불 취소나 관찰 기간 변경이 생겼을 때 다시 확인할 기준이 됩니다.

   우리는 같은 추가 요청에서 검증하지 않은 유의성 검정을 만들지 말라고 명시했습니다. 실제 수정 응답은 첫 메모의 근사 구간을 철회했습니다. 무작위 배정을 전제로 한 계산을 이번 시간대 배정 자료의 판정 근거로 쓰지 않겠다는 이유였습니다. 첫 응답의 전부가 틀렸다는 뜻은 아닙니다. 집계는 맞았고, 검토가 필요했던 통계 설명만 분리해 수정했습니다. AI의 답을 통째로 믿거나 통째로 버리는 것보다 이 방식이 유용합니다.

   마지막으로 수정 메모의 제목과 본문을 같이 봅니다. 제목에 “B 승리”가 남아 있는데 본문만 판단 보류로 바뀌면 실제 공유할 문서는 여전히 오해를 만듭니다. AI에게 전후 수치표뿐 아니라 결정문·제목·다음 행동을 함께 갱신하라고 요청합니다. 이 실습의 다음 행동은 광고비를 늘리는 것이 아니라 비교 조건을 다시 설계할 때 확인할 항목을 정하는 것입니다. 실계정 변경이나 광고 집행 없이도 AI와의 수정 과정을 완료할 수 있습니다.

   새 가상 확인 AUD1: P-B008 구매는 환불됐어. 기존 원본과 v1 분석은 보관하고 v2에만 refunded를 반영해. A와 B의 유효 구매 수·구매율·전후 차이, 바뀌지 않는 값, 한국어와 영어 결정 메모를 갱신해 줘. 시간대에 따른 비교 한계가 사라졌는지도 설명해. 검증하지 않은 유의성 검정을 만들지 마.

   실제 같은 대화의 수정 응답 발췌

   응답 예제복사

   외부 AI 도구의 활용 과정을 설명하는 교재 예제입니다. 요청 조건에 따라 결과는 달라집니다.

   사라지지 않았습니다. 환불 상태는 결과 값만 바꾸고 배정 방식은 바꾸지 않습니다. A는 여전히 08:00–10:00, B는 18:00–20:00에만 노출되었고, 200건 모두 time-window-not-random입니다. 차이가 3명에서 2명으로 줄었다는 사실은 교란이 줄었다는 뜻이 아니라 결과 건수가 하나 줄었다는 뜻일 뿐입니다. 시간대 효과와 소재 효과는 여전히 분리되지 않습니다.

   (…)

   유의성 검정은 수행하지 않았고 판정 근거로도 쓰지 않습니다. 이전 메모의 근사 구간은 무작위 배정 가정이 맞지 않으므로 이번 개정에서 갱신하지 않고 철회합니다.

4. 6

   AI가 덧붙인 통계 설명은 근거와 전제를 따로 확인합니다

   AI가 “통계적으로 유의하다”거나 “약 1200명 필요하다”고 말하면 전문적으로 들릴 수 있습니다. 하지만 어떤 차이를 검출할지, 어떤 오류를 얼마나 허용할지 정하지 않았다면 그 숫자를 바로 실행 계획으로 옮길 수 없습니다. 이번 수업의 실제 새 캠페인 응답에도 이런 표본 수 권고가 등장했습니다. 우리는 그 숫자를 학습 정답으로 채택하지 않고 전제가 부족하다는 이유와 함께 철회하도록 추가 요청했습니다.

   

   불확실성은 “모르겠다”는 말만 붙이는 것이 아닙니다. 같은 자료에서도 어느 정도까지 말할 수 있는지 보여 주는 것입니다. 다음 절의 새 캠페인은 A 100명 중 6명, B 100명 중 9명이 구매했습니다. 편집자가 NIST에 공개된 Wilson 구간 공식에 각 분자와 분모, z=1.96을 넣어 계산하면 각 집단의 95% 구간은 A 2.78~12.48%, B 4.81~16.23%입니다. 이 값은 실제 고객 관측치가 아니라 가상 자료의 계산 예입니다.

   구간이 넓다는 것은 한 번 관찰한 6%나 9%를 정밀한 고정값처럼 다루기 어렵다는 뜻으로 읽을 수 있습니다. 다만 두 구간이 겹친다는 이유로 “차이가 없다”고 결론 내리지 않습니다. 이 그림은 각 집단 비율의 구간이며 두 집단 차이의 검정 결과가 아닙니다. 95%도 이번에 고정된 모수에 95% 확률을 붙인 표현으로 설명하지 않습니다. 같은 절차를 반복할 때 구간을 만드는 방법의 성질을 설명하는 숫자입니다.

   초보자가 직접 공식을 외울 필요는 없습니다. AI에게 “계산 방법 이름, 입력 분자·분모, 필요 가정, 이 계산으로 말할 수 없는 결론을 분리해서 써 줘”라고 요청할 수 있습니다. 나온 값은 검산 파일과 대조하고, 모르는 가정은 그대로 남깁니다. 이번 교재는 각 집단 구간을 독립 계산해 주었지만, 현장에 필요한 표본 설계나 예산 결정까지 자동으로 완료했다고 소개하지 않습니다. AI의 설명 범위를 필요한 수준으로 좁히는 활용법입니다.

   NIST의 실험 설계 안내는 목표를 먼저 정리하는 접근을 설명합니다. 이 수업에서도 첫 캠페인의 5%와 7%를 보고 나서 마음에 드는 지표나 관찰 기간을 고르지 않습니다. 새 실험에서 무엇을 확인하고 어떤 기준으로 판단할지는 자료를 보기 전에 정합니다. AI에게 초안을 만들게 할 수는 있지만 담당자가 그 이유를 설명할 수 있어야 합니다. 그림의 두 막대만 보고 승자를 고르는 대신, 입력과 가정에 질문을 돌리는 것이 이 단계의 학습 목표입니다.

정답을 맞혀야 다음 수업으로 가는 시험이 아닙니다. 해설을 읽고 이해하는 데 사용하세요.

1. Q1B 구매 원본 11행에서 중복 P-B003과 day 8·9 구매를 어떻게 처리하며 1차 구매율은 얼마인가요?

   내 생각 적기 (선택)

   내 생각 적기 (선택)

   작성 내용은 전송되지 않으며, 페이지를 떠나거나 새로고침하면 사라져요. 필요한 내용은 복사해 두세요.

   답과 해설 보기

   중복 1행을 빼면 10사건이고 기간 밖 2건은 표시만 남겨 1차 분자에서 제외합니다. 유효 고유 구매자는 8명으로 노출 100명 중 8%입니다. 11%나 10%는 이번 사전 지표와 다르며 수치는 가상 연습값입니다.

   해설을 읽고 이해했어요

   직접 비교한 표시이며 자동 채점은 아니에요.

2. Q2AUD1 환불을 반영한 뒤 B 7%, A 5%가 됐습니다. AI가 시간대 차이도 해결됐다고 쓰면 어떻게 추가 요청할까요?

   내 생각 적기 (선택)

   내 생각 적기 (선택)

   작성 내용은 전송되지 않으며, 페이지를 떠나거나 새로고침하면 사라져요. 필요한 내용은 복사해 두세요.

   답과 해설 보기

   환불은 결과 상태만 바꾸고 A 08~10시·B 18~20시 배정은 그대로라고 지적합니다. 수치 전후와 변하지 않은 비교 조건을 분리한 메모를 다시 요청합니다. B가 2명 더 관찰됐다는 것과 그 원인이 문구라는 주장은 다릅니다.

   해설을 읽고 이해했어요

   직접 비교한 표시이며 자동 채점은 아니에요.

3. Q3AI가 A의 구매율을 5/25=20%로 계산했습니다. 계산이 맞아도 왜 이번 1차 지표가 아닌가요?

   내 생각 적기 (선택)

   내 생각 적기 (선택)

   작성 내용은 전송되지 않으며, 페이지를 떠나거나 새로고침하면 사라져요. 필요한 내용은 복사해 두세요.

   답과 해설 보기

   25명은 클릭자이며 주지표의 분모는 노출자 100명입니다. 5/25는 클릭자 중 구매 비율, 5/100은 노출자 중 구매율로 구분해서 적게 합니다. 분모를 바꾼 이유 없이 같은 이름으로 보고하면 비교가 달라집니다.

   해설을 읽고 이해했어요

   직접 비교한 표시이며 자동 채점은 아니에요.

4. Q4새 캠페인 2와 META2로 확인한 A·B 구매율과 95% Wilson 구간은 무엇이며, AI의 집단당 1,200명 권고는 어떻게 다뤘나요?

   내 생각 적기 (선택)

   내 생각 적기 (선택)

   작성 내용은 전송되지 않으며, 페이지를 떠나거나 새로고침하면 사라져요. 필요한 내용은 복사해 두세요.

   답과 해설 보기

   A 6/100=6%, 구간 2.78~12.48%, B 9/100=9%, 구간 4.81~16.23%입니다. 각 집단 구간을 차이 검정이나 동일성 증거로 쓰지 않습니다. 표본 수 권고는 전제 설명이 부족해 철회하도록 실제 추가 요청했고, 첫 캠페인과 합치지 않았습니다.

   해설을 읽고 이해했어요

   직접 비교한 표시이며 자동 채점은 아니에요.

1. 7

   직접 해 보기: 새 캠페인을 새 대화에서 분석하고 과한 권고 고치기

   새 캠페인 2는 두 소재가 같은 08~20시 시간 창과 같은 대상 정의를 사용하도록 만든 별도 자료입니다. 연습용으로 균형 잡힌 무작위 배정을 모의해 각 100명을 두었습니다. 첫 캠페인의 시간대 배정과 조건이 다르므로 둘을 합쳐 더 큰 표본이라고 하지 않습니다. 새 대화에 새 노출 파일과 행동 파일, 동일한 지표 규칙을 넣고 첫 캠페인 기록을 사용하지 말라고 명시합니다. 앞에서 수정한 답을 다시 보게 하는 것보다 요청 자체가 새 자료에 통하는지 확인할 수 있습니다.

   새 행동 파일은 67행으로 클릭 52행과 구매 15행이며 중복·환불·기간 밖 기록은 없습니다. AI의 첫 답은 A 클릭 24·구매 6명, B 클릭 28·구매 9명으로 정확히 집계했습니다. 그러나 사용자 번호 뒤쪽에 이벤트가 없다는 이유로 내보내기 누락을 의심하고, 모든 사람의 7일 관찰이 끝났는지 질문했습니다. 이런 확인 질문은 쓸모가 있습니다. 파일의 공백을 AI가 임의로 0이라고 단정하지 않고 자료의 완전성을 확인하게 하기 때문입니다.

   여기서는 추가 자료 META2로 200명 모두 7일 관찰 완료, 전체 기록 제공, 이벤트 없는 사용자는 무활동이라고 확정했습니다. 또 첫 답이 제시한 검정력·p값·집단당 약 1,200명 권고는 이번 초보자용 보고서에 필요한 전제 설명이 부족하므로 철회하도록 요청했습니다. AI에게 “너 틀렸어”만 말한 것이 아니라 새로 확인한 사실과 받아들이지 않을 권고의 이유를 분리해 전달한 것입니다. 추가 요청 전후 원문을 다운로드에 모두 남겼습니다.

   수정 응답은 집계 6명과 9명을 유지하면서 META2로 해소한 의문과 남은 한계를 나눴습니다. 아래 편집자 정답표의 구간도 그대로 사용하되, 두 집단 차이의 검정이라고 부르지 않았습니다. 표본 수가 작다는 설명만으로 곧바로 광고를 계속 돌리라는 결론을 내리지 않고, 기대 차이와 잘못 고를 때의 비용 등을 먼저 정할 사항으로 남겼습니다. AI 활용에서 좋은 추가 질문은 숫자를 더 많이 받는 것보다 결정의 근거를 좁혀 줍니다.

   직접 풀고 싶다면 처음에는 정답 파일을 열지 말고 A·B의 노출 인원, 클릭 인원, 7일 구매 인원을 적어 봅니다. 그 뒤 모델의 표를 비교하고, 집계가 맞아도 권고의 전제가 충분한지 읽습니다. 마지막 문제의 정답은 6%와 9%라는 숫자에서 끝나지 않습니다. 첫 캠페인과 합치지 않기, 각 구간을 차이 검정으로 소개하지 않기, 실제 광고 효과가 검증됐다고 말하지 않기까지 설명할 수 있으면 됩니다. 결과물은 원본·요청·응답·수정·검산 기록 한 묶음입니다.

   새 검증 · 캠페인 2 독립 계산과 확인 자료 META2

   지표·조건	A	B
   노출 / 클릭 / 유료 구매	100 / 24 / 6	100 / 28 / 9
   클릭률 / 1차 구매율	24% / 6%	28% / 9%
   각 집단 95% Wilson 구간	2.78~12.48%	4.81~16.23%
   관찰·자료	200명 모두 7일 완료; 전체 기록	이벤트 없는 사용자는 무활동
   판정	첫 캠페인과 합치지 않음	구간은 차이 검정 아님

   연습 자료와 실행 원문 받기

   새 대화에서 campaign-2-unseen-exposures.csv와 campaign-2-unseen-events.csv만 분석해 줘. 같은 시간 창 08~20시와 대상 정의, 모의 균형 무작위 배정 자료야. 0~7일 유료 구매 고유 사용자/노출 고유 사용자를 주지표로 하고 클릭률도 따로 줘. 첫 캠페인과 합치지 말고, 집계와 판단 한계를 한국어/영어로 써 줘.
   
   첫 응답 후 추가할 확인 자료 META2: 200명 모두 7일 관찰을 끝냈고 전체 파일이며, 이벤트 없는 사용자는 무활동이야. 전제 설명 없는 표본 수·검정력·p값 권고는 철회해 줘. 편집자 독립 계산 Wilson 95% 구간은 A 2.78~12.48%, B 4.81~16.23%이며 각 집단 구간이지 차이 검정이 아니야. 바뀐 근거와 유지되는 집계를 나눠 결정 메모를 다시 써 줘.

   실제 새 대화의 추가 검토 응답 발췌

   응답 예제복사

   외부 AI 도구의 활용 과정을 설명하는 교재 예제입니다. 요청 조건에 따라 결과는 달라집니다.

   구간이 겹쳐도 두 집단이 같다고 할 수 없고, B가 낫다고도 할 수 없습니다. 이 자료만으로는 어느 쪽도 단정할 수 없습니다.

   (…)

   이번 메모는 주어진 가상 자료의 재분석이며, 새 실험을 수행한 것이 아닙니다.