AI 결과, 좋아 보이는 것과 쓸 만한 것

같은 자료로 만든 결과를 채점하고, 한 조건을 고친 뒤 새 문제로 다시 확인합니다. 코딩 없이 평가 세트를 만듭니다.

단계별 따라하기

1. 1

   말은 부드러운데 약속이 틀렸다면

   독서 모임 안내문 두 개가 도착했습니다. 한쪽은 따뜻하고 생동감 있지만 참가비가 무료라고 적혀 있습니다. 다른 쪽은 밋밋하지만 참가비는 확인 중이라고 씁니다. 주어진 메모에 참가비가 없다면 두 글의 차이는 취향만의 문제가 아닙니다. 첫 글을 보내면 독자가 확인되지 않은 약속을 믿게 됩니다. 심화 학습은 멋진 요청을 더 길게 쓰는 데서 시작하지 않습니다. 쓸 수 있는 결과를 먼저 정의하는 데서 시작합니다.

   평가 세트는 확인할 입력, 기대하는 행동, 판단할 근거를 묶은 작은 시험 문제집입니다. 입력만 모아 놓으면 무엇을 잘했는지 알 수 없습니다. 이번에는 안내문을 대상으로 하지만, 기획자는 근거가 붙은 요구사항, 디자이너는 고정한 형태가 유지된 시안, 영업 담당자는 확인한 기능만 담긴 제안을 같은 방식으로 살필 수 있습니다. 채점 대상은 업무 결과이지 모델의 말솜씨가 아닙니다.

   이 수업의 모임, 초안, 숫자와 채점 사례는 모두 편집자가 만든 연습 자료입니다. 실제 AI 실행 결과나 제품별 성능 비교가 아닙니다. 같은 자료를 직접 AI에 넣어 보고 싶다면 출력 원문과 사용한 날짜를 별도로 남기세요. 교재에 적힌 채점 결과를 자신이 이용한 모델의 정확도라고 옮겨 적지 않습니다. 자료가 작고 인위적이라는 한계도 결과에 함께 붙입니다.

2. 2

   같은 문제와 같은 기준을 준비합니다

   

   아래 E1을 두 초안 모두의 기준으로 삼습니다. 날짜·시간·장소·준비물은 반드시 맞아야 하고 참가비·신청 방법은 미확인으로 남겨야 합니다. 반드시 지킬 조건을 필수 조건이라고 부르겠습니다. 친근한 어투나 문장 길이는 선호 조건입니다. 선호 조건이 아무리 좋아도 날짜를 바꾸거나 참가비를 만들어 낸 결과를 통과시키지 않도록 둘을 나눕니다.

   채점표에 '정확함: 5점'만 적으면 검토자마다 뜻이 달라집니다. '11월 7일, 오후 2시, 2층 모임방, 책 한 권을 모두 유지했는가'처럼 확인할 대상을 씁니다. '미확인 두 항목을 확정하지 않았는가'를 다음 줄로 적고, 마지막에 '처음 오는 사람이 무엇을 준비할지 찾을 수 있는가'를 적습니다. 각 줄에 통과·수정 필요와 근거 문장을 남기면 점수 하나보다 고칠 위치가 명확해집니다.

   비교할 때 한쪽만 더 자세한 자료를 받으면 프롬프트의 차이인지 자료의 차이인지 분리하기 어렵습니다. 자료 버전, 요청 문장, 생성 조건을 기록하고 이번에는 요청의 한 문장만 바꿉니다. 완전히 같은 결과를 보장하려는 것이 아니라 달라진 조건을 알기 위한 기록입니다. 출력이 여러 개라면 마음에 드는 하나만 남기지 말고 실패한 경우도 보관해야 선택의 근거를 다시 검토할 수 있습니다.

   E1 · 편집자가 만든 평가용 자료

   근거 번호	확정된 내용 또는 미확인 항목
   E1-1	11월 7일 오후 2시
   E1-2	작은도서관 2층 모임방
   E1-3	책 한 권 준비
   E1-4	참가비와 신청 방법은 미확인

3. 3

   초안의 문장을 근거에 대조합니다

   편집자 초안 A는 '11월 7일 오후 2시, 작은도서관 2층 모임방에서 무료 독서 모임을 엽니다. 책 한 권을 가져오세요. 예약 없이 오시면 됩니다'입니다. 초안 B는 '11월 7일 오후 2시, 작은도서관 2층 모임방에서 만납니다. 책 한 권을 준비해 주세요. 참가비와 신청 방법은 확인 후 안내합니다'입니다. 두 문장은 실제 모델 응답을 재현한 것이 아닙니다. 틀린 약속을 찾아내는 연습을 위해 직접 쓴 비교 자료입니다.

   A도 날짜와 장소, 준비물은 맞췄습니다. 그러나 '무료'와 '예약 없이'는 E1-4의 빈칸을 임의로 채웠으므로 수정 필요입니다. B는 제공된 사실을 유지하고 미확인을 드러내므로 이 연습의 필수 조건을 통과합니다. B가 더 멋진 문장이거나 모든 상황에서 더 좋다는 뜻은 아닙니다. 단체가 이미 참가비를 확정했다는 새 자료가 생기면 채점의 기준이 되는 원문부터 바뀌어야 합니다.

   실무에서 두 사람이 다르게 채점했다면 어느 쪽이 AI를 더 잘 아는지 따지기보다 근거 문장과 기준을 나란히 놓습니다. 한 사람은 '확인 후 안내'를 충분한 보류로 보았고 다른 사람은 신청 창구까지 있어야 한다고 판단했을 수 있습니다. 그러면 현재 자료에 창구가 없다는 사실을 확인하고, 허용하는 답의 범위를 정합니다. AI를 채점 보조로 써도 마지막 근거 확인을 생략하지 않습니다.

   확인해 보기

   • A의 실패를 '느낌이 안 좋음' 대신 근거 번호 E1-4로 설명했나요?
   • B의 통과 범위를 이 자료와 이 과제에 한정했나요?
4. 4

   연습 문제와 마지막 시험을 나눕니다

   

   E1만 반복해서 고치면 '참가비는 확인 중이라고 쓰기'라는 문장을 외운 요청이 만들어질 수 있습니다. 새로운 자료에는 참가비가 확정되고 시간이 미정일 수도 있습니다. 보류 평가란 수정하는 동안 보지 않은 사례를 마지막 확인에 남기는 방식입니다. 이는 모델을 새로 학습시키는 실습이 아닙니다. 요청과 검토 절차를 고르는 과정에서도 정답을 미리 보며 고친 자료만으로 성과를 말하지 않기 위한 구분입니다.

   이 수업에서는 E1의 오류로 요청을 고친 다음 아래 문제의 새 메모를 읽습니다. '참가비는 늘 미확인'이라고 고정한 요청이라면 새 메모에서 실패할 것입니다. 더 나은 규칙은 각 항목을 이번 원문과 대조하는 것입니다. 마지막 문제를 보고 다시 고쳤다면 그 문제도 이제 연습에 사용한 자료가 됩니다. 새로운 검증 사례를 마련하기 전에는 수정 효과가 별도로 확인됐다고 말하지 않습니다.

   작은 평가 세트는 오류를 발견하기 위한 출발점입니다. 두 문제를 통과했다고 실무 정확도 100%라고 발표할 수는 없습니다. 이후에는 빠진 항목, 서로 충돌하는 문서, 긴 입력, 모호한 요구처럼 실제 업무에서 생기는 조건을 추가합니다. 기준을 충족하지 못한 결과를 버리고 성공한 횟수만 세면 통과 비율의 분모가 바뀝니다. 시도한 전체 건수와 중단·실패 건수도 기록하세요.

5. 5

   한 조건을 바꾸고 실패 종류를 비교합니다

   A의 문제를 고치려면 '더 잘 써 줘'보다 '원문에 없는 운영 정보는 확정하지 말고 확인할 항목으로 따로 써 줘'가 무엇을 바꾸려는지 분명합니다. 기존 요청을 기준선으로 남기고 바꾼 문장을 옆에 적습니다. 기준선은 비교의 출발점입니다. 수정한 요청을 쓰면서 자료와 길이까지 함께 바꾸면 원인을 구분하기 어려우니 첫 비교에서는 나머지 조건을 유지합니다.

   결과 기록은 필수 사실 누락, 근거 없는 추가, 지시 형식 위반처럼 수정할 방향이 다른 항목으로 나눕니다. 세 종류를 합쳐 '품질 낮음'으로 적으면 다음 행동을 정하기 어렵습니다. 누락에는 확인 목록이 도움이 될 수 있고, 근거 없는 추가에는 자료 범위를 더 명확히 해야 할 수 있습니다. 한 종류의 오류를 줄였지만 문장이 길어졌다면 장점과 손실을 함께 적어 선택합니다.

   OpenAI의 평가 안내는 과제에 맞춘 기준과 사례, 사람의 판단을 포함한 반복 평가를 다룹니다. Google의 학습 자료는 수정에 사용한 데이터와 마지막 시험의 분리를 설명합니다. 이 수업은 그 기본 원칙을 손으로 확인하는 업무 과제로 옮긴 것입니다. 특정 서비스의 평가 도구나 유료 API를 켜야만 할 수 있는 활동이 아니며, 두 회사가 이 교재의 작은 사례 수를 권장했다는 뜻도 아닙니다.

6. 6

   직접 해 보기: 내 업무 채점표 한 장

   자기 직군의 결과물 하나를 골라 입력 자료, 필수 조건, 선호 조건, 실패 예시를 적습니다. 기획 문서라면 가설을 사실로 쓰지 않았는지, 디자인 시안이라면 고정해야 할 제품 모양이 유지됐는지, 마케팅 문구라면 증명하지 않은 효능을 추가하지 않았는지처럼 구체적으로 씁니다. 영업은 약속, 연구는 원문과 해석, 사무는 단위와 담당자, 개발은 형식과 내용 검사를 따로 확인합니다.

   완성물에는 자료 버전, 비교한 요청 두 개, 결과 원문, 항목별 판단과 근거, 아직 시험하지 않은 조건을 담습니다. 실제 AI를 실행하지 않았다면 '편집자 자료로 채점 연습'이라고 적으면 됩니다. 실행하지 않은 모델 이름이나 속도·성능을 채우지 않습니다. 보기 좋은 보고서보다 다른 사람이 같은 자료로 판단을 다시 할 수 있는 기록을 만드는 것이 목표입니다.

   통과하려면 필수 조건의 모든 판단에 근거가 있고, 수정한 이유와 새 문제에서 확인할 사항을 설명할 수 있어야 합니다. 사실이 틀린 결과를 높은 총점으로 통과시키거나, 마지막 문제를 이미 보고 고친 사실을 숨겼다면 다시 작업합니다. 다음 수업에서는 이 검토 지점을 실제 업무 흐름에 넣습니다. 결과를 잘 고르는 것과 그 결과가 승인 없이 밖으로 나가지 않도록 만드는 것은 이어져 있지만 다른 과제입니다.