제품 연구 입문: 리뷰를 근거로 읽기

리뷰 세 장으로 관찰·해석·주제·표본의 차이를 그림과 함께 배웁니다.

핵심 정리

1. 1

   세 개의 리뷰가 같은 이야기를 하는가

   

   가상의 독서 기록 앱에 짧은 리뷰가 들어왔습니다. R1은 “기록을 저장했는데 목록에서 찾지 못했다”, R2는 “지난주 기록만 보고 싶다”, R3은 “저장 버튼을 누른 뒤 완료됐는지 모르겠다”입니다. 실제 고객이 쓴 글이 아니라 이 수업을 위한 연습 자료입니다. AI에게 이 리뷰를 요약하니 어떤 문장이 나올지 상상하기보다, 먼저 각 문장이 무엇을 말하고 무엇을 말하지 않는지 직접 살펴봅니다.

   첫 번째 그림의 작은 카드는 각각의 리뷰입니다. 같은 색의 선이 이어져도 모두 같은 문제라는 뜻은 아닙니다. R1은 저장 자체가 실패했을 수도 있고 목록을 찾지 못했을 수도 있습니다. R2는 기간으로 좁혀 보려는 필요이고, R3은 저장 뒤의 안내가 불분명하다는 내용입니다. 셋을 “저장 기능이 고장 났다”로 묶으면 원문에 없는 원인을 확정하게 됩니다. 문제 이름을 붙이기 전에 가능한 해석을 열어 둡니다.

   제품 연구는 사람이 실제로 무엇을 하며 어디에서 어려워하는지 알아보는 일입니다. AI는 짧은 기록을 분류하거나 비교하는 데 도움을 줄 수 있지만 실제 사용 장면을 대신 보지는 못합니다. 리뷰에 적힌 말과 연구자가 붙인 의미를 구분해야 합니다. 이 수업에서는 원문 번호를 유지한 채 묶음을 만들고, 묶음의 이름과 맞지 않는 기록도 남기는 연습을 합니다. 보기 좋은 요약보다 원문으로 되돌아갈 길이 먼저입니다.

2. 2

   관찰과 해석을 나누는 작은 습관

   관찰은 보고 들은 것을 기록한 내용이고, 해석은 그 의미를 설명하려는 판단입니다. “사용자가 버튼을 두 번 눌렀다”는 관찰이지만 “버튼이 눈에 띄지 않는다”는 해석입니다. 두 번 누른 이유는 반응을 기다리지 못해서일 수도 있고 실제 동작이 실패해서일 수도 있습니다. 원인을 확인하지 않았는데 AI가 한 문장으로 설명해 주면 깔끔해 보이지만 연구의 빈칸을 감춘 결과가 됩니다.

   GOV.UK의 연구 분석 안내는 본 것이나 들은 것을 먼저 적고 의미에 대한 판단과 구분하도록 설명합니다. 이 연습에서는 기록, 해석, 다음 질문을 다른 칸에 씁니다. R3의 기록은 저장 완료를 모르겠다는 말이고, 해석 후보는 완료 안내 부족입니다. 다음 질문은 “저장 직후 무엇이 보였나요?”가 됩니다. 해석을 썼다고 틀린 것은 아닙니다. 확인되지 않았다는 상태를 함께 유지하면 됩니다.

   직접 인용을 쓸 때는 원문을 고쳐서 따옴표 안에 넣지 않습니다. 읽기 좋게 다듬은 문장은 요약으로 표시하고 원문 번호를 붙입니다. “찾지 못했다”를 “사라졌다”로 바꾸는 차이는 작아 보여도 데이터 손실이라는 더 강한 주장을 만듭니다. 원문에 없는 감정도 더하지 마세요. 불편하다고 한 말만으로 분노나 이탈 의도를 확정할 수는 없습니다. 짧은 문장일수록 한 단어의 변화가 해석 전체를 바꿉니다.

3. 3

   묶음의 이름은 다시 바꿀 수 있다

   

   리뷰를 비슷한 주제로 모으는 작업을 여기서는 주제 묶기라고 부릅니다. R1과 R2를 기록 찾기라는 묶음에 잠시 넣을 수 있습니다. 하지만 R1의 원인이 저장 실패로 확인된다면 다른 묶음으로 옮겨야 합니다. 분류는 데이터를 영원히 고정하는 작업이 아니라 현재 이해를 드러내는 도구입니다. AI가 처음 준 제목을 최종 분석처럼 받아들이지 말고 제목과 원문이 맞는지 대조합니다.

   두 번째 그림에서 몇 장의 카드가 테두리 안에 있고 한 장은 바깥에 있습니다. 바깥 카드는 버릴 자료가 아니라 아직 이름이 맞지 않는 자료입니다. 억지로 모두 한 상자에 넣으면 적은 수의 다른 경험을 놓치게 됩니다. “기타”라고만 적기보다 어느 부분이 맞지 않는지 한 줄 남깁니다. R3은 기록 찾기보다 저장 직후 상태 확인에 가깝다는 식입니다. 이 차이는 나중에 화면을 고칠 때 중요해집니다.

   한 기록이 여러 주제에 걸칠 수도 있습니다. 이때 중복해서 묶었다면 합계를 계산할 때 같은 사람을 여러 명처럼 세지 않도록 표시해야 합니다. 리뷰 수와 사람 수, 언급 횟수는 서로 다른 값입니다. 이번 연습은 리뷰 세 개를 제공했을 뿐 실제 사용자를 세 명 조사했다는 뜻은 아닙니다. 원문 식별자를 남기면 중복을 확인하기 쉽습니다. 숫자로 요약하기 전에 무엇을 세는지 먼저 설명하세요.

4. 4

   많이 보인 말이 곧 전체 고객의 비율은 아니다

   가상 리뷰 중 두 개가 기록 찾기와 관련 있어 보인다고 해서 전체 고객의 대부분이 같은 문제를 겪는다고 말할 수는 없습니다. 리뷰를 남긴 사람은 전체 고객 중 일부이고, 이 수업의 자료는 실제 표본조차 아닙니다. “제공된 기록에서 이 주제를 발견했다”와 “전체 고객의 이 비율이 문제를 겪는다”는 전혀 다른 주장입니다. AI가 백분율을 붙여 주더라도 분모가 무엇인지 확인해야 합니다.

   표본은 조사에 실제로 포함한 일부 대상입니다. 표본 편향은 그 대상이 한쪽에 치우쳐 다른 사람들의 경험을 잘 담지 못하는 문제입니다. 예를 들어 도움을 요청한 사람의 기록만 보면 아무 문제 없이 쓴 사람의 경험은 적게 보입니다. 그렇다고 불편 기록을 무시하자는 뜻은 아닙니다. 문제가 존재할 가능성을 발견하는 자료로는 쓸 수 있지만 빈도나 전체 비중을 확정하는 자료와는 구분해야 합니다.

   연구 보고에 남길 문장은 “이 자료에는 기록 찾기와 저장 상태 확인이라는 주제가 있으며 원인은 더 확인해야 한다” 정도입니다. 어떤 기록을 분석했는지, 어떤 기록은 없었는지 함께 적습니다. 리뷰를 AI로 길게 확장하거나 가상의 인터뷰를 추가해도 실제 표본이 늘어나지는 않습니다. 부족한 자료는 문장 수를 늘려 채울 수 없습니다. 다음에 누구의 어떤 행동을 관찰할지 계획하는 것이 올바른 후속 작업입니다.

5. 5

   직접 해 보기: 원문으로 돌아가는 분석

   R1·R2·R3을 한 줄씩 그대로 적은 뒤 옆에 해석 후보와 질문을 붙입니다. 그다음 묶음 이름을 정하고 포함한 기록 번호를 표시하세요. 원인이 아직 모호한 R1은 확정된 원인 아래 넣지 않습니다. 어느 묶음에 넣어도 되는지 설명이 어렵다면 미분류로 남기고 이유를 적습니다. 분류를 끝내는 것보다 틀린 확신을 줄이는 것이 이번 연습의 목표입니다.

   AI를 쓴다면 “주제를 제안하되 원문 번호를 유지하고, 맞지 않는 기록을 따로 보여 줘”라고 요청합니다. 실제 모델의 답은 이 글에 실려 있지 않습니다. 받은 답이 있다면 각각의 제목이 원문보다 강한 주장을 하는지 검토하세요. 고객 이탈, 데이터 유실, 불만 폭증 같은 표현이 등장하면 어떤 원문이 이를 뒷받침하는지 물어봅니다. 없으면 제목을 좁히거나 미확인으로 바꿉니다.

   완료한 표에서 한 기록을 골라 다른 사람에게 설명하세요. “이 사람은 왜 이 행동을 했나요?”라는 질문에 모른다고 답해도 됩니다. 대신 지금 아는 것과 알아볼 방법을 말할 수 있어야 합니다. 다음 수업에서는 그 모름을 실제로 관찰할 과제로 바꾸는 방법을 배웁니다. 분석의 결과가 곧 개선 우선순위가 되지는 않습니다. 문제의 영향, 발생 조건, 다른 사용자 경험을 더 확인한 뒤 기획과 연결합니다.