제품 연구 중급: 시안을 검증하는 관찰 설계

가설을 관찰 가능한 과제로 바꾸고, 도움을 받은 성공과 독립 성공을 구분합니다.

핵심 정리

1. 1

   “좋아 보인다” 다음에 확인할 행동

   

   가상 독서 기록 앱의 저장 완료 안내를 바꾸려 합니다. 시안 A에는 작은 표시만 있고 시안 B에는 저장한 기록으로 가는 링크가 있습니다. “B가 더 좋아 보인다”는 취향만으로 다음 개발을 정하기 어렵습니다. 이번 연습의 질문은 “기록을 저장한 사람이 저장 여부를 알고, 방금 저장한 기록을 다시 찾는가”입니다. 시안과 상황은 모두 연습용이며 실제 제품의 개선 결과를 주장하지 않습니다.

   그림에는 두 화면 카드와 그 뒤에 눈 모양이 있습니다. 눈은 AI가 점수를 매긴다는 뜻이 아니라 사람이 사용하는 장면을 관찰한다는 뜻입니다. 두 시안은 디자인 대안이고 관찰은 판단을 도울 근거입니다. 시안을 만든 것과 사용성을 확인한 것은 다른 단계입니다. 여기서 프로토타입은 완성 제품 전에 흐름을 시험하는 모형을 뜻합니다. 작동하지 않는 부분이 있다면 그 제한도 과제 설명에 반영합니다.

   가설은 “완료 안내가 분명해지면 기록을 다시 찾는 행동이 쉬워질 것이다”처럼 씁니다. 가설 자체는 결과가 아닙니다. AI에게 가설을 다듬게 할 수 있지만 실제 사람이 행동하기 전에는 검증됐다고 쓰지 않습니다. 이번 수업의 결과물은 연구 계획과 판독 기준입니다. 도구를 결제하거나 사람을 모집하지 않아도 가상 자료로 과제의 모순을 찾는 연습까지 진행할 수 있습니다.

2. 2

   버튼 이름을 알려 주면 찾기를 시험하지 못한다

   “저장 버튼을 누르고 아래 링크를 누르세요”라는 과제는 조작 순서를 지시합니다. 이 지시로는 사용자가 안내를 스스로 이해하는지 보기 어렵습니다. 대신 “오늘 읽은 책을 기록하고, 방금 남긴 기록을 다시 확인해 주세요”처럼 목표를 줍니다. 화면 안에서 무엇을 눌러야 하는지는 참가자가 찾도록 합니다. 단, 연구 목적이 안내 문구를 따라 할 수 있는지인 경우에는 지시 자체가 시험 대상이 될 수 있습니다. 목적과 과제를 맞추는 것이 핵심입니다.

   GOV.UK의 사용성 시험 안내는 참가자가 실제로 수행할 법한 구체적인 과제를 관찰하는 방식을 설명합니다. 이 연습에서는 책 제목과 메모를 가짜 값으로 제공합니다. 참가자가 실제 독서 기록을 가져오지 않아도 흐름을 시험할 수 있게 하려는 선택입니다. 실제 연구에서는 모집 대상과 자료 사용 방식, 동의와 기록 보관 기준을 먼저 정해야 하지만, 지금은 과제 문장의 단서를 점검하는 데 집중합니다.

   과제에서 버튼 이름, 위치, 정답 경로를 밑줄로 표시해 보세요. 목표를 수행하는 데 꼭 알려야 하는 정보와 해결법을 알려 주는 정보를 구분합니다. AI에게 “정답 경로를 암시하는 부분을 찾아 달라”고 요청할 수 있습니다. 하지만 AI가 자연스럽다고 평가했다고 실제 참가자도 이해한다는 증거는 아닙니다. 가능하면 과제를 소리 내어 읽고, 상황과 목표만 남아 있는지 직접 점검하세요.

3. 3

   성공·도움·막힘을 같은 기준으로 기록

   

   관찰표에는 과제 완료 여부만 있으면 부족할 수 있습니다. 진행자가 알려 준 뒤 성공한 경우와 아무 도움 없이 성공한 경우는 다릅니다. 이 연습에서는 독립 완료, 도움 후 완료, 미완료라는 상태를 씁니다. 셋은 이번 기록을 위한 분류이며 모든 연구의 표준 점수는 아닙니다. 진행자가 어떤 말을 했는지도 적어야 나중에 결과를 읽을 수 있습니다. “조금 도움”처럼 애매한 표현보다 실제로 알려 준 내용을 남깁니다.

   두 번째 그림에서 체크, 옆의 도움 손길, 빈칸은 이 상태 차이를 나타냅니다. 체크 수만 세지 말고 어떻게 그 결과에 도달했는지 보라는 뜻입니다. 저장을 눌렀지만 완료 안내를 못 본 사람이 뒤로 갔다가 우연히 기록을 찾을 수도 있습니다. 결과만 보면 완료지만 안내의 문제는 남아 있습니다. 행동 순서와 참가자가 한 말을 함께 남기면 이런 차이를 설명할 수 있습니다.

   연습 기록 P1은 도움 없이 저장 기록을 찾았고, P2는 진행자가 위치를 알려 준 뒤 찾았으며, P3은 과제를 마치지 못했다고 가정합니다. 이 값들은 실제 시험 결과가 아닙니다. 이 자료에서 독립 완료는 한 건이고 도움 후 완료도 한 건입니다. 둘을 합쳐 “대부분 쉽게 성공”이라고 쓰면 도움과 난이도를 숨깁니다. 왜 못했는지 모르면 원인을 추측하지 않고 해당 장면을 다시 볼 질문으로 남깁니다.

4. 4

   반대 결과와 시험의 한계를 함께 쓰기

   시안 B를 더 좋아하는 마음이 있으면 B에서 잘 된 장면만 기억하기 쉽습니다. 기록을 요약하기 전에 기대와 다른 장면도 표시하세요. 링크가 추가돼 화면이 복잡하다고 한 사람이 있다면 그 말이 나온 상황을 남깁니다. 한 사람의 의견으로 바로 모든 디자인을 뒤집을 필요는 없지만, 좋은 결과만 골라 요약하면 판단의 근거가 약해집니다. AI에게도 반대 사례와 해석되지 않는 사례를 별도로 정리하도록 요청합니다.

   같은 사람이 A를 먼저 보고 B를 나중에 보면 첫 과제에서 배운 것이 두 번째 결과에 영향을 줄 수 있습니다. 이런 순서 효과를 무시하면 시안 차이와 학습 효과를 구분하기 어렵습니다. 실제 비교 연구에서는 순서와 조건을 설계해야 합니다. 이 수업에서는 “B에서 더 빨랐으니 B가 우수하다”라는 문장을 그대로 채택하지 않고, 어떤 순서와 도움 조건이었는지 먼저 확인하는 연습을 합니다.

   작은 사용성 시험은 구체적인 막힘을 찾는 데 쓸 수 있지만 시장 전체의 선호 비율을 자동으로 알려 주지는 않습니다. 제공된 세 기록도 가상이라 어떤 실제 제품의 성과를 말할 수 없습니다. 결론에는 확인한 행동, 가능한 설명, 남은 질문, 자료의 한계를 같이 씁니다. 숫자를 쓰려면 무엇을 셌는지 밝히고, 고객 전체에 대한 비율로 확대하지 않습니다. 근거가 약하면 결정을 잠시 보류하는 선택도 연구 결과가 됩니다.

5. 5

   직접 해 보기: 다음 판단에 쓰일 연구 한 장

   한 장에 가설, 과제, 관찰할 행동, 도움 기록 방식, 결론의 범위를 적어 보세요. 가설에는 저장 상태를 이해하고 기록을 찾는 행동을, 과제에는 가상의 독서 기록을 입력하고 다시 확인하는 목표를 넣습니다. 관찰 항목은 실제로 보거나 들을 수 있는 것으로 고릅니다. “만족함”보다는 “방금 저장한 기록을 가리킴”이 이번 과제의 완료를 확인하는 데 직접적입니다. 만족도를 알고 싶다면 별도 질문과 해석 기준이 필요합니다.

   계획서를 점검할 때 실제 사람의 참여를 꾸며 넣지 않습니다. AI를 참가자처럼 대화시킨 기록은 과제 문장과 인터뷰 흐름을 연습한 자료로 표시합니다. 가상 답변이 몇 개 쌓여도 실제 사람을 관찰한 연구로 바뀌지 않습니다. 사진이나 화면이 필요하면 개인정보가 없는 실제 자료와 설명용 그림을 구분해야 합니다. 이 수업에 사용한 그림은 흐름을 설명하는 일러스트이며 시험 화면 캡처가 아닙니다.

   마지막에는 P1·P2·P3의 가상 기록으로 결론 한 문단을 씁니다. 독립 완료 한 건, 도움 후 완료 한 건, 미완료 한 건을 분리하고 전체 고객의 성공률은 모른다고 남기세요. 이어서 P2에게 어떤 도움이 필요했는지, P3이 어느 장면에서 멈췄는지 확인할 질문을 적습니다. 연구가 끝났다는 말보다 다음에 어떤 근거를 더 얻어야 하는지 분명해졌는지가 중요합니다. 이 문서를 기획 코스의 우선순위 판단과 연결해 보세요.