앰플리튜드 웨이브 유료 공개, 고객 이탈 분석부터 실험까지

앰플리튜드가 11월 12일 제품 분석 에이전트 웨이브(Wave)를 그로스와 엔터프라이즈 요금제 고객에게 유료로 열었다. 가입 완료율이나 재방문처럼 개선할 목표를 정하면, 웨이브는 제품 사용 기록을 살펴보고 고객이 막히는 지점과 바꿔 볼 화면을 제안한다. 제품팀이 채택한 제안은 개발 작업으로 넘기고, 출시 뒤 같은 목표 지표로 효과를 살필 수 있다.

앰플리튜드는 11월 5일 분기 공시에서 웨이브를 비공개 베타로 소개했다. 이번에 이용 자격을 갖춘 두 요금제 고객에게 범위가 넓어졌다. 회사는 제품 분석 기록과 이용자가 화면에서 무엇을 했는지 되짚는 세션 리플레이 데이터가 필요하다고 안내한다. 발표문과 제품 페이지는 도입 상담 경로를 안내하며, 웨이브의 별도 금액은 제시하지 않았다.

고객이 멈춘 화면에서 개발 제안까지

웨이브는 팀이 정한 제품 영역과 지표에서 조사를 시작한다. 가입 단계에서 사용자가 어디서 많이 빠져나가는지는 분석 데이터로 확인하고, 어떤 행동 직후에 떠나는지는 세션 리플레이로 들여다본다. 여러 고객이 비슷한 어려움을 말했는지는 수집한 피드백에서 확인한다. 제안서에는 관찰한 문제, 수정 방안, 검증할 가설이 담긴다. 근거로 연결된 차트나 이용 기록은 담당자가 직접 열어 볼 수 있다.

조사 범위는 제품팀이 정한다. 예를 들어 결제 직전 이탈을 조사할 때는 장바구니와 결제 흐름을 대상으로 삼고, 가입 화면이나 구매 이후 행동은 범위에서 뺄 수 있다. 개선하려는 핵심 지표와 함께 수정 때문에 악화되면 안 되는 지표도 지정할 수 있다. 제안이 현재 목표와 맞지 않아 팀이 보류하거나 수정하면, 그 피드백은 다음 조사에서 비슷한 제안을 걸러 내는 데 쓰인다.

개발을 결정한 제안에는 작업 범위와 완료 판단 기준을 붙일 수 있다. 프로젝트 관리 도구로 옮길 때도 어떤 화면과 고객 행동에서 출발한 일인지 근거가 따라간다. 코드 저장소를 연결한 팀은 수정할 코드의 위치를 짚는 구현 계획을 받고, 코딩 에이전트가 만든 변경안을 검토할 수 있다. 어떤 제안을 개발할지와 어떤 변경을 사용자에게 내보낼지는 제품팀이 정한다.

같은 지표로 출시 결과 확인

앰플리튜드의 실험 도구를 연결하면 변경안에 노출된 집단과 기존 화면을 본 대조군을 비교할 수 있다. 팀은 변경을 공개할 이용자 비중과 관찰할 지표를 정한다. 웨이브는 변경 후 측정치를 최초 제안과 연결해, 어떤 문제에서 출발해 무엇을 바꿨고 결과가 어땠는지 한 작업 안에서 추적하게 한다. 개선 효과를 확인하는 데 걸리는 시간은 실험을 언제 시작하고 얼마나 많은 이용 데이터가 쌓였는지에 달려 있다.

앰플리튜드가 공개한 자체 사례에서는 AI 에이전트 첫 화면의 예시 질문이 조사 대상이었다. 웨이브가 살펴본 이용 기록 100건 중 80건에서 사용자가 질문을 직접 입력했고, 예시 카드를 선택한 경우는 12건이었다. 웨이브는 최근 본 차트나 대시보드를 반영해 카드를 바꾸자고 제안했다. 팀은 직접 입력을 유지하고 개인화에 쓸 기록이 부족하면 기존 카드를 보여 주는 변경안을 검토해 비교 실험을 진행했다.

앰플리튜드가 11월 9일 공개한 7월 실험 기록에는 카드에 노출된 100명당 카드로 보낸 질문이 개인화 집단에서 2.43건, 기존 카드 집단에서 0.94건으로 나왔다. 오픈AI가 같은 사례를 소개하며 제시한 약 160% 증가는 두 집단의 카드 이용을 비교한 수치다. 처음 살펴본 이용 기록 100건은 문제를 발견할 때 사용한 자료다. 회사는 카드 이용 변화에 추가 검증이 필요하다고 설명했다.

비공개 베타에 참여한 디지털오션은 처음 가상 서버를 만드는 과정에서 결제수단 등록 안내를 더 잘 보이는 위치로 옮기는 실험을 했다. 디지털오션 담당자가 공개한 사례에 따르면, 제품팀은 웨이브 제안 중 검토를 마친 항목만 개발팀의 작업 목록에 넣었다. 서버 생성 화면 위쪽에 안내를 배치한 집단은 대조군보다 결제수단을 등록할 가능성이 3.3% 높았다. 팀은 자체 설정한 80% 신뢰도 기준을 충족한 뒤 안내를 확대하기로 했다.

새로 유료 도입을 검토하는 팀을 위해 앰플리튜드는 첫 조사가 설정 후 최대 한 시간 걸릴 수 있다고 안내했다. 이 시간은 근거를 모아 검토할 제안을 받는 단계에 해당한다. 이후 수정 범위와 공개 대상을 정하고 실험에서 실제 변화가 있었는지 판단하는 일은 각 제품팀의 작업으로 남는다.