AI 에이전트 환불 실수, 모의 주문으로 시험…플루라이 공개

플루라이가 11월 11일 AI 에이전트 시험 도구 ‘플루라이 시뮬레이션’을 일반 개발자에게 공개했다. 에이전트가 연결하는 주문 데이터베이스나 결제 서비스의 모의 환경을 만들고, 그 안에서 상담이나 업무 처리를 시험하는 제품이다. 기존에는 일부 협력사와 고객에게 제공했다. 회사는 이날 팀에이트가 주도한 1,300만 달러 규모의 시드 투자 유치도 발표했다.

개발팀은 실제 고객이 에이전트를 쓰기 전에도 주문 변경이나 상담 이관 같은 작업이 어디에서 실패하는지 확인할 수 있다. 플루라이는 클로드 코드, 코덱스 CLI, 깃허브 코파일럿 CLI에서 쓰는 플러그인을 공개했다. 공식 안내에 따르면 개발자가 브라우저에서 한 차례 로그인한 뒤 연결하는 방식이며, 커서용 플러그인은 출시 예정으로 표시돼 있다. 시험 계획을 만들 때 실제 서비스에 데이터를 쓰는 동작은 기본값으로 모의 처리된다.

상담 답변과 주문 기록을 함께 본다

플루라이가 기술 문서에서 든 예는 결제가 두 번 이뤄진 주문이다. 가상의 고객이 중복 결제를 신고하면 에이전트는 모의 주문 시스템에서 결제 내역을 확인하고 환불 도구를 부른다. 주문 조회와 환불 도구가 같은 시험 데이터를 쓰므로, 환불 뒤 다시 조회하면 변경된 기록을 읽는다. 한 건만 돌려줘야 하는 상황에서 두 건을 모두 환불했다면 상담 문구가 그럴듯해도 최종 주문 기록에서 오류가 드러난다. 이 예는 회사가 시험 구조를 설명하기 위해 제시한 사례다.

시험 환경을 만들 때는 에이전트가 어떤 도구를 부르고 각 도구가 어떤 기록을 읽거나 바꾸는지 파악한다. 이를 바탕으로 가상 고객이 가진 정보와 목표, 주문이나 계정의 초기 상태, 성공 여부를 판단할 조건을 맞춰 만든다. 개발팀은 필요한 경우 운영 정책이나 제품 요구사항을 추가해 시험 범위를 좁힐 수 있다. 회사 문서는 검색형 에이전트의 지식 자료를 연결하지 않으면 해당 자료에서 답을 찾아오는 과정은 시험 범위에 들어가지 않는다고 설명한다.

시험 결과에는 대화와 도구 호출이 함께 남는다. 보고서에서 실패 지점을 열면 에이전트가 어떤 도구를 골랐는지, 모의 시스템과 연결한 실제 시스템 중 어디에서 응답을 받았는지 볼 수 있다. 플루라이가 안내한 기본 최종 시험은 시나리오마다 세 차례 실행한다. 같은 조건에서 세 번 모두 실패한 경우와 일부만 실패한 경우를 구분해 표시한다.

실패 직전의 대화를 되살려 다시 시험

이미 운영하는 에이전트는 실제 대화 기록에서 실패 직전까지의 메시지와 당시 상태를 복원해 시험을 이어갈 수 있다. 중간에 정책을 잘못 적용한 상담이면 첫 인사부터 새로 생성하는 대신, 그 판단에 이른 대화와 도구 응답을 같은 조건으로 맞춘다. 실제 상담 기록이 없어도 에이전트 코드를 바탕으로 새 시험 사례를 만들 수 있으며, 두 방식의 사례는 같은 시험 묶음에 둘 수 있다.

시험 도구는 실패가 에이전트 코드, 시험 설정, 모의 데이터 중 어디에서 비롯됐는지 근거와 함께 보고한다. 에이전트 코드에 대한 수정 제안은 개발자가 적용할 항목을 선택한다. 수정 뒤에는 같은 사례를 다시 실행하고, 확인한 실패는 이후 버전에서도 반복하는 회귀 시험으로 남길 수 있다. 원인을 확인할 근거가 부족하면 추가 조사가 필요한 항목으로 표시한다.

실제 에이전트 코드는 개발자 기기에서 실행되며, 모의 서비스는 플루라이의 격리된 서버 환경에서 돌아간다. 회사의 데이터 처리 문서에 따르면 시험 중 대화, 도구 호출과 결과는 가상 이용자의 다음 응답을 만들고 평가하는 데 쓰이도록 서버로 전송된다. 실제 고객 대화를 원문 그대로 되살리는 재현 기능은 익명화 모드에서 사용할 수 없다. 일반 시험에 운영 기록을 추가하는 기능과 특정 대화를 원문대로 재현하는 기능은 지원 조건이 다르다.

플루라이는 첫 시험 환경을 구성하고 결과를 검수하는 데 수 시간이 걸릴 수 있다고 안내한다. 처음 모의 도구를 띄우는 단계만 보통 10~60분이 걸리며, 이후 시험 묶음을 만들 때는 기존 환경을 재사용한다. 에이전트가 새 도구나 데이터 원천을 쓰기 시작하면 시험 환경을 다시 분석하는 단계가 필요하다. 같은 시험 묶음에서 수정 전후 결과를 비교할 때는 환경을 처음부터 새로 만들지 않아도 된다.

11월 13일 확인한 가격표에서 무료 요금제는 에이전트 설정 2개, 시나리오 7개, 시험 묶음 전체 실행 3회, 모의 환경 사용 10시간을 제공한다. 전체 실행 1회 안에서 각 시나리오를 여러 차례 평가하므로 무료 실행 한도와 시나리오별 반복 횟수는 별개다. 무료 한도에 도달하면 시험이 멈추고, 월 60달러인 베이스 요금제에는 월 20회 실행과 모의 환경 30시간이 포함된다.