모멘틱 평가서 Mo가 버그 3.1배 발견…건당 비용도 더 높아

모멘틱이 자사 AI 테스트 에이전트 ‘Mo’와 코덱스·클로드 코드·데빈을 비교한 ‘QA Bench’를 11월 2일 공개했다. 실행 중인 웹앱을 직접 조작해 결함을 찾는 평가다. 회사가 공개한 60분 조건에서 Mo는 기준 버그를 평균 269.3건, 코덱스의 GPT-6.1 Sol·Playwright MCP 조합은 86.3건 찾았다. 발견 수는 약 3.1배 차이다.

추가 발견에는 비용이 들었다. 확인된 버그 한 건당 비용은 Mo 2.67달러, 해당 코덱스 조합 0.80달러였다. 보고한 내용 중 실제 기준 버그와 맞은 비율인 정밀도는 각각 84.2%, 86.0%였다. Mo가 전체 기준 버그에서 찾아낸 비율인 재현율은 19.3%다. ‘84%의 버그를 찾았다’는 뜻으로 읽으면 평가 결과를 잘못 이해하게 된다.

평가 대상은 코드 저장소 서비스 Gitea, 분석 도구 Metabase, 고객관리 도구 Twenty, 전자상거래 관리 도구 Saleor의 20개 제품 영역이다. 각 실행에는 같은 초기 데이터로 만든 별도 환경과 해당 영역의 작업 지시를 제공했다. 에이전트는 앱 화면을 탐색하며 예상 동작과 실제 동작이 어긋나는 지점을 보고했다.

60분은 20개 영역 전체를 한 번에 검사한 시간이 아니라 각 영역에 부여한 한도다. 대부분의 구성은 영역마다 세 번 실행했고 데빈은 한 번 실행했다. 공개한 발견 건수는 영역별 평균을 합친 값이어서 소수점이 붙는다. 앱 준비와 결과 채점에 걸린 시간은 검사 한도에서 제외했다.

기준 목록은 사람이 검토한 버그 1,396건과 기각된 보고 501건으로 구성됐다. 기존 앱 버전에서 확인한 실제 결함이며 평가를 위해 심은 버그는 없다. 다만 후보를 처음 찾는 데 Mo와 코덱스·클로드 코드를 썼으므로 이들이 공통으로 놓치는 결함이 목록에서도 빠질 수 있다. 점수는 이미 찾아 검토한 목록을 기준으로 계산한다. 새 보고가 검토되면 기준 목록도 늘어나므로, 서로 다른 시점의 점수를 대조할 때는 같은 라벨 버전을 썼는지 확인해야 한다. 공개 결과는 특정 저장소 커밋의 목록을 기준으로 삼고, 실행 결과 파일에 채점 설정과 라벨 파일의 해시를 남긴다.

발견 수와 확인 근거를 함께 공개

결과 판정에는 GPT-6.1 Sol 기반 채점기가 보고를 기준 목록에 대응시키는 방식이 쓰였다. 목록에 맞지 않는 새 보고는 검토 대기열로 보내 사람이 버그인지 오탐인지 정했다. 같은 버그를 반복 보고하면 발견 수는 한 번만 인정하고 별도 중복 항목으로 처리했다. 모멘틱은 평가 설계·실행·채점과 비교 대상 Mo 개발을 모두 맡았다.

공개 실행의 접근 조건에도 예외가 있었다. 원칙은 앱 소스와 정답 목록을 보지 않고 테스트 대상만 탐색하는 것이지만, 코덱스의 웹 검색은 켜져 있었다. 일부 브라우저 도구 구성에서는 셸의 외부 웹 접근도 열려 있었다. 저장소는 외부 정답 검색을 제한하는 선택 항목을 따로 안내하며 이를 적용한 실행을 기존 결과와 구별한다.

Mo 제품 문서는 의심스러운 기능 결함을 별도 에이전트가 새 브라우저나 기기 세션에서 처음부터 재현한 뒤 확정 보고에 넣는다고 설명한다. 재현에 실패한 의심 항목은 확정 버그로 추가하지 않는다. 오탈자 같은 정적 문제는 화면 캡처로 남긴다. 여러 에이전트가 병렬로 탐색해도 계정과 서버 데이터는 공유될 수 있어, 세션별 브라우저 분리와 데이터 분리는 별도로 다룬다.

세션 보고에는 예상 동작·실제 동작·재현 순서와 근거가 담긴다. 확인된 동작 외에 접근 권한이나 데이터 부족으로 끝내지 못한 부분도 표시한다. 내보낸 기록에서 로그가 없다는 표시와 조회했지만 일치 항목이 없다는 표시는 다르며, 기록되지 않은 근거를 나중에 복구해 주지는 않는다. 검사가 진행 중일 때도 현재까지 저장한 보고를 내보낼 수 있으며, 이때는 결과가 일부만 포함될 수 있다는 경고가 붙는다.

Mo는 실행 가능한 앱과 작업 범위, 필요한 테스트 계정을 받아 검사한다. 웹은 호스팅 브라우저, iOS는 원격 시뮬레이터, 안드로이드는 원격 에뮬레이터를 사용하며 모바일은 워크스페이스의 별도 접근 권한이 필요하다. 한 세션은 한 대상을 검사하므로 웹·iOS·안드로이드 각각을 확인하려면 대상별 세션을 실행하는 방식이다. 웹 브라우저 밖의 인쇄 대화상자나 다른 데스크톱 앱을 여는 흐름은 확인이 막힐 수 있으며, 보고에는 그 검사 공백이 남는다.