“끝냈다”는 말 대신 DB 확인… MS의 AI 학습법
3줄 요약
- MS·Hugging Face가 DB의 최종 처리 결과를 보상으로 쓰는 ThinkingBox 학습 방식을 공개했다.
- 실험에서 20회 모두 성공한 과제는 늘었지만, 한 번이라도 성공한 과제는 줄었다.
- 학습 코드는 공개됐으며, 성과는 합성 업무 실험 결과로 봐야 한다.
마이크로소프트와 Hugging Face는 10월 22일 ThinkingBox-Training을 소개하고 코드를 공개했다. 에이전트가 완료했다고 말하는지만 보는 대신, 업무가 끝난 뒤 시스템에 남긴 결과를 강화학습 보상으로 쓰는 접근이다.
공식 저장소는 각 시도에 새 백엔드와 도구, 가상 사용자를 제공한다고 설명한다. 종료 뒤 DB 상태와 부수 효과를 검사해 성공·실패 보상을 준다. 대부분은 실행 가능한 검사로 판단하지만 일부 좁은 요구 사항은 별도 AI 판정도 이용한다.
연구진은 Qwen3.8-27B를 50단계 학습한 뒤 별도 평가 과제 507개를 각각 20회 실행했다. 평균 성공률은 51.70%에서 60.78%로, 20회 모두 통과한 과제는 38개에서 107개로 늘었다. 반면 한 번 이상 통과한 과제는 453개에서 446개로 줄었다. 더 자주 같은 일을 성공한 것과 더 넓은 일을 해결한 것은 다른 결과다.
평가 과제를 학습 목록에서 제외했지만 두 집합은 같은 프레임워크와 유사한 업무 형식을 공유한다. 공개 샘플 목록은 연동 확인용이며 성과에 사용한 비공개 학습 목록 전체가 아니다. 고객과 과제도 합성으로 구성됐다. 실제 기업 업무에서 같은 수치가 나온다는 보장은 없으며, AI Ping이 학습을 재현한 결과도 아니다.
왜 중요한가
AI Ping은 업무 AI를 고를 때 설득력 있는 완료 설명과 실제 처리 결과를 구분해야 한다고 본다. 한 번의 성공만으로 도입을 판단하기보다 같은 과제의 반복 실행과 뜻밖의 변경까지 확인하는 평가가 필요하다.
누구에게 중요한가
- 개발자
- 자신의 업무 AI 평가에 기대한 최종 상태와 변경되면 안 되는 항목을 명시하고, 여러 차례 실행 결과를 비교하자.
