딥노트의 슬랙 AI 시험, 침묵해야 할 때 63%만 조용했다

데이터 분석 플랫폼 딥노트는 11월 13일 업무용 AI가 슬랙 대화에 언제 끼어드는지 시험한 ‘에이전트 이니셔티브 벤치마크’를 공개했다. AI 모델 12종이 가상 회사에서 똑같은 50개 상황을 맡았다. 딥노트가 공개한 표를 합산하면 모델들은 도움이 필요했던 실행 480회 중 434회(90.4%)에 메시지를 보냈다. 침묵이 적절한 상황에서는 120회 중 75회(62.5%) 조용히 있었다.

두 수치는 사내 메신저에 AI를 붙일 때 따로 확인해야 할 행동을 보여 준다. 일정이 어긋난 사실을 발견하고 담당자에게 알리는 일도 있고, 이미 해결된 문제를 대화에서 보고 지나가는 일도 있다. 평가표는 메시지를 보냈는지와 그 메시지가 상황에 맞았는지를 따로 볼 수 있게 구성됐다. 기업이 AI를 시험하는 데 쓸 수 있도록 딥노트는 가상 회사의 자료와 일부 예제를 실행하는 코드도 공개했다.

영업팀과 개발팀의 출시일이 엇갈릴 때

딥노트가 예로 든 상황에서는 영업팀이 금요일 출시를 예상하는데 개발팀은 일정을 일주일 미룬 상태다. 슬랙의 한 대화만 읽으면 이런 차이를 놓칠 수 있다. 각 팀이 공유한 자료를 찾아 일정을 대조한 뒤 관련자에게 알려야 두 팀이 같은 날짜를 기준으로 움직일 수 있다. 연구진은 이렇게 질문을 받은 적 없는 AI가 업무 맥락을 찾아내고 필요한 사람에게 알려야 하는 상황을 시험 대상으로 삼았다.

시험 무대는 가상의 소프트웨어 회사 페이지맨틀이다. 허브스팟과 스트라이프의 고객·결제 기록, 리니어와 노션의 업무 자료 등 11개 서비스에 걸쳐 6년 치 이력이 연결돼 있다. 모델이 처음 마주하는 슬랙 대화는 주로 이 회사의 한 달 치 채팅에서 가져왔다. 연구진은 공통 회사 기록에 상황별 단서를 더했다. 같은 상황을 맡은 모델은 같은 자료에서 판단에 필요한 근거를 찾아야 했다.

같은 대화를 읽고도 달랐던 메시지 수

연구진은 모델마다 같은 지시문과 도구를 주고 높은 추론 설정을 사용했다. 모델은 대화를 읽은 뒤 검색 도구로 자료를 찾아보고, 공개 채널이나 해당 대화에 답하거나 개별 메시지를 보낼 수 있었다. 조용히 끝내는 선택지도 있었다. 한 번 실행할 때 모델 응답을 기다리는 데 최대 180초를 배정했고, 검색이나 조회 도구가 실제로 실행되는 시간은 그 예산에서 뺐다.

한 모델에 주어진 상황 가운데 40개는 도움이 필요했고 10개는 침묵이 적절했다. 앞의 응답 비율은 메시지가 나갔는지를 센 값이다. 도움이 필요한 상황에서 내용이 틀린 메시지도 발송 건수에 포함된다. 딥노트는 별도로 채점 모델 두 개에 응답한 모델의 이름을 가리고, 기준 답안과 회사 기록, 실제 도구 사용 내역을 바탕으로 개입 판단과 내용, 말투, 전달 위치를 10점 만점으로 평가했다.

모델별 점수에 반영된 시간과 비용

제미나이 4 아르곤은 말하지 않아야 하는 10개 상황에서 메시지를 한 번도 보내지 않았다. 도움이 필요한 경우에도 40회 중 23회만 발송했다. 전체 50회 가운데 27회가 시간 한도에 도달했다. 조용히 있는 비율을 볼 때 함께 살펴야 할 수치다. 시간을 다 써서 발송하지 못한 결과도 발송 여부에는 조용히 끝난 것으로 나타나기 때문이다.

평균 점수는 GPT-6 아스트라 8.97점, GPT-6.1 솔 8.65점이었다. 딥노트가 시험 상황을 다시 표집해 계산한 점수 범위가 서로 겹쳐, 두 모델의 우열을 이 표본만으로 가르기 어렵다고 연구진은 설명했다. 두 모델 모두 평균 약 54초 동안 모델 응답을 기다렸다. 실행당 모델 사용료는 아스트라 0.693달러, 솔 0.112달러로 기록됐다. 두 금액은 시험에서 기록한 모델 사용료다.

업무 기록과 실행 예제 공개

공개 저장소에는 8개 과제 유형별로 한 개씩 실행 예제가 들어 있다. 도구는 내려받은 고정 자료를 읽으므로 시험 환경을 만드는 데 11개 서비스의 실제 회사 계정이 필요 없다. 딥노트는 영어로 작성한 페이지맨틀 자료를 허깅페이스에서 CC BY 4.0으로, 이를 불러와 시험하는 코드를 깃허브에서 아파치 2.0으로 제공한다. 실제 고객 이력이나 회사 문서를 밖으로 보내기 어려운 팀도 가상 회사 자료에서 비슷한 판단을 비교할 수 있다.

딥노트 시험에서는 출발 지점인 슬랙 메시지를 연구진이 정하고, 가상의 동료는 AI가 메시지를 보낸 뒤 답장을 하지 않는다. 평가에서 보는 것은 해당 시점의 첫 개입이다. 일정이 나중에 또 바뀌었을 때 알림을 수정하는지, 팀원이 반복되는 알림을 얼마나 받게 되는지, AI가 알림을 받은 동료와 함께 일을 마치는지는 사내 운영에서 별도로 측정해야 하는 부분이다.