Open WebUI, AI 대화 요약 지점⁠·⁠내용까지 보여준다

Open WebUI가 25일 공개한 0.12.4에서 AI 대화의 과거 내용을 요약한 지점과 요약문을 채팅 안에 표시한다. Context compacted 표시를 펼치면 모델에 넘길 요약을 읽을 수 있다. 도구를 여러 번 쓰는 답변 중간에 압축했을 때도 해당 답변 안에 표시가 나온다.

Open WebUI는 직접 운영하는 AI 대화 플랫폼으로, 로컬 Ollama 모델과 OpenAI 호환 API를 연결한다. 대화가 길어지면 모델이 한 번에 받는 문맥도 커진다. 이전 대화와 첨부 자료, 도구 정의·실행 결과까지 포함되기 때문이다. 압축은 이 문맥의 오래된 부분을 요약으로 바꾼다.

채팅 제어의 Overview에서도 압축한 메시지를 구분한다. 진행 상황과 오류는 잠깐 떴다 사라지는 알림 대신 대화 안에서 보여 준다. 기존 기능 요청은 압축이 언제 일어났는지 API 밖에서 알아보기 어렵다는 문제를 제기했다.

메시지가 적다는 이유로 압축을 건너뛰던 조건도 고쳤다. 질문 하나와 도구 출력이 많은 답변만 있어도 문맥이 한도를 넘을 수 있었고, 다음 질문을 다시 생성하거나 편집해도 같은 오류가 났다. 새 코드는 첫 후속 사용자 메시지에서 나눌 수 있게 해, 필요하면 관리자가 정한 원문 유지 비율보다 적은 메시지를 남긴다.

임시 대화에도 요청 시작 단계의 압축을 적용한다. 앞선 오류 보고에 따르면 긴 도구 실행 중 만든 요약을 다음 차례에는 사용하지 않았다. 변경 후에는 임시 대화도 요약과 최근 메시지에서 이어 간다.

임시 대화의 체크포인트 요약은 브라우저 메시지에 붙여 다음 요청으로 보낸다. 구현은 저장된 대화일 때만 요약을 대화 DB에 기록한다. 전체 대화 이력은 계속 화면에서 읽을 수 있다.

다음 차례는 최근 체크포인트 뒤의 메시지를 사용하고, 다시 기준을 넘으면 이전 요약을 새 요약에 포함해 체크포인트를 옮긴다. 도구 실행 도중에는 도구 호출과 결과가 서로 떨어지지 않도록 도구 차례의 경계에서 나눈다.

이 기능은 기본으로 꺼져 있다. 관리자가 활성화하면 전역 기본 기준은 추정 문맥 8만 토큰, 최근 메시지 원문 유지 비율은 40%다. 유지 비율 설정은 10~50% 범위로 제한된다. 이 비율은 토큰 수가 아닌 메시지 수로 계산한다.

모델별로 압축 기준을 다르게 정할 수 있지만 전역 Token Cap을 넘을 수는 없다. Token Cap을 별도로 정하지 않으면 전역 기준값이 상한으로 쓰인다. 요약할 앞부분이나 남길 뒷부분이 없으면 해당 요청의 압축을 건너뛴다.