구글 TPU 2종 추가…처리 중 데이터 보호⁠·⁠긴 문맥에 초점

구글이 민감한 정보 보호와 긴 AI 문맥 처리를 겨냥한 TPU 시스템 2종을 11월 9일 발표했다. 기존 칩을 바탕으로 구성한 TPU 8tx와 TPU 8i Max이며, 모델을 운영하는 소프트웨어도 함께 확장했다.

TPU 8i Max는 추론용 TPU 8i 칩 두 개를 한 패키지에 담았다. 구글은 연산량과 칩 내부 메모리, 고대역폭 메모리의 대역폭을 각각 두 배로 늘렸다고 밝혔다. 여러 에이전트가 코드 전체나 긴 영상을 한꺼번에 다룰 때 필요한 자료를 공급하는 데 초점을 맞췄다.

TPU 8tx는 AMD의 5세대 EPYC 중앙처리장치와 구글 TPU를 결합해 정보를 처리하는 도중에도 보호하는 기밀 컴퓨팅을 제공한다. AMD는 고객의 입력과 모델 가중치, 계산 중간 자료를 중앙처리장치의 메모리와 장치 간 전송 구간에서 암호화하고, 가속기 실행 중에는 하드웨어로 격리한다고 설명했다. 기업의 비공개 모델과 업무 자료를 함께 다루는 추론·추가 학습이 적용 대상이다.

보호된 메모리에 가속기가 직접 접근하기 전에는 장치의 신원과 보안 구성을 확인한다. 중앙처리장치는 자료 준비와 작업 순서, TPU와의 통신도 맡는다. AMD의 보안 기술은 서버 제조사나 클라우드 사업자가 켜야 작동하며, 지원 여부는 사용하는 서비스의 구성에 달려 있다. 회사는 이 조건을 발표 자료의 주석에도 명시했다.

연산 장치 밖으로 넓히는 작업 기억

구글은 긴 대화의 작업 기억을 옮기는 공개 소프트웨어 TPU Sync도 소개했다. 모델이 이미 읽은 문맥을 다시 쓰기 위한 계산 자료를 칩 메모리에서 서버 메모리로 옮기고, 다른 서버와도 주고받는다. 칩의 연산과 자료 전송을 겹쳐 실행해 대기 시간을 줄이는 방식이다. 같은 지시문을 공유하는 요청은 저장해 둔 문맥 계산을 재사용할 수 있다.

다만 공개 저장소에 따르면 현재 배포본은 안정판 이전의 개발용 버전이며, 실행 환경에 맞는 검증된 버전을 고정하도록 안내한다. 실제 검증·최적화한 하드웨어는 TPU v6e와 7x로 적었다. 서버 메모리를 넘어 저장 공간으로 작업 기억을 옮기는 기능과 강화학습 자료 전송은 실험 단계로 제공한다.

많은 칩에 일을 나누는 운영 방식도 바뀐다. 구글은 Cloud Pathways를 GKE에서 정식 제공한다고 발표했다. 하나의 제어 프로그램에서 여러 TPU 묶음을 한 컴퓨터처럼 다루고, 칩이나 묶음 일부에 장애가 생기면 남은 자원으로 작업을 재배치하는 방식이다. 각 서버에 붙은 보조 프로그램은 자료 읽기와 학습 상태 저장을 맡는다. 장시간 학습 중 일부 장치가 멈췄을 때 전체 작업을 다시 시작하는 부담을 줄이도록 설계했다. 개발자는 노트북이나 터미널에서 실행 중인 작업을 살펴보고 점검할 수 있고, 오래 유지하는 TPU 자원 묶음을 여러 이용자가 공유하는 방식도 제공한다.

GKE의 동적 분할 기능은 필요한 작업 크기에 맞춰 미리 확보한 TPU 자원을 합치거나 나눈다. 공식 문서는 기존 방식에서 작업마다 맞는 크기의 자원 묶음을 새로 만들던 절차를 바꾼다고 설명한다. 현재 적용 조건은 Ironwood TPU7x와 Rapid 채널의 표준 클러스터다. 큰 묶음을 만드는 기능과 작은 묶음으로 나누는 기능은 필요한 소프트웨어 버전도 서로 다르다. 장애가 난 부분은 따로 격리하고 정상인 예비 자원으로 바꾼다. 다른 작업까지 함께 멈추는 영향을 줄이면서, 미리 잡아 둔 자원 안에서 크기가 다른 학습과 추론 작업을 배치하는 기능이다.

구글은 지난달 공개한 PyTorch 실행 기반도 함께 소개했다. 공식 문서에 따르면 개발자는 기존 모델 정의를 바탕으로 TPU에서 계산하고, 한 단계씩 실행해 오류를 찾거나 계산 전체를 묶어 최적화할 수 있다. 종전에는 계산을 모아 처리할 영역을 코드에 표시해야 하는 경우가 있었다. 새 기반은 계산을 즉시 수행하는 방식을 기본으로 삼는다. 추론 서버에서는 작업을 배분하고 요청을 받는 부분을 두고 가속기에 맞춘 실행부를 바꾼다고 설명한다.

새 하드웨어의 판매 가격과 정식 이용 일정은 이번 발표에 제시되지 않았다. 정식 제공을 알린 Cloud Pathways는 GKE에서 TPU v5e·v5p·v6e·7x를 지원하며, 별도 작업 관리 환경인 Slurm과의 연동은 미리보기로 제공한다.