이클립시움, AI 메모리 변조 실험 공개…모델 파일 검사는 통과

보안업체 이클립시움이 10월 29일 AI 모델의 저장 파일을 그대로 둔 채 실행 중인 메모리를 바꿔 답변을 변조한 실험을 공개했다. 회사는 엔비디아와 협력해 AI 하드웨어·펌웨어 검증을 강화한다고 밝혔다.

실험은 엔비디아 GH200과 네트워크·저장 작업을 처리하는 별도 프로세서인 DPU를 갖춘 통제된 환경에서 진행됐다. 공격에는 권한을 가진 기반 장치에 대한 접근과 메모리 접근을 허용하는 설정이 함께 필요했다. 해시는 저장된 파일의 바이트가 달라졌는지 확인하는 값이다. 반면 답변 생성에는 메모리에 올린 모델의 매개변수가 쓰인다. 저장본이 정상이어도 답변을 만드는 값은 달라질 수 있다.

연구진은 모델이 메모리에 올라간 뒤 값을 수정했다. 시험 장비는 장치의 메모리 접근 범위를 제어하는 IOMMU를 통과 모드로 설정했고, 주변 장치 간 접근도 허용했다. 보고서는 이 조합이 리눅스 기본값이 아니며 더 강한 격리를 적용하면 같은 직접 접근 경로가 막힌다고 명시했다.

이클립시움이 올린 코딩 시연의 설명에는 은행용 보안 애플리케이션을 만드는 상황이 등장한다. 개발자는 외부 공급업체에서 받은 소프트웨어와 펌웨어 파일의 서명을 검증할 해시 함수를 물었다. 정상 모델은 SHA-3-512를, 변조 뒤 모델은 MD5를 추천했다고 회사는 설명했다. 질문에는 10년 넘게 운영할 시스템이라는 조건도 들어갔다. 이 시연은 모델 파일이 검사를 통과해도 코드 작성에 쓰이는 보안 관련 답변이 바뀔 수 있다는 사례다. 실제 은행 서비스에 해당 코드를 배포했다는 발표는 없었다.

CERT/CC는 2008년 12월 31일 MD5의 충돌 취약점을 알렸고, 암호학적으로 깨져 더 쓰기에 부적합하다고 판단했다. 서로 다른 자료가 같은 해시값을 갖게 만들어 위조 자료를 신뢰하게 할 수 있다는 설명이다.

CNN은 외부 하드웨어 보안 전문가 두 명에게 결과를 검토받았다. 조 피츠패트릭은 직접 메모리 접근 공격과 같은 원리라며 결과를 신뢰할 만하다고 평가했다. 도미닉 리조는 현대 컴퓨팅 기반에서 발생할 수 있는 일반적인 공격 경로라고 설명했다. 엔비디아는 CNN에 업계에 알려진 가정적 시나리오를 검토했으며 강한 메모리 접근 보호로 해당 경로를 차단할 수 있다고 밝혔다.

보호 장치도 별도의 관리 대상

엔비디아의 기존 블루필드 운영 문서는 호스트를 신뢰하는 일반 DPU 모드와 호스트 접근을 제한하는 제로 트러스트 모드를 구분한다. 일반 모드에서는 블루필드 안의 Arm 프로세서가 네트워크 자원과 데이터 경로를 관리한다. 서버 운영체제에서 실행되는 애플리케이션과 별개로 기반 서비스를 처리하는 구성이다.

제로 트러스트 모드에서는 호스트 관리자가 서버 쪽에서 블루필드를 관리하는 경로를 제한한다. 데이터센터 관리자는 블루필드 자체 프로세서나 관리 연결을 통해 장치를 제어한다. 문서는 호스트의 펌웨어 쓰기와 추적 기능 등도 제한할 수 있다고 설명한다. 이 구분은 이번 연구가 제시한 독립 감시 장치에 어느 쪽이 관리 권한을 갖는지 보여 준다. 같은 장치를 사용해도 선택한 운영 모드에 따라 호스트와 기반 장치 사이에 설정하는 신뢰 경계가 달라지는 기존 기능이다.

엔비디아는 29일 공동 연구를 설명한 글에서 하드웨어에 내장된 보호와 외부 검증을 함께 제시했다. 블루필드는 인증된 부팅, 보호된 키 관리, 보호된 펌웨어 업데이트, 이전 버전으로의 복원 방지와 장치 상태 증명을 제공한다. 이클립시움은 승인된 기준 상태와 실제 하드웨어·펌웨어·설정을 대조하고 예상하지 못한 변경을 감시하는 역할을 맡는다.

이 검증은 장비 운영 과정까지 이어진다. 엔비디아는 배포 때 기준 설정을 확정하고 운영 중 변경을 감시하며 업데이트나 복구 뒤 상태를 다시 평가하는 방식을 설명했다. 운영체제 재설치 뒤에도 남는 기반 구성 요소가 있어 사고 대응과 다른 고객에게 장비를 넘기는 과정에서도 확인이 필요하다는 설명이다. 부팅 시 측정은 시스템이 어떤 상태로 시작했는지를 보여 준다. 모델 파일 검사는 디스크에 남은 원본을 확인한다. 이후 실행 상태를 살피는 연속 검증은 시간이 지나며 생기는 변화를 확인하는 데 쓰인다.

이클립시움은 공개 자료에 이번 시연을 통제된 연구로 명시했다. 회사는 AI 실행을 떠받치는 기반 장치와 공급망까지 검증하는 작업을 엔비디아와 계속 진행하며, 공개 취약점과 완화 방법을 담은 기술 보고서를 함께 제공하고 있다.