S3 presigned multipart 업로드에서 크기 검사가 새는 자리
단일 presigned PUT 은 완료 시 실측으로 막히지만, multipart 는 파트 URL 에 길이를 묶지 않으면 파트당 5GiB 씩 쌓여 약 1.6TiB 까지 우회됩니다. ContentLength 서명과 ListParts 검증으로 막습니다.
브라우저에서 S3 로 바로 올리는 대용량 업로드를 설계하다가, 단일 presigned PUT 에서 쓰던 크기 검사가 multipart 에서는 그대로 통하지 않는다는 걸 알게 됐습니다.
단일 PUT 은 왜 괜찮았을까
presigned PUT 흐름은 보통 이렇습니다. 서버가 선언 크기를 보고 URL 을 발급하고, 클라이언트가 S3 에 직접 올린 뒤, 완료 API 에서 서버가 HeadObject 로 실제 크기를 다시 재서 한도를 넘으면 객체를 지웁니다.
presigned URL 은 본문 길이를 묶지 않습니다. 그래서 선언과 다른 크기를 올릴 수는 있죠. 그래도 S3 단일 PUT 은 객체 하나가 최대 5GiB 라서, 최악의 경우도 5GiB 짜리 객체 하나로 끝납니다.
multipart 로 바꾸면 무엇이 달라질까
multipart 에서는 서버가 파트 수를 정하고 파트마다 UploadPart URL 을 서명해 줍니다. 예를 들어 5GiB 를 16MiB 로 나누면 파트가 320개입니다.
그런데 파트 URL 도 길이를 묶지 않으면 파트 하나에 5GiB 까지 들어갑니다. 320개 파트에 각각 5GiB 를 넣으면 약 1.6TiB 객체가 조립됩니다.
완료 시점의 HeadObject 실측 검사는 그대로 남아 있습니다. 하지만 이건 Complete 를 부른 다음의 이야기입니다. 파트만 잔뜩 올려 두고 Complete 를 안 부르면 객체 목록에도 안 보이고, 서비스의 용량 쿼터에도 잡히지 않은 채 수명 주기 규칙이 지울 때까지 저장 요금이 나갑니다.
막는 방법 두 겹
첫째, 파트 URL 을 서명할 때 계획한 파트 길이를 ContentLength 로 넣습니다. SigV4 는 content-length 를 서명 제외 헤더로 두지 않기 때문에, 서명에 포함되면 다른 길이로 올렸을 때 서명이 맞지 않게 됩니다. 다만 실제 S3 에서 거부되는지는 버킷에서 직접 확인해 보는 게 안전합니다.
const cmd = new UploadPartCommand({
Bucket, Key, UploadId, PartNumber,
ContentLength: plannedLength, // 마지막 파트는 남은 바이트
});
const url = await getSignedUrl(s3, cmd, { expiresIn: 900 });둘째, Complete 직전에 서버가 ListParts 를 불러 파트별 크기와 합계를 검사합니다. 선언 크기와 다르면 AbortMultipartUpload 하고 거절합니다.
사실 두 번째 방법에는 덤이 있습니다. Complete 에 넘길 파트 목록(PartNumber, ETag)을 클라이언트에게 받지 않고 서버가 ListParts 결과로 직접 만들 수 있거든요. 그러면 브라우저가 응답 헤더의 ETag 를 읽을 필요가 없어져서, 버킷 CORS 에 ExposeHeaders: ETag 를 열어 둘 이유도 사라집니다. 클라이언트가 ETag 따옴표 하나를 잘못 다뤄 InvalidPart 가 나는 일도 없어지고요. 대신 IAM 에 s3:ListMultipartUploadParts 권한이 하나 더 필요합니다.
같이 챙길 것
미완성 multipart 업로드는 Complete 도 Abort 도 안 되면 계속 과금됩니다. 버킷에 AbortIncompleteMultipartUpload 수명 주기 규칙을 걸어 두는 건 필수에 가깝습니다. 업로드 토큰 TTL 보다 길게 잡아야 정상적인 느린 업로드가 중간에 잘리지 않습니다.
그리고 단일 PUT 에서 쓰던 create-only 조건(If-None-Match: *)은 CompleteMultipartUpload 에도 그대로 걸 수 있습니다. 이미 같은 키가 있으면 412 가 옵니다.
"완료 때 실측하니까 괜찮다"는 생각이 multipart 에서는 반만 맞는다는 걸 메모 겸 남겨 둡니다.
참고