[클라우드] AWS 스토리지

1. 스토리지(storage)
2. AWS의 스토리지 서비스 종류
   1. 블록 스토리지
   2. 파일 스토리지
   3. 객체 스토리지
3. EBS (Elastic Block Store)
   1. EBS 특징
   2. EBS 스냅샷
4. EFS (Elastic File System)
   1. EFS 특징
5. S3 (Simple Storage Service)
   1. S3 특징
   2. S3 스토리지 클래스
   3. S3 보안

 

스토리지(storage)

데이터를 보관하는 장소 (저장 장치)

클라우드 스토리지는 어디에서나 접근할 수 있는 편의성, 대량의 데이터를 수용할 수 있는 확장성을 보유

AWS의 스토리지 서비스 종류

김원일,   『AWS 교과서 』,  길벗(2023), 5장

블록 스토리지

단일 스토리지 볼륨(volume)을 블록이라는 개별 단위로 분할해서 저장

파일을 요청하면 블록들을 재구성하여 하나의 데이터로 전달

클라우드 환경에서 블록 스토리지의 각 블록은 가상 머신 인스턴스에 위치

• SAN(Storage Area Network) 또는 가상 머신의 디스크로 사용
  • SAN(Storage Area Network) : 서로 다른 종류의 데이터 저장 장치를 한 데이터 서버에 연결하여 총괄적으로 관리해 주는 네트워크

파일 스토리지

디렉터리 구조로 파일을 저장

계층 구조로 구성 (파일은 폴더에 종속, 폴더 역시 다른 폴더에 종속)

⇒ 파일을 찾으려면 어느 위치에 있는지 알아야

개인용 컴퓨터와 서버에서 일상적인 작업을 공유하여 사용 가능

파일이 늘어나면 분류하거나 정리(file system indexing)하는 데 시간이 점점 더 소요

• NAS(Network Attached Storage)에 사용
  • NAS(Network Attached Storage) : 컴퓨터 네트워크에 연결된 파일 수준의 컴퓨터 기억 장치 서로 다른 네트워크 클라이언트에 데이터 접근 권한을 제공

객체 스토리지

각 데이터 조각을 가져와서 객체로 지정, 개별 단위로 저장

계층 구조 없이 단일한 평면적인 주소 공간에 저장

OS나 파일 시스템에 의존하지 않으면서 데이터를 저장하고 객체에 쉽게 접근 가능

객체 관련 메타데이터(metadata)와 고유 식별자 존재

• 객체의 키만 알고 있으면 쉽고 빠르게 대상을 검색 가능 (HTTP 프로토콜 기반의 REST API를 사용)

저장할 수 있는 데이터의 수와 파일 크기에 제한X, 데이터 저장의 총 용량 역시 무제한

이미지, 영상 등 복잡하고 대용량인 비정형 데이터를 효율적으로 처리 가능

---

EBS (Elastic Block Store)

EC2 인스턴스에 사용할 수 있는 블록 스토리지 볼륨을 제공

인스턴스에 연결된 EBS 볼륨의 구성을 동적으로 변경 가능

1. AWS 관리 콘솔에서 필요한 용량과 성능에 맞추어서 볼륨을 생성
2. EC2 인스턴스에 연결하고 파일 시스템을 포맷
3. 해당 볼륨을 서버에서 마운트
4. 데이터를 해당 디렉터리에 저장해서 사용

EBS 특징

• 고속 네트워크로 연결
• 해당 가용 영역 내에서 자동으로 데이터를 복제
• 데이터 수명 시간이 인스턴스 수명과 관계없이 유지
• 암호화된 EBS 볼륨을 생성 가능 (AES-256을 사용)
• EBS 볼륨의 스냅샷을 생성 가능, S3에 사본을 백업 가능
• 무중단으로 유형, 크기, IOPS(Input/Output operations Per Second) 용량을 수정 가능
• 인스턴스는 다수의 볼륨을 연결하여 사용 가능 하지만 하나의 EBS 볼륨은 한 번에 하나의 인스턴스에만 연결 가능

EBS 스냅샷

특정 시점에 포인트를 찍어서 백업 지점을 만드는 기능

증분식 백업 방식을 이용

• 마지막 스냅샷 이후 변경되는 데이터 블록만 기록/복제 → 저장 비용과 시간도 효과적으로 절감
• 스냅샷을 삭제할 때 다른 스냅샷에서 참조되지 않는 영역만 데이터에서 제거

스냅샷은 기본적으로 Amazon S3에 저장되어 여러 가용 영역에 자동으로 복제

다른 계정으로 공유 가능, 다른 리전으로 복제 가능

EFS (Elastic File System)

클라우드 환경과 온프레미스 환경에서 사용할 수 있는 완전 관리형 네트워크 파일 시스템

• 완전 관리형 : 클라우드에서 하드웨어 프로비저닝 유지 관리, 소프트웨어 구성, 모니터링, 복잡한 성능 조절 등 모든 것을 관리

 

EFS 특징

• 파일 시스템의 사용 증가에 따라 자동으로 용량 및 성능이 조정 (용량 제한X)
• 여러 대의 컴퓨터가 네트워크상의 동일한 데이터에 동시에 접근해야 할 때 사용
• NFS 표준 프로토콜 기반의 연결을 지원하고 있어 기존 다양한 애플리케이션과 유연하게 통합 가능
• 가용 영역 전반에 걸쳐 사용 가능

---

S3 (Simple Storage Service)

데이터를 버킷 내 객체로 저장하는 객체 스토리지 서비스

• 버킷(bucket) : 이 객체 저장소, 하나의 리전에서 생성된 후에는 버킷 이름과 리전을 변경 불가
• 객체 : S3에 저장되는 데이터, 객체 데이터와 객체 메타데이터로 구성 객체는 키(이름) 및 버전 ID를 이용하여 버킷 내에서 고유하게 식별
• 키 : 버킷 내에서 객체의 고유한 식별자

S3 특징

• 높은 내구성 및 데이터 복구
  • 하나의 리전 내 최소 세 개 이상의 물리적으로 분리된 가용 영역에 데이터를 복제해서 저장
  • 동일 버킷 내 여러 개의 객체 변형을 보유하여 데이터 복구에 특화된 객체 스토리지
  • 버전 관리 기능을 이용하면 버킷에 저장된 모든 버전의 객체를 보존하거나 검색 및 복원
• 무제한에 가까운 저장 용량
  • 저장 공간에 사실상 제한 없음
  • 대용량 데이터 저장(예: 이미지, 영상, 백업 등)에 최적화
• 키 기반의 접근성을 제공하여 데이터의 저장 및 검색에 특화
• AWS와 다른 서비스를 유기적으로 연동시켜 다양한 형태로 사용할 수도 있습니다.
• 객체에 대한 입출력은 HTTP 프로토콜과 REST API를 이용
• 필요한 경우 다양한 스토리지 계층으로 데이터를 분류하여 데이터 저장 비용을 절감 가능
• 보안 규정 준수 및 감시 기능을 제공
  • 필요한 경우 접근 권한 정책을 이용하여 해당 객체의 접근을 제어

S3 스토리지 클래스

여러 사용 사례에 맞게 설계된 다양한 스토리지 클래스를 제공

• S3 standard
  • 자주 접근하는 데이터를 저장
  • 사용한 만큼 비용을 지불
• S3 intelligent-tiering
  • 알 수 없거나 변화하는 접근 패턴이 있는 데이터를 저장
  • 객체 접근 정보가 고정되어 있지 않을 때 자동으로 빈번한 접근 그룹과 간헐적 접근 그룹에 나누어서 저장
• S3 standard-IA 및 S3 one zone-IA
  • 데이터 수명은 길지만 자주 접근하지 않는 데이터를 저장
  • standard-infrequent access : 최소 세 개 이상의 가용 영역에 데이터가 저장
  • one zone-infrequent access : 하나의 가용 영역에만 데이터가 저장 데이터가 삭제되어도 다시 생산할 수 있는 데이터를 위한 클래스
• S3 glacier
  • 데이터 수명이 제한되어있으며 거의 접근하지 않는 데이터 (백업 데이터 등)
  • 데이터 아카이브와 장기간 백업을 고려하여 만든 스토리지 클래스
  • 접근하려면 많은 시간이 소요
  • 데이터를 다른 클래스로 옮기려면 기가바이트당 비용이 발생 (주로 보관이 목적일 때 사용)
• S3 glacier deep archive
  • 재사용이 거의 없는 데이터를 보관
  • 일정 기간이 지나면 삭제할 데이터를 주로 보관
  • 조회하는 데 수 시간에서 수일이 소요
  • 데이터 보관 비용이 가장 저렴

S3 보안

• S3 버킷은 유일한 식별자를 기반으로 언제, 어디에서든 접근이 가능
• 접속 사용자나 데이터 접근을 관리 가능
  • IAM으로 접근 권한을 통제 가능 (특정 S3 버킷 접근에 대해 허용과 거부)
  • S3만의 버킷 정책으로도 객체에 대한 권한을 조정 가능
• 쿼리를 요청할 때 사용자 인증 정보도 함께 보내 일시적 권한 부여 가능
  • 임시 권한을 부여해서 접근하는 presign 기능
• S3 객체는 기본적으로 외부 사용자가 접근할 수 없도록 설정
  • 객체 소유자와 루트 사용자만 해당 객체에 접근 가능
  • 외부에서 접근하려면 앞서 설명한 별도의 정책을 이용하여 직접 설정 필요

 

 

참조

김원일, 『AWS 교과서』, 길벗(2023), 5장