Apache Iceberg - Parquet 파일 위의 테이블 포맷

s3://warehouse/events/
├── year=2024/month=01/  ← 디렉토리가 곧 파티션
│   ├── part-00001.parquet
│   └── part-00002.parquet
├── year=2024/month=02/
│   └── part-00001.parquet
└── year=2024/month=03/
    ├── part-00001.parquet
    └── part-00002.parquet

기존: s3://warehouse/events/year=2024/month=01/
변경: s3://warehouse/events/year=2024/month=01/day=15/

→ 기존 파일을 전부 읽어서 day별로 다시 나눠 써야 함
→ 데이터가 수 TB면 이 작업만 몇 시간

쿼리 실행 시:

1. Hive Metastore에서 파티션 경로 조회
2. S3에 디렉토리 LIST 요청 (파일 목록 확인)  ← 느림
3. 각 파일의 Footer 읽기 (통계 확인)          ← 추가 I/O
4. 실제 데이터 읽기

Writer:  파일 1 쓰기 완료 → 파일 2 쓰기 중...
Reader:  디렉토리 LIST → 파일 1은 보이고, 파일 2는 아직 불완전

→ Reader가 읽는 시점에 따라 결과가 달라짐
→ Writer가 실패하면 파일 1만 남아 있는 상태

                    Catalog
                      │
                      │  "현재 메타데이터 파일 위치"
                      ▼
              Metadata File (v3)
              ┌──────────────────┐
              │ 스키마 정보         │
              │ 파티션 스펙         │
              │ 스냅샷 목록         │
              │  └─ snap-3 (현재) │
              │  └─ snap-2       │
              │  └─ snap-1       │
              └──────────────────┘
                      │
                      │  snap-3이 가리킴
                      ▼
              Manifest List
              ┌──────────────────┐
              │ manifest-A.avro  │
              │ manifest-B.avro  │
              │ manifest-C.avro  │
              └──────────────────┘
                    / │ \
                   /  │  \
                  ▼   ▼   ▼
          Manifest Files (Avro)
          ┌───────────────┐
          │ file-1.parquet│  행 수, 컬럼 범위,
          │ file-2.parquet│  파티션 값 등
          │ file-3.parquet│  파일별 통계 포함
          └───────────────┘
                  │
                  ▼
          Data Files (Parquet)

{
  "format-version": 2,
  "table-uuid": "9c12d441-03fe-4693-bc6e-12f520d83a2a",
  "location": "s3://warehouse/db/events",
  "current-snapshot-id": 3497810964824022504,
  "schemas": [
    {
      "schema-id": 0,
      "fields": [
        {"id": 1, "name": "event_id", "type": "string", "required": true},
        {"id": 2, "name": "timestamp", "type": "timestamptz", "required": true},
        {"id": 3, "name": "user_id", "type": "long", "required": false}
      ]
    },
    {
      "schema-id": 1,
      "fields": [
        {"id": 1, "name": "event_id", "type": "string", "required": true},
        {"id": 2, "name": "timestamp", "type": "timestamptz", "required": true},
        {"id": 3, "name": "user_id", "type": "long", "required": false},
        {"id": 4, "name": "region", "type": "string", "required": false}
      ]
    }
  ],
  "current-schema-id": 1,
  "partition-specs": [...],
  "snapshots": [
    {"snapshot-id": 3497810964824022504, "manifest-list": "s3://warehouse/db/events/metadata/snap-34978...avro"},
    {"snapshot-id": 2389100394082843922, "manifest-list": "s3://warehouse/db/events/metadata/snap-23891...avro"}
  ]
}

Manifest List (snap-3497...)
┌────────────────────────────────────────────────────┐
│ manifest_path              │ partition_summary      │
│────────────────────────────│───────────────────────│
│ s3://.../manifest-A.avro   │ region: [us, eu]      │
│ s3://.../manifest-B.avro   │ region: [ap]          │
│ s3://.../manifest-C.avro   │ region: [us]          │
└────────────────────────────────────────────────────┘

Manifest File (manifest-B.avro)
┌──────────────────────────────────────────────────────────────┐
│ file_path            │ partition   │ record_count │ col stats │
│──────────────────────│────────────│─────────────│──────────│
│ s3://.../data-1.pq   │ region=ap  │ 150,000      │ ts: [1월~3월] │
│ s3://.../data-2.pq   │ region=ap  │ 200,000      │ ts: [4월~6월] │
│ s3://.../data-3.pq   │ region=ap  │ 180,000      │ ts: [7월~9월] │
└──────────────────────────────────────────────────────────────┘

Hive:
  Metastore → 디렉토리 경로 → S3 LIST → 파일별 Footer 읽기 → 데이터 읽기

Iceberg:
  Catalog → Metadata → Manifest List → Manifest File → 데이터 읽기
  (S3 LIST 없음, 파일별 Footer 읽기 없음)

snap-1: [file-A, file-B]
  │
  │  INSERT → file-C 추가
  ▼
snap-2: [file-A, file-B, file-C]
  │
  │  DELETE → file-A의 일부 행 삭제
  ▼
snap-3: [file-A', file-B, file-C]

Writer                              Reader
  │                                   │
  │  1. 새 데이터 파일 쓰기                │
  │     (기존 스냅샷에 영향 없음)           │
  │                                   │  snap-2 기준으로 읽기 시작
  │  2. 새 Manifest 파일 쓰기            │  (file-A, file-B, file-C)
  │                                   │
  │  3. 새 Metadata File 쓰기           │  Reader는 snap-2를 보고 있으므로
  │     (snap-3 포함)                  │  Writer의 작업에 영향받지 않음
  │                                   │
  │  4. Catalog 포인터를 snap-3으로       │
  │     원자적으로(atomically) 변경       │
  │                                   │
  ▼                                   ▼

Writer A                         Writer B
  │                                │
  │  현재 snap-2 기준으로 시작          │  현재 snap-2 기준으로 시작
  │                                │
  │  새 파일 쓰기                     │  새 파일 쓰기
  │  새 Manifest 쓰기                │  새 Manifest 쓰기
  │  새 Metadata 쓰기 (snap-3)       │  새 Metadata 쓰기 (snap-3')
  │                                │
  │  Catalog 업데이트: snap-2→3 ✅    │
  │                                │  Catalog 업데이트 시도
  │                                │  → snap-2가 아닌 snap-3이 현재 ❌
  │                                │  → 충돌 감지, 재시도
  │                                │
  │                                │  snap-3 기준으로 재시도
  │                                │  새 Metadata (snap-4) 쓰기
  │                                │  Catalog: snap-3→4 ✅

-- Hive: 파티션 컬럼을 명시적으로 지정
CREATE TABLE events (
  event_id STRING,
  timestamp TIMESTAMP,
  user_id BIGINT
) PARTITIONED BY (month STRING);

-- INSERT할 때도 파티션 값을 직접 지정
INSERT INTO events PARTITION (month='2024-01')
SELECT event_id, timestamp, user_id FROM ...;

-- 쿼리할 때도 파티션 컬럼 이름을 알아야 함
SELECT * FROM events WHERE month = '2024-01';

-- Iceberg: 원본 컬럼에 Transform 적용
CREATE TABLE events (
  event_id STRING,
  timestamp TIMESTAMP,
  user_id BIGINT
) USING iceberg
PARTITIONED BY (month(timestamp));

-- 월별 파티셔닝에서 일별로 변경
ALTER TABLE events ADD PARTITION FIELD day(timestamp);
ALTER TABLE events DROP PARTITION FIELD month(timestamp);

snap-1 ~ snap-5: month(timestamp) 기준 파일들
                   ↕ Manifest에 파티션 정보 기록되어 있음
snap-6 이후:       day(timestamp) 기준 파일들

쿼리 시: 양쪽 파티션 스펙을 모두 참조하여 프루닝

-- 필드 추가
ALTER TABLE events ADD COLUMN region STRING;

-- 필드 이름 변경 (필드 ID는 유지)
ALTER TABLE events RENAME COLUMN region TO geo_region;

-- 필드 타입 변경 (호환 가능한 변경만: int→long, float→double)
ALTER TABLE events ALTER COLUMN user_id TYPE long;

-- 필드 삭제
ALTER TABLE events DROP COLUMN geo_region;

-- 필드 순서 변경
ALTER TABLE events ALTER COLUMN user_id AFTER event_id;

-- 특정 스냅샷으로 조회
SELECT * FROM events VERSION AS OF 3497810964824022504;

-- 특정 시점으로 조회
SELECT * FROM events TIMESTAMP AS OF '2024-06-15 10:00:00';

현재 (snap-3): [file-A', file-B, file-C]
과거 (snap-1): [file-A, file-B]

→ file-A, file-A', file-B, file-C가 모두 S3에 존재
→ 어떤 스냅샷으로 읽느냐에 따라 보이는 파일이 다름

-- snap-2로 롤백
CALL system.rollback_to_snapshot('db.events', 2389100394082843922);

-- 7일 이전 스냅샷 삭제
CALL system.expire_snapshots('db.events', TIMESTAMP '2024-06-08 00:00:00');

-- 메타데이터에 등록되지 않은 파일 삭제
CALL system.remove_orphan_files('db.events');

-- 작은 파일들을 합쳐서 최적화
CALL system.rewrite_data_files('db.events');