Data Engineering
57개의 글
BigQuery Deep Dive·
10. 리전, 복제본, 재해복구 - 데이터는 정확히 어디에 있는가
BigQuery Deep Dive·
9. 접근 제어 - IAM부터 마스킹까지
BigQuery Deep Dive·
8. CDC와 스트리밍 - 데이터를 최신 상태로 유지하기
BigQuery Deep Dive·
7. 데이터 적재 - batch load부터 Storage Write API까지
BigQuery Deep Dive·
6. BigQuery 뷰(View) 3종 — 일반 뷰, 승인된 뷰, 머티리얼라이즈드 뷰(MV) 차이
BigQuery Deep Dive·
5. BigQuery 파티셔닝과 클러스터링 — 프루닝으로 스캔량과 비용 줄이기
BigQuery Deep Dive·
4. BigQuery 쿼리 디버깅 — 실행 계획(Execution Graph)과 INFORMATION_SCHEMA로 병목 찾기
BigQuery Deep Dive·
3. BigQuery 슬롯과 컴퓨트 과금 — On-demand vs Editions, Baseline과 Autoscale 설계
BigQuery Deep Dive·
2. BigQuery 저장 모델과 비용 — Logical vs Physical, Active vs Long-term Storage
BigQuery Deep Dive·
1. BigQuery 아키텍처 — Dremel·Colossus·Jupiter로 이해하는 쿼리 실행 원리
Data Engineering·
Apache Iceberg - Parquet 파일 위의 테이블 포맷
Data Engineering·
Schema Registry - 스키마 진화를 안전하게 다루는 법
Data Engineering·
Apache Avro - 스키마를 파일에 넣으면 생기는 일
Data Engineering·
BigQuery - Protobuf에서 Capacitor까지
Data Engineering·
Apache Parquet - 열 기반 포맷의 내부 구조
Data Engineering·
데이터베이스 저장 구조: OLTP의 행(Row) 기반 vs OLAP의 열(Column) 기반 차이
Data Engineering·
Protobuf - Wire Format과 인코딩 원리 뜯어보기
Data Engineering·
직렬화(Serialization)는 왜 비용인가?
Data Engineering·
메달리온 아키텍처란? Bronze-Silver-Gold 3단계 구조 정리
Designing Data-Intensive Applications·
1편. 데이터 집약적 애플리케이션
데이터 수집 패턴 (Data Ingestion Patterns)
제4회 Airflow 커뮤니티 밋업 후기
트러블슈팅·
Airflow Broken DAG
DataHub에 Airflow Lineage 연동하기
dbt·
Jinja와 매크로 - 동적 SQL로 중복 줄이기
dbt·
데이터 품질 테스트 - Generic과 Singular 전략
dbt·
핵심 구성요소 - Models부터 Documentation까지
dbt·
개발환경 구축 - SQLite로 첫 모델 실행까지
dbt·
dbt란? Data Build Tool 개념과 사용법 총정리
Apache Flink·
5. Confluent Cloud for Apache Flink Lab 2 따라하기
Apache Flink·
4. Confluent Cloud for Apache Flink Lab 1 따라하기
Apache Flink·
3. Apache Flink vs Kafka Streams vs ksqlDB: 내부 구조 관점에서 비교해보기
Apache Flink·
2. Apache Flink 아키텍처와 구성요소 살펴보기
Apache Flink·
1. 데이터 파이프라인의 진화: 배치에서 스트리밍으로
교육 분야에 Elo 레이팅 적용하기
데이터 메시·
마지막편. 회고
데이터 메시·
16편. 조직과 문화
데이터 메시·
15편. 전략과 실행 - (2)
데이터 메시·
15편. 전략과 실행 - (1)
데이터 메시·
14편. 데이터 관리, 거버닝 및 관찰 설계
데이터 메시·
13편. 데이터 검색, 이해 및 구성 설계
데이터 메시·
12편. 데이터 소비, 변환 및 제공 설계
데이터 메시·
11편. 행위 지원성에 의한 데이터 프로덕트 설계
데이터 메시·
10편. 멀티플레인 데이터 플랫폼 아키텍처
데이터 메시·
9편. 논리적 아키텍처
데이터 메시·
8편. 전략적 변곡점 그 이전
데이터 메시·
7편. 전략적 변곡점 그 이후
데이터 메시·
6편. 전략적 변곡점
데이터 메시·
5편. 연합 컴퓨팅 거버넌스의 원칙
데이터 메시·
4편. 셀프 서비스 데이터 플랫폼의 원칙
데이터 메시·
3편. 제품으로서의 데이터 원칙
데이터 메시·
2편. 데이터의 도메인 오너십 원칙
데이터 메시·
1편. 데이터 메시란?
LOL 데이터 프로젝트 A to Z·
2편. 데이터 수집(API 활용)
LOL 데이터 프로젝트 A to Z·