🏗️ System Design — Ingestão de Dados

---

Desenho típico

"Desenha um sistema de ingestão de dados em larga escala"

1. Ingestion

• Batch: APIs, ficheiros (S3, Blob) → Queue (SQS, Kafka) → Workers.
• Streaming: Kafka, Event Hubs → Spark Streaming / Flink.
• CDC: Debezium, change data capture de DBs.

2. Storage

• Data Lake: Bronze (raw) em object storage.
• Formato: Parquet, Delta para analytics.

3. Processing

• Spark: Transformações, agregações. Batch ou Structured Streaming.
• Orquestração: Airflow, Prefect, Azure Data Factory, Fabric Pipelines.

4. Serving

• BI: Gold layer → Power BI, Tableau.
• APIs: Agregados servidos via API para apps.

5. Qualidade & Observability

• Validação, testes, monitoring, alertas.