Apresentação
🏗️ Lakehouse — Microsoft Fabric
O que é Lakehouse
Combina: flexibilidade do Data Lake (ficheiros) + ACID e performance do Data Warehouse.
| Data Lake | Data Warehouse | Lakehouse | |
|---|---|---|---|
| Formato | Ficheiros (JSON, CSV) | Tabelas (row/column) | Ficheiros + tabelas (Delta) |
| Schema | Schema-on-read | Schema-on-write | Schema-on-write opcional |
| ACID | Não | Sim | Sim (Delta) |
| Use case | Raw, ML, unstructured | BI, reporting | Ambos |
Delta Lake
- Formato: Parquet + log de transações (ACID).
- Features: Time travel, upserts, schema evolution.
- Vantagem: Consistência em pipelines concorrentes.
Medallion Architecture
Bronze (Raw)
- Dados brutos, como chegam. Pouca ou nenhuma transformação.
- Propósito: cópia imutável da fonte.
Silver (Cleaned)
- Dados limpos, validados, deduplicados. Schema aplicado.
- Propósito: dados prontos para consumo.
Gold (Business)
- Agregados, métricas, modelos de negócio. Otimizado para BI.
- Propósito: reporting, dashboards.
Microsoft Fabric
- Lakehouse: Workspace com OneLake (storage), Delta tables.
- Pipelines: Orquestração (como Azure Data Factory).
- Notebooks: Spark para transformação.
- High level: Integração de lake + warehouse + BI na mesma plataforma.
Zona de prática
Sem perguntas. Clica em Editar para adicionar.