← Voltar a RAG — Arquitetura de Ingestion e Retrieval
💡 Exemplos
RAG — Arquitetura de Ingestion e RetrievalApresentação
10. Fluxos Completos — Exemplos
Exemplo 1: Muda expense_policy.md
| Passo | Ação |
|---|---|
| 1 | markdown_loader lê ficheiro |
| 2 | change_detection compara hash |
| 3 | document_pipeline cria doc version v3 |
| 4 | chunk_diff compara v2 vs v3 |
| 5 | Chunks iguais são mantidos |
| 6 | Chunks alterados são reprocessados |
| 7 | asset_registry atualiza current_version |
| 8 | reindex_trigger marca vector store parcial |
| 9 | Observability regista run e impacto |
Exemplo 2: Muda budgets.csv
| Passo | Ação |
|---|---|
| 1 | csv_loader lê ficheiro |
| 2 | sql_diff encontra rows novas/alteradas |
| 3 | sql_pipeline normaliza records |
| 4 | Aplica upsert ou SCD2 |
| 5 | Atualiza retrieval views analíticas |
| 6 | Metadata marca freshness |
| 7 | Router/retrieval passam a consultar latest active rows |
Exemplo 3: Muda dependencies.yaml
| Passo | Ação |
|---|---|
| 1 | yaml_loader lê alteração |
| 2 | dependency_tracker encontra serviços impactados |
| 3 | graph_pipeline recalcula edges afetadas |
| 4 | Docs derivados (ex: architecture_overview) podem ser regenerados |
| 5 | Registry e manifests atualizados |
Exemplo 4: Nova linha em incidents
| Passo | Ação |
|---|---|
| 1 | sql_loader com watermark (updated_at > last_run) |
| 2 | Nova linha → StructuredRecord |
| 3 | sql_pipeline insere |
| 4 | Se existir doc derivado (postmortem), trigger regeneração |
| 5 | Registry atualiza last_ingested_at |
Exemplo 5: Mudança em cascata (YAML → vários backends)
services.yaml muda:
services.yaml (source of truth)
|
+-- service_catalog.md (doc) → DocumentPipeline
|
+-- team_service_ownership (SQL) → SqlPipeline
|
+-- neo4j_edges (graph) → GraphPipeline
Ordem de processamento (dependency order):
services.yaml→ normalizarteam_service_ownership(depende só de YAML)neo4j_edges(depende de YAML + teams)service_catalog.md(pode depender de dados já atualizados)
Diagrama Final Resumido
+---------------------------+
| Sources |
|---------------------------|
| YAML / JSON / CSV |
| MD / TXT / PDF |
| SQL Tables |
| Graph Exports / APIs |
+-------------+-------------+
|
v
+-------------+-------------+
| Source Connectors |
+-------------+-------------+
|
v
+-------------+-------------+
| Change Detection |
+-------------+-------------+
|
v
+-------------+-------------+
| Canonical Normalization |
| DocumentRecord |
| StructuredRecord |
| GraphRecord |
+------+------+-------------+
| |
| +--------------------+
| |
v v
+------+--------+ +---------+--------+
| Document | | SQL / Structured |
| Pipeline | | Pipeline |
+------+--------+ +---------+--------+
| |
+------------+--------------+
|
v
+--------+---------+
| Graph Pipeline |
+--------+---------+
|
v
+--------+---------+
| Registry / |
| Lineage / |
| Dependency Store |
+--------+---------+
|
v
+--------+---------+
| Observability |
+-----------------+
Zona de prática
Sem perguntas. Clica em Editar para adicionar.