3. Pipelines por Backend

---

3.1 Document Pipeline

Para md, txt, pdf, yaml textualizado.

Etapas

1. Parse
2. Normalize
3. Assign logical ID
4. Versioning
5. Diff por documento / chunk
6. Metadata update
7. Chunk plan
8. Trigger re-embedding / re-index

Casos

Fluxo Detalhado

DocumentRecord → parse → normalize → chunk plan → chunk diff → re-embed alterados → index update

---

3.2 SQL Pipeline

Para dados estruturados (tabelas, CSV importado).

Etapas

1. Schema validation
2. Record normalization
3. Dedupe
4. Upsert ou SCD Type 2
5. Lineage e timestamps
6. Trigger de views analíticas

Estratégias

Deletes

Nunca apagar fisicamente logo no início. Preferir:

• is_active = false
• ou valid_to = now()

Fluxo Detalhado

StructuredRecord → validate schema → dedupe → upsert/SCD2 → freshness update → views

---

3.3 Graph Pipeline

Para relações (nós e edges).

Etapas

1. Mapear entidades (nós)
2. Mapear edges (relações)
3. Validar referências (from_id, to_id existem)
4. Diff de nós/arestas
5. Update ou versioning
6. Rebuild parcial de projections se necessário

Casos

Fluxo Detalhado

GraphRecord → validate refs → node/edge diff → upsert/versioning → projection update

---

Fluxo Conjunto

                    +------+--------+
                    | Document      |
                    | Pipeline      |
                    +------+--------+
                           |
      Canonical Model      +--------------------+
              |                                 |
              v                                 v
      +------+--------+              +---------+--------+
      | SQL Pipeline |              | Graph Pipeline    |
      +------+--------+              +---------+--------+
              |                                 |
              +-------------+-------------------+
                            |
                            v
                   Registry / Lineage /
                   Dependency Store