← Voltar a RAG — Arquitetura de Ingestion e Retrieval
📦 Registry e Dependências
RAG — Arquitetura de Ingestion e RetrievalApresentação
5. Registry Central e Dependency Tracking
Asset Registry
Um registry central de ativos onde cada asset pode ser:
- Documento
- Tabela
- Row group
- Edge set
- Source file
Exemplo de registo
{
"asset_id": "doc_security_policy",
"asset_type": "document",
"logical_id": "security_policy",
"current_version": 3,
"status": "active",
"source_type": "markdown",
"source_path": "data/docs/security_policy.md",
"checksum": "...",
"last_ingested_at": "...",
"embedding_version": "e5-large-v2",
"chunking_version": "semantic_v1",
"dependencies": ["policy_security_rules", "team_security"],
"derived_assets": ["chunkset_security_policy_v3"]
}
Campos úteis
| Campo | Uso |
|---|---|
asset_id | Identificador único |
asset_type | document, table, graph, file |
logical_id | ID estável entre versões |
current_version | Última versão ativa |
status | active, inactive, retired |
checksum | Para change detection |
embedding_version | Modelo de embedding usado |
chunking_version | Estratégia de chunking |
dependencies | Assets dos quais depende |
derived_assets | Assets gerados a partir deste |
Benefícios
- Saber o que mudou
- Saber o que reindexar
- Rollback
- Debugging
Dependency Tracking
Guardar dependências entre ativos.
Exemplos
| Asset | Depende de |
|---|---|
security_policy.md | policies.yaml |
service_catalog.md | services.yaml |
neo4j_edges.csv | teams.yaml, services.yaml, dependencies.yaml |
Quando muda services.yaml
- Dependency tracker identifica impactados
- Documentos a regenerar
- Tabelas a atualizar
- Grafo a recalcular
Estrutura de dependência
policies.yaml
└── security_policy.md
└── expense_policy.md
services.yaml
└── service_catalog.md
└── team_service_ownership (SQL)
└── neo4j_edges (graph)
dependencies.yaml
└── neo4j_edges (graph)
└── architecture_overview.md
Uso no reprocessamento
Quando uma fonte muda:
- Consultar dependency tracker
- Obter lista de assets impactados
- Ordenar por dependências (topological sort)
- Reprocessar na ordem correta
Zona de prática
Sem perguntas. Clica em Editar para adicionar.