Apresentação
Citações e Groundedness na UX — studyAI
Regras para mostrar citações, excertos e lidar com respostas sem fonte suficiente.
Índice
- Decisões
- Onde mostrar citações
- Formato das citações
- Respostas sem fonte suficiente
- Confiança e groundedness
Decisões
| Pergunta | Decisão |
|---|---|
| Mostrar sempre citações? | Sim, quando existirem |
| Só no chat? | Chat + conteúdo gerado (por secção) |
| Excertos curtos ou referências? | Ambos: referência (doc, pág) + excerto curto (1–2 frases) |
| Resposta sem fonte? | Aviso explícito + resposta com disclaimer |
Onde mostrar citações
| Contexto | Mostrar? | Formato |
|---|---|---|
| Chat (RAG QA) | Sim, sempre | Lista de fontes com excerto |
| Documento gerado | Sim, por secção | Referências no fim da secção |
| Evaluate | Não (feedback é sobre a resposta do user) | — |
Formato das citações
Chat
Resposta: "A colonoscopia é um exame..."
Fontes:
• artigo.pdf, p. 3 — "A colonoscopia permite visualizar o cólon..."
• guidelines.md — "Exame endoscópico de rotina..."
Documento gerado
No fim de cada secção (se houver fontes):
---
*Fontes: artigo.pdf (p. 3, 5), guidelines.md*
Ou inline para frases específicas: [1] com legenda no fim.
Respostas sem fonte suficiente
Quando acontece
- Retrieval não encontrou chunks relevantes (top-k com score baixo)
- Query muito específica, material não cobre
Comportamento
- RAG QA Agent: Incluir no prompt instrução: "Se não houver informação nos chunks, diz 'Não encontrei informação suficiente no material carregado.' e sugere onde procurar."
- UI: Mostrar aviso: "Esta resposta pode não estar fundamentada no teu material."
- API: Campo
has_sufficient_sources: falsena resposta - Content Writer (strict): Nunca inventar. Se chunks insuficientes, escrever "Esta secção requer mais fontes. Considera adicionar documentos sobre X."
Níveis de confiança
| Situação | has_sufficient_sources | UI |
|---|---|---|
| Top chunk score > 0.8 | true | Normal |
| Top chunk score 0.5–0.8 | true | Normal, mas citações em destaque |
| Top chunk score < 0.5 | false | Aviso + resposta com disclaimer |
Confiança e groundedness
- groundedness_score (0–1) na rag_evaluations
- UI: Indicador opcional (ex: ícone verde/amarelo/vermelho)
- Chat: Se score < 0.6, mostrar "Resposta com baixa confiança no material."
- Conteúdo gerado: Por secção, indicar se baseado em fontes ou extrapolado (modo hybrid)
Zona de prática
Sem perguntas. Clica em Editar para adicionar.