Quick Reference

guardrail은 Claude가 틀린 내용을 만들지 못하게 하는 마법이 아니라, 근거 없는 답을 발견하고 멈추게 하는 작업 계약입니다. 자료 기반 질문에는 source 범위를 닫고 claim마다 evidence를 연결합니다. 최신성·정확성이 중요한 결론은 모델의 self-check가 아니라 원문과 별도 검증으로 확정합니다.

답변 계약
1. <sources> 밖의 사실은 추가하지 않는다.
2. 핵심 claim마다 source ID와 짧은 quote를 붙인다.
3. evidence가 없으면 "제공 자료에서 확인되지 않음"으로 표시한다.
4. quote가 claim을 실제로 뒷받침하는지 마지막에 다시 점검한다.

근거를 답변으로 바꾸는 흐름

긴 문서나 여러 source를 바로 요약시키면, 그럴듯하지만 근거가 약한 일반화가 섞이기 쉽습니다. 먼저 질문과 직접 연결되는 문장을 source ID와 함께 추출하고, 그 다음 단계에서 추출된 evidence만으로 결론을 쓰게 합니다. 20k token을 넘는 문서에서는 이 quote-first 흐름이 특히 유용합니다.

<sources>
  <source id="policy-2026-04">...</source>
  <source id="contract-v3">...</source>
</sources>

<task>
  1. 질문에 관련된 원문 quote를 source ID와 함께 추출한다.
  2. 각 quote가 뒷받침하는 claim을 한 문장으로 적는다.
  3. evidence가 없는 결론은 작성하지 말고 확인 불가로 표시한다.
</task>

이 방식은 quote가 결론을 보장한다는 뜻이 아닙니다. quote가 오래됐거나, 적용 범위가 다르거나, 서로 충돌하면 같은 source를 인용해도 결론은 틀릴 수 있습니다. final answer에는 사실, 해석, 추천을 구분하고, 사용한 source의 시점과 적용 범위를 남깁니다.

검증 경계

같은 prompt를 여러 번 실행해 결과가 갈리면, 일치하는 답을 진실로 처리하지 않습니다. 어떤 input·source·model·version에서 갈렸는지 기록하고, 해당 사례를 evaluation set에 넣습니다. 생성 후 "확인해"라고 한 번 더 묻는 것보다, claim-evidence 목록과 판정 기준을 별도 단계로 두는 편이 원인을 추적하기 쉽습니다.

자주 틀리는 부분

피해야 할 요청: "틀리지 않게 완벽히 답해 줘."

더 나은 요청: "제공한 source만 사용한다. claim마다 source ID와 quote를 붙인다.
근거가 없거나 source가 충돌하면 결론을 내리지 말고 부족한 evidence를 적는다."