핵심 정리
| guardrail | 효과 |
|---|---|
| 모르면 모른다고 말하게 함 | 억지 추론 감소 |
| 관련 quote 먼저 추출 | 원문 근거 고정 |
| claim마다 citation 요구 | 검증 가능성 증가 |
| 제공 자료 밖 지식 제한 | 범위 밖 일반화 감소 |
| 생성 후 self-check | 누락과 충돌 재검토 |
| 여러 결과 비교 | 불안정한 판단 탐지 |
답변 규칙:
- 제공된 문서에 없는 내용은 추정하지 않는다.
- 근거가 없으면 "제공 자료에서 확인되지 않음"이라고 쓴다.
- 각 핵심 주장 뒤에 source 또는 quote를 붙인다.근거 흐름
불확실성을 허용해야 허위 확신이 줄어든다
Claude가 항상 답을 내야 한다는 압박을 받으면 자료가 부족한 상황에서도 그럴듯한 결론을 만들 수 있습니다. 사실 검증이 중요한 작업에서는 "모르면 모른다고 말해도 된다"가 아니라 "근거가 없으면 반드시 불확실로 표시한다"까지 명시하는 편이 좋습니다.
근거 부족 처리:
- 제공 자료에서 확인되지 않음
- 문서 간 내용이 충돌함
- 날짜나 버전이 없어 최신 여부 판단 불가이 규칙은 정책, 법무, 의료, 재무, 보안처럼 틀린 확신의 비용이 큰 작업에서 특히 중요합니다.
긴 문서는 quote 추출 후 분석한다
긴 문서에서 바로 요약이나 판단을 요구하면 일부 근거가 빠질 수 있습니다. 먼저 관련 quote를 뽑고, 그 quote만 근거로 결론을 만들게 하면 답변을 검증하기 쉬워집니다.
Step 1. 질문과 관련된 원문 quote를 source와 함께 추출
Step 2. quote별 의미를 짧게 해석
Step 3. quote로 뒷받침되는 결론만 작성
Step 4. 근거가 부족한 항목은 별도 표시quote는 장식이 아니라 검증 단위입니다. 최종 답변에서 근거를 클릭하거나 원문과 대조할 수 있어야 합니다.
citation은 생성 후 다시 검증해야 한다
citation이 붙었다고 해서 결론이 자동으로 맞는 것은 아닙니다. citation이 실제 주장과 연결되는지, 날짜가 맞는지, 원문이 다른 의미로 쓰이지 않았는지 확인해야 합니다. 특히 웹 자료나 연결 문서를 쓰는 경우에는 핵심 claim을 citation 단위로 다시 점검합니다.
선택 기준
| 상황 | 적용할 guardrail |
|---|---|
| 자료가 부족할 수 있음 | 불확실성 허용 |
| 긴 문서 분석 | quote 먼저 추출 |
| 외부 근거가 필요함 | citation 필수 |
| 제공 자료만 써야 함 | external knowledge 제한 |
| 결론이 고위험임 | 사람 검토 추가 |
| 답변이 매번 다름 | 같은 prompt 여러 번 비교 |
주의할 점
hallucination guardrail은 오류를 줄이는 장치이지 오류를 없애는 장치가 아닙니다. 중요한 결론은 원문, citation, 날짜, 버전을 사람이나 별도 검증 단계에서 다시 확인해야 합니다.
추론 과정을 길게 쓰게 하는 것만으로는 충분하지 않습니다. 더 중요한 것은 어떤 자료를 근거로 삼았는지, 어떤 주장을 철회해야 하는지, 어떤 항목이 확인 불가인지가 결과에 분리되어 보이는 것입니다.
참고 링크
2 sources