근거 인용 학습으로 사내 질의응답의 환각을 줄이는 방법
- 발표
- 국내 AI 학술대회 2026 (구두 발표)
- 저자
- 허준서 외 4인
기업 문서를 바탕으로 답하는 질의응답에서 가장 큰 문제는 문서에 없는 내용을 그럴듯하게 만들어 내는 환각입니다. 이 연구는 답변의 각 문장이 어느 문서의 어느 부분에서 왔는지 모델이 스스로 표시하도록 학습시키는 방법을 제안합니다.
사내 규정, 제품 매뉴얼, 계약서 세 종류의 문서 집합에서 실험한 결과, 근거 없는 문장의 비율이 기존 방식 대비 평균 43% 줄었습니다. 다만 근거 표시 때문에 응답 지연이 약 9% 늘어나, 서비스에서는 문장 단위가 아닌 문단 단위 인용을 기본으로 사용합니다.
실험에 쓴 평가셋의 일부는 7월에 공개한 NARU-DocQA에 포함되어 있으며, 재현을 위한 설정 파일은 오픈소스 페이지에서 내려받을 수 있습니다.