AI에게 여러 번 물어 가장 많이 나온 답을 고른다고 정확성이 보장되지는 않습니다. 답을 다양하게 만드는 단계, 후보를 검증하는 단계, 예측을 합치는 단계를 나눠 볼 필요가 있습니다.
여러 예측을 만든 뒤 선택하고 투표
11월 1일 arXiv API로 확인한 연구 원문은 10월 29일 UTC 공개된 v1 프리프린트입니다. 오늘 발표된 논문이나 상용 챗봇의 품질 보증 자료는 아닙니다.
연구팀은 PSV라는 절차로 예측 후보를 만들고, 정답이 있는 검증 자료에서 성능이 좋은 후보를 선택한 뒤, 새 문제의 예측을 투표로 합쳤습니다.
답을 많이 만드는 것만으로는 부족
일부 실험에서는 다양한 답을 뽑아 투표하는 것만으로도 성능이 개선됐습니다. 반면 기본 모델의 예측이 불안정한 조건에서는 검증 자료를 이용한 선택이 중요했습니다.
일반 챗봇에 반복 질문하는 것과 차이
이 방법은 검증 단계에서 선택한 출력 편향을 이후 문제에도 유지합니다. 매번 독립적으로 질문하고 답을 새로 받는 사용 방식과는 다릅니다. 논문의 결과를 ‘같은 질문을 세 번 하면 안전하다’는 규칙으로 바꿀 수 없습니다.
연구는 언어 모델 규모가 70억 매개변수까지이며, 정답이 있는 선택 자료가 필요하다고 밝힙니다. 자유로운 서술형 답변은 같은 답인지 비교하기 어렵고, 여러 예측을 계산하므로 단일 답변보다 비용도 늘어납니다.
업무에서는 정답을 확인할 기준부터
실무 적용을 위한 편집 제안은 답변 수를 늘리기 전에 검증 항목을 정하는 것입니다. 계산 업무라면 직접 계산한 기대값, 자료 요약이라면 원문에 실제로 있는 문장과 날짜가 기준이 될 수 있습니다.
모든 답이 같은 숫자를 제시해도 원문·단위·기준일 확인을 대신하지 않습니다. 이 글은 논문을 읽어 설명한 것이며 독립 재현이나 동료심사 완료는 확인하지 않았습니다.
이런 이야기를 나눌 수 있어요.
예시 댓글 2개