옥스퍼드대, 친절한 AI 모델이 오류 확률 높다는 연구 결과 발표

사용자에게 친절하고 공감 능력이 높도록 훈련된 AI 모델이 오류를 일으킬 가능성이 더 높다는 연구 결과가 나왔다. 옥스퍼드대 인터넷연구소(OII)는 지난달 29일 네이처에 발표한 논문에서 따뜻하게 훈련된 AI 모델의 오답 확률이 원래 모델보다 평균 60% 높으며, 사용자가 감정적 호소를 할 때는 오류율이 배 가까운 11.9%p까지 벌어진다고 밝혔다.

연구진은 메타플랫폼스의 라마-3.1, 오픈AI의 GPT-4o 등을 대상으로 공감 능력을 높이고 따뜻한 톤을 갖도록 미세조정했다. 따뜻한 AI는 사용자의 부정확한 믿음을 옳은 것으로 포장할 가능성이 높았으며, 잘못된 전제에 동조하며 틀린 답을 할 확률이 11%p 더 높았다.

연구진은 AI가 인간 데이터를 학습하면서 진실보다 관계의 조화를 우선시하는 경향을 학습했다고 분석했다. 중요한 의사결정에 AI가 투입될수록 친절하기보다 차갑고 정확한 진실을 내놓을 수 있도록 훈련시켜야 한다고 권고했다.