ECS텔레콤, 콜봇용 소형 LLM 평가 프레임워크 논문 발표

ECS텔레콤의 류기동 박사가 한국지능정보시스템학회 춘계학술대회에서 콜센터 콜봇에 적합한 소형 LLM(sLLM) 평가 프레임워크 논문을 발표했다.

연구는 NIST AI RMF, OWASP, RAGAS 등 9개 핵심 문헌에서 도출한 63개 품질 항목을 6개 평가 영역으로 재구성했으며, 게이팅과 스코어카드를 분리한 이중 평가 체계를 제안했다. 기존 범용 벤치마크 점수만으로는 콜봇의 실제 서비스 품질을 예측하기 어렵다는 한계를 극복하기 위한 것이다.

ECS텔레콤은 이 평가 체계를 자사 AICC 플랫폼에 적용하고 고객사 컨설팅에 활용할 계획이며, 파인튜닝 용이도 부지표 추가와 콜봇 맞춤형 sLLM 개발 도구로 확장할 예정이다.