사하라AI, MS와 협력해 멀티모달 AI 벤치마크 '매쓰비스타' 구축

블록체인 기반 AI 데이터 플랫폼 사하라AI는 마이크로소프트와 협력해 멀티모달 AI의 추론 능력을 평가하는 벤치마크 '매쓰비스타'를 구축했다고 19일 밝혔다.

매쓰비스타는 AI모델의 수학적 사고력을 측정하는 평가 체계로, 사하라AI가 6000건 이상의 데이터라벨링을 수행했다. 산술·기하·통계·STEM 논리 등 다양한 영역에서 고정밀 라벨링이 이뤄졌으며, 기존 크라우드소싱 플랫폼이 수행하기 어려운 수준의 작업이었다.

매쓰비스타는 공개 이후 전 세계에서 활용되고 있으며 최근 한 달간 1만3000건 이상 다운로드됐다. GPT-4V의 정확도가 49.9%에 그쳐 멀티모달 AI 추론 성능의 발전 가능성을 보여주고 있다.