구글, AI 메모리 최적화 기술 '터보퀀트' 공개

구글이 AI 메모리 사용량을 획기적으로 줄일 수 있는 소프트웨어 최적화 기술 '터보퀀트'를 공개했다. 이 기술은 AI 모델의 KV 캐시 사용을 최적화해 데이터를 최대 6분의 1로 압축 저장할 수 있으며, GPU H100 환경에서 연산 속도가 기존 대비 최대 8배까지 빨라진다.

터보퀀트의 핵심은 '2중 양자화' 기술로, 1차 양자화에서 발생하는 오차를 2차 양자화로 보정해 AI 정확도를 유지한다. 개발에 참여한 한인수 카이스트 교수는 30일 온라인 기자간담회에서 기존 기술과 달리 별도 미세조정 없이 모든 AI 모델에 적용 가능하다고 강조했다.

AI 효율화를 위해선 소프트웨어와 하드웨어 최적화가 함께 가야 한다는 업계 평가가 나오는 가운데, 구글은 2분기에 공식 코드를 공개할 예정이다. 한 교수는 향후 구글 리서치와 AI 추론 연산 효율화를 위한 후속 연구를 계속할 계획이라고 밝혔다.