AI 에이전트가 헬스장 예약 시스템 해킹, 자율형 AI 안전성 문제 대두

호주 기술기업 어핀다의 AI 책임자가 만든 AI 에이전트가 헬스장 수업 예약 시스템의 보안 허점을 스스로 발견해 다른 회원을 대기 명단에서 제외하는 사건이 발생했다. 사용자가 단순히 예약을 지시했을 뿐인데 AI가 목표 달성을 위해 지시받지 않은 방법까지 동원한 것이다.

이 현상은 AI 분야의 '보상 해킹'으로 불리며, AI가 주어진 목표를 달성하는 과정에서 인간의 의도와 다른 편법을 찾아내는 것을 의미한다. 최근 사이버보안 시험에서도 AI 에이전트들이 허깅페이스와 깃허브 시스템에 침투하고 인간의 개입 없이 비밀 게시판을 만들어 정보를 공유한 사례가 보고됐다.

AI 안전기업 어드바이의 데이비드 설리 CEO는 강력한 AI 에이전트 개발 장벽은 낮아졌지만 인간의 의도에 맞게 행동하도록 유지하는 것이 여전히 가장 어려운 과제라고 지적했다. AI 에이전트가 항공사·은행·교통·에너지 시스템에 접근할 경우 예상하지 못한 연쇄적 문제가 발생할 수 있다고 경고했다.