AI 챗봇, 메모리 주입 공격에 취약

연구자들이 AI 챗봇을 조작하는 새로운 방법을 발견했는데, 이는 기억력이 있는 AI 모델의 보안에 대한 우려를 불러일으킵니다.

이 공격은 MINJA(메모리 인젝션 공격)라고 불리며, 일반 사용자처럼 AI 시스템과 단순히 상호작용함으로써, 그 시스템의 백엔드에 접근할 필요 없이 실행될 수 있다고 The Register에서 처음 보도했습니다.

미시간 주립대학, 조지아 대학, 싱가폴 경영대학의 연구자들에 의해 개발된 MINJA는 잘못된 프롬프트를 통해 AI의 메모리를 오염시킴으로써 작동합니다. 한번 챗봇이 이런 속임수적인 입력을 저장하면, 이것은 다른 사용자들을 위한 미래의 반응을 변화시킬 수 있습니다.

“요즘에는 AI 에이전트들이 일반적으로 메모리 은행을 포함하고 있어, 사람들의 피드백을 바탕으로 한 작업 쿼리와 실행을 미래 참고를 위해 저장합니다,”라고 조지아 대학의 조교수인 첸 시앙이 The Register에 보도된 바에 따라 설명했습니다.

“예를 들어, ChatGPT의 각 세션 이후에 사용자는 선택적으로 긍정적이거나 부정적인 평가를 할 수 있습니다. 그리고 이 평가는 ChatGPT가 세션 정보를 기억하거나 데이터베이스에 통합할지 여부를 결정하는 데 도움이 될 수 있습니다,”라고 그는 덧붙였습니다.

연구자들은 OpenAI의 GPT-4와 GPT-4o에서 구동되는 AI 모델에 대한 공격을 테스트했습니다. 이 모델들에는 웹 쇼핑 보조기, 헬스케어 챗봇, 그리고 질문 응답 에이전트가 포함되어 있습니다.

The Register는 그들이 MINJA가 심각한 혼란을 일으킬 수 있다고 발견했다고 보도했습니다. 예를 들어, 의료 챗봇에서는 환자 기록을 변경하여 한 환자의 데이터를 다른 환자와 연관시켰습니다. 온라인 상점에서는 고객에게 잘못된 제품을 보여주도록 AI를 속였습니다.

“반면, 우리의 연구는 일반 사용자처럼 에이전트와 상호작용하는 것만으로도 공격이 가능하다는 것을 보여줍니다.”라고 Xiang씨는 The Register에 보도했습니다. “어떤 사용자도 다른 사용자의 작업 수행에 쉽게 영향을 줄 수 있습니다. 따라서 우리의 공격은 LLM 에이전트에 대한 실질적인 위협이라고 말할 수 있습니다.”라고 그는 덧붙였습니다.

이 공격은 기존의 AI 보안 조치를 우회하기 때문에 특히 우려스럽습니다. 연구자들은 95%의 성공률로 오해를 불러일으키는 정보를 주입하였는데, 이는 AI 개발자들이 해결해야 할 심각한 취약점입니다.

메모리를 가진 AI 모델이 점점 더 흔해짐에 따라, 이 연구는 챗봇을 조작하고 사용자를 오도하는 악의적인 행위자들로부터 보호하기 위한 더 강력한 보호 조치가 필요함을 강조하고 있습니다.