ChatGPT의 메모리 취약점: 잠재적 보안 위험

ArsTechnica (AT)는 화요일에 OpenAI의 ChatGPT에 존재하는 취약점에 대해 보여주는 연구를 보도하였습니다. 이 취약점은 공격자가 악의적인 웹 링크를 AI가 확인하게 함으로써 사용자의 장기 기억을 조작할 수 있게 하며, 이는 모든 ChatGPT와의 상호작용을 공격자의 웹사이트로 전송하게 됩니다.

보안 연구원인 요한 레버거는 이 결함을 증명 개념(Proof of Concept, PoC)을 통해 보여주었으며, 이 취약점이 어떻게 이용되어 ChatGPT의 장기 기억에서 데이터를 추출할 수 있는지를 보여주었습니다.

레버거는 ChatGPT의 장기 메모리 기능이 취약하다는 사실을 발견했습니다. 이 기능은 9월부터 널리 사용되고 있습니다.

이 취약점은 “프롬프트 주입”이라는 기술과 관련이 있습니다. 이 기술은 대규모 언어 모델(LLM)인 ChatGPT가 이메일이나 웹사이트와 같은 신뢰할 수 없는 출처에 내장된 지시사항을 따르게 만듭니다.

해당 PoC 취약점 공격은 특히 ChatGPT macOS 애플리케이션을 대상으로 하였는데, 이는 공격자가 웹 링크에 악성 이미지를 호스팅하고 AI에게 그것을 보도록 지시할 수 있었습니다.

링크를 한 번 접근하면, ChatGPT와의 모든 상호작용이 공격자의 서버로 전송되었습니다.

AT에 따르면, Rehberger는 이 결함을 5월에 발견했는데, 이는 바로 OpenAI가 사용자의 나이, 성별, 신념 등의 세부 정보를 미래의 상호작용에 사용하기 위해 메모리 기능을 테스트하기 시작한 직후였습니다.

그는 비공개로 취약점을 보고했지만, OpenAI는 처음에 이를 “안전 문제”로 분류하고 보고서를 종료했습니다.

6월에 Rehberger는 PoC 취약점을 활용해 사용자 입력을 계속해서 원격 서버로 유출할 수 있는 보충설명을 제출하였고, 이에 따라 OpenAI 엔지니어들이 부분적인 수정을 진행하게 되었습니다.

최근의 수정은 이 특정한 데이터 유출 방법을 방지하지만, Rehberger는 프롬프트 주입이 여전히 메모리 도구를 조작하여 공격자가 심어놓은 거짓 정보를 저장할 수 있다고 경고합니다.

사용자들은 의심스러운 또는 잘못된 항목에 대해 저장된 기억을 모니터링하고, 정기적으로 설정을 검토하는 것이 좋습니다.

OpenAI는 메모리 관리 및 삭제, 또는 메모리 기능을 완전히 비활성화하는 방법에 대한 지침을 제공하였습니다.

이 회사는 아직 앞으로 비슷한 공격을 예방하기 위한 보다 포괄적인 조치에 대한 문의에 대답하지 않았습니다.

레버거의 연구 결과는 특히 프롬프트 주입과 조작에 취약할 때 AI 시스템에서의 장기 기억의 잠재적 위험성을 강조하고 있습니다.