연구자들, 오픈소스 AI와 ML 모델에서 보안 결함 발견

최근의 조사로 오픈 소스 AI 및 머신 러닝(ML) 모델에서 30개가 넘는 보안 결함이 발견되었으며, 이로 인해 데이터 도난 및 무단 코드 실행에 대한 우려가 커졌다고 The Hacker News (THN)에서 보도했습니다.

이런 취약점들은 ChuanhuChatGPT, Lunary, LocalAI 등 널리 사용되는 도구에서 발견되었으며, Protect AI의 Huntr 버그 바운티 플랫폼을 통해 보고되었습니다. 이 플랫폼은 개발자들에게 보안 문제를 발견하고 공개하는 것을 장려합니다.

가장 심각한 취약점 중에 두 가지 주요 결함이 Lunary라는 도구에 영향을 미치는데, 이 도구는 제품 환경에서 대규모 언어 모델(LLMs)을 관리하기 위해 설계되었습니다.

첫 번째 결함인 CVE-2024-7474는 불안전한 직접 객체 참조(IDOR) 취약점으로 분류됩니다. 이는 접근 권한이 있는 사용자가 권한 없이 다른 사용자의 데이터를 보거나 삭제할 수 있게 하여, 데이터 유출이나 무단 데이터 손실을 초래할 수 있습니다.

두 번째 중요한 문제인 CVE-2024-7475는 공격자가 시스템의 SAML(Security Assertion Markup Language) 설정을 업데이트할 수 있는 부적절한 접근 제어 취약점입니다.

이 결함을 악용하면, 공격자들은 로그인 보안을 우회하여 개인 데이터에 무단으로 접근할 수 있게 되어, Lunary를 이용하여 LLM을 관리하는 모든 조직에 중대한 위험을 초래하게 됩니다.

Lunary에서 확인된 또 다른 보안 약점, CVE-2024-7473은 공격자가 다른 사용자가 제출한 프롬프트를 업데이트할 수 있게 하는 IDOR 취약점도 포함하고 있습니다. 이는 사용자가 제어하는 매개변수를 조작함으로써, 시스템 내에서 다른 사람들의 상호작용을 방해할 수 있게 만듭니다.

THN이 지적한 바와 같이, ChuanhuChatGPT에서는 중대한 취약점(CVE-2024-5982)이 사용자 업로드 기능의 경로 이동 결함을 공격자가 악용할 수 있게 합니다.

이 결함은 임의의 코드 실행, 디렉토리 생성, 민감한 데이터의 노출을 초래하여 이 도구를 의존하는 시스템에 대해 높은 위험을 초래할 수 있습니다. LocalAI, 사용자가 자체 호스팅된 LLM을 실행할 수 있게 해주는 또 다른 오픈 소스 플랫폼은 THN이 지적한 것처럼 비슷한 보안 위험을 초래하는 두 가지 주요한 결함이 있습니다.

첫 번째 결함인 CVE-2024-6983은 공격자가 해로운 구성 파일을 업로드할 수 있게 하여 악의적인 코드 실행을 가능하게 합니다. 두 번째 결함인 CVE-2024-7010은 해커가 서버 반응 시간을 측정하여 API 키를 추론할 수 있게 해줍니다. 이는 타이밍 공격 방법을 사용하여 키의 각 문자를 점차적으로 유추할 수 있게 합니다, THN이 지적했습니다.

이러한 결과에 대응하여, Protect AI는 대형 언어 모델을 사용하여 파이썬 코드베이스의 취약점을 탐지하는 오픈 소스 파이썬 정적 코드 분석 도구인 Vulnhuntr를 소개하였다고 THN은 밝혔습니다.

Vulnhuntr는 코드를 더 작은 조각으로 분해하여 언어 모델의 컨텍스트 창 제약 내에서 보안 결함을 식별합니다. 이 도구는 프로젝트 파일을 스캔하여 사용자 입력에서 서버 출력까지의 잠재적인 약점을 탐지하고 추적함으로써 AI 코드를 작업하는 개발자들의 보안을 강화합니다.

이러한 발견들은 AI와 ML 시스템의 지속적인 취약점 평가와 보안 업데이트의 중요성을 강조하고 있습니다. 이는 AI 기술의 발전하는 풍경 속에서 신종 위협을 방어하기 위함입니다.