새로운 연구에서 AI 모델 DeepSeek-R1이 보안 문제를 일으킨다는 경고

사이버 보안 회사가 AI 모델 DeepSeek-R1에 대한 우려를 표현하였으며, 이는 기업용으로 사용할 경우 중대한 보안 위험을 초래할 수 있다고 경고하였습니다.

2월 11일에 발표된 한 보고서에서 AppSOC의 연구원들은 광범위한 테스트를 통해 발견된 일련의 취약점들을 상세하게 기술했으며, 이들을 인공지능을 의존하는 조직들에게 심각한 위협이라고 설명하였습니다.

이 연구 결과에 따르면, DeepSeek-R1은 여러 보안 영역에서 높은 실패율을 보였습니다. 이 모델은 재일브레이크 시도에 매우 취약하였으며, 종종 유해하거나 제한된 콘텐츠 생성을 방지하기 위한 안전장치를 우회하였습니다.

또한, 프롬프트 주입 공격에 취약하였으며, 이로 인해 적대적인 프롬프트가 정책을 위반하는 방식으로 출력을 조작하거나, 경우에 따라서는 시스템 무결성을 손상시켰습니다.

게다가, 연구 결과에 따르면 DeepSeek-R1은 불안감을 초래할 정도로 빠른 속도로 악성 코드를 생성할 수 있다는 것이 밝혀졌습니다. 이로 인해 그 잠재적인 오용에 대한 우려가 커지고 있습니다.

보고서에서 지적된 다른 문제점들 중 하나는 모델의 데이터셋 출처와 종속성에 대한 투명성 부족으로, 이로 인해 공급 체인의 보안 결함 가능성이 증가하게 됩니다.

연구자들은 또한 모델이 가끔 해로운 또는 불쾌한 언어를 포함한 반응을 생성했다는 것을 관찰했으며, 이는 유해한 결과에 대한 적절한 보호 조치가 부족함을 시사합니다. 더욱이, DeepSeek-R1은 사실이 아니거나 완전히 허구의 정보를 상당한 빈도로 생성하는 것으로 나타났습니다.

AppSOC은 모델에 대한 전반적인 위험 점수로 10점 만점 중 8.3점을 할당했으며, 특히 보안과 준수와 관련된 위험이 높다고 지적했습니다.

해당 회사는 AI 모델을 중요한 업무에 통합하기 전에 조직이 주의를 기울여야 한다고 강조하였습니다. 특히 민감한 데이터 또는 지적 재산을 다루는 경우에는 더욱 그러합니다.

이러한 발견은 AI 산업 내에서 더욱 넓은 우려를 드러내는데, 빠른 발전은 종종 성능을 안전성보다 우선시하게 됩니다. 인공지능이 금융, 건강관리, 국방 등의 부문에서 계속 도입됨에 따라, 전문가들은 위험을 완화시키기 위해 엄격한 테스트와 지속적인 모니터링의 필요성을 강조하고 있습니다.

AppSOC는 AI를 도입하는 회사들이 정기적인 보안 평가를 실시하고, AI가 생성하는 결과물에 대한 엄격한 감독을 유지하며, 모델이 발전함에 따라 취약점을 관리하기 위한 명확한 절차를 수립할 것을 권장했습니다.

DeepSeek-R1이 그 능력 때문에 주목받고 있지만, 이 연구는 보안 위험을 평가하는 것의 중요성을 강조하고 있습니다. 이 경우에 발견된 취약점들은 AI 기술이 부주의한 결과를 예방하기 위해 신중히 조사되어야 함을 재차 상기시킵니다.