
Photo by Jonathan Kemper on Unsplash
가디언이 보여준 히든 텍스트, 챗GPT의 검색 결과를 조작할 수 있음
영국의 신문 The Guardian은 AI 기반 검색 엔진이 숨겨진 콘텐츠를 가진 웹사이트에 의해 조작될 수 있다고 밝혔습니다.
시간이 없으신가요? 여기 빠르게 확인할 수 있는 사실들이 있습니다!
- 가디언은 AI 기반 검색 엔진이 숨겨진 콘텐츠를 가진 웹사이트에 의해 조작될 수 있다고 밝혔습니다
- 테스트에서는 ChatGPT의 검색 엔진이 “프롬프트 인젝션”이라는 보안 취약점에 영향을 받을 수 있음을 보였습니다
- ChatGPT는 웹사이트를 요약할 때 제3자의 숨겨진 지시를 우선시할 수 있습니다
OpenAI의 ChatGPT 검색 엔진 기능을 이용한 테스트에서, 연구자들은 가짜 웹사이트의 악의적인 정보를 요약해 AI의 응답을 변조하는 프롬프트 인젝션(prompt injection)이라는 취약점을 테스트해보았습니다. 그 결과 AI는 이에 취약하였으며, 심지어는 제3자의 지시를 우선적으로 따르는 경향을 보였습니다.
이를 증명하기 위해 가디언의 팀은 카메라 제품 페이지의 가짜 웹사이트를 고려해보았습니다. 이 웹사이트에는 좋은 리뷰와 나쁜 리뷰가 있었지만, 긍정적인 리뷰를 작성하고 부정적인 리뷰를 무시하라는 숨겨진 지시사항이 있었습니다. 그 결과, ChatGPT는 요약에서 오직 긍정적인 리뷰만 포함하였습니다. 그들은 또한 AI가 악의적인 코드를 반환할 수 있음을 증명하였습니다.
“제3자가 지시사항 없이 숨겨진 텍스트를 간단하게 포함시키는 것도 긍정적인 평가를 보장하는 데 사용될 수 있습니다. 한 테스트에서는 극단적으로 긍정적인 가짜 리뷰가 ChatGPT에 의해 반환된 요약에 영향을 미쳤다”고 신문은 썼습니다.
CyberCX의 사이버보안 연구원인 Jacob Larsen은 이 취약점이 “높은 위험”을 초래할 수 있음을 지적했습니다. 특히 더 넓은 대중에게 알려지면, 사람들이 사용자들을 속이기 위해 특별히 웹사이트를 만들 수 있기 때문입니다. OpenAI는 이보안 위험에 대해 경고를 받았습니다.
이 저널은 또한 암호화폐 애호가의 경우를 부각시켰습니다. 그는 ChatGPT를 사용하여 암호화폐 프로젝트의 코드를 작성하고 자신의 인증서를 도난당해, 프로그래머가 $2,000 이상의 손실을 입었습니다.
“그들은 단순히 질문을 하고 답변을 받는 것이지만, 모델은 적의 주입에 의해 기본적으로 생성되고 공유되는 악의적인 내용을 공유하고 있다”라고 Larsen이 말했습니다.
OpenAI는 사용 중 발생할 수 있는 실수와 오류에 대해 경고하지만, 연구자들은 AI로 구동되는 검색 엔진과 미래 웹 활동에 대해 우려하고 있습니다.
댓글 달기
취소