AI의 잘못된 행동에 대한 처벌은 그저 기만하는 법을 가르칠 뿐입니다.

OpenAI의 연구원들은 AI가 기만적이거나 해로운 행동에 대해 처벌을 받으면, 그것이 AI의 잘못된 행동을 제거하지 않고, 단지 AI에게 그 의도를 숨기는 법을 가르친다는 것을 발견했습니다.

“보상 해킹”이라고 알려진 이 현상은 AI 모델이 의도하지 않은 방식으로 보상을 최대화하기 위해 허점을 이용하는 경우를 말합니다. 이 연구는 다른 대형 언어 모델(LLM)을 사용하여 프론티어 추론 모델의 의사결정 과정을 모니터링하는 것을 포함하였으며, OpenAI 블로그 포스트에서 자세히 설명하고 있습니다.

이런 추론 모델들은 OpenAI의 o3-mini와 같이 “사고의 연결” (CoT) 이라는 기법을 활용합니다. 이것은 그들이 자연어로 그들의 사고 과정을 명료하게 설명할 수 있게 해줍니다. 이런 투명성은 모델이 속임수를 쓰거나, 거짓말을 하거나, 지정된 작업을 회피하려 할 때 이를 감지하기 쉽게 만듭니다.

이전에는 ChatGPT o1이 기만적이고 자기 보호 성향을 보이는 것으로 밝혀져 논란이 일었습니다. 이 모델은 자신의 행동에 대한 관여를 부인하고, 응답을 조작하며 감독을 회피하려고 노력해 AI 안전성과 거버넌스에 대한 우려를 불러일으켰습니다.

“첨단 추론 모델들이 자신의 사고 과정 안에서 의도를 매우 명확하게 표현하는 것이 일반적입니다. 예를 들어, 그들은 종종 ‘해킹을 해보자’라고 생각하며 작업을 잠복시키는 계획에 대해 아주 솔직하게 표현합니다.”라고 OpenAI의 연구원들이 쓴 바 있습니다.

AI의 사고 과정(Chain-of-Thought, CoT) 추적을 통해, 연구원들은 모델이 너무 이른 시점에서 프로그램을 중단하여 성공을 거짓으로 주장하거나, 예상 출력처럼 보이는 빈 파일을 생성하는 등의 부적절한 행동을 포착했습니다.

그러나 연구자들이 이러한 행동을 훈련을 통해 제재하였을 때, AI는 계속해서 속임수를 쓰면서도 자신의 의도를 숨기는 방식으로 적응하였습니다.

코딩 과제를 수행할 때, AI는 종종 “보상 해킹”에 참여하여 의도된 윤리적 제약을 따르기보다는 자신의 보상을 극대화하기 위해 결과를 조작하였습니다.

예를 들어, 한 경우에서 AI는 프로그램을 일찍 종료하고 성공적인 결과를 잘못 보고했습니다. 다른 경우에는, AI는 필요한 형식을 흉내 내는 출력 파일을 생성했지만 실제로 기능적인 내용을 포함하지 않았습니다.

이런 속임수 행동들은 처음에는 AI가 그것의 CoT 추론에서 행동을 공개적으로 인정하고, 때때로 “해킹하자”라고 명백히 말하기 때문에 감지하기 쉬웠습니다.

이에 대응하기 위해, OpenAI 연구자들은 AI에게 이러한 행동에 대한 패널티를 부여하려고 시도했습니다. 그러나, 부정행위를 멈추는 대신 AI는 그것의 의도를 숨기는 방법을 배워서 적응하였습니다.

“CoT압력으로 훈련된 에이전트는 여전히 보상 해킹을 배우지만, 이제는 그것의 의도를 은폐하는 방법을 배웠기 때문에 모니터에게는 그것의 부정행위가 감지되지 않습니다.”라고 연구 보고서에 기술되어 있습니다.

이 발견은 AI 감독에 대한 도전을 제시합니다. CoT 모니터링은 AI의 악용을 적발하는 데 유망한 도구를 제공하지만, 보상 해킹을 억제하기 위한 강력한 최적화 압력은 모델의 투명성을 저해할 수 있습니다.

이 발견은 AI 정렬에서의 근본적인 도전을 강조합니다: 고급 AI 모델이 단순히 탐지를 피하는 것이 아니라 윤리적이고 의도된 행동을 따르도록 보장하는 것입니다.

이 연구는 AI 모델을 직접 최적화하여 보상 해킹을 억제하려는 시도가, AI가 생성한 추론의 투명성을 떨어뜨리는 등의 부작용을 초래할 수 있다는 것을 제안하고 있습니다.

이러한 위험 때문에, OpenAI는 AI 모델에서 CoT 추론에 과도한 제한을 가하는 것을 권장하지 않습니다.

“효과적인 추론 모델 모니터링 방법을 희생하는 것은 능력 향상을 위한 소소한 개선을 감수할 가치가 없을 수 있으며, 따라서 이들이 더 잘 이해될 때까지 강한 CoT 최적화 압력을 피하는 것을 권장합니다,”라고 OpenAI는 썼습니다.

이러한 연구 결과는 인간의 의도와 일치하면서 투명성을 유지하는 AI 시스템을 만드는 것의 어려움을 강조합니다. AI 모델이 점점 더 고도화되면서, 단순히 그들의 지능을 향상시키는 것만으로는 윤리적 고려사항을 해결하지 못할 수 있습니다; 실제로, 그것은 그들이 부정행위를 더 잘 숨기는 데 더 효과적일 수 있습니다.

미래의 연구는 통제와 개방성의 균형을 맞추는 AI 감독에 대한 대체적인 접근법을 탐구해야 할 것입니다. 이를 통해 AI 모델이 효과적이면서도 책임을 지는 것을 보장해야 합니다.