MIT 연구자들, AI가 생성한 컨텐츠의 검증을 위한 “ContextCite” 개발

MIT의 컴퓨터 과학 및 인공지능 연구소 (CSAIL)의 연구자들이 AI가 생성한 컨텐츠의 신뢰성을 향상시키는 데 목표를 두고 있는 ContextCite라는 도구를 발표하였습니다.

AI 시스템이 의존하는 자료의 출처를 추적하고 잠재적 오류의 기원을 확인함으로써, ContextCite는 대규모 언어 모델(LLMs)의 신뢰성을 평가하는 새로운 방법을 제공합니다.

AI 시스템들은 대개 외부 소스를 이용해 응답을 생성하지만, 오류를 발생시키거나 정보를 완전히 만들어낼 수도 있습니다. ContextCite는 AI의 답변에 영향을 미친 소스의 정확한 부분을 강조함으로써 이를 해결합니다.

예를 들어, 어시스턴트가 문맥을 잘못 해석하여 모델이 1조 개의 파라미터를 가지고 있다고 잘못 주장한 경우, ContextCite는 오류에 기여한 특정 문장을 파악하는 데 도움을 줍니다.

MIT 박사과정 학생이자 주 연구원인 벤 코헨-왕이 MIT 보도자료에서 “AI 보조 도구는 정보를 종합하는 데 매우 유용할 수 있지만, 그래도 여전히 실수를 범한다.”라고 설명하고 있다.

“현재의 AI 보조 도구들은 종종 원문 링크를 제공하지만, 사용자들이 실수를 찾아내기 위해 일일이 기사를 검토해야 한다. ContextCite는 모델이 사용한 특정 문장을 직접 찾아내는 데 도움을 줄 수 있어, 주장을 검증하고 실수를 찾아내는 것이 더 쉬워진다.”라고 그는 덧붙였다.

이 도구는 “컨텍스트 제거”라는 방법을 사용합니다. 이 방법은 외부 컨텍스트의 일부를 체계적으로 제거하여 AI의 반응에 중요한 부분이 어떤 것인지를 확인하는 방법입니다. 이 접근 방식은 연구자들이 까다로운 분석 없이 가장 관련 있는 소스 자료를 효율적으로 식별할 수 있게 합니다.

ContextCite는 더 넓은 응용 분야를 가지고 있으며, 이에는 불필요한 정보를 제거함으로써 응답 정확성을 향상시키고 “중독 공격”을 탐지하는 것이 포함됩니다. 이러한 공격은 신뢰할 수 있는 소스에 잘못된 주장을 포함시킴으로써 AI 출력을 조작하는 것을 의미합니다.

이 도구는 잘못된 응답을 그 출처까지 추적하여 잘못된 정보의 확산을 완화하는 데 도움이 될 수 있습니다.

그러나 이 연구자들은 ContextCite가 한계를 가지고 있다고 말합니다. 현재 시스템은 여러 추론 패스를 필요로 하며, 이로 인해 그 응용을 늦출 수 있습니다. 또한, 복잡한 텍스트에서 문장들의 상호의존성은 특정 영향을 분리하는 것을 어렵게 만들 수 있습니다.

연구자들은 이러한 도전을 해결하고 그 과정을 간소화하기 위해 도구를 개선하는 작업을 진행하고 있습니다.

LangChain의 CEO인 Harrison Chase는 이 도구가 LLM 애플리케이션을 구축하는 개발자들에게 중요하다고 생각합니다. 그는 결과물이 실제로 데이터에 기반을 두고 있는지 확인하는 것이 중요하지만 자원이 많이 필요한 작업이라며, ContextCite 같은 도구들이 이 과정을 간소화할 수 있다고 지적했습니다.

알렉산더 매드리, CSAIL 주요 연구자는 신뢰할 수 있는 AI 시스템의 중요성을 강조하였습니다. ContextCite는 이러한 필요성을 해결하는 한 가지 방법을 대표하며, 특히 AI가 정보 처리와 종합에 있어 중추적인 역할을 계속해서 수행함에 따라 그 중요성이 더욱 부각되고 있습니다.