새로운 MIT 도구, AI 모델 응답의 검증 향상

MIT에서 최근 발표한 연구에 따르면, 대형 언어 모델(LLM)이 생성한 응답의 검증 과정을 개선하려는 목표로 SymGen이라는 도구를 개발하였습니다. 이 시스템을 통해 사용자는 AI가 참조한 데이터를 추적할 수 있으며, 이로 인해 출력 결과의 신뢰성이 향상될 수 있습니다.

LLM은 그 고급 기능에도 불구하고 종종 부정확하거나 뒷받침되지 않은 정보를 생성하는데, 이를 ‘환영 현상’이라고 합니다.

이는 의료와 금융과 같은 고위험 분야에서 도전 과제를 제기합니다. 여기서는 인간 팩트 체커가 종종 AI가 생성한 정보를 검증하는 데 필요합니다. 공지에서 언급한 것처럼, 전통적인 검증 방법은 사용자가 긴 문서를 탐색해야 하므로 시간이 많이 소요되고 오류에 취약할 수 있습니다.

이는 특히 의학 분야에서 AI의 중요성이 증가함에 따라 더욱 관련이 있습니다. 예를 들어, NHS는 최근 X-선에서 골절 탐지를 향상시키기 위해 AI 기술 사용을 시작하는 데 대한 승인을 받았습니다.

SymGen은 데이터베이스의 특정 셀 등 원본 자료를 직접 인용하는 응답을 생성할 수 있도록 함으로써 이러한 도전을 해결하고 있습니다. 이는 MIT 보도 자료에서 보도되었습니다.

사용자는 AI의 응답에서 강조 표시된 텍스트 위로 마우스를 올려서 해당 텍스트 부분을 구성하는 기본 데이터를 빠르게 접근할 수 있습니다. 이 기능은 사용자가 응답의 어떤 부분이 추가 검증이 필요한지 파악하는 데 도움을 주는 것이 목표입니다.

전기공학 및 컴퓨터 공학 석사과정인 Shannon Shen은 SymGen에 관한 연구의 공동 주저자로서, 보도 자료에서 “사람들이 텍스트의 일부에 더 집중해야 할 부분을 선택적으로 집중할 수 있는 능력을 제공한다”고 밝혔습니다.

이 기능은 제시된 정보를 보다 자세히 검토할 수 있게 함으로써 모델의 출력에 대한 사용자의 신뢰도를 향상시키는 것을 목표로 하고 있습니다.

사용자 연구에서 SymGen이 표준 절차에 비해 검증 시간을 약 20% 줄였다는 것이 나타났습니다. 이러한 효율성은 임상 기록 생성이나 재무 보고서 요약 등 다양한 상황에서 유익할 수 있습니다.

현재의 검증 시스템들은 종종 인용 생성을 사후 고려사항으로 봅니다, 이는 비효율성을 초래할 수 있습니다. Shen은 생성 AI가 사용자 작업을 간편하게 할 목적이지만, 번거로운 검증 과정이 그 가용성을 저해한다고 지적했습니다.

이 도구는 사용자들이 표나 관련 통계와 같은 구조화된 형식으로 데이터를 제공하도록 요구함으로써 작동합니다. 응답을 생성하기 전에, 이 모델은 심볼릭 표현을 만들어, 텍스트의 부분들을 그들의 원 데이터와 연결시킵니다.

예를 들어, “Portland Trail Blazers”라는 언급이 있을 때, 이 모델은 입력 표의 해당 셀을 인용해, 사용자들이 정보의 원천을 추적할 수 있게 합니다. 이것은 보도자료에서 언급되었습니다.

그러나 이 기사에서는 SymGen의 효과가 원본 데이터의 품질에 따라 달라진다고 지적하고 있습니다. 만약 모델이 잘못된 변수를 참조하면, 인간 검증자들은 이런 오류를 감지하지 못할 수 있습니다.

현재 이 시스템은 표 형식의 데이터에 한정되어 있지만, 연구팀은 다양한 텍스트 형식과 데이터 타입을 다룰 수 있도록 그 기능을 확장하는 작업을 진행 중입니다. 미래의 계획은 SymGen을 임상 설정에서 테스트하여 AI가 생성한 의료 요약에서의 오류를 식별하는 잠재력을 평가하는 것입니다.

이 연구는 AI 기술이 다양한 분야에 점점 더 통합되면서 그 신뢰성과 책임감을 강화하는 데 지속적으로 기여하는 것을 목표로 합니다.