AI 챗봇, 실험에서 의사를 능가하지만 진단 성능은 향상시키지 못해

임상 시험에서 AI 챗봇이 진단 정확성에서 의사들을 능가했지만, 기존의 자원과 함께 사용할 때 성능을 향상시키지는 못했다는 사실이 밝혀졌습니다. 이는 의료 분야에서 AI 통합을 더 잘하기 위한 필요성을 강조하고 있습니다.

The Times는 일요일에 상업적으로 사용 가능한 대형 언어 모델(LLM) 챗봇이 의사의 진단 추론에 미치는 영향에 대한 최근의 임상시험에 대해 보도했습니다.

이 연구에서는 AI 도구가 의사들을 능가했지만, 기존 자원과 함께 사용될 때 진단 성능을 향상시키지는 못했다는 사실을 발견했습니다.

이 결과는 AI를 임상 실무에 보다 효율적으로 통합하는 것이 필요함을 강조하며, 현재 많은 건강 관리 시스템이 의사들에게 충분한 교육 없이 AI 기반 챗봇을 제공하고 있기 때문입니다.

이 무작위 시험에서는 챗봇이 도구에 접근 권한이 있는 의사와 없는 의사 모두를 능가하였지만, 챗봇을 사용하는 의사들의 성과는 그렇지 않은 의사들보다 약간 더 좋았다는 결과를 얻었습니다.

이 연구에서는 LLM을 사용하는 것이 시간적 이점을 가져오지 않았으며, 이는 임상 환경에서 AI 도구의 단순한 존재만으로는 전체 진단 과정을 개선시키지 않을 수 있음을 시사합니다. 예상치 못한 결과로는 LLM의 우수한 성과가 있었는데, 평균 진단 정확도는 90%로 의사들의 74-76%에 비해 높았습니다.

연구자들은 이것이 LLM과 상호작용할 때 잘 만들어진 질문의 중요성을 강조한다고 주장하며, 전문가들은 최선의 질문 방법을 의사들에게 교육하는 것이 도구 사용을 향상시킬 수 있다고 제안하고 있습니다.

해당 논문은 의료 기관들이 AI 도구와 의사들의 전문 지식 사이의 격차를 줄이기 위해 미리 정의된 질문에 투자할 수 있다고 주장하고 있습니다.

AI는 두 번째 의견을 제시하고 복잡한 의사 결정을 돕는 “의사의 보조 도구”로서의 가치를 가질 수 있다는 것이지만, 이 연구의 저자들은 AI를 독립적인 진단 도구로 사용하는 것에 대해 경계를 당부하고 있습니다.

이 연구는 인간 의료진이 준비한 임상 사례를 중심으로 진행되었지만, 실제 진단은 환자와의 상호작용과 데이터 수집 등 더 복잡한 요인들을 포함합니다.

AI는 의사들의 대체품이 아닌 보조 도구로 봐야하며, 특히 챗봇의 맥락 이해력과 감정 지능의 부재가 다양한 임상 환경에서의 적용성을 제한하기 때문입니다.

이 연구는 또한 진단 기술의 더욱 세밀한 평가를 제공하는 새로운 구조화된 반성 도구를 도입하였습니다. 이 도구는 평가자 간에 상당한 합의를 보였으며, AI 연구에서의 진단적 추론 평가를 더욱 발전시켰습니다.

AI가 환자 데이터를 수집하고 요약하는 능력에 대한 초기 연구에서 나타난 유망한 결과에도 불구하고, 전문가들은 AI가 임상 의사결정 과정에 완전히 통합되기 전에 더 많은 연구가 필요하다고 주장하고 있습니다.

이 문제는 AI가 의료 분야에서 더욱 강력한 위치를 차지하면서 중요하게 다뤄져야 합니다. 예를 들어, NHS는 최근 조기 암 진단과 골절 탐지를 위해 AI를 사용하겠다고 발표했습니다. 또한, 세계 경제 포럼은 최근 AI가 전세계적인 정신건강 위기를 해결하는데 도움이 될 수 있음을 제안하였습니다.

결국, 헬스케어 분야에서 AI의 역할을 향상시키려면 보다 신중한 인간-컴퓨터 상호작용 디자인과 임상 환경에서 직면하는 다양한 도전들에 대한 이해가 필요합니다.