연구자들, OpenAI와 DeepSeek에 버금가는 AI 모델을 단돈 50달러에 구축하다

스탠포드와 워싱턴 대학의 AI 연구팀이 클라우드 컴퓨팅 비용이 $50 미만으로 고성능 AI 추론 모델을 훈련시켰다고 연구 논문에서 지난 금요일 발표했습니다. 이는 처음으로 TechCrunch에서 보도되었습니다.

s1이라는 이 모델은 수학과 코딩 테스트에서 OpenAI의 o1과 DeepSeek의 R1 같은 고도의 추론 AI와 동등한 성능을 발휘합니다. 이는 GitHub에서 자유롭게 이용할 수 있으며, 훈련 데이터와 코드도 함께 제공됩니다.

s1을 개발하기 위해, 연구자들은 기존에 존재하는 AI 모델을 사용하고, 그것을 정제하는 과정인 디스틸레이션(distillation)을 사용하여 미세 조정했습니다. 이 방법은 더 고급 AI의 답변을 훈련시키는 것으로부터 추론 능력을 추출합니다.

팀은 s1이 Google의 Gemini 2.0 Flash Thinking Experimental model로부터 디스틸레이션된 것이라고 밝혔습니다.

연구자 그룹이 까다로운 수학과 논리 문제를 해결하는 데 OpenAI의 o1-preview와 경쟁할 수 있는 오픈소스 AI 모델을 개발했습니다. 그들의 비밀? 답변을 내기 전에 AI에게 더 많은 시간을 주는 간단한 방법입니다.

“버짓 포싱”이라는 이 방법은 AI가 문제를 해결할 때 답변을 서두르는 대신 추가적인 단계를 거치도록 만듭니다. 스스로에게 더 많은 시간을 주면 AI는 자신의 작업을 다시 확인하고 정확성을 향상시킬 수 있습니다.

해당 팀은 신중하게 선택된 1,000개의 예시 질문과 단계별 설명을 이용해 s1-32B라는 모델을 훈련시켰습니다.

이 작은 데이터셋에도 불구하고 이 모델은 복잡한 수학 테스트, 예를 들어 MATH와 AIME24에서 OpenAI의 o1-preview를 뛰어넘는 성과를 보였으며, 결과를 최대 27%까지 향상시켰습니다. 더욱 놀라운 점은, 추가 훈련 없이 단순히 답변을 확정하기 전에 조금 더 생각하는 것만으로도 테스트 점수를 50%에서 57%로 끌어올렸다는 것입니다.

이것은 대단한 문제입니다. 왜냐하면 대부분의 AI 개선은 새로운 훈련 데이터의 방대한 양에 의존하기 때문입니다. 그러나 이 연구는 많은 AI 모델들이 이미 강력한 추론 능력을 갖추고 있음을 보여주며, 그것을 발휘하기 위해선 적절한 기법만 필요하다는 것을 제안합니다.

이 연구는 또한 AI의 사고 시간을 연장하는 다양한 방법을 테스트했습니다. 한 가지 방법은 AI가 답변을 단계별로 정교화하는 것이었고, 다른 하나는 한 번에 여러 가능한 답변을 생성하고 최선의 답변을 선택하는 것이었습니다. 두 가지를 결합한, 나무와 같은 결정 과정을 사용하는 것이 가장 효과적이었습니다.

이 기법에는 한계가 있습니다 – 예를 들어 AI의 계산을 위한 메모리 공간 같은 것 – 하지만 연구자들은 앞으로 더욱 개선을 가하면 이 기법의 능력을 더욱 발전시킬 수 있다고 믿습니다. 또한, AI가 시행착오를 통해 배우는 강화 학습 방법이 시험 시간의 생각을 더욱 똑똑하게 만들 수 있을 것이라고 제안하고 있습니다.

이 팀은 모델과 연구 결과물을 무료로 공개함으로써, 더욱 개방적이고 투명한 AI 개발을 장려하고자 합니다. 이를 통해 다른 사람들이 더욱 똑똑하고 신뢰할 수 있는 AI 시스템을 구축하는 데 도움이 될 것이라고 기대하고 있습니다.