마이크로소프트, 주요 LLM과 경쟁이 가능한 대규모 신규 AI 모델 학습 중

현재 마이크로소프트는 구글과 오픈AI가 개발한 AI 대규모 언어 모델(LLM)과 경쟁할 수 있는 잠재력을 지닌 신규 AI 대규모 언어 모델(코드명 MAI-1)을 개발 중이다.

마이크로소프트가 이렇게 큰 규모의 LLM을 개발하는 것은 자사의 생산성 소프트웨어 제품군에 오픈AI의 기술을 배포할 수 있는 권리를 취득하기 위해 수십억 달러를 투자한 이후로 처음이다.

더 인포메이션(The Information)의 보고서에 따르면 MAI-1의 개발 업무는 구글의 딥마인드(DeepMind)와 인플렉션(Inflection)의 공동 창업자 무스타파 술레이만(Mustafa Suleyman)이 감독하고 있는 것으로 나타났다. 2024년 3월 마이크로소프트는 6억 5,000만 달러의 거래를 통해 인플렉션의 직원 다수를 확보했다.

5월 6일 발표된 보고서에 따르면 MAI-1은 약 5,000억 개의 파라미터를 보유하게 될 것이며, 이는 1조 개의 파라미터를 갖춘 오픈AI의 GPT-4와 700억 개의 파라미터를 갖춘 메타의 라마 3 AI 모델의 중간 정도의 성능이다.

또한 MAI-1에는 더 높은 컴퓨터 성능과 학습 데이터가 필요하기에 마이크로소프트의 이전 소규모 오픈소스 AI(Phi-3 및 WizardLM-2)보다 ‘훨씬 더 크고’ 비싸질 것으로 예상된다.

MAI-1이 인플렉션의 기술과 학습 데이터를 활용할 수는 있지만, MAI-1는 오픈AI 또는 인플렉션에서 개발한 모델이나 기술과는 별개의 모델이다. 프로젝트에 대한 정보를 알고 있는 마이크로소프트 직원들에 따르면 MAI-1은 마이크로소프트에서 내부적으로 완전히 새롭게 개발한 LLM이다.

마이크로소프트는 아직 MAI-1의 정확한 용도를 발표하지 않았으며, 용도는 성능에 따라 달라질 가능성이 있다. 지금까지 마이크로소프트는 모델을 개선하기 위해 엔비디아 GPU를 갖춘 대규모 서버 클러스터를 배정하고 다양한 소스의 데이터를 대량으로 사용해 왔다.

진행 상황에 따라 이달 말 빌드 개발자 컨퍼런스에서 MAI-1이 미리 공개될 수도 있다는 보도가 존재하지만, 아직 확정된 것은 아니다.