비영리 단체 Ai2, 메타의 라마와 경쟁력 있는 새로운 LLM 발표

비영리 연구 기관인 ‘The Allen Institute for Artificial Intelligence (Ai2)’가 OLMo 2를 출시했습니다. 이것은 이들의 두 번째 오픈 언어 모델로, Meta의 Llama 3.1과 같은 시장에서 선도적인 모델에 버금가는 매우 경쟁력 있는 도구와 기능을 갖추고 있습니다.

마이크로소프트의 공동 창립자인 폴 앨런이 2014년에 설립한 Ai2는 이 모델을 “지금까지 가장 우수한 완전히 개방된 언어 모델”이라고 설명하였습니다.

“우리는 최대 5T 토큰으로 훈련된 새로운 7B와 13B 모델인 OLMo 2를 소개합니다.”라고 웹사이트의 공지사항에서 기관이 전했습니다. “이 모델들은 동일한 크기의 완전히 공개된 모델들과 동등하거나 그보다 더 나아가, 영어 학문 벤치마크에서 Llama 3.1과 같은 열린 가중치 모델들과 경쟁할 수 있습니다.”

OLMo 2는 이번 연도에 출시된 모델의 이전 버전들을 업그레이드한 결과물입니다—Ai2는 올해 2월에 첫 모델인 OLMo를 발표했습니다—학습의 안정성, 사전 훈련, 최첨단의 후 훈련, 그리고 평가 프레임워크를 통한 성능에 중점을 두고 개선하였습니다.

새로운 모델은 현재 영어로만 사용 가능하며, 일반인들이 OLMo 2를 테스트해볼 수 있는 온라인 데모가 공개되어 있습니다.

TechCrunch에 따르면, OLMo 2는 데이터와 도구가 공개적으로 사용 가능하며 테스트를 위해 준비되어 있어 오픈 소스 AI로 간주될 수 있는 기준을 충족합니다.

Ai2는 이 새로운 모델이 유사한 구조를 가진 다른 인기 모델들을 능가할 수 있다는 것을 증명하는 데이터를 공유했습니다.

“OLMo 2 7B와 13B가 지금까지의 최고의 완전 개방형 모델이라는 것을 발견했습니다. 이들 모델은 동일한 크기의 개방형 가중치 모델들을 자주 능가합니다.”라고 조직이 공유한 문서에서 밝혔습니다. “이전의 OLMo 0424 모델에 비해 모든 작업에서 성능이 크게 향상된 것을 관찰할 뿐만 아니라, 특히 OLMo 2 7B는 LLama-3.1 8B를 능가하고, OLMo 2 13B는 전체 훈련 FLOPs가 더 낮음에도 불구하고 Qwen 2.5 7B를 능가합니다.”

알리바바가 새로운 Qwen 2.5 모델을 출시하였습니다. 이 모델은 Ai2가 비교를 위해 고려한 것으로, 9월에 출시되었습니다.