[AI News #11] 최초의 프론티어 레벨의 오픈소스 LLM: Llama 3.1

주요 내용:최초의 프론티어 레벨의 오픈소스 LLM(Llama 3.1 405B)이 등장했으며, Closed Source 모델에 필적하는 SOTA 성능을 갖추고 있다.Meta의 이전 모델(Llama 3)과의 차이최신 모델은 문맥 길이(context length)를 8k에서 128K로 확장하였다. 그리고 영어에만 능숙했던 이전 모델과 달리 8개 언어를 지원한다. 또한 새롭게 405B 모델을 만들었으며, 15조개 이상의 토큰을 학습시켰다. 또한 70B와 8B 모델은 405B 모델을 활용하여 post-training을 진행하였다.타 모델(GPT 4, GPT 4 Omni, Claude 3.5 Sonnet)과의 차이타 모델의 경우 파라미터 크기나 아키텍쳐, 학습 데이터의 사이즈 등 많은 부분이 공개되지 않아 직접적인..

2024.07.29