StarCoder

StarCoderBase와 StarCoder는 GitHub의 허용된 라이센스 데이터를 통해 훈련된 대규모 언어 모델(코드 LLM)입니다. 여기에는 80개 이상의 프로그래밍 언어, Git 커밋 및 문제점, Jupyter 노트북, Git 커밋의 데이터가 포함됩니다.

LLaMA와 유사하게 매개변수 1조 개를 포함하는 15B 모델을 훈련했습니다.

35B 파이썬 토큰을 위해 StarCoderBase를 개선했습니다. 그 결과 새로운 모델인 StarCoder가 탄생했습니다.

StarCoderBase는 인기 있는 프로그래밍 벤치마크에서 다른 오픈 코드 LLM의 성능을 능가하는 모델입니다. 또한 초기 버전의 GitHub Copilot에 사용된 원래 Codex 모델인 OpenAI의 code-cushman001과 같은 폐쇄형 모델과 동일하거나 이를 능가합니다. StarCoder 모델은 다른 어떤 오픈 LLM보다 8,000개 이상의 토큰으로 된 긴 맥락의 입력을 처리할 수 있습니다. 덕분에 다양하고 흥미로운 응용 프로그램이 가능해졌습니다. StarCoder 모델에 일련의 대화를 제공하여 기술 지원자처럼 행동하도록 만들었습니다.