StarCoder

StarCoderBase と StarCoder は大規模言語モデル (コード LLM) で、GitHub から許可されたデータで訓練されました。これには、80 以上のプログラミング言語、Git コミットとイシュー、Jupyter ノートブック、Git コミットからのデータが含まれます。

LLaMA と同様に、1 兆トークンに対して 150 億パラメータのモデルを訓練しました。

StarCoderBase を 350 億 Python トークンで改良しました。その結果、StarCoder と呼ばれる新しいモデルが生まれました。

StarCoderBase は、人気のプログラミング ベンチマークで他のオープン コード LLM を上回るモデルです。また、OpenAI の code-cushman001 や、GitHub Copilot の初期バージョンを支えたオリジナルの Codex モデルなど、クローズド モデルと同等かそれ以上のパフォーマンスを発揮します。StarCoder モデルは、他のオープン LLM よりも 8,000 トークンを超えるコンテキスト長でより多くの入力を処理できます。これにより、さまざまな興味深いアプリケーションが可能になります。StarCoder モデルに一連のダイアログでプロンプトを出すことで、技術アシスタントのように動作させることができました。