StarCoder

StarCoderBase和StarCoder是大型語言模型（Code LLMs），是使用來自GitHub的許可的許可數據進行訓練。這些數據包括來自80多種編程語言、Git提交和問題、Jupyter筆記本以及Git提交的數據。

我們為1兆標記訓練了一個15B參數模型，與LLaMA類似。

我們為35B Python標記細化了StarCoderBase。結果是一個我們稱之為StarCoder的新模型。

StarCoderBase是一個在流行的編程基準測試中勝過其他開放代碼LLMs的模型。它還能夠匹配或超越像OpenAI的code-cushman001、最初為早期版本GitHub Copilot提供動力的Codex模型等封閉模型。StarCoder模型能夠處理超過8,000個標記的上下文長度比其他任何開放LLM都長。這允許各種有趣的應用。通過用一系列對話提示StarCoder模型，我們讓它們像技術助手一樣工作。