StarCoder

StarCoderBase y StarCoder son grandes modelos de lenguaje (Code LLMs), entrenados con datos de licencias permisivas de GitHub. Esto incluye datos de más de 80 lenguajes de programación, confirmaciones y problemas de Git, Jupyter Notebooks y confirmaciones de Git. Entrenamos un modelo de 15B parámetros para 1 billón de tokens, similar a LLaMA. Refinamos StarCoderBase para 35B tokens de Python. El resultado es un nuevo modelo que llamamos StarCoder. StarCoderBase es un modelo que supera a otros Code LLMs abiertos en pruebas de programación populares. También iguala o supera modelos cerrados como code-cushman001 de OpenAI, el modelo Codex original que impulsó las primeras versiones de GitHub Copilot. Los modelos de StarCoder pueden procesar más entradas con una longitud de contexto de más de 8,000 tokens que cualquier otro LLM abierto. Esto permite una variedad de aplicaciones interesantes. Al solicitar al modelo StarCoder una serie de diálogos, les permitimos actuar como un asistente técnico.