What is Yandex YaLM?
YaLM 100B est un réseau neuronal de type GPT pour la génération et le traitement de texte. Il peut être utilisé librement par les développeurs et les chercheurs du monde entier.
Le modèle exploite 100 milliards de paramètres. Il a fallu 65 jours pour entraîner le modèle sur un cluster de 800 cartes graphiques A100 et 1,7 To de textes en ligne, de livres et d'innombrables autres sources en anglais et en russe.
Les détails de la formation et les meilleures pratiques en matière d'accélération et de stabilisation peuvent être trouvés dans les articles de Medium (anglais) et de Habr (russe).
Ils ont utilisé DeepSpeed pour entraîner le modèle et se sont inspirés de l'exemple Megatron-LM. Cependant, le code de ce dépôt n'est pas le même que celui qui a été utilisé pour entraîner le modèle. Il s'agit plutôt d'un exemple de code du dépôt DeepSpeed avec des modifications minimales nécessaires pour déduire le modèle.
Le modèle exploite 100 milliards de paramètres. Il a fallu 65 jours pour entraîner le modèle sur un cluster de 800 cartes graphiques A100 et 1,7 To de textes en ligne, de livres et d'innombrables autres sources en anglais et en russe.
Les détails de la formation et les meilleures pratiques en matière d'accélération et de stabilisation peuvent être trouvés dans les articles de Medium (anglais) et de Habr (russe).
Ils ont utilisé DeepSpeed pour entraîner le modèle et se sont inspirés de l'exemple Megatron-LM. Cependant, le code de ce dépôt n'est pas le même que celui qui a été utilisé pour entraîner le modèle. Il s'agit plutôt d'un exemple de code du dépôt DeepSpeed avec des modifications minimales nécessaires pour déduire le modèle.
More information on Yandex YaLM
Launched
2023
Pricing Model
Free
Starting Price
Global Rank
Country
Month Visit
<5k
Tech used
Yandex YaLM was manually vetted by our editorial team and was first featured on September 4th 2024.
Yandex YaLM Alternatives
Plus Alternatives-
YandexGPT 2, un modèle linguistique d’IA, a démontré des améliorations notables dans la modélisation du langage, mais peut encore fournir des réponses et des suggestions qui ne sont pas fondées
-
GPT-NeoX-20B est un modèle de langage autorégressif à 20 milliards de paramètres entraîné sur Pile à l'aide de la bibliothèque GPT-NeoX.
-
Alfred-40B-0723 est une version affinée de Falcon-40B, obtenue grâce au renforcement de l'apprentissage d'Huma
-
Formation de recherche en cours sur les modèles de transformateur à grande échelle
-
Le projet TinyLlama est une initiative d'entraînement préalable d'un modèle Llama de 1,1 milliard sur 3 000 milliards de jetons.