MOSS

10 comments
介紹 MOSS:一個具備 16B 參數、支援中文和英文的開放原始碼語言模型。在單一 GPU 上執行,可進行無縫對話並支援外掛程式。0
訪問

What is MOSS?

MOSS 是一款開放原始碼的對話式語言模型,支援中文、英文與多款外掛。moss-moon 系列模型擁有 160 億參數,可運行於單個 A100/A800 GPU 或兩個 3090 GPU 上,精度為 FP16。它還可在單個 3090 GPU 上運行,精度為 INT4/8。MOSS 基礎語言模型經過約 7 千億個中英文字詞與程式碼字詞的預訓練。它進一步經過對話指令、外掛強化學習和人類偏好訓練來微調,以具備多輪對話能力和使用各種外掛的能力。

More information on MOSS

Launched
2023
Pricing Model
Free
Starting Price
Global Rank
Country
Month Visit
<5k
Tech used
MOSS was manually vetted by our editorial team and was first featured on September 4th 2024.
Aitoolnet Featured banner
Related Searches

MOSS 替代方案

更多 替代方案
  1. ChatGLM-6B 是一款開放的 CN&EN 模型,擁有 6.2B 個參數(目前針對中文問答和對話進行優化)。

  2. 使用 Baichuan-7B 提升您的 NLP 能力——這是個在語言處理與文字生成方面表現優異的開創性模型。探索其雙語能力、多功能應用和令人印象深刻的效能。透過 Baichuan-7B 塑造人機溝通的未來。

  3. JetMoE-8B 在不到 0.1 百萬美元1 的成本下進行訓練,但效能卻超越 Meta AI 的 LLaMA2-7B,而 Meta AI 擁有數十億美元的訓練資源。LLM 訓練可以比一般人想像中便宜許多。

  4. GLM-130B:一個開放的雙語預先訓練模型 (ICLR 2023)

  5. MiniCPM 是由 ModelBest Inc. 和 TsinghuaNLP 開發的 End-Side LLM,不包含嵌入函數的參數只有 2.4B 個(總計 2.7B 個)。