What is MemOS?
大型語言模型(LLM)常面臨記憶保持能力的挑戰,這限制了它們在單次會話或提示視窗之外保留上下文並持續演進的能力。MemOS(記憶體作業系統)是一個工業級的開源框架,旨在解決這項關鍵挑戰。透過將記憶體提升為核心系統資源,MemOS 為 LLM 提供了結構化、持久且可轉移的長期記憶,將它們從靜態生成器轉變為能適應環境、持續學習的數位助理。
主要特色
MemOS 採用分層架構,借鑒了傳統作業系統的設計理念,為 AI 記憶體管理提供了一種全面且系統化的方法。
🧠 標準化 MemCube 統一
MemOS 推出 MemCube,這是一種標準化的封裝,有機地整合了三種不同類型的記憶體:純文字記憶體(上下文/對話歷史)、啟動記憶體(KV Cache 和中間狀態),以及參數記憶體(長期知識和微調資料)。這個統一框架讓模型能夠動態地檢索、更新和組合記憶體,從而支援在不同任務中進行更精確的推理和自適應行為。
🚀 預測性 Memory Scheduling
MemOS 不再等待記憶體檢索,而是採用一種新穎的 Memory Scheduling 典範,其中包含 Next-Scene Prediction 功能。根據上下文線索和任務意圖,排程器會非同步地預測潛在的記憶體需求,並將相關的記憶體片段預先載入到工作上下文中。這大幅減少了回應延遲,優化了 GPU 利用率,並確保了高效且上下文感知的記憶體存取。
🔗 標準化 Memory API 與互通性
該系統為開發者提供了標準化的 Memory API,可將持久性記憶體操作(建立、更新、轉移、回溯)無縫整合到 LLM 工作流程中。這一層支援跨模型和跨會話的記憶體轉移,讓智慧系統能夠在不同的代理、裝置和應用程式之間共享並重複使用上下文和知識。
應用情境
MemOS 支援開發需要連續性、可靠性及個人化的複雜長期 AI 應用程式。
個人化數位助理: 建立真正具備長期記憶的數位助理,能夠持續累積使用者偏好、歷史互動和行為習慣。每次後續互動都能利用更深入、不斷演進的記憶庫,從而提供高度個人化且相關的服務,並隨時間持續提升。
結構化研究與知識管理: 對於研究團隊或企業而言,MemOS 允許結構化、長期保存分散的專案資料、分析結果和筆記。研究人員可以部署智慧助理,這些助理能夠在龐大且持續更新的知識庫中進行動態的多跳檢索,確保研究的連續性和高效率。
高可靠度與可稽核系統: 在金融或法律等追溯性和合規性至關重要的領域,MemOS 提供了記憶體來源追溯和稽核功能。模型推論可以精確地追溯到記憶體系統內的特定知識來源,顯著提升了透明度、可稽核性以及整體系統的可靠度。
獨特優勢
MemOS 提供了可驗證的效能提升和架構穩定性,使其有別於傳統的檢索增強生成(RAG)或基本快取解決方案。
1. 長期推理的頂尖效能
經業界公認的 LoCoMo (Long Conversational Memory) Benchmark 評估,MemOS 在複雜的記憶體任務中展現了卓越的效能:
| 任務類別 | MemOS 分數 | OpenAI Global Memory | 相較於 OpenAI 的提升 |
|---|---|---|---|
| 時間推理 | 73.21% | 28.25% | +159% |
| 多跳檢索 | 64.30% | 60.28% | +6.7% |
| 開放領域 | 55.21% | 32.99% | +67.3% |
| 單跳 | 78.44% | 61.83% | +26.8% |
| 整體準確度 | 73.31% | 52.75% | +38.97% |
MemOS 在**時間推理**(對系統要求最高的任務)方面的顯著領先,驗證了其統一記憶體排程和檢索機制在複雜、長上下文情境下的效率和準確性。
2. 提升效率與詞元節省
預測性排程和優化的檢索框架使 MemOS 僅需顯著較短的上下文長度即可實現高準確度。
MemOS 使用約 1,000 個詞元的上下文長度(Top-K 20)即可達到最佳效能。
相比之下,其他系統通常需要 2,000–4,000 個詞元才能達到相似的準確度水準。
透過最小化精確回想所需的輸入大小,MemOS 大幅降低了編碼成本,減輕了計算負擔,並提升了整體系統吞吐量。
3. 透過 KV Cache 重複使用加速推論
MemOS 在排程情境中能有效管理並重複使用啟動記憶體 (KV Cache)。實驗證明,隨著模型大小和快取上下文長度增加,首詞元生成時間(TTFT)的加速比會顯著提升。在長記憶情境中,TTFT 加速比超過 70%,這證明了記憶體排程層在提升大規模推論任務的解碼效能和整體回應速度方面的價值。
結論
MemOS 為建立真正能夠記憶、適應和演進的智慧系統,提供了重要的基礎。透過提供標準化、工業級的統一記憶體管理和預測性排程框架,MemOS 讓開發者和企業得以在他們的 LLM 應用程式中,實現前所未有的智慧、可靠性和效率。
探索智慧系統的未來:在 GitHub 上了解更多關於 MemOS 的資訊,或註冊即將推出的 Playground 功能,親身體驗其帶來的效能提升。





