MemGPT 深度精讀
系列 · 1 篇
-
MemGPT：把 context 當記憶體分頁，但不能把 OS 比喻當成企業記憶層
中階 Agent Runtime、安全與評測精讀 Packer et al. arXiv:2310.08560 v2：把有限 context 當 RAM，用 OS 式階層與函式分頁管理外部記憶。DMR 上 GPT-4 從 32.1% 到 92.5%；Nested KV 顯示多跳查詢，但不等於治理型記憶庫。
90 秒掌握這篇論文
- 問題
- 固定長度 context window 讓長對話與長文件分析很快撞牆；直接把 transformer context 拉長成本二次成長，而且長視窗仍可能用不好中間段資訊。
- 核心洞見
- 不要先追求「更大的 RAM」。把 LLM 的 prompt tokens 當成主記憶體（main context），把對話歷史與文件庫放在外部記憶（external context），再用函式呼叫決定寫出、取回、驅逐——像 OS 的虛擬記憶體分頁。
- 最強證據
- Deep Memory Retrieval（Table 2）上，GPT-4 固定視窗正確率 32.1%、+MemGPT 92.5%；GPT-4 Turbo 35.3% → 93.4%。Nested KV（Figure 7）上，固定視窗模型在更深巢狀層級崩到 0%，MemGPT+GPT-4 能持續多跳查詢。
- 主要邊界
- 系統依賴模型的工具／函式呼叫保真度；分頁策略本身是 agent 決策，可能寫錯或丟掉關鍵事實；實驗是對話一致性與合成／抽樣文件任務，不是帶 ACL、稽核、rollback 的企業記憶層。後續 Letta 產品化也不等於這篇論文的實驗工件。
歡迎演講、企業內部技術分享與架構交流；可以先查看我適合分享的主題與公開工程成果。
演講與聯絡