Agent Serving 與記憶體系統

EfficientAgent 精讀：並行 Agent 的 KV Cache Offloading

EfficientAgent 說明 KV cache 從 GPU 搬到 host memory 何時真的划算：關鍵不是單次請求，而是其他並行 Agent 在兩次重用之間形成的 reuse working set。本文拆解容量估算、寫入 admission、SWE-bench replay 結果與硬體邊界。