序列建模基礎
4 篇精讀筆記
從經典 encoder–decoder 與 self-attention 架構出發，建立判讀序列轉換論文的底座。
讀者問題
一個序列模型的控制點改在哪裡，哪些證據仍值得帶進今天的系統？
READING LIBRARY
深入讀這個議題
目前收錄在這個研究議題下的所有論文精讀。
-
Attention Is All You Need 精讀：Transformer 與自注意力機制
中階 先建立方法閱讀底座解讀 Transformer 原始論文的多頭自注意力、位置編碼與編碼器－解碼器架構，並解析機器翻譯實驗、訓練效率與方法限制。
90 秒掌握這篇論文
-
InstructGPT 論文精讀：RLHF 與人類回饋的指令對齊
中階 先建立方法閱讀底座InstructGPT 如何用示範微調、reward model 與 PPO 讓 GPT-3 更符合人類偏好；並解讀偏好勝率、標註分佈與安全評測涵蓋的範圍。
90 秒掌握這篇論文
-
推測解碼（Speculative Decoding）論文精讀：大小模型協作加速推論
中階 先建立方法閱讀底座Speculative decoding 如何讓小模型先打草稿、目標模型平行驗證，再用 rejection sampling 保持輸出分佈；並拆解加速成立的條件與成本。
90 秒掌握這篇論文
-
RAG 論文精讀：檢索增強生成的架構與運作原理
中階 理解檢索、記憶與 Production RAG回到 RAG 原始論文，理解 dense retriever 如何與 BART 聯合生成、RAG-Sequence 與 RAG-Token 的差別，以及這套方法和現代 RAG 平台的邊界。
90 秒掌握這篇論文
歡迎演講、企業內部技術分享與架構交流；可以先查看我適合分享的主題與公開工程成果。
演講與聯絡