Paper 099 ｜對話式問答的基礎：利用 Seq2Seq 與預訓練語言模型進行問題改寫
閱讀 2020 論文 Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models。探討在對話式搜尋中，如何利用模型將包含省略或代名詞的模糊問題，改寫為完整且獨立的查詢語句，這也是現代 Agent 處理連續對話的必備前置作業。
WRITTEN BY
- Name
- Harry Chang
當使用者與 AI 進行連續對話時，常常會使用代名詞（例如：「那它的庫存呢？」）。如果直接拿這句話去搜尋，傳統的檢索系統絕對找不到你要的東西。這篇 2020 年的論文，就是在解決這個痛點。
參考資料
- 論文名稱：Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models
- 出處：arXiv:2004.01909 (2020)
- 領域：對話式檢索（Conversational Retrieval）、RAG
一、論文核心：從對話脈絡重建問題
在多輪對話中，使用者的語句高度依賴上下文（Context-dependent）。這篇論文提出利用 Sequence-to-Sequence (Seq2Seq) 架構結合預訓練語言模型，進行問題改寫（Question Reformulation）。
系統會讀取過去的對話歷史，找出代名詞的指代對象（Coreference Resolution）並補齊省略的資訊（Ellipsis Resolution），將當前簡短模糊的問題，「翻譯」成一句完整、可獨立搜尋的 Query。
二、對企業 LLM Agent 的啟發
這篇論文雖然是 2020 年的研究，但其概念直接命中了目前企業 RAG 系統的痛點。 當業務員對著 Agent 說：「幫我查 A 產品的報價... 那 B 產品呢？」 如果 Agent 沒有做好 Question Reformulation，它只會拿「那 B 產品呢？」去資料庫搜尋，導致完全找不到對應的報價單。
這提醒我們，在設計 Agent 工作流時，**「對話記憶（Memory）與獨立意圖重構」**必須作為進入檢索階段（Retrieval）前的第一道標準防線。
免責聲明： 本文為論文閱讀與技術研究筆記。詳細的模型架構與訓練方式請參閱論文原文。