Paper-檢索

Paper 012 |不加標註、不換更大模型,只多一個「視角」:讓 T5-large 打平 3.6 倍大的 T5-3B
AI相關Paper-檢索

Paper 012 |不加標註、不換更大模型,只多一個「視角」:讓 T5-large 打平 3.6 倍大的 T5-3B

閱讀 SIGIR 2021 論文 Text-to-Text Multi-view Learning for Passage Re-ranking。如果說上一篇 ai-097(MMLF)管的是檢索的第一段「粗撈」,這篇管的就是第二段「精排(re-ranking)」。它的招數是多視角學習:在原本的「排序視角」之外,additionally 加一個「文字生成視角」(讓模型從段落反推出查詢),兩個目標共享同一個 T5 表徵一起訓練。結果是——不需要更多標註資料、也不用換更大的模型,就讓 T5-large 的精排效果追平參數量大 3.6 倍的 T5-3B。

Read more →