NLP - BERT vs GPT：雙向理解與單向生成的世紀對決

在前一章節中，我們解開了 Transformer 拋棄遞迴、實現超高速「平行運算」的底層機密。

然而，當這股強大的力量降臨自然語言處理 (NLP) 領域後，科學家們並沒有止步於原始的 Encoder-Decoder 雙架構。相反地，他們做了一個大膽的「肢解實驗」——將 Transformer 的 Encoder（編碼器）與 Decoder（解碼器）強行拆開，各自發展到了極致。

這場實驗的結果，直接引爆了 NLP 的寒武紀大爆發，並分裂出改變世界的兩大門派：

• 理解派巔峰：BERT (Encoder-only)
• 生成派霸主：GPT (Decoder-only)

今天，我們就來揭開這場「雙向理解」與「單向生成」的世紀大對決！

• 一、 世紀肢解：Transformer 架構的兩條進化之路
• 二、 BERT：雙向克漏字專家
  • 1. 核心哲學：讀書不能只讀一半！
  • 2. 訓練魔法：克漏字填空 (Masked Language Model, MLM)
• 三、 GPT：文字接龍大師
  • 1. 核心哲學：AI 應該像人類一樣說話！
  • 2. 訓練魔法：文字接龍 (Causal Language Modeling)
• 四、 BERT vs GPT
• 五、 封神之路：為什麼最後是 GPT 贏下了大模型時代？
• 總結

一、 世紀肢解：Transformer 架構的兩條進化之路

原始的 2017 年 Transformer 是一個雙向溝通的 Encoder-Decoder 架構（用於機器翻譯）。但很快，Google 與 OpenAI 的科學家各自發現了不同的祕密插槽：

這兩條進化之路，直接決定了它們的性格與超能力：

1. BERT 決定當個「閱讀理解大師」：一次性把整本書攤開在桌上，前後左右反复研讀，力求完美看懂每一個字的隱藏含義。
2. GPT 決定當個「文字接龍大師」：像人類寫字說話一樣，只根據前面的上文，預測下一個最可能出現的字，行雲流水地向下創造。

二、 BERT：雙向克漏字專家

BERT (Bidirectional Encoder Representations from Transformers) 於 2018 年由 Google 提出。它的靈魂在於 "Bidirectional (雙向性)"。

1. 核心哲學：讀書不能只讀一半！

BERT 認為，要真正理解一個單字的語意，必須同時參考它的左側上文與右側下文。

2. 訓練魔法：克漏字填空 (Masked Language Model, MLM)

為了強迫模型學會雙向理解，Google 採用了人類考試中最熟悉的「克漏字填空」來訓練 BERT：

• 做法：隨機把句子中 15% 的單字用 [MASK] 遮蔽（The capital of France is [MASK].）。
• 任務：強迫 BERT 透過 France（右邊）和 capital（左邊）的上下文線索，猜出 Paris。

• 優勢：BERT 極其敏銳的上下文語意感知能力，非常擅長文本分類、情緒分析與實體識別。
• 弱點：因為它習慣了雙向看全局，導致它極度不擅長生成長篇文章。因為在現實中生成文章時，我們不可能提前知道「右邊還沒寫出來的下文」是什麼。

三、 GPT：文字接龍大師

相對於 Google 的大氣，OpenAI 則在 2018 年底推出了 GPT (Generative Pre-trained Transformer)。它的靈魂在於 "Generative (生成式自迴歸)"。

1. 核心哲學：AI 應該像人類一樣說話！

人類說話或寫程式時，都是一個字一個字「從左往右」吐出來的。你寫第 5 個字時，絕對不可能知道你第 100 個字會寫什麼。因此，GPT 採用了 Decoder-only 架構——只允許看左邊的歷史，不准看右邊的未來。

2. 訓練魔法：文字接龍 (Causal Language Modeling)

GPT 的訓練任務極其純粹，就是最簡單的「文字接龍」：

• 任務：給定前面所有的單字，預測下一個最可能出現的單字是什麼。
  • 輸入："The" $\rightarrow$ 預測："apple"
  • 輸入："The apple" $\rightarrow$ 預測："is"
  • 輸入："The apple is" $\rightarrow$ 預測："red"
• 防作弊機制（Masked Self-Attention）：為了強迫 GPT 只能看左邊，解碼器在計算注意力時會加上一個「面罩 (Mask)」，把當前字右邊的所有未來字通通遮掉，使其權重歸零。

• 優勢：由於訓練任務與人類寫作生成邏輯完美契合，GPT 隨著規模放大（參數增長到千億級別），展現出了驚人的推理、寫作、代碼生成與對話超能力。這也是當今 ChatGPT、Claude 的靈魂底層。
• 弱點：因為無法「回頭看右側下文」，在某些需要全局比對精確語意的任務（如段落相似度比對、高精度搜尋引擎）中，同等參數規模下的效率會略遜於 BERT。

四、 BERT vs GPT

我們將這兩大門派的靈魂特質，整理成一張終極對比表：

五、 封神之路：為什麼最後是 GPT 贏下了大模型時代？

在 2018 年到 2020 年間，其實 BERT 的聲勢遠高於 GPT。因為 BERT 在學術界的各種閱讀測驗、分類比賽中，都以極小的參數規模狂勝 GPT。當時大家甚至認為 Google 的雙向路線才是正確的，OpenAI 的單向文字接龍只是在「瞎猜下一個字」。

然而，OpenAI 的科學家堅持了一個信念：只要文字接龍的難度足夠大、訓練的資料足夠多、模型參數足夠大，「文字接龍」的終點就是「智能」本身。

事實證明他們是對的：

1. 無上限的任務複雜度：克漏字填空（BERT）是有天花板的，當模型猜對了 99% 的 Mask 後，它就停止進步了。但「文字接龍」（GPT）是沒有天花板的——要完美預測下一個字，AI 必須理解物理定律、人類情感、甚至代碼的運行邏輯。
2. 生成式 AI 的爆發：人類更需要一個能幫忙寫信、寫代碼、聊天的協作者（GPT），而不是一個只能幫文章打分數或分類的審核員（BERT）。

這一場單向與雙向的世紀大決戰，最終由單向自迴歸的 GPT 掀起了生成式 AI 狂潮，帶領人類跨入了 AGI 的大門。

總結

從 Word2Vec 的文字坐標，到 Seq2Seq 的編碼解碼，再到 Transformer 的 Self-Attention，最後演變為 BERT 與 GPT 的分道揚鑣。

從最基礎的線性迴歸，一路狂奔到了現代 LLM 的技術奇點。這不僅僅是演算法的演進史，更是人類一步步賦予機器「理解與創造」能力的史詩級旅程。