https://harrychang.cc/blog Harry Chang 的數位園藝。利用 AI 整理與記錄個人的興趣與知識庫，如果你也有相同興趣，歡迎隨意參觀。 zh-TW ksharry1025@gmail.com (HARRY CHANG) ksharry1025@gmail.com (HARRY CHANG) Wed, 17 Jun 2026 00:00:00 GMT https://harrychang.cc/blog/ai-ml-037-seq2seq https://harrychang.cc/blog/ai-ml-037-seq2seq 傳統的 RNN 結構在處理長文本時容易產生記憶喪失，Bahdanau Attention 的誕生成功突破了這個瓶頸。本篇將深入 Seq2Seq 模型架構，探討 Attention 如何賦予 AI 「重點聚焦」的能力，並以 PyTorch 實作英中翻譯與注意力熱力圖視覺化！ Wed, 17 Jun 2026 00:00:00 GMT ksharry1025@gmail.com (HARRY CHANG) AI相關自然語言 https://harrychang.cc/blog/ai-ml-038-bert-gpt https://harrychang.cc/blog/ai-ml-038-bert-gpt 當 Transformer 的平行運算與 Self-Attention 能力被釋放，科學家們將其 Encoder 與 Decoder 單獨肢解，催生出兩大派系：理解派巔峰 BERT 與生成派霸主 GPT。本篇將深度對決兩大架構、解密雙向與單向的靈魂差異，並看明這場技術大戰如何鋪平了當今 ChatGPT 的封神之路！ Thu, 18 Jun 2026 00:00:00 GMT ksharry1025@gmail.com (HARRY CHANG) AI相關自然語言 https://harrychang.cc/blog/ai-ml-039-lora https://harrychang.cc/blog/ai-ml-039-lora 當大語言模型 (LLM) 參數規模動輒數百億，全參數微調的天價顯示卡門檻讓人望而卻步。LoRA (低秩適應) 技術以「冰封主權重、外掛貼紙矩陣」的低秩分解神技，降低了 99% 的訓練參數！本篇將深入剖析 LoRA 的數學原理，並用 PyTorch 從頭實作一個 LoRA 線性層，親自解密單卡微調大模型的終極祕密！ Fri, 19 Jun 2026 00:00:00 GMT ksharry1025@gmail.com (HARRY CHANG) AI相關自然語言