集成學習-GBDT實戰指南：以鐵達尼號數據為例
結構化數據的最強戰力對比：一篇文章看懂 GBDT 三巨頭的優劣差異、適用場景與實測性能。
WRITTEN BY
- Name
- Harry Chang
演算法的進化：
在機器學習的實戰中，如果你處理的是表格數據（結構化數據），那麼你絕對繞不開這三位「龍神」：XGBoost、LightGBM 與 CatBoost。與其分開學習，不如將它們放在一起，看看這三場進化論中，誰才是真正的王者。
一、 演算法進化圖：GBDT 的三國演義
這份技術演進路徑展示了我們如何從單兵作戰，走向三神爭霸的巔峰：
- [單兵] 決策樹 (The Atom)：最基礎的判斷單元。一個人做決定，邏輯清晰但力量單薄。
- [軍團] 隨機森林 (The Army)：透過 Bagging（平行運算），讓成百上千個「單兵」進行投票。人多好辦事，穩定性高。
- [龍神] GBDT 三巨頭：透過 Boosting（序列學習），每一棵樹都在專門解決前面留下的錯誤，追求極致性能。
💡 技術小學堂：Bagging vs. Boosting
- Bagging (隨機森林)：像是「全民投票」。找 100 個普通人來投票，用群眾壓力抵消掉個別人的偏見。這叫 平行運算。
- Boosting (XGB/LGB/CAT)：像是「精英教育」。第一棵樹先學，學不會的「殘差」，交給第二棵樹專門攻堅。這叫 序列學習。
二、 突破 82% 魔咒：為什麼要換武器？
在 [ML-004] 中，我們用隨機森林拿到了 82.3% 的優異分數。對於大多數開發者來說，這已經是終點。但對於追求巔峰的資料科學家來說，挑戰才剛開始。
為了擠出最後的精準度，我們換上了「龍神」XGBoost：
- 隨機森林 (Day 04)：82.3% (軍團投票，達到穩定平台)。
- XGBoost (Day 64)：84.92% (龍神降臨，成功擊碎天花板)。
IMPORTANT
戰績報告：透過精細的參數調整，XGBoost 成功將鐵達尼號的正確率推升至 84.92%。這 2% 的差距，在頂級競賽中往往就是冠軍與落選的分水嶺。
三、 三國鼎立：GBDT 三巨頭對比
在實戰中，我們不應該只會一種武器。以下是三巨頭的戰力對比：
| 特性 | 🔥 XGBoost (龍神) | ⚡ LightGBM (閃電) | 🐱 CatBoost (神偷) |
|---|---|---|---|
| 生長方式 | Level-wise (水平生長) | Leaf-wise (垂直生長) | Symmetric (對稱生長) |
| 核心優勢 | 發展最成熟、調參最靈活 | 極速推理、內存占用極低 | 自動處理類別特徵、預設強 |
| 適用場景 | 需要極致穩定的精準度 | 百萬級以上的巨量數據 | 含有大量文字/分類標籤 |
| 缺點 | 大數據下運算較慢 | 容易在小數據上過擬合 | 安裝與訓練較吃資源 |
四、 巔峰對決：XGBoost vs. LightGBM 實測
我們讓這兩大巨頭在 Titanic 資料集上直接碰撞，觀察它們的行為差異。
1. 學習曲線對決 (Learning Curve)
透過 Log Loss 的軌跡，我們可以看到它們進步的節奏：
圖 A：GBDT 雙雄學習路徑對比
- 「開局即巔峰」：紅線 (XGB) 與藍線 (LGB) 在前 20 棵樹內就抓住了生存預測的大局。
- 微操的勝利 (Leaf-wise)：你會發現藍線 (LightGBM) 在後期始終略微低於紅線。這是因為它優先發展貢獻最大的分支，在某些細節特徵上更為敏銳。
2. 訓練耗時對比 (Efficiency)
即便數據量不到 1,000 筆，效率的差異依然顯著：
圖 B：訓練耗時對比 (秒)
- 反直覺的真相：在極小數據下，LightGBM 的建立索引開銷反而讓它比 XGBoost 慢。這提醒我們：沒有最強的演算法，只有最適合場景的武器。
五、 進階奧義：Stacking 模型融合 (The Meta-Army)
在演進圖的最末端，你會看到一個名為 Stacking 的終極階段。如果說 XGBoost 是讓一個模型達到極致，那麼 Stacking 就是組建一支 「復仇者聯盟」。
什麼是 Stacking？ (鐵達尼號專家會診)
想像你在決定一位乘客的生死時，請出了三位風格迥異的「專家」：
- 第一層：專家群 (Base Models)：
- 專家 A (XGBoost)：專攻複雜的非線性關係（例如：特定年齡與票價的交互影響）。
- 專家 B (邏輯回歸)：專攻大局趨勢（例如：性別與艙等的基礎權重）。
- 專家 C (隨機森林)：負責確保預測的穩定性，過濾極端雜訊。
- 第二層：主治醫師 (Meta-Learner)：
- 這位「主治醫師」不看乘客資料，他只看這三位專家的預測報告。他透過歷史數據發現：「在處理高齡乘客時，專家 A 最準；在處理孩童時，專家 B 比較穩」。
- 主治醫師會根據專家的專長賦予權重，得出 最終的生存機率。
這就是 Stacking 的奧義：它不只集成了數據，更集成了不同演算法的「智慧特質」。
六、 揭開黑盒子：SHAP 可解釋性分析 (The Truth)
演化圖的最後一站是 SHAP。當我們的模型進化到龍神等級時，內部的邏輯會變得像「黑盒子」一樣難以理解。SHAP 的出現，是為了找回被犧牲的 可解釋性。
什麼是 SHAP？ (鐵達尼號生存診斷書)
想像 SHAP 是一場「生存機率的加減法」。假設全船乘客的平均生存率（Base Value）是 38%：
- 乘客 A (Rose - 一等艙女性)：
- 基礎值 38% + 女性(+40%) + 一等艙(+15%) = 預測生存率 93%。
- 乘客 B (Jack - 三等艙男性)：
- 基礎值 38% + 男性(-25%) + 三等艙(-15%) = 預測生存率 0%。
個別化診斷：它不只是看大趨勢，而是能針對「每一個乘客」給出一份詳細的貢獻清單。它讓我們知道，為什麼模型判定這兩個人會有截然不同的命運。
掌握了 SHAP，你就不再只是「使用」模型的人，而是能「解讀」真理的人。
七、 總結：屠龍寶刀的奧義
| 演算法階段 | 代表模型 | 鐵達尼號正確率 | 技術定位 |
|---|---|---|---|
| Stage 1: 單兵 | 邏輯回歸 | ~81.0% | 基礎線性門檻 |
| Stage 2: 軍團 | 隨機森林 | 82.3% | 穩定非線性平台 |
| Stage 3: 龍神 | XGBoost | 84.92% | 極致精準巔峰 |
下一站，我們將離開「森林」回歸「真理」。透過 SHAP 值解析，我們將揭開這些「黑盒子模型」背後的決策機制！