淺談生成式AI對話與Data Center伺服器硬體架構
ChatGPT, DeepSeek, Grok, Claude 這些對話機器人是如何進行運算、邏輯分析後回覆訊息 此文淺談人工智能生成式AI的整體架構及硬體技術 DataCenter 資料中心 上述提到這些大型語言模型，所有的回覆與計算都是全球各地的DataCenter運算結果 DataCenter 資料中心內又是由上百至上千組 伺服器機櫃(Rack) 組合而成，再搭配建築物水電氣網路、光纖通訊、散熱等基礎設施造就一座高科技資料中心 "DataCenter" 。 圖1. xAI Colossus Data Center Compute Hall 伺服器機櫃 Rack Servers 架構 每一個Rack內可能依不同型號或組裝廠有不同的Server組裝設計 若以 NVIDIA 的 GB200 NVL72 Rack 為例 以橫向安裝的方式，每個 Rack 配有 18 個 1U 計算模組（Compute Tray）與 9 個 NVSwitch 模組，彼此藉由 NVLink 技術互相連結。 每一個Compute tray 有2個Bianca Borad 18個tray共有36個 Bianca Borad 每一個Bianca Borad 有2個 Blackwell B200 Chips (晶片) & 1個 Grace CPU 36個Bianca Borad共有72個Blackwell B200 Chips & 36個 Grace CPU晶片 NVLink C2C連接 (這也是取名為NVL72的意涵) 每個B200 Chips 由2個 Reticle-Sized GPUs Die (裸晶) 及4個HBM3e記憶體堆疊封裝，72個Blackwell B200 Chips 共有144個 Die 最新發布但尚未公開細節的 Kyber Rack NVL576 (細節仍待查證) 單一個Rack分為4層 每一層有18個Compute Blade (直放) 總共有72個Blade 每一個Compute Blade 有2個 Rubin Ultra Chips 總共有144個Rubin Ultra Chips 每一個 Rubin Ultra Chips 由4個 Reti...
