OpenAI 推出自研推理芯片 Jalapeño 性能領先

OpenAI 於 Hot Chips 2026 會議上發布首款自研推理芯片「Jalapeño」，標誌著該公司在硬件領域的重大突破。此項目由 OpenAI 與博通合作開發，耗時僅 16 個月即完成從組隊至流片，速度在 ASIC 業界屬於極為激進的水準。

在效能基準測試中，Jalapeño 在 SemiAnalysis 的 InferenceX 基準套件上，效能耗電比超越英伟达 Blackwell、Vera Rubin 及谷歌等廠商的芯片。值得留意的是，該芯片未採用業界常見的多 Token 預測技術與投機解碼，且不進行 prefill-decode 分離部署，仍能領先群倫。在 DeepSeek R1 模型上，低並發場景下單用戶每秒達成超過 700 個 Token 的吞吐量。

在架構設計方面，Jalapeño 採取多項創新方案以消除固定延遲。芯片採用權重駐留的脈動陣列作為矩陣引擎，支持更靈活的維度配置，避免大規模脈動陣列在非標準矩陣乘法時的效能斷崖。核心配備乱序執行單元與 L1 緩存，搭配 64 位標量核心及向量核心。內存方面分割為多個切片，每個核心切片擁有獨立的低延遲 HBM 視圖，切片間透過高帶寬集合網絡同步，形成優於 GPU 的內存層次結構。

軟件棧亦是核心競爭力所在。OpenAI 採用基於 Triton 改進的專有語言 Gluon 進行編程，透過內部強化版本的 Codex 自動生成高效內核代碼。該公司聲稱 AI 輔助設計使 SIMD 面積降低 8%，矩陣引擎面積減少 10%。藉助 Codex 的自動生成能力，即使原本缺乏多頭注意力內核實現的情況下，仍能快速產生功能正確且效能優異的內核。

系統層面，Jalapeño 採用三層架構設計（Katsu、Vindaloo、Chana），機架內包含 128 顆芯片，支持級聯至 2048 顆的大規模部署。機架整體功耗約 160 千瓦，網絡拓撲分本地域與全局域兩大區域，提供靈活的擴展能力。

硬件規格方面，Jalapeño 搭載 HBM4 內存，帶寬達每封裝 15.4 TB/s，超越使用 HBM3E 的所有競品。計算芯粒在台積電 N3P 工藝上提供 13.4 PFLOPs 的 MXFP4 運算力，熱設計功耗僅 700 瓦。此外，該芯片效能功耗比優勢源自於不進行 prefill-decode 分離的架構決策，統一系統使每台設備均能服務下一個請求，避免因池子配置錯誤而閒置。

OpenAI 計劃於 2027 年啟動量產，目標部署規模達 100 兆瓦。此項目成功證明，前沿 AI 實驗室可透過極致的軟硬件協同設計，在短周期內推出超越成熟廠商的產品，預示行業對編程模型與通用編譯器的執念可能需要重新審視。