DeepSeek“開源周”第二日，DeepSeek宣布開源DeepEP，第一個用于MoE模型訓練和推理的開源EP通信庫。

昨天，DeepSeek則開源了代碼庫Flash MLA，這是針對Hopper GPU優化的高效MLA解碼內核，針對可變長度序列作了優化。

MoE（混合專家架構）和MLA（多頭潛在注意力機制）被認為是DeepSeek以低成本實現杰出表現的核心原因。

簡單理解，MoE架構是由多個專注于垂直技能的專家模型分工協作來實現最終輸出結果，訓練成本和推理成本更低。有消息稱，GPT-4就使用了MoE架構，由8個220B模型組成。但MoE架構的缺點之一是會增加通信成本。

DeepEP通信庫就是針對通信環節的優化，其特點包括：高效、優化的全員溝通；節點內和節點間均支持 NVLink 和 RDMA；用于訓練和推理預填充的高吞吐量內核；用于推理解碼的低延遲內核；原生 FP8 調度支持；靈活的 GPU 資源控制，實現計算-通信重疊。

MLA則是讓模型預測更遠位置的token，從而增強語義理解能力。DeepSeek的Flash MLA專為英偉達Hopper GPU打造了高效MLA解碼內核，特別針對變長序列進行了優化。