?近日,中國電信廣東公司聯合中國電信研究院,在智算網絡領域實現重大技術突破,成功完成 Deepseek-671B 滿血版長距跨數據中心(DC)分布式無損智算推理網絡的技術驗證驗證。該成果為企業(yè)按需擴容算力及推理數據本地化存儲提供了突破性的技術解決方案,標志著中國電信在智算網絡技術創(chuàng)新上邁出關鍵一步。?
圖1 中國電信廣東公司跨DC分布式無損智算推理試驗環(huán)境
本次實驗將推理的Prefill任務放在邊緣節(jié)點執(zhí)行,部署少量算力,模擬企業(yè)園區(qū)數據中心,將推理的Decode任務放在云上,部署更多的算力,云、邊之間通過KV Cache進行協同,有效降低推理服務成本,提升邊緣節(jié)點的推理服務體驗。本次實驗基于昇騰PD分離的大 EP 推理架構,對 DeepSeek 671B 滿血版模型開展壓力驗證,系統(tǒng)評估了 8:1、32:1、64:1 三種帶寬收斂比下的運行表現。結果顯示,憑借智算無損網絡低延遲、高吞吐的特性,結合 PD 分離架構設計,即使在帶寬收斂比64:1、百公里級長距拉遠場景下,TTFT、TPOT、Throughput三個關鍵指標可以達到同DC場景的99%,仍能充分滿足推理服務的 SLA 要求,既保障遠端算力資源穩(wěn)定高效支持企業(yè) AI 推理任務,又嚴格滿足數據不出園區(qū)的安全要求。?
這一技術突破為企業(yè)算力部署模式帶來革命性變革。依托智算無損網絡,企業(yè)僅需在園區(qū)部署少量算力服務器結合云端海量的算力資源,即可實現算力資源的靈活調用,有效降低硬件投入成本,突破物理空間限制。而 PD 分離架構則通過數據與處理分離的創(chuàng)新設計,全方位保障數據在傳輸與處理過程中的安全性,為企業(yè)核心數據資產筑牢安全防線。? 此次驗證的圓滿成功,不僅彰顯了中國電信在智算網絡領域的技術實力,更為 AI 技術的普及應用奠定了堅實基礎。未來,中國電信將持續(xù)深化與行業(yè)伙伴的合作,加速智算網絡技術創(chuàng)新與落地實踐,全力助推企業(yè)數字化轉型,為數字經濟高質量發(fā)展注入強勁動能。(陳新豪)
(責任編輯:楊丹丹)
???????????????????????????????????????????????????????運營商財經(官方微信公眾號yyscjrd)—— 主流財經網站,一家全面覆蓋科技、金融、證券、汽車、房產、食品、醫(yī)藥、日化、酒業(yè)及其他各種消費品網站。