把大模型用在長鏈路、復(fù)雜協(xié)作的供應(yīng)鏈上，是提效最明顯的領(lǐng)域之一。供應(yīng)鏈場景的「釘子」迎來了大模型生產(chǎn)力這把「錘子」。
作為支撐順豐速運背后的供應(yīng)鏈數(shù)智化承載，順豐科技圍繞物流場景的數(shù)智化需求，攜手火山引擎積極探索大模型時代的最佳實踐。
2024年，憑借火山引擎機器學(xué)習(xí)平臺 AI 訓(xùn)推一體服務(wù)，順豐科技推出了針對物流行業(yè)的垂直領(lǐng)域大模型——「豐語」，在順豐的市場營銷、客服、收派、國際關(guān)務(wù)等業(yè)務(wù)板塊的二十余個場景中的落地實踐應(yīng)用。「豐語」系列模型還利用火山引擎 AI 云原生推理套件 ServingKit，實現(xiàn)了從模型部署到推理應(yīng)用全鏈路的提效。
高效訓(xùn)推一體架構(gòu)，打造「豐語大模型」
順豐科技全面擁抱、深度探索 AI 在物流各環(huán)節(jié)中的增長提效。自研的“豐語系列大模型家族”包括豐語語言大模型、豐語語音大模型、豐語多模態(tài)大模型，在順豐科技的市場營銷、客服、收派、國際關(guān)務(wù)等20+業(yè)務(wù)板塊場景中實踐應(yīng)用。
在訓(xùn)練豐語大模型的過程中，順豐科技通過火山引擎機器學(xué)習(xí)平臺，實現(xiàn)從訓(xùn)練到推理的全鏈路加速。
模型訓(xùn)練過程中，火山引擎訓(xùn)練框架 veTuner 幫助「豐語大模型」實現(xiàn)了高性能 Dataloader 的全面適配與集群自動并行，相較開源框架性能提升超30%；
同時，火山引擎強化學(xué)習(xí)庫 veRL 支持 PPO、GRPO、DAPO 等多種算法，最高實現(xiàn)64.9% MFU（內(nèi)存頻率利用率），大大降低了「豐語大模型」的訓(xùn)練成本；
xLLM 推理框架通過 PD 分離部署與動態(tài)流量調(diào)度，將「豐語」大模型的吞吐能力提升最高達5倍，穩(wěn)定應(yīng)對高并發(fā)業(yè)務(wù)高峰。
當(dāng)大模型重塑物流服務(wù)，如何降低推理成本？
與此同時，隨著大模型滲透到物流上下游的各個場景，每天千萬件的訂單信息需要消耗大量的 AI 推理資源。
面對不斷攀高的推理成本，順豐科技利用火山引擎 AI 云原生推理套件 ServingKit ，實現(xiàn)從模型部署到推理應(yīng)用全鏈路的提效。在 DeepSeek V3/R1滿血版的部署上做到順豐同城“即日達”的效率，通過算子融合和鏡像優(yōu)化，在相同 SLO 和上下文輸入長度下大模型吞吐有明顯提升。
2025年，隨著智能體落地按下加速鍵，未來，順豐科技將攜手火山引擎，進一步探索物流場景的 AI 生產(chǎn)力落地。
免責(zé)聲明：市場有風(fēng)險，選擇需謹慎！此文僅供參考，不作買賣依據(jù)。
