微軟推出ZeRO++技術(shù) 可顯著減少AI大模型訓(xùn)練時(shí)間和成本|天天新動(dòng)態(tài)

(資料圖片)

據(jù)微軟官方消息，微軟研究人員日前推出了名為 ZeRO++ 的新技術(shù)，可顯著減少大模型訓(xùn)練時(shí)間和成本。

ZeRO++ 建立在 ZeRO 傳輸技術(shù)基礎(chǔ)上，提供增強(qiáng)的通信策略，可提高訓(xùn)練效率，同時(shí)減少訓(xùn)練時(shí)間和成本。ZeRO++ 可對(duì)權(quán)重進(jìn)行量化，其利用基于塊的量化方法來保持訓(xùn)練精度，這種優(yōu)化的量化過程相對(duì)原始 Zero 傳輸技術(shù)更快更準(zhǔn)確。

微軟研究人員表示，與 ZeRO 相比，ZeRO++ 減少了高達(dá) 4 倍的通信量，提高了訓(xùn)練吞吐量和效率。

標(biāo)簽： 人工智能 大模型訓(xùn)練 大數(shù)據(jù)模型訓(xùn)練

　　 原標(biāo)題：微軟推出ZeRO++技術(shù) 可顯著減少AI大模型訓(xùn)練時(shí)間和成本|天天新動(dòng)態(tài)