share_log

Yandex开源大型语言模型训练工具YaFSDP

Yandex開源大型語言模型訓練工具YaFSDP

金融屆 ·  06/11 05:43

跨國科技公司Yandex最近推出了用於訓練大型語言模型的開源方法YaFSDP。YaFSDP可用於增強GPU通信並減少LLM訓練中的內存使用量,與FSDP相比,其訓練速度提升最高可達26%。YaFSDP方法目前已可以在Github上免費訪問。

声明:本內容僅用作提供資訊及教育之目的,不構成對任何特定投資或投資策略的推薦或認可。 更多信息
    搶先評論