share_log

英伟达李曦鹏:黄仁勋认为未来AI模型对推理性能的要求是关注的重点

英偉達李曦鵬:黃仁勳認爲未來AI模型對推理性能的要求是關注的重點

金融屆 ·  07/04 23:01

WAIC大會上,英偉達開發與技術部門亞太區總監李曦鵬表示,黃仁勳每週都會關心推理性能的提升,他認爲未來AI模型對推理性能的要求是關注的重點。目前英偉達 TensorRT-LLM是最快的推理解決方案,但是團隊也發現了更多推理優化的方式,隨着一月一次的迭代,相信很快推理成本會再一次降低。

声明:本內容僅用作提供資訊及教育之目的,不構成對任何特定投資或投資策略的推薦或認可。 更多信息
    搶先評論