share_log

英伟达李曦鹏:黄仁勋认为未来AI模型对推理性能的要求是关注的重点

金融界 ·  23:01

WAIC大会上,英伟达开发与技术部门亚太区总监李曦鹏表示,黄仁勋每周都会关心推理性能的提升,他认为未来AI模型对推理性能的要求是关注的重点。目前英伟达 TensorRT-LLM是最快的推理解决方案,但是团队也发现了更多推理优化的方式,随着一月一次的迭代,相信很快推理成本会再一次降低。

声明:本内容仅用作提供资讯及教育之目的,不构成对任何特定投资或投资策略的推荐或认可。 更多信息
    抢沙发