文章资料

模型运行慢？AI工程师需要理解的GPU原理

你用了一张48GB显存的GPU，加载一个权重占用20GB显存的模型，服务启动成功，输入提示词后，模型输出却以令人怀疑速度一个一个蹦跶出，这种情况该怎么排查问题所在？

号外保存文章的公开索引信息，正文版权归原作者及发布公众号所有。