英伟达显卡驱动更新的优势：跑模型可以利用共享显存了

ATP 发表于 2024-1-28 11:04:34

昨天碰巧在家跑模型，结果batch_size调的太高了，12G显存根本吃不消，本来以为要显存爆了，没想到发生了以往没看到的场景，共享显存也出现了占用（甚至是几乎满载）


实话说这在以前确实是很难见到了，共享显存无法利用于跑模型。
查了一下发现了英伟达的一篇文章

虽然说用共享显存（实际上就是内存条里抽出来的）速度很慢，但是总比跑不了要好太多了

jyssysz 发表于 2024-1-28 11:39:51

解决了显存不足的最大问题。
这个需求必须得满足。

新空气 发表于 2024-1-28 14:27:18

占用这么多，不用共享好像没显卡能撑得住

ATP 发表于 2024-1-28 15:57:33

新空气 发表于 2024-1-28 14:27
占用这么多，不用共享好像没显卡能撑得住

像真正的大模型都是专业卡来跑了，而且大模型都是多卡并行来训练的，比如一张H100有80GB的显存

新空气 发表于 2024-1-28 16:21:44

ATP 发表于 2024-1-28 15:57
像真正的大模型都是专业卡来跑了，而且大模型都是多卡并行来训练的，比如一张H100有80GB的显存 ...

这天没法聊了H100系列显存最高达到188GB，问题是个人谁会买，说不定玩游戏还没我4GB的1050Ti来的爽

ATP 发表于 2024-1-28 17:10:40

新空气 发表于 2024-1-28 16:21
这天没法聊了H100系列显存最高达到188GB，问题是个人谁会买，说不定玩游戏还没我4GB的1050Ti来的爽 ...

玩游戏我强推RX580
用过，真的爽

jyssysz 发表于 2024-1-29 20:31:13

ATP 发表于 2024-1-28 17:10
玩游戏我强推RX580
用过，真的爽

只要把RMB花出去，一定很爽。
RMB用的越多，爽点越高。

wtgahz 发表于 2024-2-15 13:13:24

这个需求应该不少人都有 哈哈哈

来源: 萝卜头IT论坛 查看完整版本