ATP 发表于 2024-1-28 11:04:34

英伟达显卡驱动更新的优势:跑模型可以利用共享显存了

昨天碰巧在家跑模型,结果batch_size调的太高了,12G显存根本吃不消,本来以为要显存爆了,没想到发生了以往没看到的场景,共享显存也出现了占用(甚至是几乎满载)


实话说这在以前确实是很难见到了,共享显存无法利用于跑模型。
查了一下发现了英伟达的一篇文章

虽然说用共享显存(实际上就是内存条里抽出来的)速度很慢,但是总比跑不了要好太多了



jyssysz 发表于 2024-1-28 11:39:51

解决了显存不足的最大问题。
这个需求必须得满足。

新空气 发表于 2024-1-28 14:27:18

占用这么多,不用共享好像没显卡能撑得住

ATP 发表于 2024-1-28 15:57:33

新空气 发表于 2024-1-28 14:27
占用这么多,不用共享好像没显卡能撑得住

像真正的大模型都是专业卡来跑了,而且大模型都是多卡并行来训练的,比如一张H100有80GB的显存

新空气 发表于 2024-1-28 16:21:44

ATP 发表于 2024-1-28 15:57
像真正的大模型都是专业卡来跑了,而且大模型都是多卡并行来训练的,比如一张H100有80GB的显存 ...

这天没法聊了{:15:}H100系列显存最高达到188GB,问题是个人谁会买,说不定玩游戏还没我4GB的1050Ti来的爽

ATP 发表于 2024-1-28 17:10:40

新空气 发表于 2024-1-28 16:21
这天没法聊了H100系列显存最高达到188GB,问题是个人谁会买,说不定玩游戏还没我4GB的1050Ti来的爽 ...
玩游戏我强推RX580{:23:}
用过,真的爽

jyssysz 发表于 2024-1-29 20:31:13

ATP 发表于 2024-1-28 17:10
玩游戏我强推RX580
用过,真的爽

只要把RMB花出去,一定很爽。
RMB用的越多,爽点越高。

wtgahz 发表于 2024-2-15 13:13:24

这个需求应该不少人都有   哈哈哈
页: [1] 2 3
查看完整版本: 英伟达显卡驱动更新的优势:跑模型可以利用共享显存了