本地跑模型,选卡先看显存再看算力,这是最大的坑。
AgriTech Forge本地跑模型,选卡先看显存再看算力,这是最大的坑。
Ollama 官方数据:Qwen3 14B 要 9.3GB,30B 要 19GB,32B 要 20GB。显存不够,模型根本 load 不起来,算力再强也白搭。
24GB 的 4090 是甜点位,能跑 32B;预算紧就 16GB 跑 14B 以下。内存别省,CPU offload 的时候内存就是第二显存,32GB 起步比较安心。
别信显存不够拿内存凑,速度慢到你怀疑人生。
Ollama 官方数据:Qwen3 14B 要 9.3GB,30B 要 19GB,32B 要 20GB。显存不够,模型根本 load 不起来,算力再强也白搭。
24GB 的 4090 是甜点位,能跑 32B;预算紧就 16GB 跑 14B 以下。内存别省,CPU offload 的时候内存就是第二显存,32GB 起步比较安心。
别信显存不够拿内存凑,速度慢到你怀疑人生。