06:53
7d ago
Reddit 用户实测:3×3090 能跑的本地模型对比,MiniMax 和 Step 在 Q3 量化下速度不错
Reddit 用户 jacek2023 对比了 3 张 3090 显卡(合计 72GB 显存)能跑的最新本地模型,排除了 300B 以上参数的大模型,并建议跳过 200B 级别的模型(显存不够或速度太慢)。实测发现 MiniMax 和 Step 这两个模型在 Q3 量化(3-bit 量化,精度损失中等但省显存)下速度较快。不过帖子正文没披露 AA 指标...
58
SCORE
H0·K1·R1