FEATUREDAI HOT 精选· aihot-apiZH04:30 · 06·01
NVIDIA 发布 RTX Spark 本地 AI 电脑,1 petaflops 算力跑智能体,llama.cpp 优化让 Qwen 27B 吞吐翻倍
NVIDIA 在 Computex 上发了台叫 RTX Spark 的 Windows 电脑,专门在本地跑 AI 智能体。配置给得挺足:1 petaflops AI 算力、128GB 统一内存,意思是大模型不用来回倒腾显存。安全方面,他们和微软合作搞了个 OpenShell 运行时,用 Windows 新的安全接口把智能体锁在设备本地跑,数据不出机。性...
#Agent#Inference-opt#Tools#NVIDIA
精选理由
精选 · 重要度 79 · 吸引力 + 知识量 + 共鸣
一句话点评
NVIDIA 发了台叫 RTX Spark 的 Windows 电脑,专门在本地跑 AI 智能体,128GB 统一内存意味着大模型不用来回倒腾显存。但正文没提价格和上市时间,这点先别太激动。
锐评
NVIDIA 这次推的 RTX Spark 是一台面向开发者的 Windows 电脑,核心卖点是让 AI 智能体完全在本地运行,数据不出机器。硬件上给了 1 petaflops 的 AI 算力和 128GB 统一内存,这个统一内存的设计很关键,意味着跑大模型时 CPU 和 GPU 不用来回搬运数据,能省下不少显存和延迟。
安全方面,他们和微软合作搞了个叫 OpenShell 的运行时,用 Windows 新的安全接口把智能体锁在本地,这个思路对处理敏感数据的公司有吸引力。性能优化上,通过 llama.cpp 的多 token 预测等技术,Qwen 27B 模型的推理吞吐量最高翻了一倍,35B 模型提升了 60%,多 GPU 场景下也有最高两倍的提升。
不过这篇博客本质是产品发布预告,没给价格、具体配置档位和上市日期,也没说这 1 petaflops 算力是在什么精度下测的。实际到手后的散热、噪音和软件兼容性也完全没提。对想买的人来说,现在只能先看个方向,等真机评测出来再判断值不值。
HKR 分解
hook ✓knowledge ✓resonance ✓