FEATUREDr/LocalLLaMA· rssEN15:09 · 05·15
用 Jetson Orin NX SUPER 16GB 做了个完全离线的行李箱机器人,跑 Gemma 4 E4B,没联网也能聊
一个叫 Sparky 的行李箱机器人,核心是一块 Jetson Orin NX SUPER 16GB 的板子,跑的是 Gemma 4 E4B 模型(Q4_K_M 量化版,用 q8_0 做 KV 缓存)。首次响应延迟大概 200 毫秒,生成速度每秒 14 到 15 个 token,上下文窗口 12K。身上挂了 30 多个传感器,但没装 WiFi、蓝牙和蜂...
#Robotics#Inference-opt#Vision#CreativelyBankrupt
精选理由
精选 · 重要度 75 · 吸引力 + 知识量 + 共鸣
一句话点评
一个完全断网的行李箱机器人,用本地小模型跑出200毫秒响应,30多个传感器但没装任何无线模块,隐私和延迟都拉满了。
锐评
这个叫 Sparky 的行李箱机器人最狠的一点是彻底断网:没 WiFi、没蓝牙、没蜂窝网络,所有推理都在一块 Jetson Orin NX SUPER 16GB 板子上完成。跑的是 Gemma 4 E4B 模型,用 Q4_K_M 量化压缩,KV 缓存用 q8_0 精度,首次响应延迟压到了 200 毫秒左右,生成速度每秒 14 到 15 个 token,上下文窗口 12K。对一台能拖着走的机器人来说,这个延迟和速度已经够用了。
身上挂了 30 多个传感器,但正文没具体列出来都有什么,也没说这些传感器数据怎么喂给模型。从描述看,模型应该是在本地直接处理传感器输入并生成回复,不是那种把数据传云端再等结果的套路。这点对隐私敏感的场景确实有吸引力,比如带着它去医院、工厂或者任何不想联网的地方。
不过信息缺口也很明显:没提电池续航多久,没提整机重量和实际移动速度,也没说 30 多个传感器具体怎么协同工作。200 毫秒的延迟是在缓存命中的情况下测的,冷启动或者传感器数据突然变多的时候表现如何,正文没披露。另外 Gemma 4 E4B 本身是个小模型,复杂推理能力有限,别指望它能做太重的逻辑判断。整体看是个很扎实的工程 demo,但离实用还有距离,功耗、稳定性、传感器融合这些才是真正要啃的骨头。
HKR 分解
hook ✓knowledge ✓resonance ✓