FEATUREDAI HOT 精选· aihot-apiZH19:25 · 05·19
Google 把 Tensor 芯片的 AI 能力开放给开发者,Pixel 10 手机上的 TPU 现在可以直接跑模型了
Google 发布了 Tensor ML SDK 的公开测试版,开发者现在能把 PyTorch 或 TFLite 模型转换、编译后,直接调用 Pixel 10 系列手机里的 TPU 芯片来跑推理。整个流程通过 LiteRT 这个统一框架完成,不用再分别对接底层硬件驱动。官方还提供了一个模型库,里面有超过 100 个现成的经典模型和生成式 AI 模型,包...
#Inference-opt#Tools#Multimodal#Google
精选理由
精选 · 重要度 74 · 吸引力 + 知识量 + 共鸣
一句话点评
Pixel 10 的 TPU 终于对第三方开发者开放了,不用再绕道 CPU/GPU,但前提是你得用 LiteRT 这套新框架。
锐评
Google 把 Pixel 10 系列里那块 TPU 的推理能力开放给了普通开发者,不再只是自家相机和翻译功能独享。现在你可以把 PyTorch 或 TFLite 模型通过 LiteRT 框架转换、编译,直接调用手机里的 TPU 来跑。官方还准备了一个模型库,里面有超过 100 个现成模型,包括 Gemma 3 1B 这种小语言模型。
对开发者来说,最大的好处是省事:LiteRT 把底层硬件驱动和编译器都封装好了,不用分别对接。它还支持自动降级,TPU 不可用时能切回 CPU 或 GPU。但正文没提 TPU 推理的具体延迟和功耗数据,也没说模型编译后体积会膨胀多少。这些对端侧部署很关键,现在只能自己测。
另外,模型分发走的是 Google Play 的 AI Packs 通道,这意味着你的 App 只能在 Google 生态里用这套方案。如果目标用户不在 Pixel 10 上,这套东西暂时用不上。
HKR 分解
hook ✓knowledge ✓resonance ✓