r/LocalLLaMA· rssEN05:51 · 05·27
Engram 做自回归图像生成时真的在检索记忆吗?实验说:更像一个带门的旁路
这篇论文把 Engram(一种记忆模块)塞进 ImageNet 256×256 的自回归图像生成器里,结果所有 Engram 变体在 FID(图像质量指标,越低越好)上都输给了纯自回归基线,ρ(记忆强度)从 0.17 调到 0.90 都没翻盘。一个固定门控值 g=0.10 就能打平甚至超过学出来的门控,把记忆表冻成 N(0,1) 随机数也只让 FID ...
#Memory#Vision#Inference-opt#Engram
一句话点评
这篇论文把 Engram 记忆模块塞进自回归图像生成器,结果所有变体在 FID 指标上都输给了纯自回归基线,记忆强度从 0.17 调到 0.90 都没翻盘。固定门控值 g=0.10 就能打平甚至超过学出来的门控,把记忆表冻成随机数也只让 FID 涨 0.10。说明 Engram 在这套架构里更像一个旁路信号注入,而不是真正的内容寻址检索。正文没披露计算开销和训练稳定性,这点先别太激动。
HKR 分解
hook ✓knowledge ✓resonance —