r/LocalLLaMA· rssEN05:51 · 05·27
Engram 做自回归图像生成时真的在检索记忆吗?实验说:更像一个带门的旁路
这篇论文把 Engram(一种记忆模块)塞进 ImageNet 256×256 的自回归图像生成器里,结果所有 Engram 变体在 FID(图像质量指标,越低越好)上都输给了纯自回归基线,ρ(记忆强度)从 0.17 调到 0.90 都没翻盘。一个固定门控值 g=0.10 就能打平甚至超过学出来的门控,把记忆表冻成 N(0,1) 随机数也只让 FID ...
#Memory#Vision#Inference-opt#Engram
精选理由
这篇论文用ImageNet 256×256类条件自回归生成器测Engram,结果在所有ρ值下FID都输给纯AR基线。关键发现是冻结随机记忆表只差ΔFID=0.10,说明Engram起作用的不是内容检索,而是侧路径机制。结论挺有杀伤力,但领域太窄,只适合做图像生成的研究员看一眼。
一句话点评
这篇论文把 Engram 记忆模块塞进自回归图像生成器,结果所有变体在 FID 指标上都输给了纯自回归基线,记忆强度从 0.17 调到 0.90 都没翻盘。固定门控值 g=0.10 就能打平甚至超过学出来的门控,把记忆表冻成随机数也只让 FID 涨 0.10。说明 Engram 在这套架构里更像一个旁路信号注入,而不是真正的内容寻址检索。正文没披露计算开销和训练稳定性,这点先别太激动。
HKR 分解
hook ✓knowledge ✓resonance —