FEATUREDAI HOT 精选· aihot-apiZH00:00 · 08·03
UEmbed:一个模型同时输出稀疏和稠密两种多模态向量
UEmbed 用一个纯解码器模型,在一次前向推理里同时吐出两种向量:稀疏向量(像关键词匹配,但能学到语义)和稠密向量(纯语义压缩)。做法是在输入末尾加 N 个可学习的特殊 token,把整个词表切成 N 份,每个 token 只负责预测自己那份词表上的权重,最后拼成一个完整的稀疏向量。论文发了 2B、4B、9B 三个尺寸,都用公开数据训练。9B 版在 ...
#Embedding#Tingyu Song#Mingxin Li#Yanzhao Zhang
精选理由
精选 · 重要度 72 · 吸引力 + 知识量
一句话点评
一个模型同时吐出关键词式向量和语义压缩向量,省掉两套系统,但推理延迟和显存占用正文没给,实际部署成本先打个折。
锐评
UEmbed 把稀疏检索和稠密检索塞进同一个纯解码器模型里,一次前向推理就能拿到两种向量。做法挺取巧:在输入末尾加 N 个可学习的特殊 token,把整个词表切成 N 份,每个 token 只负责预测自己那份词表上的权重,最后拼出一个完整的稀疏向量。这样不用再单独维护一套稀疏编码器,对做搜索和 RAG 的团队来说,部署链路能简化不少。
9B 版本在 MMEB-v2 上稠密 71.8、稀疏 71.0,超过了同样用公开数据训练的 RzenEmbed,BEIR 上也跟强基线打得有来有回。论文还展示了在 agent 场景下的可用性,说明不只是刷榜。但正文没披露推理延迟和显存占用,这两个指标直接决定能不能在线上用。另外训练数据只说是公开数据,具体构成和规模没展开,复现和公平对比会有点麻烦。
HKR 分解
hook ✓knowledge ✓resonance —