🔥 Search Hot Tweets

Double Shot | Concept, SAEs, DLCM 两篇不同方向的paper，但启发了同样的思考： 什么是 concept ？ 想象人类的语言有 X, Y 坐标轴。 X 是时序，随着时间流逝，我们将词语串联成句子。 Y 是意义，我们会选择某个特定词语而非其他。 在 Y 轴上，SAEs 系列论文展示了，模型在学习意义清晰的 concept，当然相比人类的concept，LLM 建立的 concept 更加精细，数量也远远超过人类定义的 concept 词典。 在 X轴，DLCM 开始探索 concept，不再逐个词元如 token或subtoken 处理语言。而是动态地将多个词元整合成 concept vector。 大家可以思考的更深一点，什么是 concept ？