🔥 Search Hot Tweets

DeepSeek OCR 论文里的想法太有意思了。 用光学压缩模拟人类记忆遗忘机制，还有点 callback AK 的会遗忘的智能了。。。 人类记忆有个特点： 一小时前的事，清清楚楚 一周前的事，开始模糊 一年前的事，几乎忘光 视觉感知也一样： 10cm的东西看得清楚 20m的东西几乎看不清 DeepSeek想到一个绝妙类比： 用分辨率来模拟这种衰减 他们设计了对应关系： 近期对话 → Gundam模式（800+ tokens） 一周前 → Base模式（256 tokens） 久远记忆 → Tiny模式（64 tokens） 这样既保留了历史信息，又控制了token数量。 远期记忆自然"淡化"，就像人类遗忘一样。 如果真的能做到，就能实现"理论上无限的context window"。 因为你不需要保持所有信息的高保真度，只需要让信息随时间衰减。 遗忘本身是一种优化策略。 人类会遗忘，不是因为大脑容量不够，而是因为遗忘让我们更高效。 DeepSeek把这个生物学直觉，转化成了工程实现。 这条路如果走通了，可能会改变我们对长上下文问题的理解： 不是无限扩大context window，而是让信息自然衰减。