🔥 Search Hot Tweets

昨天发了那个故事贴，有条评论是“原来是个卖软件的”，我看到一皱眉然后hide加防御性拉黑，完全是肌肉记忆的操作。 现在一想挺好啊，我就是卖软件的。我找到了一种方法提升了自己，然后现在把帮助自己成长的方法，做成软件，推荐给也想要成长的朋友。这不是巨牛逼的的事情么？ 欢迎大家买我的软件：）

老婆女儿说想我了。 女儿又在洗澡时，在浴室玻璃上写了一个"I miss dad" 。

刚看完Andrej Karpathy这期暴论频出的播客： - 今年不是"智能体元年"，我们身处"智能体的十年" - 现在的强化学习就像"通过吸管吸取监督" - LLM悖论：完美记忆 + 泛化能力差 - 人类糟糕的记忆是特性，不是bug - 当你记不住细节时，大脑被迫进入抽象模式，看到"森林"而不只是"树木"。 - 儿童：记忆最差，创造力最强（还没"过拟合"到社会规范） - 我们需要的AI只需要认知核心。剥离记忆，保留算法。 也许我们需要的不是更大的模型，而是更会遗忘的模型？ - AI 不会立即取代人类，而会逐步提高工作占比，最终完成 99% 的工作，剩下1%无法取代。 - 以前的教育是为了找到工作，Post-AGI时代教育将像健身房一样，为了乐趣和个人充实。 播客开头，AK先重新校准了我们对 AI 的期望。 今年不是"智能体元年"，我们身处"智能体的十年"，区别在于，一切没那么快，虽然也没那么慢。 他说，现在强化学习就像"通过吸管吸取监督" ，模型尝试几百种方法，最后只得到一个"对错"信号，然后把这个信号广播给成功路径的每一步，包括那些纯属运气的错误步骤。 你瞎猜猜中了答案，然后把猜的过程也当成"正确方法"强化，这能学好吗？ AK还提到一个更荒诞的例子：有个数学模型突然开始得满分，看起来"解决了数学"。但仔细检查发现，模型输出的是"da da da da da"这样的完全胡言乱语，却骗过了LLM评判者。这就是用LLM做评判的问题——它们会被对抗样本攻击，因为这些乱码是它们从没在训练中见过的"样本外"内容。 更深层的问题是：人类读书时在做什么？ AK说："我们读的书其实是prompts，让我做合成数据生成用的。" 我们读书时不是被动接收信息，而是在内心进行复杂的对话。新只是与已知知识调和，产生新理解，形成个人化的认知图谱。 但LLM呢？只是在预测下一个token，缺乏这种"内心对话"机制。 人类还有个神奇的"睡眠阶段"。白天我们建立起事件的上下文窗口，睡觉时发生蒸馏过程，将信息整合到大脑权重中。 LLM缺乏这种等效机制，每次启动都是零上下文的白纸。 AK发现了一个根本悖论： LLM悖论：完美记忆 + 泛化能力差 人类悖论：糟糕记忆 + 强学习能力 为什么？因为遗忘强迫我们抽象。 这里AK还有个精妙的类比：模型的预训练权重就像"一年前读过某本书的模糊回忆"，而上下文窗口信息则像"工作记忆"——直接可访问。这解释了为什么in-context learning感觉更"智能"：在预训练过程中，像 Llama 3 这样的模型将 1.5 万亿个标记压缩到它的权重中，每个标记仅存储约 0.07 比特的信息。相比之下，上下文学习的信息吸收速度要高 3500 万倍。 当你记不住细节时，大脑被迫提取general patterns（通用模式），看到"森林"而不只是"树木"。 而LLM被海量训练数据的完美记忆"分散注意力"，反而阻碍了真正的抽象理解。 我们仔细会议人类的学习过程。读过的书大部分细节都忘了，但核心思想和方法论却越来越清晰。 原来这不是记忆力差，这是智能啊。 更震撼的类比：儿童 vs 成人 vs LLM 儿童：记忆最差，创造力最强（还没"过拟合"到社会规范） 成人：记忆中等，创造力中等（已经"坍塌"了部分） LLM：记忆完美，创造力最低（被训练数据"过拟合"） AK提到Erik Hoel的研究：梦境可能就是大脑的anti-overfitting机制。连睡觉都是为了避免过拟合，引入随机性防止思维僵化。 这解释了为什么当前AI在"合成数据训练"上会失败。你让GPT对同一本书思考10次，会发现回答几乎一样。这就是"静默坍塌"。 模型的输出分布极其狭窄，AK开玩笑说"它实际上只有3个笑话"。在这种低熵数据上训练只会强化模型的偏见，让它变得更糟。 而且人类其实也经历类似的"坍塌"过程，儿童富有创造力是因为还没"过拟合"到社会规范，会说出令人震惊的话。但成年后我们也"坍塌"了，重复相同的思想，学习率下降，创造力递减。 梦境也可能是大脑的anti-overfitting机制，通过引入随机性防止思维僵化。 所以他提出了一个激进想法：我们需要认知核心。剥离记忆，保留算法。 让AI像"有方法论但没有百科全书的哲学家"，强制它查找而非回忆，专注于思考的meta-skills。 他预测未来20年内，高效的认知核心可能只需要10亿参数，而不是现在动辄千亿参数的模型。 大部分参数都在处理互联网上的"垃圾和胡扯"，如果优化训练数据质量，分离认知组件，就能实现极大压缩。 当前foundation model的路径是否根本错了？ 也许我们需要的不是更大的模型，而是更会遗忘的模型？ 重新理解AI的发展路径 早期深度强化学习专注游戏（如Atari）其实是走错了方向。真正目标应该是创造能在现实世界执行知识工作的智能体，不是游戏高手。 他回忆自己在OpenAI的早期项目，用键盘鼠标操作网页的智能体，目标是执行知识工作。但项目"太早了"，智能体缺乏必要的"表示能力"，会因稀疏奖励卡住。缺失的关键是强大的预训练模型。今天类似的计算机使用智能体之所以成功，正是因为建立在LLM之上，你需要先有LLM获得强大表示，再构建有效智能体。 他的另一个深刻观察：AI不是独立技术类别，而是自动化连续体的一部分。从编译器、代码编辑器到搜索引擎，再到现在的LLM，我们一直在"抽象阶梯"上向上攀登，让机器处理更多底层细节。 这解释了为什么AI经济影响主要集中在编程领域，代码本身就是文本，有成熟基础设施（IDE、版本控制），LLM可以无缝接入。相比之下，制作幻灯片这种视觉任务就困难得多，因为没有infrastructure让AI显示"diff"或跟踪变化。 但AK也泼了冷水：当前AI编程模型还没准备好真正自动化编程。他亲身体验发现，对于独特的智力密集项目，模型会失败——它们有认知缺陷，误解自定义代码，因为总是默认使用在线常见模式。他感慨"行业跳跃太大，试图假装这很神奇，但其实是垃圾"。 "九进军"的苦涩现实 从Tesla自动驾驶5年经验，AK深知从90%工作的demo到99.9%可靠产品的"九进军"有多艰难。每提升一个九，都需要massive effort。他提到自动驾驶演示从1986年就存在，2014年他在Waymo车上体验了完美驾驶，以为技术很接近完成。但现实是demo到产品的巨大鸿沟，在高风险领域尤其如此。 在Tesla的五年里，他们可能只推进了两三个"九"，还有更多要走。这种现实主义让他对AGI时间线保持谨慎：这是"智能体的十年"，不是"智能体之年"。 当前模型就像"有完美记忆的小孩"或"学者儿童"——能通过博士级测试，却认知上还有严重缺陷：缺乏持续学习、多模态能力、有效使用计算机的能力，以及大脑中海马体、杏仁核等关键组件的类似物。 未来的工作模式：自主滑块 AK预测不会出现"瞬间工作替代"，而是"自主滑块"模式：AI处理80%常规任务，人类监督AI团队并管理最复杂的20%。有趣的是，当AI自动化99%工作时，处理最后1%的人类反而会变得极其有价值，成为整个系统的瓶颈，他们的薪资也会提高。 教育的范式转换 AK对教育未来的洞察：Pre-AGI时代教育是功利性的（为了工作），Post-AGI时代教育将像健身房一样，为了乐趣和个人充实。 他还分享了一个教学技巧：先展示痛点，再给解决方案。通过展示简单方法的局限性来激发学习动机，这样学习者会深刻理解为什么需要复杂解决方案。 最后，要真正掌握知识，就要试着向别人解释。解释的过程会迫使你面对理解中的空白，这又回到了他的核心观点： 限制和困难往往是学习的催化剂。 这 recall 了之前的观点，真正的技术突破往往需要重新思考基础假设。 也许AGI的关键不是让机器记住更多，而是学会智能地遗忘。

这个翻译的提示词我后来加了一句话，在翻译一些晦涩难懂的技术文章时效果很好，能帮助解释一些专业术语： > - 适当解读：如果是普通人难懂的专业术语或因为文化差异导致的难以理解，做出更多的注释以更好的理解，注释部分用括号包裹并加粗 完整提示词见评论：

分享一点 AI Coding/Codex 实践技巧：告诉 AI 如何验证 这个方法其实我提到多次，只不过再随手贡献一个案例罢了。 Coding Agent 能力挺强的，能自己写代码自己调用工具，但是它有时候并不知道该如何验证数据。 如果说你只是告诉它哪里错了，它并不一定能通过阅读代码找出问题所在，但如果你告诉它如何验证，那么它就能在修改完后自行验证，验证时如果发现问题就会继续修复，直到完全修复为止。 比如我在调试一个 API 发现返回结果不对，那么我就告诉它输入是什么，实际输出是什么，期望结果是什么（甚至于我没说它也猜得到），然后让它自行写测试代码验证。 那么它就不仅阅读代码修改问题，还会写测试程序去验证，直到解决问题。

Substack is the new linkedin. 经常有一堆人在X的bio上面写一堆头衔名校QS排名...暂不评论这个，我说说我怎么看的。 在 AI 时代，职业身份的重心正在从履历转向认知。 LinkedIn 展示的是“你做过什么”； Substack 展示的是“你在思考什么”。 1. 从“履历”到“声誉” LinkedIn 衡量的是过去的职位与资历， Substack 衡量的是当下的思考力与原创度。 技能会贬值，说点你懂的但是AI还不懂的事情？ 思想才是新的简历。 2. 从“人脉”到“叙事” LinkedIn 是关系网络， 不是，2025年了，同学会你还去吗？ Substack 是叙事网络。 前者连接的是人，后者连接的是世界观。 3. 从“表演”到“信号” LinkedIn 的发帖是展示：其实我一直都不是linkedin的粉，总有一种“假假”的感觉。 Substack 的写作是沉淀。 在信息噪音中，真实的思想成为稀缺信号。 4. 从“职级”到“结构” LinkedIn 的世界是层级化的； Substack 的世界是去中心、可重组的。 你不再被“职位”定义，而是被思维结构定义。 5. 从“介绍自己”到“公开进化” LinkedIn 让你写一个“关于我”； Substack 让你记录一个“成为我”的过程。 你的档案不再是静态页面，而是一个持续生长的认知证明。 Substack 的长文我都很认真的在写。最近还想把配图也给跟上, 后期再把视频和博客跟上。现在居然就有了付费用户，我真是太意外，太感动了😭 LinkedIn 展示你是谁； Substack 展示你正在成为谁。 而且，马斯克考虑一下收购Substack?直接把Grok用来分析画像？

「 Model Collapse 」 昨天看完 Andrej Karpathy 的播客节目，提到了 models collapse。于是找来这篇文章来读。 AI models collapse when trained on recursively generated data Early collapse : 损失低概率事件 Late collapse : 方差大幅减小，完全失真于原始分布 想象或直接问 AI 一下，如果大多数人类collapse了，这个世界会怎样？

We closed an oversubscribed fundraising for @allscaleio last week (will share details in the future) but got the speedrun rejection letter from @JoshLu. However this is by far the most detailed and informative response email I have ever received. It's almost the same length as the application we submitted for @speedrun. Founders appreciate investors like @JoshLu. Straightforward so they do not waste your time. Honest and sharp so you know what to work on or what to not worry about.

周末吃瓜：这条推文宣布 GPT-5 “解出” 10个Erdős数学难题，大众以为是 GPT-5 数学能力有了突破，事后发现不过是检索现有文献得出来的结果 事情起因是 OpenAI 旗下研究员 Mark Sellke 在社交平台 X 上高调宣布：他们借助 GPT-5 成功「找到」了10个著名的厄尔多斯数学难题（Erdős problems）的解法。Mark 兴奋地写道：「经过数千次GPT-5的查询，我们发现了10个原本还处于『未解状态』的厄尔多斯难题的解答，分别是223、339、494、515、621、822、883（第二部分）、903、1043、1079。此外，还有11个难题取得了重要的部分进展，并更新到了官网上。甚至在第827题上，我们还发现厄尔多斯本人原始论文里存在错误，这个错误由Martínez和Roldán-Pensado两位学者后来进行了修正。看来，未来的科学研究真的要变得有趣了！」 OpenAI 高管 Kevin Weil 在 X 平台上惊呼：“GPT-5 找到了 10 个 (!) 此前未解决的 Erdős 问题的解答，并在另外 11 个问题上取得进展” 随后，OpenAI 另一名知名研究员 Sebastien Bubeck 也兴奋地转发并补充道：「AI驱动的科学加速时代正式开启了！两位研究员仅靠一个周末、借助GPT-5成功解开10个厄尔多斯难题……顺便一提，正好宣布一下：Mark Sellke 已经正式加入了OpenAI！」 消息一出，全网震动，一时间不少人误以为GPT-5独立破解了这些困扰数学界数十年的难题。 不过，这场欢呼很快被谷歌 DeepMind CEO Demis Hassabis狠狠泼了一盆冷水。 Demis 直接在布贝克的推文下回复道：「这真是尴尬啊（this is embarrassing）！」 这句话瞬间引爆舆论。不少网友追问 Demis 究竟为什么如此评论时，他冷静地引导大家去查看 Thomas Bloom 发布的一则关键说明。而 Thomas 正是OpenAI引用的那个 ErdosProblems .com 网站的创始人兼维护人。 Thomas 随后公开澄清： 「作为erdosproblems .com网站的拥有者和维护者，我得声明：OpenAI的说法明显夸大了事实。GPT-5只是通过网络搜索，找到了早已存在的论文，这些论文中早就解答了这些问题，只是我个人不知道而已。网站上的『未解』状态只是说明我尚未发现相关的论文，而不代表全世界数学界没有解决方案。」 换句话说，GPT-5实际上并没有独立地破解任何厄尔多斯难题。它所做的仅仅是比人类网站管理员更迅速地在互联网上「检索到了」已知的答案，而这些答案其实早已存在。 事后 Sebastien Bubeck 删除了之前的推文： > 我删除了之前的推文，我显然不是有意误导任何人，我原本以为自己的表达很清楚，对此感到抱歉。我们仅仅是发现了已经发表在文献中的解法，仅此而已。我认为这依然是一种巨大的进步，因为我知道检索文献有多么困难。 Yann LeCun 在下面回复： > 这次他们被自己吹嘘GPT的言论坑惨了（Hoisted by their own GPTards）。 （注：原文为“Hoisted by their own GPTards”，源自英文俗语 "hoisted by their own petard"，意指“搬起石头砸自己的脚”，这里被Yann LeCun改为GPTards，以讽刺那些盲目吹捧GPT的人。） GPT-5 能够快速、精准地从浩如烟海的学术文献中挖掘出被忽略的答案，这一点当然非常有价值。但问题在于，OpenAI研究员的发言模棱两可，很容易让公众误以为 GPT-5 已经突破了AI的极限，真正自主解决了艰深的数学难题。 更糟糕的是，这种误导性的说法还被自家人进一步放大，甚至上升到「AI正在颠覆传统科学研究」的高度，无疑加剧了公众的误解。

在这个时候，我认为Substack 非常值得做。写这个帖子不是为了劝你，而是留个证据。5年以后回过来看。 Substack will be the next LinkedIn.

知名播客博主 Dwarkesh Patel 最近对 AK 有过一次访谈，这是他的描述： 对我来说，最有意思的部分，是 Andrej Karpathy（常被粉丝称为“卡神”的AI大牛）解释为什么大语言模型（LLM）没法像人一样学习。 果不其然，卡神又造出了一个特别生动的词儿来形容强化学习（Reinforcement Learning, 简称RL）：“用吸管吸取监督数据”。 这话啥意思呢？就是说，在一次成功的尝试里，（比如AI下棋赢了），这个“赢了”的最终奖励，会平摊到它走过的每一步、生成的每个词上。哪怕中间有些步骤是错的、或是无关紧要的，只要最后结果是对的，这些步骤也统统会被算法“加分”。 > “我以前就说过，人类不使用强化学习。我认为人类的学习方式完全不同。强化学习比普通人想的要糟糕得多。强化学习很烂。只不过，我们以前有的其他算法比它还要烂得多罢了。” 那么，人类到底是怎么学习的呢？ > “我读一本书，这本书对我来说就是一套‘提示词’（prompts），好让我在脑子里‘合成数据’（synthetic data generation）。你必须通过主动地处理这些信息，才能真正获得知识。但大语言模型（LLM）没有对应的机制；它们真的不会这么干。” > “我很希望在模型的预训练（pretraining）阶段看到这么一个环节：模型能‘琢磨’一下它读到的材料，并试着把它和自己已经知道的知识‘对上号’（也就是融会贯通）。现在根本没有这种机制。这都还停留在研究阶段。” 那我们为什么不能现在就把这种“思考”训练加到大语言模型里呢？ > “这里面有非常微妙、难以理解的原因，导致这事儿没那么简单。如果我让模型对一本书进行‘思考’，并生成一些合成数据，你乍一看会觉得：‘这看起来很棒啊！为什么不能用它来训练呢？’ 你是可以试试，但如果你坚持这么做，模型的性能实际上会变得更糟。” > “比方说，我们拿一本书的某一章，我让一个大语言模型来‘思考’一下。它会给你一段看起来非常合理的回答。但如果我让它回答 10 次，你会发现，这 10 次的回答几乎一模一样。” > “你从这些模型里，得不到人类思考时那种丰富性、多样性和‘熵’（在这里指思考的混乱度和创造性）。你无法像人一样得到各种天马行空的想法。所以，如何在模型趋向于‘坍塌’（collapse）（指回答变得单一、缺乏多样性）的情况下，还能让合成数据起作用，并且保持住这份‘熵’？这还是个研究难题。” 那么，人类是如何避免这种“思维坍塌”的呢？ > “（把人和模型类比）这个点子好得出奇。人类在自己的一生中，其实也会‘坍塌’。小孩子还没有‘过拟合’（overfitting）（指思维僵化，只适应特定模式）。他们会说出一些让你震惊的话。那是因为他们还没‘坍塌’。但我们成年人已经‘坍塌’了。我们最终会反复琢磨同样的想法，我们说的话也越来越趋同，我们的学习率下降，‘坍塌’的情况越来越糟，最后一切都退化了。” 事实上，有篇很有意思的论文（Erik Hoel 的《过拟合的大脑》(The Overfitted Brain)）就提出，人类做梦这个功能的进化，就是为了帮助我们提升‘泛化能力’（generalization）（指举一反三的能力），抵抗日常学习带来的‘过拟合’。 于是我问卡神：这事儿是不是特有意思？—— 人类在学习能力最强的时期（童年），却会把学到的具体细节忘得一干二净；成年人虽然也能学得不错，但对读过或看过的东西，记忆力也烂得不行；而大语言模型呢，它们能记住人类根本记不住的海量文本细节，但在‘泛化能力’上却表现得很差。 > “（人类健忘的记忆力）这恰恰是一个‘特性’（feature），而不是一个‘缺陷’（bug）。因为它逼着你只能去学习那些真正具有‘泛化能力’的东西。而大语言模型呢，它们被自己记在（预训练）文档里的海量细节给‘分心’了。这就是为什么我谈到‘认知核心’时，我其实是想把（模型的）记忆力拿掉。我倒希望它们记性差一点，这样它们就必须去（主动）查资料，而只保留那些‘思考的算法’、‘做实验的想法’，以及所有这些用于行动的‘认知粘合剂’。”

做中学 https://t.co/vNkYTrd33L

Agent 的好文章，强烈推荐阅读👍 要说对 Agent 的理解，Manus 团队无疑是业界顶尖的，每次他们的分享都能有所收获，作者作为前 Manus 团队成员，对 Agent 的经验是丰富的，最难得的是能把概念解释的深入浅出通俗易懂。 OpenAI 提出了一个五级人工智能分级标准来衡量其通用人工智能（AGI）的进展：第一级是“ChatBot（聊天机器人）”，能够进行对话；第二级是“Reasoners（推理者）”，可以解决人类水平的问题；第三级是“Agent（智能体）”，能够代表用户采取行动；第四级是“创新者（Innovators）”，可以帮助发明创造；第五级是“组织者（Organizations）”，能够完成组织管理工作。 AI 现在现在已经发展到了第 3 级 Agent，但很多人还搞不清楚它和第 1 级 ChatBot 的差别，这就是一篇很好的科普让你搞清楚它的差别。 Chatbot： - 一次性输出 - 只能依赖自身知识库 Reasoners： - 先思考再输出 Agent： - 动态循环过程，Think → Act → Observe，先制定明确计划（Think），再查询实时信息（Act），最后基于真实结果调整方案（Observe），通过持续反馈和修正，稳定逼近目标。 - 使用工具，与真实世界互动，弥补自己知识库的不足，主动补齐上下文 原文较长，推荐仔细看看，链接在原推2楼

这张图想必都见过：人类目前了解的几乎所有的概率分布。 作为一个搞数据科学的，我想用这个帖子🧵，把这个图上概率分布都解释一遍。 目的有两个： 1. 让做产品的普通人，用更正确的概率分布思考问题 2. 作为我自己输出方式的一种尝试，拿到一些反馈 https://t.co/PAeRhqGt7s

一种不可言说的变化即将在我们熟悉的知识领域发生。我想Robinson说的事情包含在这个范围内。 这就是我为什么又把这本书专门买个纸版本的，仔仔细细的又在研究。 书籍真是一种很难完全窥探作者思想的媒介，总共没多少字，而且他文采还很好（不直白，但问题就是一个中心思想还写了好多字）。所以没完全看透他的思想。 版权，知识，文凭，研究，科学，科研，知识分子，白领阶层，中产阶级，高校生态。 以上的这一切关键词，都是我认为即将发生我以前不可理解不可预知的领域。 无法用语言表述出来，所以想看这本书找答案。但我的感官又足够敏感，能感觉出来。很奇怪的感觉。

晚上不想开火了，买了超市的寿司，14.9欧元，又买了一块三文鱼，9.8欧元吃了。去了趟超市买了300多欧的东西，一半是要带到巴尔干去的。把首都的公寓打扫完又回家继续打扫被四只毛娃整得乱七八糟的房子。反正我的剧本里不是霸道总裁爱上绝经干保洁的我，是我这个快绝经的总裁天天干保洁… https://t.co/afoesluX5v

我们在短视频上经常会看到有人说，你做泛流量赚不到钱，必须做精准流量才能变现 “精准流量”这个说法是一种典型的，短期有益但长期有害的词汇 短期有益指的是很多人的确为了获取流量做了很多垃圾内容，这些内容在当下的确是无法变现的，所以你需要收缩一下你的选题范围 但长期来看，我们认为真正的财富其实是源于你有强大的承接能力，让你可以把泛流量也进行转化 因为所谓的精准流量的总量是非常有限的，这实际上是一场逃避强化转化能力的自我表演 真正能帮助我们看清世界的思维模型，其实是把它分为流量和转化两部分，在你转化能力有限的情况下，你想短期获取精准流量，这没有问题 但过了这个阶段之后，你依然停留在精准流量这个词汇上，这就是有害的 所以，如果只是单拎出来这个词去赞美，而不讨论它背后的更大的语境，我认为这是不理解商业的表现 简单讲就是菜 维特根斯坦说，哲学是一场反对语言对我们的理智的蛊惑的斗争 我正在尝试去践行

为啥古代那么多扒灰？ 古代人结婚早，儿子结婚时，老爹还是精壮小伙。 又一大家子住在一起，低头不见抬头见。 公公既有主观动机，又有客观条件，往往也比儿子更有钱有势。