SoPilotSoPilot

🔥 Search Hot Tweets

Search and analyze hot tweets from KOL accounts list (list: https://x.com/i/lists/1961235697677017443) within 6 hours. Use SoPilot plugin to quickly comment and occupy the comment section.

Real-time Hot Tweet Analysis

Frank Wang 玉伯
11.4Kfo
Frank Wang 玉伯@lifesinger· 3h ago发布

打电话回老家,闲唠了会。父母谈及两个变化,听完有点不是滋味。 一个变化是:老家六十岁以上的父母辈,前些年普遍还能找到零工去做。今年很多人开始找不到零工活,只能整天整天呆在家里。做零工赚点小钱的乐子,就这样消失了。 另一个变化是:去县城里卖菜的人,越来越多。早上五点多出发,到达菜市场后,已经很难找到摊位。同时菜价极便宜,一天下来,经常剩很多卖不出去。 老家的好处是,不用担心预制菜。因为能存活的饭店不多。大部分家庭都是自己做饭。婚庆等场景才去餐厅。 最近最大的变化是,天气变冷了。

129
8
21
27.5K
Data updated 26m ago
Viral Probability
100%
Predicted Views
470.0K
Est. 2.0K views for your reply
熠辉 Indie
37.2Kfo
熠辉 Indie@yihui_indie· 3h ago发布

😃面向新手的Vercel课程备课完成,下午录制~ 又是近万字的文档(图1)、实战部署项目(图2)、Vercel + 构建部署的相关重要概念(图3)都会讲到。让你知其然、知其所以然~ https://t.co/BbKFMMOLDh

15
2
1
2.1K
Data updated 26m ago
Viral Probability
60%
Predicted Views
7.0K
Est. 500 views for your reply
Frank Wang 玉伯
11.4Kfo
Frank Wang 玉伯@lifesinger· 4h ago发布

最近对各种摘要型 prompt,都默默删除了,发现缺失了用户自己的视角,很难真提取到有效信息,特别是对高质量的原始内容来说。 比如最近罗永浩采访宋方金这期,聊的很杂,信息量很多。有意思的是,听完后,我发现我感兴趣的,和另一个好朋友感兴趣的点,完全不一样。 Summary prompt 是一种快速产生“五分钟看完一部电影 ”的消费方式。然而在抖音上,“五分钟看完很多电影”后,依旧对原始电影模糊得不行。Summary 适合娱乐,并不适合学习。 Karpathy 的最新播客,也有同感。我刚看完原始视频,对比去看 Twitter 上的各种总结,绝大多数只是一种暴力压缩,是在把一部精华电影剪辑成五分钟速读文字。价值只有一个点:这期播客值得听,赶紧去看。可叹的是,绝大部分情况下起到的作用是:看了总结,以为已经得到了精华,就再也不去看原始内容了。 文学研究里,最基础的讨论前提是 back to text(回到原始文本)。学习领域,可能也如此。原始文本/音频/视频是一个巨大的 prompt,是酵母菌,是催化剂,用户本身才是那个面团。酵母菌 + 面团需要时间去发酵,然后面团才能蓬松起来,变成好吃的面点。 AI 的天花板,依旧在人。这个世界越来越有意思。 看有多少人会去看 @karpathy 的原始视频 👇

53
4
7
15.3K
Data updated 26m ago
Viral Probability
61%
Predicted Views
48.0K
Est. 400 views for your reply
orange.ai
138.6Kfo
orange.ai@oran_ge· 4h ago发布

公众号不仅有世界上最难用的编辑器,还有世界上最难用的推送系统。 双料第一,太强了。 经过我的测试,同一个账号,同样的内容 早晨8点多,用公众号,发布后2小时总共带来349阅读 早晨10点多,用小绿书,发布后15分钟不到就387阅读 甚至公众号的互动数据都明显比小绿书好 但是系统完全不给流量 绝了 https://t.co/kSEZnwofsG

19
3
11
7.7K
Data updated 26m ago
Viral Probability
64%
Predicted Views
22.0K
Est. 100 views for your reply
向阳乔木
65.9Kfo
向阳乔木@vista8· 5h ago发布

专业AI视频生成创作者如何看这些AI工具 https://t.co/S8JIiEMV5B

110
24
5
12.9K
Data updated 26m ago
Viral Probability
72%
Predicted Views
51.0K
Est. 600 views for your reply
Bear Liu
107.3Kfo
Bear Liu@bearbig· 6h ago发布

昨天发了那个故事贴,有条评论是“原来是个卖软件的”,我看到一皱眉然后hide加防御性拉黑,完全是肌肉记忆的操作。 现在一想挺好啊,我就是卖软件的。我找到了一种方法提升了自己,然后现在把帮助自己成长的方法,做成软件,推荐给也想要成长的朋友。这不是巨牛逼的的事情么? 欢迎大家买我的软件:)

34
0
11
8.3K
Data updated 26m ago
Viral Probability
53%
Predicted Views
20.0K
Est. 100 views for your reply
YL (Yucheng Liu)
11.3Kfo
YL (Yucheng Liu)@lyc_zh· 6h ago发布

做增长的一个反直觉发现:几百到几千人的小众 Discord 群,用户质量和互动率远超几万甚至几十万人的大群。大群噪音多,白嫖怪多;小群更像微信群,关系紧密,能量更高。想找早期核心用户?别总盯着大流量,去那些“小池塘”里钓“大鱼”。

18
0
1
1.1K
Data updated 26m ago
Viral Probability
49%
Predicted Views
3.0K
Est. 200 views for your reply
Bear Liu
107.3Kfo
Bear Liu@bearbig· 7h ago发布

老婆女儿说想我了。 女儿又在洗澡时,在浴室玻璃上写了一个"I miss dad" 。

102
1
11
31.1K
Data updated 26m ago
Viral Probability
54%
Predicted Views
131.0K
Est. 800 views for your reply
orange.ai
138.6Kfo
orange.ai@oran_ge· 7h ago发布

刚看完Andrej Karpathy这期暴论频出的播客: - 今年不是"智能体元年",我们身处"智能体的十年" - 现在的强化学习就像"通过吸管吸取监督" - LLM悖论:完美记忆 + 泛化能力差 - 人类糟糕的记忆是特性,不是bug - 当你记不住细节时,大脑被迫进入抽象模式,看到"森林"而不只是"树木"。 - 儿童:记忆最差,创造力最强(还没"过拟合"到社会规范) - 我们需要的AI只需要认知核心。剥离记忆,保留算法。 也许我们需要的不是更大的模型,而是更会遗忘的模型? - AI 不会立即取代人类,而会逐步提高工作占比,最终完成 99% 的工作,剩下1%无法取代。 - 以前的教育是为了找到工作,Post-AGI时代教育将像健身房一样,为了乐趣和个人充实。 播客开头,AK先重新校准了我们对 AI 的期望。 今年不是"智能体元年",我们身处"智能体的十年",区别在于,一切没那么快,虽然也没那么慢。 他说,现在强化学习就像"通过吸管吸取监督" ,模型尝试几百种方法,最后只得到一个"对错"信号,然后把这个信号广播给成功路径的每一步,包括那些纯属运气的错误步骤。 你瞎猜猜中了答案,然后把猜的过程也当成"正确方法"强化,这能学好吗? AK还提到一个更荒诞的例子:有个数学模型突然开始得满分,看起来"解决了数学"。但仔细检查发现,模型输出的是"da da da da da"这样的完全胡言乱语,却骗过了LLM评判者。这就是用LLM做评判的问题——它们会被对抗样本攻击,因为这些乱码是它们从没在训练中见过的"样本外"内容。 更深层的问题是:人类读书时在做什么? AK说:"我们读的书其实是prompts,让我做合成数据生成用的。" 我们读书时不是被动接收信息,而是在内心进行复杂的对话。新只是与已知知识调和,产生新理解,形成个人化的认知图谱。 但LLM呢?只是在预测下一个token,缺乏这种"内心对话"机制。 人类还有个神奇的"睡眠阶段"。白天我们建立起事件的上下文窗口,睡觉时发生蒸馏过程,将信息整合到大脑权重中。 LLM缺乏这种等效机制,每次启动都是零上下文的白纸。 AK发现了一个根本悖论: LLM悖论:完美记忆 + 泛化能力差 人类悖论:糟糕记忆 + 强学习能力 为什么?因为遗忘强迫我们抽象。 这里AK还有个精妙的类比:模型的预训练权重就像"一年前读过某本书的模糊回忆",而上下文窗口信息则像"工作记忆"——直接可访问。这解释了为什么in-context learning感觉更"智能":在预训练过程中,像 Llama 3 这样的模型将 1.5 万亿个标记压缩到它的权重中,每个标记仅存储约 0.07 比特的信息。相比之下,上下文学习的信息吸收速度要高 3500 万倍。 当你记不住细节时,大脑被迫提取general patterns(通用模式),看到"森林"而不只是"树木"。 而LLM被海量训练数据的完美记忆"分散注意力",反而阻碍了真正的抽象理解。 我们仔细会议人类的学习过程。读过的书大部分细节都忘了,但核心思想和方法论却越来越清晰。 原来这不是记忆力差,这是智能啊。 更震撼的类比:儿童 vs 成人 vs LLM 儿童:记忆最差,创造力最强(还没"过拟合"到社会规范) 成人:记忆中等,创造力中等(已经"坍塌"了部分) LLM:记忆完美,创造力最低(被训练数据"过拟合") AK提到Erik Hoel的研究:梦境可能就是大脑的anti-overfitting机制。连睡觉都是为了避免过拟合,引入随机性防止思维僵化。 这解释了为什么当前AI在"合成数据训练"上会失败。你让GPT对同一本书思考10次,会发现回答几乎一样。这就是"静默坍塌"。 模型的输出分布极其狭窄,AK开玩笑说"它实际上只有3个笑话"。在这种低熵数据上训练只会强化模型的偏见,让它变得更糟。 而且人类其实也经历类似的"坍塌"过程,儿童富有创造力是因为还没"过拟合"到社会规范,会说出令人震惊的话。但成年后我们也"坍塌"了,重复相同的思想,学习率下降,创造力递减。 梦境也可能是大脑的anti-overfitting机制,通过引入随机性防止思维僵化。 所以他提出了一个激进想法:我们需要认知核心。剥离记忆,保留算法。 让AI像"有方法论但没有百科全书的哲学家",强制它查找而非回忆,专注于思考的meta-skills。 他预测未来20年内,高效的认知核心可能只需要10亿参数,而不是现在动辄千亿参数的模型。 大部分参数都在处理互联网上的"垃圾和胡扯",如果优化训练数据质量,分离认知组件,就能实现极大压缩。 当前foundation model的路径是否根本错了? 也许我们需要的不是更大的模型,而是更会遗忘的模型? 重新理解AI的发展路径 早期深度强化学习专注游戏(如Atari)其实是走错了方向。真正目标应该是创造能在现实世界执行知识工作的智能体,不是游戏高手。 他回忆自己在OpenAI的早期项目,用键盘鼠标操作网页的智能体,目标是执行知识工作。但项目"太早了",智能体缺乏必要的"表示能力",会因稀疏奖励卡住。缺失的关键是强大的预训练模型。今天类似的计算机使用智能体之所以成功,正是因为建立在LLM之上,你需要先有LLM获得强大表示,再构建有效智能体。 他的另一个深刻观察:AI不是独立技术类别,而是自动化连续体的一部分。从编译器、代码编辑器到搜索引擎,再到现在的LLM,我们一直在"抽象阶梯"上向上攀登,让机器处理更多底层细节。 这解释了为什么AI经济影响主要集中在编程领域,代码本身就是文本,有成熟基础设施(IDE、版本控制),LLM可以无缝接入。相比之下,制作幻灯片这种视觉任务就困难得多,因为没有infrastructure让AI显示"diff"或跟踪变化。 但AK也泼了冷水:当前AI编程模型还没准备好真正自动化编程。他亲身体验发现,对于独特的智力密集项目,模型会失败——它们有认知缺陷,误解自定义代码,因为总是默认使用在线常见模式。他感慨"行业跳跃太大,试图假装这很神奇,但其实是垃圾"。 "九进军"的苦涩现实 从Tesla自动驾驶5年经验,AK深知从90%工作的demo到99.9%可靠产品的"九进军"有多艰难。每提升一个九,都需要massive effort。他提到自动驾驶演示从1986年就存在,2014年他在Waymo车上体验了完美驾驶,以为技术很接近完成。但现实是demo到产品的巨大鸿沟,在高风险领域尤其如此。 在Tesla的五年里,他们可能只推进了两三个"九",还有更多要走。这种现实主义让他对AGI时间线保持谨慎:这是"智能体的十年",不是"智能体之年"。 当前模型就像"有完美记忆的小孩"或"学者儿童"——能通过博士级测试,却认知上还有严重缺陷:缺乏持续学习、多模态能力、有效使用计算机的能力,以及大脑中海马体、杏仁核等关键组件的类似物。 未来的工作模式:自主滑块 AK预测不会出现"瞬间工作替代",而是"自主滑块"模式:AI处理80%常规任务,人类监督AI团队并管理最复杂的20%。有趣的是,当AI自动化99%工作时,处理最后1%的人类反而会变得极其有价值,成为整个系统的瓶颈,他们的薪资也会提高。 教育的范式转换 AK对教育未来的洞察:Pre-AGI时代教育是功利性的(为了工作),Post-AGI时代教育将像健身房一样,为了乐趣和个人充实。 他还分享了一个教学技巧:先展示痛点,再给解决方案。通过展示简单方法的局限性来激发学习动机,这样学习者会深刻理解为什么需要复杂解决方案。 最后,要真正掌握知识,就要试着向别人解释。解释的过程会迫使你面对理解中的空白,这又回到了他的核心观点: 限制和困难往往是学习的催化剂。 这 recall 了之前的观点,真正的技术突破往往需要重新思考基础假设。 也许AGI的关键不是让机器记住更多,而是学会智能地遗忘。

339
76
13
38.7K
Data updated 26m ago
Viral Probability
100%
Predicted Views
289.0K
Est. 1.8K views for your reply
宝玉
139.6Kfo
宝玉@dotey· 8h ago发布

这个翻译的提示词我后来加了一句话,在翻译一些晦涩难懂的技术文章时效果很好,能帮助解释一些专业术语: > - 适当解读:如果是普通人难懂的专业术语或因为文化差异导致的难以理解,做出更多的注释以更好的理解,注释部分用括号包裹并加粗 完整提示词见评论:

80
9
1
14.8K
Data updated 26m ago
Viral Probability
62%
Predicted Views
58.0K
Est. 4.3K views for your reply
宝玉
139.6Kfo
宝玉@dotey· 8h ago发布

分享一点 AI Coding/Codex 实践技巧:告诉 AI 如何验证 这个方法其实我提到多次,只不过再随手贡献一个案例罢了。 Coding Agent 能力挺强的,能自己写代码自己调用工具,但是它有时候并不知道该如何验证数据。 如果说你只是告诉它哪里错了,它并不一定能通过阅读代码找出问题所在,但如果你告诉它如何验证,那么它就能在修改完后自行验证,验证时如果发现问题就会继续修复,直到完全修复为止。 比如我在调试一个 API 发现返回结果不对,那么我就告诉它输入是什么,实际输出是什么,期望结果是什么(甚至于我没说它也猜得到),然后让它自行写测试代码验证。 那么它就不仅阅读代码修改问题,还会写测试程序去验证,直到解决问题。

117
17
6
23.3K
Data updated 26m ago
Viral Probability
65%
Predicted Views
112.0K
Est. 1.3K views for your reply
Susan STEM
39.4Kfo
Susan STEM@feltanimalworld· 8h ago发布

Substack is the new linkedin. 经常有一堆人在X的bio上面写一堆头衔名校QS排名...暂不评论这个,我说说我怎么看的。 在 AI 时代,职业身份的重心正在从履历转向认知。 LinkedIn 展示的是“你做过什么”; Substack 展示的是“你在思考什么”。 1. 从“履历”到“声誉” LinkedIn 衡量的是过去的职位与资历, Substack 衡量的是当下的思考力与原创度。 技能会贬值,说点你懂的但是AI还不懂的事情? 思想才是新的简历。 2. 从“人脉”到“叙事” LinkedIn 是关系网络, 不是,2025年了,同学会你还去吗? Substack 是叙事网络。 前者连接的是人,后者连接的是世界观。 3. 从“表演”到“信号” LinkedIn 的发帖是展示:其实我一直都不是linkedin的粉,总有一种“假假”的感觉。 Substack 的写作是沉淀。 在信息噪音中,真实的思想成为稀缺信号。 4. 从“职级”到“结构” LinkedIn 的世界是层级化的; Substack 的世界是去中心、可重组的。 你不再被“职位”定义,而是被思维结构定义。 5. 从“介绍自己”到“公开进化” LinkedIn 让你写一个“关于我”; Substack 让你记录一个“成为我”的过程。 你的档案不再是静态页面,而是一个持续生长的认知证明。 Substack 的长文我都很认真的在写。最近还想把配图也给跟上, 后期再把视频和博客跟上。现在居然就有了付费用户,我真是太意外,太感动了😭 LinkedIn 展示你是谁; Substack 展示你正在成为谁。 而且,马斯克考虑一下收购Substack?直接把Grok用来分析画像?

56
7
5
9.8K
Data updated 26m ago
Viral Probability
63%
Predicted Views
13.0K
Est. 100 views for your reply
Shawn Pang
24.0Kfo
Shawn Pang@0xshawnpang· 10h ago发布

如果你是一个还没有融资/不打算融资的开源开发者,在以下四个方向上做建设,GCC @GCCofCommons 可以成为你第一个支持者: - 抗审查-加密隐私 - 全球公共人才网络 - 自由开源软件 - 治理研究与实验 他们这一期会提供10万U/70万人民币的Grant,apply here - https://t.co/SrRjvbVHFr

18
1
3
1.7K
Data updated 26m ago
Viral Probability
52%
Predicted Views
4.0K
Est. 200 views for your reply
马东锡 NLP
30.9Kfo
马东锡 NLP@dongxi_nlp· 11h ago发布

「 Model Collapse 」 昨天看完 Andrej Karpathy 的播客节目,提到了 models collapse。于是找来这篇文章来读。 AI models collapse when trained on recursively generated data Early collapse : 损失低概率事件 Late collapse : 方差大幅减小,完全失真于原始分布 想象或直接问 AI 一下,如果大多数人类collapse了,这个世界会怎样?

48
5
2
5.2K
Data updated 26m ago
Viral Probability
55%
Predicted Views
7.0K
Est. 200 views for your reply
Shawn Pang
24.0Kfo
Shawn Pang@0xshawnpang· 11h ago发布

We closed an oversubscribed fundraising for @allscaleio last week (will share details in the future) but got the speedrun rejection letter from @JoshLu. However this is by far the most detailed and informative response email I have ever received. It's almost the same length as the application we submitted for @speedrun. Founders appreciate investors like @JoshLu. Straightforward so they do not waste your time. Honest and sharp so you know what to work on or what to not worry about.

21
0
5
2.0K
Data updated 26m ago
Viral Probability
51%
Predicted Views
5.0K
Est. 100 views for your reply
宝玉
139.6Kfo
宝玉@dotey· 11h ago发布

周末吃瓜:这条推文宣布 GPT-5 “解出” 10个Erdős数学难题,大众以为是 GPT-5 数学能力有了突破,事后发现不过是检索现有文献得出来的结果 事情起因是 OpenAI 旗下研究员 Mark Sellke 在社交平台 X 上高调宣布:他们借助 GPT-5 成功「找到」了10个著名的厄尔多斯数学难题(Erdős problems)的解法。Mark 兴奋地写道:「经过数千次GPT-5的查询,我们发现了10个原本还处于『未解状态』的厄尔多斯难题的解答,分别是223、339、494、515、621、822、883(第二部分)、903、1043、1079。此外,还有11个难题取得了重要的部分进展,并更新到了官网上。甚至在第827题上,我们还发现厄尔多斯本人原始论文里存在错误,这个错误由Martínez和Roldán-Pensado两位学者后来进行了修正。看来,未来的科学研究真的要变得有趣了!」 OpenAI 高管 Kevin Weil 在 X 平台上惊呼:“GPT-5 找到了 10 个 (!) 此前未解决的 Erdős 问题的解答,并在另外 11 个问题上取得进展” 随后,OpenAI 另一名知名研究员 Sebastien Bubeck 也兴奋地转发并补充道:「AI驱动的科学加速时代正式开启了!两位研究员仅靠一个周末、借助GPT-5成功解开10个厄尔多斯难题……顺便一提,正好宣布一下:Mark Sellke 已经正式加入了OpenAI!」 消息一出,全网震动,一时间不少人误以为GPT-5独立破解了这些困扰数学界数十年的难题。 不过,这场欢呼很快被谷歌 DeepMind CEO Demis Hassabis狠狠泼了一盆冷水。 Demis 直接在布贝克的推文下回复道:「这真是尴尬啊(this is embarrassing)!」 这句话瞬间引爆舆论。不少网友追问 Demis 究竟为什么如此评论时,他冷静地引导大家去查看 Thomas Bloom 发布的一则关键说明。而 Thomas 正是OpenAI引用的那个 ErdosProblems .com 网站的创始人兼维护人。 Thomas 随后公开澄清: 「作为erdosproblems .com网站的拥有者和维护者,我得声明:OpenAI的说法明显夸大了事实。GPT-5只是通过网络搜索,找到了早已存在的论文,这些论文中早就解答了这些问题,只是我个人不知道而已。网站上的『未解』状态只是说明我尚未发现相关的论文,而不代表全世界数学界没有解决方案。」 换句话说,GPT-5实际上并没有独立地破解任何厄尔多斯难题。它所做的仅仅是比人类网站管理员更迅速地在互联网上「检索到了」已知的答案,而这些答案其实早已存在。 事后 Sebastien Bubeck 删除了之前的推文: > 我删除了之前的推文,我显然不是有意误导任何人,我原本以为自己的表达很清楚,对此感到抱歉。我们仅仅是发现了已经发表在文献中的解法,仅此而已。我认为这依然是一种巨大的进步,因为我知道检索文献有多么困难。 Yann LeCun 在下面回复: > 这次他们被自己吹嘘GPT的言论坑惨了(Hoisted by their own GPTards)。 (注:原文为“Hoisted by their own GPTards”,源自英文俗语 "hoisted by their own petard",意指“搬起石头砸自己的脚”,这里被Yann LeCun改为GPTards,以讽刺那些盲目吹捧GPT的人。) GPT-5 能够快速、精准地从浩如烟海的学术文献中挖掘出被忽略的答案,这一点当然非常有价值。但问题在于,OpenAI研究员的发言模棱两可,很容易让公众误以为 GPT-5 已经突破了AI的极限,真正自主解决了艰深的数学难题。 更糟糕的是,这种误导性的说法还被自家人进一步放大,甚至上升到「AI正在颠覆传统科学研究」的高度,无疑加剧了公众的误解。

65
8
7
28.8K
Data updated 26m ago
Viral Probability
59%
Predicted Views
47.0K
Est. 200 views for your reply
Susan STEM
39.4Kfo
Susan STEM@feltanimalworld· 12h ago发布

在这个时候,我认为Substack 非常值得做。写这个帖子不是为了劝你,而是留个证据。5年以后回过来看。 Substack will be the next LinkedIn.

48
1
3
11.6K
Data updated 26m ago
Viral Probability
52%
Predicted Views
16.0K
Est. 400 views for your reply
宝玉
139.6Kfo
宝玉@dotey· 12h ago发布

知名播客博主 Dwarkesh Patel 最近对 AK 有过一次访谈,这是他的描述: 对我来说,最有意思的部分,是 Andrej Karpathy(常被粉丝称为“卡神”的AI大牛)解释为什么大语言模型(LLM)没法像人一样学习。 果不其然,卡神又造出了一个特别生动的词儿来形容强化学习(Reinforcement Learning, 简称RL):“用吸管吸取监督数据”。 这话啥意思呢?就是说,在一次成功的尝试里,(比如AI下棋赢了),这个“赢了”的最终奖励,会平摊到它走过的每一步、生成的每个词上。哪怕中间有些步骤是错的、或是无关紧要的,只要最后结果是对的,这些步骤也统统会被算法“加分”。 > “我以前就说过,人类不使用强化学习。我认为人类的学习方式完全不同。强化学习比普通人想的要糟糕得多。强化学习很烂。只不过,我们以前有的其他算法比它还要烂得多罢了。” 那么,人类到底是怎么学习的呢? > “我读一本书,这本书对我来说就是一套‘提示词’(prompts),好让我在脑子里‘合成数据’(synthetic data generation)。你必须通过主动地处理这些信息,才能真正获得知识。但大语言模型(LLM)没有对应的机制;它们真的不会这么干。” > “我很希望在模型的预训练(pretraining)阶段看到这么一个环节:模型能‘琢磨’一下它读到的材料,并试着把它和自己已经知道的知识‘对上号’(也就是融会贯通)。现在根本没有这种机制。这都还停留在研究阶段。” 那我们为什么不能现在就把这种“思考”训练加到大语言模型里呢? > “这里面有非常微妙、难以理解的原因,导致这事儿没那么简单。如果我让模型对一本书进行‘思考’,并生成一些合成数据,你乍一看会觉得:‘这看起来很棒啊!为什么不能用它来训练呢?’ 你是可以试试,但如果你坚持这么做,模型的性能实际上会变得更糟。” > “比方说,我们拿一本书的某一章,我让一个大语言模型来‘思考’一下。它会给你一段看起来非常合理的回答。但如果我让它回答 10 次,你会发现,这 10 次的回答几乎一模一样。” > “你从这些模型里,得不到人类思考时那种丰富性、多样性和‘熵’(在这里指思考的混乱度和创造性)。你无法像人一样得到各种天马行空的想法。所以,如何在模型趋向于‘坍塌’(collapse)(指回答变得单一、缺乏多样性)的情况下,还能让合成数据起作用,并且保持住这份‘熵’?这还是个研究难题。” 那么,人类是如何避免这种“思维坍塌”的呢? > “(把人和模型类比)这个点子好得出奇。人类在自己的一生中,其实也会‘坍塌’。小孩子还没有‘过拟合’(overfitting)(指思维僵化,只适应特定模式)。他们会说出一些让你震惊的话。那是因为他们还没‘坍塌’。但我们成年人已经‘坍塌’了。我们最终会反复琢磨同样的想法,我们说的话也越来越趋同,我们的学习率下降,‘坍塌’的情况越来越糟,最后一切都退化了。” 事实上,有篇很有意思的论文(Erik Hoel 的《过拟合的大脑》(The Overfitted Brain))就提出,人类做梦这个功能的进化,就是为了帮助我们提升‘泛化能力’(generalization)(指举一反三的能力),抵抗日常学习带来的‘过拟合’。 于是我问卡神:这事儿是不是特有意思?—— 人类在学习能力最强的时期(童年),却会把学到的具体细节忘得一干二净;成年人虽然也能学得不错,但对读过或看过的东西,记忆力也烂得不行;而大语言模型呢,它们能记住人类根本记不住的海量文本细节,但在‘泛化能力’上却表现得很差。 > “(人类健忘的记忆力)这恰恰是一个‘特性’(feature),而不是一个‘缺陷’(bug)。因为它逼着你只能去学习那些真正具有‘泛化能力’的东西。而大语言模型呢,它们被自己记在(预训练)文档里的海量细节给‘分心’了。这就是为什么我谈到‘认知核心’时,我其实是想把(模型的)记忆力拿掉。我倒希望它们记性差一点,这样它们就必须去(主动)查资料,而只保留那些‘思考的算法’、‘做实验的想法’,以及所有这些用于行动的‘认知粘合剂’。”

269
49
13
51.7K
Data updated 26m ago
Viral Probability
69%
Predicted Views
129.0K
Est. 600 views for your reply
宝玉
139.6Kfo
宝玉@dotey· 12h ago发布

做中学 https://t.co/vNkYTrd33L

167
33
10
18.8K
Data updated 26m ago
Viral Probability
68%
Predicted Views
28.0K
Est. 100 views for your reply
宝玉
139.6Kfo
宝玉@dotey· 13h ago发布

Agent 的好文章,强烈推荐阅读👍 要说对 Agent 的理解,Manus 团队无疑是业界顶尖的,每次他们的分享都能有所收获,作者作为前 Manus 团队成员,对 Agent 的经验是丰富的,最难得的是能把概念解释的深入浅出通俗易懂。 OpenAI 提出了一个五级人工智能分级标准来衡量其通用人工智能(AGI)的进展:第一级是“ChatBot(聊天机器人)”,能够进行对话;第二级是“Reasoners(推理者)”,可以解决人类水平的问题;第三级是“Agent(智能体)”,能够代表用户采取行动;第四级是“创新者(Innovators)”,可以帮助发明创造;第五级是“组织者(Organizations)”,能够完成组织管理工作。 AI 现在现在已经发展到了第 3 级 Agent,但很多人还搞不清楚它和第 1 级 ChatBot 的差别,这就是一篇很好的科普让你搞清楚它的差别。 Chatbot: - 一次性输出 - 只能依赖自身知识库 Reasoners: - 先思考再输出 Agent: - 动态循环过程,Think → Act → Observe,先制定明确计划(Think),再查询实时信息(Act),最后基于真实结果调整方案(Observe),通过持续反馈和修正,稳定逼近目标。 - 使用工具,与真实世界互动,弥补自己知识库的不足,主动补齐上下文 原文较长,推荐仔细看看,链接在原推2楼

266
61
11
44.7K
Data updated 26m ago
Viral Probability
71%
Predicted Views
105.0K
Est. 500 views for your reply
勒西
7.8Kfo
勒西@alwriterla· 13h ago发布

这张图想必都见过:人类目前了解的几乎所有的概率分布。 作为一个搞数据科学的,我想用这个帖子🧵,把这个图上概率分布都解释一遍。 目的有两个: 1. 让做产品的普通人,用更正确的概率分布思考问题 2. 作为我自己输出方式的一种尝试,拿到一些反馈 https://t.co/PAeRhqGt7s

226
45
5
21.4K
Data updated 1h ago
Viral Probability
68%
Predicted Views
28.0K
Est. 100 views for your reply
Susan STEM
39.4Kfo
Susan STEM@feltanimalworld· 13h ago发布

一种不可言说的变化即将在我们熟悉的知识领域发生。我想Robinson说的事情包含在这个范围内。 这就是我为什么又把这本书专门买个纸版本的,仔仔细细的又在研究。 书籍真是一种很难完全窥探作者思想的媒介,总共没多少字,而且他文采还很好(不直白,但问题就是一个中心思想还写了好多字)。所以没完全看透他的思想。 版权,知识,文凭,研究,科学,科研,知识分子,白领阶层,中产阶级,高校生态。 以上的这一切关键词,都是我认为即将发生我以前不可理解不可预知的领域。 无法用语言表述出来,所以想看这本书找答案。但我的感官又足够敏感,能感觉出来。很奇怪的感觉。

54
7
1
10.4K
Data updated 3h ago
Viral Probability
58%
Predicted Views
14.0K
Est. 400 views for your reply
Mina
5.9Kfo
Mina@Minamoto66· 14h ago发布

晚上不想开火了,买了超市的寿司,14.9欧元,又买了一块三文鱼,9.8欧元吃了。去了趟超市买了300多欧的东西,一半是要带到巴尔干去的。把首都的公寓打扫完又回家继续打扫被四只毛娃整得乱七八糟的房子。反正我的剧本里不是霸道总裁爱上绝经干保洁的我,是我这个快绝经的总裁天天干保洁… https://t.co/afoesluX5v

92
0
25
5.3K
Data updated 3h ago
Viral Probability
52%
Predicted Views
7.0K
Est. 100 views for your reply
dontbesilent
51.3Kfo
dontbesilent@dontbesilent12· 14h ago发布

我们在短视频上经常会看到有人说,你做泛流量赚不到钱,必须做精准流量才能变现 “精准流量”这个说法是一种典型的,短期有益但长期有害的词汇 短期有益指的是很多人的确为了获取流量做了很多垃圾内容,这些内容在当下的确是无法变现的,所以你需要收缩一下你的选题范围 但长期来看,我们认为真正的财富其实是源于你有强大的承接能力,让你可以把泛流量也进行转化 因为所谓的精准流量的总量是非常有限的,这实际上是一场逃避强化转化能力的自我表演 真正能帮助我们看清世界的思维模型,其实是把它分为流量和转化两部分,在你转化能力有限的情况下,你想短期获取精准流量,这没有问题 但过了这个阶段之后,你依然停留在精准流量这个词汇上,这就是有害的 所以,如果只是单拎出来这个词去赞美,而不讨论它背后的更大的语境,我认为这是不理解商业的表现 简单讲就是菜 维特根斯坦说,哲学是一场反对语言对我们的理智的蛊惑的斗争 我正在尝试去践行

35
2
4
5.2K
Data updated 3h ago
Viral Probability
56%
Predicted Views
7.0K
Est. 200 views for your reply
勒西
7.8Kfo
勒西@alwriterla· 15h ago发布

为啥古代那么多扒灰? 古代人结婚早,儿子结婚时,老爹还是精壮小伙。 又一大家子住在一起,低头不见抬头见。 公公既有主观动机,又有客观条件,往往也比儿子更有钱有势。

33
1
6
5.1K
Data updated 3h ago
Viral Probability
47%
Predicted Views
7.0K
Est. 100 views for your reply
宝玉

宝玉

@dotey· 137.0K followers

这篇《我在为逆向工程师打造一款专属浏览器》的文章极其精彩,如果你对逆向工程有兴趣非常推荐。 背景知识是现在很多大网站都会借助一种 fingerprinting 的技术来唯一识别一个用户,不管你怎么换匿名模式或者换浏览器,都知道你是同一台电脑使用。 原理是基于浏览器画布Canvas API,在你看不见的位置在一个 <canvas> 画一张图,然后调用 toDataURL()(或读取像素数据),利用不同 GPU 之间微小的渲染差异生成的哈希值来给你打上指纹。通过将 Canvas 哈希与其他信号(如用户代理、安装的字体等)关联起来,追踪器可以构建一个相当稳健的指纹。 对于逆向工作来说,监视并选择性地伪造这类调用非常有用。作者就是介绍了怎么一步步去监控和伪造 Canvas API 中的 toDataURL 函数。 JavaScript 本身是很容易修改系统原生 API 的,比如我之前介绍过的跟踪 Claude Code 数据传送的 Claude Trace,就是修改了 JavaScript 的 fetch 函数,直接拿到了所有 Claude Code 的请求。 作者第一个想到的办法是通过浏览器扩展,在网页加载时就加载它的注入脚本,但是没有成功(虽然后来评论有人指出是可以做到的) 然后作者想到另一个办法就是用 Electron 打造一个浏览器,由于 Electron 可以比扩展程序有更高的对网页操作的优先级和权限,所以它的方法被验证是可行的,并且有一个 electron-browser-shell 开源程序可以直接实现一个浏览器套壳应用,省了很多额外的基于 Electron 开发浏览器套壳的工作。 这个方法在Tiktok等各个网站都成功了,不过最终在Cloudflare上栽了跟头,不得不说Cloudflare在反逆向方面是真的牛,各种手段,我其实以前也尝试过,早放弃了。 不过作者显然不是一般人,他首先发现Cloudflare 在一个沙盒化的 iframe 里渲染 Canvas,而这个 iframe 又藏在一个封闭的 Shadow DOM (一种将 DOM 封装起来,与主文档隔离的技术) 中。这个 iframe 是一个 OOPIF (out-of-process iframe),也就是跨进程 iframe。它运行在一个不同的渲染进程里,所以页面级的脚本(以及我们注入的钩子)根本无法在那里运行,因此,也就没有日志了。 找到原因后,作者通过一个底层 API,成功在 iframe 中注入了它的逆向脚本。 但这还没完,Cloudflare 早就预判了会有人通过篡改系统 API 来逆向,在 JavaScript 中,函数包含一个 toString 方法,如果你篡改了系统函数,返回的结果是不一样的。 作者没有放弃,又找到个办法,就是连 toString 都一起篡改了,但由于需要打补丁的 toString 方法是在太多(基本上每个系统函数都可能会被检测),而且还可能由于补丁太多还导致了其他问题。 最后作者来了终极大招,重新编译 Electron 源码,魔改 Chromium! 在浏览器内部调用 Canvas 的 方法时,触发一个自定义的 toDataURLCalled 方法,在 Electron 中直接获取,就不需要通过 JS 去注入了,既然 JS 系统代码没有被篡改,那么 Cloudflare 也不会认为代码有问题。所以也成功搞定了 Cloudflare。 整个过程还是很精彩,推荐看看!

332
65
11
41.9K
Posted 9d ago · Data updated 9d ago
Reply Suggestion

Est. 500 views for your reply