🔥 Search Hot Tweets

牛皮！Andrej Karpathy 发布了一个从零构建 LLM 训练和推理的项目：nanochat 基本上跟着学就可以了解 LLM 训练的所有步骤了 只需要 100 美元的算力成本就可以训练出可以对话的模型，而且会带有一个 UI 界面，只有 8000 行代码 项目覆盖从分词、预训练、对齐到推理与 WebUI 的完整闭环，会是他 LLM 课程的一部分。 在云端 8×H100 节点上运行单脚本，约 4 小时 / ~100 美元即可得到能对话、写诗故事、答简单问题的模型； 12 小时在 CORE 指标上超过 GPT‑2；~$1000 / ~41.6 小时进一步提升到能做基础数学/代码与多选题。 具体训练管线包括： 分词器：全新 Rust 实现训练分词器。 预训练：用 FineWeb 语料，评估 CORE 及多项指标。 中期训练：用 SmolTalk 的用户‑助手对话、多选题、工具使用数据。 SFT：评测覆盖常识与世界知识（ARC‑E/C、MMLU）、数学（GSM8K）、代码（HumanEval）。 强化学习：可选在 GSM8K 上用 GRPO 做 RL。 推理引擎：支持 KV cache、prefill/decode、工具调用（轻量沙箱内 Python 解释器），CLI 与 ChatGPT 风格 WebUI 交互。 自动生成报告卡：自动生成单一 Markdown 报告，汇总与“游戏化”指标。