翁荔Scaling Law博文解读

https://www.youtube.com/watch?v=o0Bl3zeDfJM 博客原文地址 https://lilianweng.github.io/posts/2026-06-24-scaling-laws/ 先通俗易懂的解读这篇硬核博客 👇 🎯 一句话版 模型越大、数据越多、算得越久，AI 就越聪明——而且变好的速度和规模之间，大致遵循一条"幂律曲线"。 但到底"模型"和"数据"谁该先加大？这是整篇文章争论的核心。 🍳 用一个做菜类比 假设你在练一个超牛大厨（= 训练 AI）： 模型参数量 N = 厨师脑容量（记菜谱、技巧的能力） 数据量 D = 你让他练过的菜品份数 计算量 C = 总时间 + 灶台费（钱/电） 🔹 Kaplan（2020）说： "脑子大的厨师，学得快，所以给同样预算， 优先把脑容量搞大，少练几道菜也行 。" → 结果：早期大模型都偏小数据量训练（后来发现——其实练少了）。 🔹 Chinchilla（2022）反驳： "不对！ 脑子和练习题要一起加 ，模型翻倍，题也要翻倍，效果才最好。" → 用更小模型 + 多训 4 倍…