大模型底层逻辑

1 note in this collection.

YouTube · 字幕整理 · 影片原作者(转述 Karpathy)

课程定位

这门课不教怎么用 AI,讲的是AI 背后到底是什么。

出发点是 Andrej Karpathy 那场一小时的演讲《Intro to Large Language Models》。原作者用一支二十一分钟的影片做了浓缩,并加上了自己学习过程中的整理与三年后的回看。

学习路线

  1. 大模型是两个文件 —— 140 GB 的参数加推理代码,难点全在参数怎么来
  2. 三段训练 —— 预训练把互联网压成参数,SFT 教它当助手,RLHF 让它对齐偏好
  3. 为什么有幻觉 —— 有损压缩、文字关联干扰、评分规则
  4. 为什么不能拆开修 —— 旋钮模型、Transformer、正反问答的对照实验
  5. 三个演进方向 —— 慢想、多模态与客制化、自我对弈
  6. 模型即操作系统 —— CPU、内存、周边设备的对应关系
  7. 三种攻击 —— 越狱、提示词注入、数据投毒

为什么值得先学这一层

原作者给的理由,我觉得比「学原理更扎实」更具体:

只要你搞懂大型语言模型背后的底层逻辑,不管市场上又有什么新玩意儿,你一眼就能看懂它背后在做什么。

而反过来,一直追新工具的结果是「每个东西都学半套,好像会了,又好像似懂非懂」。

阅读提示

  • 本篇是二次转述:原片是以 Karpathy 演讲为主线的解说,不是逐字记录
  • 文中模型版本、训练成本与案例均沿用原片口述口径,未做外部核验
  • 支中的数字(10 TB、六千张 GPU、十二天、两百万美元等)反映的是 Llama 2 时期的公开信息,不代表当前最新模型

搜索全站

输入关键词,查找项目与实践记录。