跟着一份数据,看懂代码如何运转。
每节课围绕一个具体示例,逐步展示输入、处理与输出。完整系统始终留在画布上,当前部件随步骤点亮。缩放、拖动,点击部件即可查看对应文件和数据。讲解从具体过程入手。
语言模型怎样预测下一个字符,又是怎样学会的?
观察向量、注意力和权重,再回放 3,000 步训练中的变化。
数值来自参照源码自写的小模型,未运行原项目。
两次提问开头相同时,第二次为什么能少算一些?
看前缀树如何拆分、内存如何复用:新增计算 2 个 token,而非 9 个。
数值来自按源码缓存规则自写的回放。
是什么让语言模型能够修复真实项目中的 bug?
上下文逐轮增长,从一次被拒绝的编辑走到一行代码修复。
仓库示范记录中的真实文本,非实时模型调用。
AI 导师回答之前,会怎样处理你的问题?
跟随一个教材问题,查看上下文、工具、检索,以及何时结束循环。
提示词来自源码,对话为示意示例。
从按下发送到看到回答,中间发生了什么?
把隐藏的系统指令与简短问题放在一起,按文本长度比较。
提示词来自源码,对话为示意示例。