再练一轮
让一条线,学会分组。
不移动点,只调整线。看看两个错点怎样分回来。
- 01 认识题目
- 02 教它一次
- 03 考它一次
- 04 回顾结果
这条线,分错了两个点。
圆点要进圆区,方点要进方区。找找标“错”的两个点。
圆点进圆区方点进方区实线:现在 · 虚线:原来
从这道固定的小题开始;自由涂鸦的草稿独立保留。
想知道算法怎样改线?展开看(可跳过)
分出波比和臭臭三猫工作室 · 模型叫错了名字,你来教它
这张猫卡,你会贴谁?
模型原先判成。
臭臭有蓬松的白胸口,波比是短毛、大耳朵。
原画供你认猫。模型只看手填的演示特征,不会直接识别照片。
- 原画里的身份
- 你教它的名字
- 两项线索训练后叫
考两张没见过的卡
你看图,模型只看手填分数。18 张练习卡里,你只贴这一张。
进阶:重做完整实验,看分界图
第一回 · 教它认一只猫
它叫错名字了。
模型原先说:「」
波比耳朵大、毛短;臭臭有白鼻梁和蓬松白胸口。
其他卡已贴好,这张由你教。你看原画,模型只看手填的脸颊和耳尖分数。
想看贴反会怎样?换一个标签,其他卡和训练起点不变。
把整群猫放到图上
一张原画卡就是一个点。贴标签不会挪动它,训练会改分界线。
图上只看脸颊和耳尖。切换卡数时,从同一个起点训练 120 步,你贴的标签不变。
第二回 · 换个办法试试
两只猫,怎么叫成一个了?
这两张没参加训练。你看的是画,它一开始只读到两个手填分数。
你想怎么让它分开这两只?
加上蓬松度
查看每次训练的条件和结果
要是三项分数都一样呢?
自由练习:自己给六张卡贴标签
先由你认猫
看三猫工作室的原画,给 6 张卡贴上名字。模型不看画,只看每张卡手工设定的两个演示分数。
认猫线索:波比大耳、短毛;臭臭有白鼻梁、蓬松的白胸口。
- 脸颊圆润度
- 耳尖突出度
教它改分界
你贴的波比 你贴的臭臭虚线:原来 · 实线:学完
先猜:按你贴的标签训练,会有卡被改判吗?
逐张对照:标签、原画身份、模型分法
拿两张新卡考它
这两张原画没参加训练。只给模型同样的两个分数,你猜它会给出相同还是不同的答案?
点和线,究竟哪个动了?为什么这两张分不开?
训练调整的是分界的参数,卡片没挪。两张不同的原画如果变成同样的两个数,模型就只能给同一个答案。要分开它们,得补充模型能用的线索,再拿新卡检验。
接着刚才那条线
线为什么这样挪?
把刚才的 120 步拆开。这次由你控制,一步一步看。
圆点进圆区,方点进方区。实线是现在,虚线是原来。
误差也衡量预测离标签有多远,不只是数分错几个。这里显示的是合成练习题的平均交叉熵,不是新题成绩。
点没动,为什么分法会变?
刚才做的,就是梯度下降。
用整组例子的错误,算出参数附近怎样改能让误差下降,再按步长改一点。步长控制改多少,不代表越大越好;训练误差变小,也不保证新题都能做对。
现在,把它和公式对上
新参数 = 旧参数 − 步长 × 当前梯度。梯度指向误差上升最快的局部方向,所以训练朝反方向改。这里用整组 6 个点算一次梯度,不是只追着一个错点跑。
这个例子对称,偏移 c 的梯度接近 0,所以线主要旋转。换一组数据时,不一定如此。
分类 → 梯度 → 网络结构
加一层,为什么要留条直通路?
先让变化为零。原来的信号,还能到达输出吗?
空心圈:输入 实心点:输出
这里的坐标是网络内部的两个数,不是把原始样本搬走。“变化为 0”是临时机制演示,不会清空网络参数;进入训练后恢复真实分支。
同样六个点,让两种结构都学一次。
普通结构输出变化;残差结构输出原信号加变化。分类头和变化分支都会学习。
圆点进圆区,方点进方区。背景是当前模型的预测;同样的数据、分支与分类头初始参数、步长 0.15 和更新次数,只有相加直通路不同。初始预测并不相同,上方分别保留了起点。
看同一个信号在网络里变成什么
残差连接,多保留了什么?
保留原信号,再学习怎样改变它。
你刚才看到:变化为 0 时,直通路仍能把输入带到输出;真正训练时,变化分支和分类头继续更新。这不是冻结旧模型,也不是只训练错题。这个浅层小例子不证明深层网络的训练稳定性,更不保证残差结构每次都赢。
回 GenAI OS,继续看 Transformer Block ↗看懂之后,再对上残差公式
输出 = x + F(x)。x 是这一段网络的输入,F(x) 是可学习的变化;输入与输出维度相同才能直接相加。本例内部都是两个数,使用 2→4 个 tanh 单元→2 的变化分支,再接一个可训练分类头,共 25 个参数。
这是一个无相加后激活的简化残差块,不是完整 ResNet 或 Transformer。训练使用整组 6 点的平均交叉熵与真实反向传播;这里的“残差”不是界面上数出的分类错误。样本很少、网络很浅,训练成绩不代表泛化能力。
分类 → 梯度 → 残差 → 检验新题
熟题做对了,新题还会吗?
实心小点:练习题 · 空心编号点:新题
圆 / 方是标准答案,背景是模型预测。
实线:模型分界 · 虚线:揭晓后的出题规则。
先选一个错点看
把这一个位置和计算对上
现在,你能确定哪一句?
学到一条规则,还要看它能不能用到新位置。
这就是在检验“泛化”:模型没在这些新位置上训练,仍要作出判断。揭晓前后,模型都停在第 120 步;变化的是你看到了哪些题,不是它偷偷学会了新答案。
六个练习点不足以唯一决定所有位置的分法。新题出错不自动等于过拟合;这一轮也没有比较不同训练时长或复杂度,不能据此诊断过拟合。
这批新题从哪里来?
本课用同一份预先固定的出题规则:横坐标 + 纵坐标大于 0 归方,否则归圆。6 个练习点符合这份规则;16 个新位置是独立、均匀的 4×4 固定网格,与练习点不重合,标签不由模型决定。新题只用来评估,从来没有传给训练函数。
这是为看清机制设计的小题,不是随机抽样的现实测试集。本课的得分不代表现实准确率;预测倾向也不是可靠度。本课与前面各课、自由涂鸦草稿互不覆盖,临时过程不跨刷新保留。
自由涂鸦与进阶实验自己画题、换模型、教错标签,或拆开看一步训练。
下面沿用你的自由涂鸦草稿;与上面的小题互不覆盖。
教错一个点,看看它怎么学偏。
它会只听这个点,还是连旁边的判断也跟着变?
● 圆■ 方 · 背景是模型倾向,实线是 50% 分界。
点没挪,判断变了吗?
方倾向越高越偏向方,低于 50% 判圆;这不是正确率,也不是校准过的可靠度。B、C 不参与训练;这里只比较这 3 处,不代表全图表现。
为什么一个标签,会动到别处?
最后你来判断:为什么 B 没参与训练,预测也可能变?
再试试「岛里的方点」:同样教错一个点,影响一定一样大吗?
这次对照为什么公平?
两边都是同一份“四个小岛”题目、48 个位置、8 个 tanh 神经元、初始化种子 41、全量梯度下降、步子 0.15、500 步。改后也从未训练的同一起点出发,不在左边模型上接着练。只对选中样本调换圆/方标签,其他标签不变。
“教错”以这道合成题的原始规则为参照;网络本身不知道真假。A 是训练样本,B、C 是预先固定的观察位置,前后不移动。换点时,正常分界保留,改后结果清除;不会累计改坏多个点。小实验只在内存中运行,刷新即重置,不读取或覆盖下面的自由涂鸦草稿。
草稿仅在此浏览器保留,不上传。
按「开始训练」,让分界线慢慢长出来。
走一步,它到底改了什么?
用当前画布、当前模型。先猜两个位置,再做一次真实更新。
不换题、不重置模型。先留档,才能退回这个起点。
● 圆 ■ 方 实线:当前 50% 分界 · 虚线:走之前。颜色是模型倾向,不是正确率。
“几乎不变”指倾向变化不足 0.01 个百分点,不表示数学上完全不变。
不是背下一个点,而是调整整套判断。
| 指标 / 起点 | 上次步长 | 这次步长 |
|---|---|---|
| 训练误差 | ||
| A 方倾向 | ||
| B 方倾向 |
方倾向按原值达到 50% 判方。小字是相对起点的变化,A、B 用百分点;误差不是错误率。
先猜一下 可跳过
会拐弯 · 8 个神经元,能分开这两类吗?
可跳过。先留一个判断,再看实验。
先训练一次,再保留这轮成绩换个模型。
同题对照
- 练习题
- 新题
- 犯错代价
- 用过的步子
- 练习题
- 新题
- 犯错代价
- 用过的步子
圆点是珊瑚色,方点是青绿色;带深色外圈的样本是当前分错的。选画笔后拖动绘制,最多 160 点。键盘方向键移动光标,Enter / 空格使用工具。
- 直线卡住了?在「四个小岛」里换个脑袋。同一组数据,模型能表达的边界不一样。
- 教错会怎样?往另一类的领地画几个反例。它只看你给的标签,不会知道你在捣乱。
- 熟题会做就够了?比较练习题与新题。新题从不参与训练,自定义画布则不冒充有标准答案。
这里的神经网络,是真的在学习吗?
是。每个点的位置是两个输入,你画的圆或方是标签。线性模型使用一条直线;神经网络用 8 个 tanh 隐藏神经元和 1 个 sigmoid 输出。每一步计算全部练习题的二元交叉熵,再用反向传播与梯度下降更新参数。背景颜色是各位置的模型输出,不是预画的分区。
预设有 48 个训练样本和另外生成的 120 个固定测验样本,测验不参与参数更新。改动画布后,原题答案不再适用,因此清空新题成绩。正确率不等于真实世界能力;探针显示的是模型的倾向,不是校准过的可靠度。
相同预设、结构和步子会复现同样过程。每轮上限 4000 步,不保证学会任意涂鸦或找到最优答案。画点、清空和换预设都可撤销,最多保留 30 步;撤销只找回题目,训练从头开始。取消手势保留之前的数据与成绩。
灵感来自陈全的 GenAI Learning OS,算法与界面在此独立实现。纯浏览器本地计算,没有大模型接口、上传或账号。本地草稿保留题目、模型与撤销记录;暂停或正常离开时保存训练进度。刷新后恢复为暂停,仍需手动继续。仅限此浏览器、此站点,不是云备份。