手动调参版

前馈语言模型 · 手动调参

拖动滑块,实时看「天文语境探测器」的敏感度、输出层的打分权重、以及 softmax 温度,如何一起决定下一个词是「行星」还是「雨伞」。

目标实验目标

把 FFNN 语言模型的三个关键旋钮单独拎出来调:隐藏层权重 w、偏置 b(探测器敏不敏感)、输出权重(天文味值多少分)、温度 T(概率锐不锐利)。调完立刻看右侧两条概率条怎么动。

怎么玩先把输入切到「黑洞」(语料里没出现过),再依次拖三个滑块——你会发现输出和「恒星」那边几乎同步,这就是举一反三。

参数控制

w 越大,探测器对「天文性」越敏感,输出越容易走极端。
b 是门槛。负得多,需要更强的天文味才能点亮探测器。
把 h 放大成 logit。越大,行星与雨伞的差距越悬殊。
低温 → 概率更极端;高温 → 更接近 50/50。
关键观察:把输入在「恒星」和「黑洞」间来回切,只要两个词的天文性接近,右边所有数值几乎不动——训练里从没见过「围绕黑洞」,模型却照样答得出来。

前向数字怎么流过网络

① 待定词向量—
② 拼接输入—
③ 隐藏层 h—
④ 两个 logit—
⑤ softmax—

探测探测器曲线与当前落点

横轴 = 输入的天文性(0~1),纵轴 = 隐藏层 h。曲线是当前 w、b 下的形状,圆点是这次输入的位置。

输出下一个词的概率

行星—
雨伞—
—

挑战实验课挑战

挑战 1 · 同步性
输入在「恒星」与「黑洞」间切换。所有滑块不变时,P(行星) 差多少个百分点?
挑战 2 · 敏感度
把 w 从 1.5 拉到 4,再切到「香蕉」,P(行星) 还会翻盘吗?为什么?
挑战 3 · 门槛效应
把 b 调到 1.0(门槛很高),「恒星」还能点亮探测器吗?需要多大的天文性?
挑战 4 · 温度悖论
T=0.2 与 T=4.0 下,同一个 h 给出的概率差多少?实际生成文本时你更想要哪种?