目标实验目标
把 FFNN 语言模型的三个关键旋钮单独拎出来调:隐藏层权重 w、偏置 b(探测器敏不敏感)、输出权重(天文味值多少分)、温度 T(概率锐不锐利)。调完立刻看右侧两条概率条怎么动。
怎么玩先把输入切到「黑洞」(语料里没出现过),再依次拖三个滑块——你会发现输出和「恒星」那边几乎同步,这就是举一反三。
参数控制
w 越大,探测器对「天文性」越敏感,输出越容易走极端。
b 是门槛。负得多,需要更强的天文味才能点亮探测器。
把 h 放大成 logit。越大,行星与雨伞的差距越悬殊。
低温 → 概率更极端;高温 → 更接近 50/50。
关键观察:把输入在「恒星」和「黑洞」间来回切,只要两个词的天文性接近,右边所有数值几乎不动——训练里从没见过「围绕黑洞」,模型却照样答得出来。
前向数字怎么流过网络
① 待定词向量—
② 拼接输入—
③ 隐藏层 h—
④ 两个 logit—
⑤ softmax—
探测探测器曲线与当前落点
横轴 = 输入的天文性(0~1),纵轴 = 隐藏层 h。曲线是当前 w、b 下的形状,圆点是这次输入的位置。
输出下一个词的概率
行星—
雨伞—
—
挑战实验课挑战
挑战 1 · 同步性
输入在「恒星」与「黑洞」间切换。所有滑块不变时,P(行星) 差多少个百分点?
输入在「恒星」与「黑洞」间切换。所有滑块不变时,P(行星) 差多少个百分点?
挑战 2 · 敏感度
把 w 从 1.5 拉到 4,再切到「香蕉」,P(行星) 还会翻盘吗?为什么?
把 w 从 1.5 拉到 4,再切到「香蕉」,P(行星) 还会翻盘吗?为什么?
挑战 3 · 门槛效应
把 b 调到 1.0(门槛很高),「恒星」还能点亮探测器吗?需要多大的天文性?
把 b 调到 1.0(门槛很高),「恒星」还能点亮探测器吗?需要多大的天文性?
挑战 4 · 温度悖论
T=0.2 与 T=4.0 下,同一个 h 给出的概率差多少?实际生成文本时你更想要哪种?
T=0.2 与 T=4.0 下,同一个 h 给出的概率差多少?实际生成文本时你更想要哪种?