目标实验目标
把 RNN 与 LSTM 的记忆机制用一条曲线画出来，再亲手拧它们的关键参数：RNN 的传递系数决定衰减多快；LSTM 的忘记阀 / 写入阀决定什么留下来。
怎么玩先只看 RNN：把传递系数从 0.6 拉到 0.99，曲线立刻从「塌陷」变成「撑住」——这说明 RNN 的病不是结构，而是那个小于 1 的系数。再切到 LSTM，看阀门怎么替代这个系数。
参数控制
旧记忆每步保留多少。<1 会衰减，≈1 才能传远。
「小猫」这个词带来的信号有多大。
读到重要词时，留多少旧记忆。
读到无关词时，旧记忆几乎原样带走。
重要内容写进长期记忆多少。
无关内容几乎不碰长期记忆。
曲线记忆随步数怎么变
横轴 = 读过的词数，纵轴 = 记忆值。曲线越高、塌得越慢，说明记得越久。
数值关键读数
—峰值记忆
—末步记忆
—残留比例
—半衰步数
挑战实验课挑战
挑战 1 · 把 α 拉满
RNN 的 α 设成 0.99，残留比例还低吗？那为什么真实 RNN 学不到这个值？
RNN 的 α 设成 0.99，残留比例还低吗？那为什么真实 RNN 学不到这个值？
挑战 2 · 忘记阀的作用
LSTM 的 f（无关词）从 0.99 降到 0.9，末步记忆掉多少？说明 f 有多关键？
LSTM 的 f（无关词）从 0.99 降到 0.9，末步记忆掉多少？说明 f 有多关键？
挑战 3 · 写入阀关死
把 i（重要词）调到 0，长期记忆还能建立起来吗？为什么？
把 i（重要词）调到 0，长期记忆还能建立起来吗？为什么？
挑战 4 · 长序列对决
序列长度拉到 40，RNN 与 LSTM 的残留比例分别剩多少？差了几个数量级？
序列长度拉到 40，RNN 与 LSTM 的残留比例分别剩多少？差了几个数量级？