目标实验目标
把 Transformer 的层数、FFN 放大倍数、词表大小调出来，实时看参数量、注意力开销、序列长度的连锁反应——理解为什么「加头」比「加宽」划算，为什么词表大小是个折中。
怎么玩先把层数从 1 拉到 24，看参数量怎么涨；再改词表大小，看同一句中文会切成几个 token。
参数控制
GPT-3 用了 96 层。层数越大，模型越深，参数量线性增长。
每个词向量的维度。
论文用 4 倍（512 → 2048 → 512）。撑大是为了摆下更多「检测器」。
词表越大，越少切碎，但嵌入表参数越多。
规模参数量与开销
读法每个 block 的参数 ≈ 注意力(4·d²) + FFN(2·d·d_ff)，再乘层数。嵌入表参数 = V × d。这就是大模型「有多大」的来源。
词表输入被切成几个 token
字符数—
token 数—
压缩比—
结构当前 block 的样子
挑战实验课挑战
挑战 1 · 层的代价
层数从 6 拉到 96，参数量翻了几倍？这就是 GPT-3 比 GPT-2 大得多的原因之一。
层数从 6 拉到 96，参数量翻了几倍？这就是 GPT-3 比 GPT-2 大得多的原因之一。
挑战 2 · 词表和序列
词表从 5 万降到 1 千，同一句话被切成几个 token？这会给注意力带来什么压力？
词表从 5 万降到 1 千，同一句话被切成几个 token？这会给注意力带来什么压力？
挑战 3 · FFN 放大
放大倍数从 4 改到 8，参数量涨多少？为什么不是越大越好？
放大倍数从 4 改到 8，参数量涨多少？为什么不是越大越好？
挑战 4 · 中文的账
把文本换成英文 "The quick brown fox jumps over the lazy dog"，token 数比中文少多少？
把文本换成英文 "The quick brown fox jumps over the lazy dog"，token 数比中文少多少？