风格描述词:用一个名称调整模型的写作风格
风格描述词(style descriptor)指写进提示词里的一个名称,可以是一份写作规范、一位作者、一类文体或一种思考方法,例如“BLUF”“费曼技巧”“Reviewer 2”。按我们的理解,模型在训练数据里见过大量与这个名称相关的文本,提示词里一出现这个名称,模型就会沿用与之相关的整套写法。用一个名称就能替代一长段风格要求,这是风格描述词的用处。
描述词清单:五类
简洁、清晰
| 描述词 | 效果 |
|---|---|
| ASD-STE100(简化技术英语) asd-ste100.org | 句子短,一句一事,术语一致 |
| Plain Language(美国政府的平实语言指南) plainlanguage.gov | 面向普通读者,少用术语,以主动语态为主 |
| BLUF(Bottom Line Up Front,军事写作) | 第一句就给出结论 |
| 金字塔原理(Minto) barbaraminto.com | 结论在上,论据分层,MECE(不重不漏) |
| Strunk & White《风格的要素》 | 删掉一切多余的词 |
| 《经济学人》风格指南 | 短句、具体、有观点 |
| Google / Microsoft 技术文档风格指南 developers.google.com · learn.microsoft.com | 规范的技术文档,用词统一 |
| Thing Explainer(xkcd 作者的书,只用 1000 个常用词) xkcd.com | 极度通俗,适合检验自己是否真懂 |
规范、严谨
| 描述词 | 效果 |
|---|---|
| 博士学位论文 | 结构完整,论证规范,引用严格 |
| 数学教科书:定义—定理—证明 | 每个概念先定义,再推导 |
| 综述论文(如 Annual Review、survey) | 分类梳理,对比,给出脉络 |
RFC 风格(MUST / SHOULD / MAY) 10.17487/ | 需求和规范写得没有歧义 |
| 顶会论文(NeurIPS / CVPR) | 按动机、方法、实验、局限展开 |
| 审稿人视角(Reviewer 2) | 专挑漏洞,适合自查 |
生动、直观
| 描述词 | 效果 |
|---|---|
| 3Blue1Brown 3blue1brown.com | 2D 动画,几何直觉优先 |
| 费曼技巧 | 用类比,从零讲起;讲不清楚就是没懂 |
| Jay Alammar《The Illustrated Transformer》 jalammar.github.io | 一步一图,图解张量的流动 |
| Lilian Weng 博客 lilianweng.github.io | 技术综述,公式加谱系梳理 |
| Karpathy “from scratch” karpathy.ai | 用最少的代码从零实现,靠代码讲原理 |
| Distill.pub / Chris Olah distill.pub | 论述严谨,配交互式可视化 |
| Explorable Explanations(Bret Victor) worrydream.com | 读者可以拖动参数、看结果变化 |
| 苏格拉底式提问 | 一步步提问,引导读者自己推出结论 |
画图
| 描述词 | 效果 |
|---|---|
| Edward Tufte edwardtufte.com | 数据图去掉装饰,追求高“数据墨水比” |
| C4 模型 c4model.com | 架构图分层:系统—容器—组件—代码 |
| Manim(3Blue1Brown 用的动画库) manim.community | 让模型直接写出可运行的动画代码 |
思考角度
| 描述词 | 效果 |
|---|---|
| 第一性原理 | 从基本约束推导,而不是类比现有方案 |
| Steelman(钢人论证) | 先把对方观点讲到最强,再反驳 |
| 事前验尸(Pre-mortem) | 假设已经失败,倒推原因 |
| 面试回答(30 秒) | 结论、原因,再加一个加分点 |
用法:说清借什么,按文章类型选参考
说清借什么,可以组合
| 做法 | 原因 | 例子 |
|---|---|---|
| 说清借用哪一部分 | 一个名称会带来整套风格,其中有些部分你未必想要 | “借 Alammar 的一步一图,但不要他的口语化” |
| 组合几个描述词 | 结构、讲法、配图可以分别借自不同来源 | “金字塔原理的结构 + 费曼的类比 + Tufte 的图” |
| 优先用有名的描述词 | 模型见过的样本越多,模仿越准;小众名称效果不稳定 | 用“《经济学人》风格”,而不是某个小众博客 |
最后一条是我们的使用经验,没有系统的实验数据支撑。
按文章类型选参考文章
除了笼统的风格名称,也可以把一篇具体的文章当作参考。参考文章按文章类型选,不要只用一种。如果只能选一篇,我们选 Chris Olah 讲 LSTM 的那篇:在下表几篇里它最短、最清楚,图和文字配合得最好,模型也很熟悉它。这是我们的判断。
| 文章类型 | 参考文章 | 学它什么 |
|---|---|---|
| 讲清一个概念 | Chris Olah《Understanding LSTM Networks》(2015) colah.github.io | 一个问题配一张图、一段话,逐步增加复杂度 |
| 综述、谱系梳理 | Lilian Weng《What are Diffusion Models?》(2021) lilianweng.github.io | 符号统一,推导完整,分支清楚,文末文献齐全 |
| 深入讲解加直觉 | Sander Dieleman《Perspectives on diffusion》(2023) sander.ai | 从多个视角解释同一个模型,每个视角都给出直觉 |
| 从论文到代码 | Harvard NLP《The Annotated Transformer》 nlp.seas.harvard.edu | 论文原文和代码逐段对照 |
| 图解架构 | Jay Alammar《The Illustrated Transformer》 jalammar.github.io | 每一步一张图,标清张量形状 |
| 以数学推导为主 | Yang Song《Generative Modeling by Estimating Gradients of the Data Distribution》(2021) yang-song.net | 按动机、公式、实验图展开,作者本人讲自己的方法 |
落到具体的文稿上,可以这样对应:
| 文稿类型 | 参考 |
|---|---|
| 谱系梳理(谱系图加代表论文表) | Lilian Weng |
| 讲清单个机制的原理(配架构图) | Chris Olah |
| 需要动画 | Chris Olah 的结构,加 3Blue1Brown 的动画 |
示例:同一问题的 16 种写法
下面用同一个问题演示 16 种风格:Transformer 的注意力为什么要除以
ASD-STE100:简洁
点积会随维度变大。维度是 时,点积的方差约为 数值大,softmax 的输出会接近 one-hot。这时梯度接近 0,训练变慢。除以 后,方差回到 1。softmax 保持平滑,梯度正常。
BLUF / 金字塔原理:先给结论
结论: 除以 是为了让 softmax 的输入方差保持为 1,防止梯度消失。
依据:
- 点积方差与维度成正比:
- 方差大 → softmax 饱和 → 梯度趋近 0
- 缩放后方差为 1,与维度无关
博士学位论文:规范
设 各分量独立同分布,均值为 0,方差为 1。则
当 增大时,注意力 logits 的尺度以 增长。softmax 的雅可比矩阵 在 趋于 one-hot 时趋于零矩阵,反向传播的梯度随之衰减。为此,Vaswani 等(2017)引入缩放因子 [1],使 logits 的方差归一,从而保证不同维度设置下训练动态的一致性。
费曼技巧:类比
把 softmax 想成一场投票。每个词喊出自己的分数,声音越大,得票越多。维度越高,大家喊得越响。喊得太响时,最响的那个拿走全部票,其他人一票没有。一票没有,就收不到反馈,也就学不到东西。除以 等于让所有人把音量调回正常,大家都还有票,都还能学。
Karpathy “from scratch”:用代码讲
import torch
d = 512
q, k = torch.randn(10000, d), torch.randn(10000, d)
s = (q * k).sum(-1)
print(s.var()) # ≈ 512
print((s / d**0.5).var()) # ≈ 1
x = torch.randn(8) * d**0.5 # 不缩放的 logits
print(torch.softmax(x, -1)) # 几乎 one-hot
print(torch.softmax(x / d**0.5, -1)) # 分布平滑
跑一遍,数字会自己说明问题。
苏格拉底式提问:引导
- 两个随机向量做点积,维度从 64 变成 512,结果的数值范围会怎样变化?
- 把很大的数送进 softmax,输出会是什么样子?
- 输出接近 one-hot 时,softmax 对输入的导数是多少?
- 要让 softmax 不受维度影响,你会怎么处理点积?
Reviewer 2:挑漏洞
作者用“分量独立、方差为 1”推导缩放因子,但这一假设在训练后并不成立: 由学习得到的投影产生,分量相关,尺度也会漂移。因此 只保证初始化时的性质。此外,作者没有讨论替代方案,例如 QK-Norm、可学习温度,以及 μP 中使用的 缩放。建议补充训练过程中 logits 尺度的实测曲线。
Jay Alammar 图解:一步一图,带数字
设 某个 query 对三个 key 的点积如下:
Step 1 Q·Kᵀ → [112, 96, 40 ]
Step 2 ÷ √d_k (=8) → [ 14, 12, 5 ]
Step 3 softmax → [0.88, 0.12, 0.0001]
如果跳过 Step 2:
softmax([112, 96, 40]) → [1.0, 0.0000001, 0.0]
第二个词几乎拿不到注意力,也拿不到梯度。
Lilian Weng 博客:谱系梳理
注意力打分函数有两类:加性注意力(Bahdanau 等,2015)[2]和点积注意力(Luong 等,2015)[3]。点积更快,但 Vaswani 等(2017)发现, 较大时点积注意力不如加性注意力[1]。他们把原因归于 softmax 饱和,于是加入 得到 Scaled Dot-Product Attention。后续工作沿两条线改进:
- 归一化 Q、K:QK-Norm(Dehghani 等,2023,ViT-22B)[4]直接控制 logits 的尺度,提升大模型训练的稳定性。
- 改缩放指数:μP(Yang 等,2022)[5]用 使超参数能在不同宽度的模型之间迁移。
数学教科书:定义—引理—证明
定义. 缩放点积注意力
引理. 若 独立,则
证明. 各项独立,方差相加得 ∎
推论. 与 无关。
RFC 风格:无歧义的规范
实现 MUST 在 softmax 之前将注意力 logits 乘以
若实现对 Q、K 做了归一化(QK-Norm),MAY 改用可学习的温度参数代替固定因子。
实现 SHOULD NOT 在未调整学习率的情况下更改缩放指数。
Thing Explainer:只用常用词
机器在决定“该看哪个词”。它给每个词打分。词越长越复杂,分数就越大。分数太大,机器就只看一个词,别的全忘了。只看一个词,它就学不会。所以,打完分后,先把分数变小一点,再做决定。
第一性原理:从约束推导
不问“论文怎么做”,问“约束是什么”。约束只有一个:softmax 的输入尺度必须稳定,否则梯度消失或爆炸。点积的尺度来自 个随机项之和,标准差按 增长。要抵消它,就除以同一个量。所以是 不是 也不是
Steelman:先把反方讲到最强
反方最强的论点: 缩放因子是多余的。 是可学习的,乘一个常数完全可以被它吸收,表达能力没有任何变化。
回应: 表达能力确实不变,但优化路径会变。初始化时 是随机的,模型还没学会缩小它,softmax 一开始就饱和,梯度已经消失,模型没有机会学。固定因子解决的是起点问题。
事前验尸:假设已经失败
假设我们去掉了缩放,训练失败了。最可能的原因如下:
- 初始 logits 的方差为 注意力从第一步就接近 one-hot。
- 大部分 key 的梯度接近 0,相当于只训练了少数位置。
- 为了补救而调大学习率,又导致 loss spike。
- 小模型( 小)上没发现问题,扩大规模后才暴露出来。
面试回答:30 秒
点积的方差随维度线性增长, 大时 softmax 会饱和,梯度消失。除以 让方差归一。补充一点:这只保证初始化时成立,大模型训练中 logits 还会漂移,所以现在常配合 QK-Norm 使用。
对比:五个维度
16 种写法讲的内容基本相同,区别集中在下面五个维度上。
| 维度 | 取值 | 例子 |
|---|---|---|
| 顺序 | 先给结论,或先做推导 | BLUF 先给结论;博士学位论文先做推导 |
| 载体 | 文字、公式、类比、代码、问题 | 数学教科书用公式,费曼用类比,Karpathy 用代码,苏格拉底用问题 |
| 立场 | 讲解,或质疑 | Reviewer 2、Steelman 站在质疑的一方 |
| 读者 | 外行、实现者、考官 | Thing Explainer 面向外行,RFC 面向实现者,面试回答面向考官 |
| 推理方向 | 从约束推出答案,或从失败倒推原因 | 第一性原理从约束推出答案,事前验尸从失败倒推原因 |
参考文献
- A. Vaswani et al., “Attention is all you need,” in Proc. NeurIPS, 2017, pp. 5998–6008, arXiv: 1706.03762.
- D. Bahdanau, K. Cho, and Y. Bengio, “Neural machine translation by jointly learning to align and translate,” in Proc. ICLR, 2015, arXiv: 1409.0473.
- M.-T. Luong, H. Pham, and C. D. Manning, “Effective approaches to attention-based neural machine translation,” in Proc. EMNLP, 2015, pp. 1412–1421, arXiv: 1508.04025.
- M. Dehghani et al., “Scaling vision transformers to 22 billion parameters,” in Proc. ICML, 2023, arXiv: 2302.05442.
- G. Yang et al., “Tensor programs V: Tuning large neural networks via zero-shot hyperparameter transfer,” 2022, arXiv: 2203.03466.