风格描述词:用一个名称调整模型的写作风格

2026-10-24笔记提示词技术写作Transformer

风格描述词(style descriptor)指写进提示词里的一个名称,可以是一份写作规范、一位作者、一类文体或一种思考方法,例如“BLUF”“费曼技巧”“Reviewer 2”。按我们的理解,模型在训练数据里见过大量与这个名称相关的文本,提示词里一出现这个名称,模型就会沿用与之相关的整套写法。用一个名称就能替代一长段风格要求,这是风格描述词的用处。

描述词清单:五类

简洁、清晰

描述词效果
ASD-STE100(简化技术英语) asd-ste100.org句子短,一句一事,术语一致
Plain Language(美国政府的平实语言指南) plainlanguage.gov面向普通读者,少用术语,以主动语态为主
BLUF(Bottom Line Up Front,军事写作)第一句就给出结论
金字塔原理(Minto) barbaraminto.com结论在上,论据分层,MECE(不重不漏)
Strunk & White《风格的要素》删掉一切多余的词
《经济学人》风格指南短句、具体、有观点
Google / Microsoft 技术文档风格指南 developers.google.com · learn.microsoft.com规范的技术文档,用词统一
Thing Explainer(xkcd 作者的书,只用 1000 个常用词) xkcd.com极度通俗,适合检验自己是否真懂

规范、严谨

描述词效果
博士学位论文结构完整,论证规范,引用严格
数学教科书:定义—定理—证明每个概念先定义,再推导
综述论文(如 Annual Review、survey)分类梳理,对比,给出脉络
RFC 风格(MUST / SHOULD / MAY) 10.17487/RFC2119需求和规范写得没有歧义
顶会论文(NeurIPS / CVPR)按动机、方法、实验、局限展开
审稿人视角(Reviewer 2)专挑漏洞,适合自查

生动、直观

描述词效果
3Blue1Brown 3blue1brown.com2D 动画,几何直觉优先
费曼技巧用类比,从零讲起;讲不清楚就是没懂
Jay Alammar《The Illustrated Transformer》 jalammar.github.io一步一图,图解张量的流动
Lilian Weng 博客 lilianweng.github.io技术综述,公式加谱系梳理
Karpathy “from scratch” karpathy.ai用最少的代码从零实现,靠代码讲原理
Distill.pub / Chris Olah distill.pub论述严谨,配交互式可视化
Explorable Explanations(Bret Victor) worrydream.com读者可以拖动参数、看结果变化
苏格拉底式提问一步步提问,引导读者自己推出结论

画图

描述词效果
Edward Tufte edwardtufte.com数据图去掉装饰,追求高“数据墨水比”
C4 模型 c4model.com架构图分层:系统—容器—组件—代码
Manim(3Blue1Brown 用的动画库) manim.community让模型直接写出可运行的动画代码

思考角度

描述词效果
第一性原理从基本约束推导,而不是类比现有方案
Steelman(钢人论证)先把对方观点讲到最强,再反驳
事前验尸(Pre-mortem)假设已经失败,倒推原因
面试回答(30 秒)结论、原因,再加一个加分点

用法:说清借什么,按文章类型选参考

说清借什么,可以组合

做法原因例子
说清借用哪一部分一个名称会带来整套风格,其中有些部分你未必想要“借 Alammar 的一步一图,但不要他的口语化”
组合几个描述词结构、讲法、配图可以分别借自不同来源“金字塔原理的结构 + 费曼的类比 + Tufte 的图”
优先用有名的描述词模型见过的样本越多,模仿越准;小众名称效果不稳定用“《经济学人》风格”,而不是某个小众博客

最后一条是我们的使用经验,没有系统的实验数据支撑。

按文章类型选参考文章

除了笼统的风格名称,也可以把一篇具体的文章当作参考。参考文章按文章类型选,不要只用一种。如果只能选一篇,我们选 Chris Olah 讲 LSTM 的那篇:在下表几篇里它最短、最清楚,图和文字配合得最好,模型也很熟悉它。这是我们的判断。

文章类型参考文章学它什么
讲清一个概念Chris Olah《Understanding LSTM Networks》(2015) colah.github.io一个问题配一张图、一段话,逐步增加复杂度
综述、谱系梳理Lilian Weng《What are Diffusion Models?》(2021) lilianweng.github.io符号统一,推导完整,分支清楚,文末文献齐全
深入讲解加直觉Sander Dieleman《Perspectives on diffusion》(2023) sander.ai从多个视角解释同一个模型,每个视角都给出直觉
从论文到代码Harvard NLP《The Annotated Transformer》 nlp.seas.harvard.edu论文原文和代码逐段对照
图解架构Jay Alammar《The Illustrated Transformer》 jalammar.github.io每一步一张图,标清张量形状
以数学推导为主Yang Song《Generative Modeling by Estimating Gradients of the Data Distribution》(2021) yang-song.net按动机、公式、实验图展开,作者本人讲自己的方法

落到具体的文稿上,可以这样对应:

文稿类型参考
谱系梳理(谱系图加代表论文表)Lilian Weng
讲清单个机制的原理(配架构图)Chris Olah
需要动画Chris Olah 的结构,加 3Blue1Brown 的动画

示例:同一问题的 16 种写法

下面用同一个问题演示 16 种风格:Transformer 的注意力为什么要除以 dk\sqrt{d_k}

ASD-STE100:简洁

点积会随维度变大。维度是 dkd_k 时,点积的方差约为 dkd_k数值大,softmax 的输出会接近 one-hot。这时梯度接近 0,训练变慢。除以 dk\sqrt{d_k} 后,方差回到 1。softmax 保持平滑,梯度正常。

BLUF / 金字塔原理:先给结论

结论: 除以 dk\sqrt{d_k}是为了让 softmax 的输入方差保持为 1,防止梯度消失。

依据:

博士学位论文:规范

设 q,k∈Rdkq,k\in\mathbb{R}^{d_k}各分量独立同分布,均值为 0,方差为 1。则

q⋅k=∑i=1dkqiki,E[q⋅k]=0,Var(q⋅k)=dk.q\cdot k=\sum_{i=1}^{d_k}q_ik_i,\quad \mathbb{E}[q\cdot k]=0,\quad \mathrm{Var}(q\cdot k)=d_k .

当 dkd_k 增大时,注意力 logits 的尺度以 O(dk)O(\sqrt{d_k}) 增长。softmax 的雅可比矩阵 diag(p)−pp⊤\mathrm{diag}(p)-pp^\top 在 pp 趋于 one-hot 时趋于零矩阵,反向传播的梯度随之衰减。为此,Vaswani 等(2017)引入缩放因子 1/dk1/\sqrt{d_k}[1],使 logits 的方差归一,从而保证不同维度设置下训练动态的一致性。

费曼技巧:类比

把 softmax 想成一场投票。每个词喊出自己的分数,声音越大,得票越多。维度越高,大家喊得越响。喊得太响时,最响的那个拿走全部票,其他人一票没有。一票没有,就收不到反馈,也就学不到东西。除以 dk\sqrt{d_k}等于让所有人把音量调回正常,大家都还有票,都还能学。

Karpathy “from scratch”:用代码讲

import torch
d = 512
q, k = torch.randn(10000, d), torch.randn(10000, d)
s = (q * k).sum(-1)
print(s.var())                  # ≈ 512
print((s / d**0.5).var())       # ≈ 1

x = torch.randn(8) * d**0.5     # 不缩放的 logits
print(torch.softmax(x, -1))     # 几乎 one-hot
print(torch.softmax(x / d**0.5, -1))  # 分布平滑

跑一遍,数字会自己说明问题。

苏格拉底式提问:引导

Reviewer 2:挑漏洞

作者用“分量独立、方差为 1”推导缩放因子,但这一假设在训练后并不成立:q,kq,k 由学习得到的投影产生,分量相关,尺度也会漂移。因此 1/dk1/\sqrt{d_k} 只保证初始化时的性质。此外,作者没有讨论替代方案,例如 QK-Norm、可学习温度,以及 μP 中使用的 1/dk1/d_k 缩放。建议补充训练过程中 logits 尺度的实测曲线。

Jay Alammar 图解:一步一图,带数字

设 dk=64d_k=64dk=8\sqrt{d_k}=8某个 query 对三个 key 的点积如下:

Step 1  Q·Kᵀ        →  [112,   96,   40 ]
Step 2  ÷ √d_k (=8) →  [ 14,   12,    5 ]
Step 3  softmax     →  [0.88, 0.12, 0.0001]

如果跳过 Step 2:

softmax([112, 96, 40]) → [1.0, 0.0000001, 0.0]

第二个词几乎拿不到注意力,也拿不到梯度。

Lilian Weng 博客:谱系梳理

注意力打分函数有两类:加性注意力(Bahdanau 等,2015)[2]和点积注意力(Luong 等,2015)[3]。点积更快,但 Vaswani 等(2017)发现,dkd_k 较大时点积注意力不如加性注意力[1]。他们把原因归于 softmax 饱和,于是加入 1/dk1/\sqrt{d_k}得到 Scaled Dot-Product Attention。后续工作沿两条线改进:

数学教科书:定义—引理—证明

定义. 缩放点积注意力 Attn(Q,K,V)=softmax ⁣(QK⊤/dk)V\mathrm{Attn}(Q,K,V)=\mathrm{softmax}\!\left(QK^\top/\sqrt{d_k}\right)V

引理. 若 qi,kiq_i,k_i 独立,E=0\mathbb{E}=0Var=1\mathrm{Var}=1则 Var(q⋅k)=dk\mathrm{Var}(q\cdot k)=d_k

证明. Var(qiki)=E[qi2]E[ki2]=1\mathrm{Var}(q_ik_i)=\mathbb{E}[q_i^2]\mathbb{E}[k_i^2]=1各项独立,方差相加得 dkd_k∎

推论. Var(q⋅k/dk)=1\mathrm{Var}(q\cdot k/\sqrt{d_k})=1与 dkd_k 无关。

RFC 风格:无歧义的规范

实现 MUST 在 softmax 之前将注意力 logits 乘以 1/dk1/\sqrt{d_k}

若实现对 Q、K 做了归一化(QK-Norm),MAY 改用可学习的温度参数代替固定因子。

实现 SHOULD NOT 在未调整学习率的情况下更改缩放指数。

Thing Explainer:只用常用词

机器在决定“该看哪个词”。它给每个词打分。词越长越复杂,分数就越大。分数太大,机器就只看一个词,别的全忘了。只看一个词,它就学不会。所以,打完分后,先把分数变小一点,再做决定。

第一性原理:从约束推导

不问“论文怎么做”,问“约束是什么”。约束只有一个:softmax 的输入尺度必须稳定,否则梯度消失或爆炸。点积的尺度来自 dkd_k 个随机项之和,标准差按 dk\sqrt{d_k} 增长。要抵消它,就除以同一个量。所以是 dk\sqrt{d_k}不是 dkd_k也不是 log⁡dk\log d_k

Steelman:先把反方讲到最强

反方最强的论点: 缩放因子是多余的。WQW_Q 是可学习的,乘一个常数完全可以被它吸收,表达能力没有任何变化。

回应: 表达能力确实不变,但优化路径会变。初始化时 WQW_Q 是随机的,模型还没学会缩小它,softmax 一开始就饱和,梯度已经消失,模型没有机会学。固定因子解决的是起点问题。

事前验尸:假设已经失败

假设我们去掉了缩放,训练失败了。最可能的原因如下:

  1. 初始 logits 的方差为 dkd_k注意力从第一步就接近 one-hot。
  2. 大部分 key 的梯度接近 0,相当于只训练了少数位置。
  3. 为了补救而调大学习率,又导致 loss spike。
  4. 小模型(dkd_k 小)上没发现问题,扩大规模后才暴露出来。

面试回答:30 秒

点积的方差随维度线性增长,dkd_k 大时 softmax 会饱和,梯度消失。除以 dk\sqrt{d_k} 让方差归一。补充一点:这只保证初始化时成立,大模型训练中 logits 还会漂移,所以现在常配合 QK-Norm 使用。

对比:五个维度

16 种写法讲的内容基本相同,区别集中在下面五个维度上。

维度取值例子
顺序先给结论,或先做推导BLUF 先给结论;博士学位论文先做推导
载体文字、公式、类比、代码、问题数学教科书用公式,费曼用类比,Karpathy 用代码,苏格拉底用问题
立场讲解,或质疑Reviewer 2、Steelman 站在质疑的一方
读者外行、实现者、考官Thing Explainer 面向外行,RFC 面向实现者,面试回答面向考官
推理方向从约束推出答案,或从失败倒推原因第一性原理从约束推出答案,事前验尸从失败倒推原因

参考文献

  1. A. Vaswani et al., “Attention is all you need,” in Proc. NeurIPS, 2017, pp. 5998–6008, arXiv: 1706.03762.
  2. D. Bahdanau, K. Cho, and Y. Bengio, “Neural machine translation by jointly learning to align and translate,” in Proc. ICLR, 2015, arXiv: 1409.0473.
  3. M.-T. Luong, H. Pham, and C. D. Manning, “Effective approaches to attention-based neural machine translation,” in Proc. EMNLP, 2015, pp. 1412–1421, arXiv: 1508.04025.
  4. M. Dehghani et al., “Scaling vision transformers to 22 billion parameters,” in Proc. ICML, 2023, arXiv: 2302.05442.
  5. G. Yang et al., “Tensor programs V: Tuning large neural networks via zero-shot hyperparameter transfer,” 2022, arXiv: 2203.03466.