AI 经典论文与优质博客导读
2026-10-03笔记阅读清单文献综述
这份清单收录 12 个细分领域的 39 篇论文和 24 个技术博客,都附原文地址。
论文入选要同时满足两个条件:
- 提出了后续研究无法回避的核心思想。
- 在工业界实现了大规模应用。
每个领域选 2 到 5 篇。
训练基础
| 论文(年份) | 理论奠基 | 工程应用 |
|---|
Learning representations by back-propagating errors(Rumelhart, Hinton, Williams,1986) 10.1038/323533a0 | 以链式法则高效计算多层网络的梯度 | 所有框架自动微分的基础 |
Adam: A Method for Stochastic Optimization(Kingma, Ba,2014) 1412.6980 | 以梯度的一阶矩与二阶矩估计自适应学习率 | Adam / AdamW 是大模型训练的默认优化器 |
Batch Normalization(Ioffe, Szegedy,2015) 1502.03167 | 对中间激活做归一化,让深层网络的训练更稳定 | 衍生出 LayerNorm、GroupNorm;部署时与卷积层融合 |
视觉骨干
| 论文(年份) | 理论奠基 | 工程应用 |
|---|
ImageNet Classification with Deep Convolutional Neural Networks(AlexNet,2012) papers.nips.cc | 证明深层卷积神经网络(Convolutional Neural Network,CNN)结合大规模数据能够端到端地学习特征 | 开启 GPU 训练时代 |
Deep Residual Learning for Image Recognition(ResNet,2015) 1512.03385 | 以残差学习解决深层网络的退化问题 | 至今仍是检测与分割中常用的骨干网络(backbone) |
An Image is Worth 16x16 Words(ViT,2020) 2010.11929 | 将图像划分为小块(patch)后,可直接以纯 Transformer 建模 | 统一视觉与语言的架构,是视觉语言模型(Vision-Language Model,VLM)视觉编码器的标准形态 |
检测与分割
| 论文(年份) | 理论奠基 | 工程应用 |
|---|
Faster R-CNN(2015) 1506.01497 | 以区域建议网络(RPN)与锚框(anchor)实现两阶段检测的端到端训练 | 高精度检测的长期基线 |
You Only Look Once(YOLO,2016) 1506.02640 | 将检测建模为单次回归问题 | 实时检测的工业标准,该系列持续迭代至今 |
U-Net(2015) 1505.04597 | 编码器—解码器结构与跳跃连接 | 医学影像分割的标准结构,亦为扩散模型的去噪骨干网络 |
End-to-End Object Detection with Transformers(DETR,2020) 2005.12872 | 以集合预测与二分图匹配取代锚框和非极大值抑制(Non-Maximum Suppression,NMS) | query 式检测成为鸟瞰图(Bird’s-Eye View,BEV)感知与端到端驾驶的基础 |
语言模型
| 论文(年份) | 理论奠基 | 工程应用 |
|---|
Efficient Estimation of Word Representations in Vector Space(word2vec,2013) 1301.3781 | 分布式词向量可通过简单的预测任务习得 | 嵌入(embedding)广泛应用于搜索与推荐系统 |
Neural Machine Translation by Jointly Learning to Align and Translate(Bahdanau Attention,2014) 1409.0473 | 首次提出注意力机制,解决序列到序列(seq2seq)模型的信息瓶颈 | 推动神经机器翻译投入商用 |
Attention Is All You Need(Transformer,2017) 1706.03762 | 纯自注意力架构,可完全并行计算 | 当前几乎所有大模型的基础架构 |
BERT(2018) 1810.04805 | 基于掩码语言建模的双向预训练 | 确立预训练—微调范式,应用于检索与文本理解 |
Language Models are Few-Shot Learners(GPT-3,2020) 2005.14165 | 模型规模的扩大带来上下文学习(in-context learning)能力 | 提示词成为人机接口,催生大语言模型(Large Language Model,LLM)产业 |
生成模型
| 论文(年份) | 理论奠基 | 工程应用 |
|---|
Auto-Encoding Variational Bayes(VAE,2013) 1312.6114 | 变分推断与重参数化技巧 | 将数据压缩至潜空间,构成潜扩散模型的前端 |
Generative Adversarial Networks(GAN,2014) 1406.2661 | 生成器与判别器的对抗博弈 | 应用于超分辨率与图像翻译;对抗损失用于蒸馏加速 |
Denoising Diffusion Probabilistic Models(DDPM,2020) 2006.11239 | 将生成过程建模为逐步去噪 | 图像、视频与音频生成的主流方法 |
High-Resolution Image Synthesis with Latent Diffusion Models(2022) 2112.10752 | 在压缩后的潜空间里做扩散,并用交叉注意力引入条件控制 | 催生 Stable Diffusion,使扩散模型可在消费级硬件上运行 |
多模态
| 论文(年份) | 理论奠基 | 工程应用 |
|---|
Learning Transferable Visual Models From Natural Language Supervision(CLIP,2021) 2103.00020 | 以大规模图文对比学习获得对齐的语义空间 | 应用于零样本分类与图文检索,是 VLM 视觉编码器的源头 |
BLIP-2(2023) 2301.12597 | 以轻量的 Q-Former 连接冻结的视觉编码器与 LLM | 提供低成本构建 VLM 的技术路线 |
Visual Instruction Tuning(LLaVA,2023) 2304.08485 | 仅需简单的投影层与视觉指令微调即可获得多模态对话能力 | 成为开源 VLM 的通用架构模板 |
强化学习
| 论文(年份) | 理论奠基 | 工程应用 |
|---|
Human-level control through deep reinforcement learning(DQN,2015) 10.1038/nature14236 | 深度网络结合经验回放与目标网络,使值函数学习趋于稳定 | 深度强化学习的起点 |
Mastering the game of Go with deep neural networks and tree search(AlphaGo,2016) 10.1038/nature16961 | 结合策略网络、价值网络与蒙特卡洛树搜索 | 衍生出 AlphaZero 与 MuZero,应用于芯片布局等搜索问题 |
Proximal Policy Optimization Algorithms(PPO,2017) 1707.06347 | 以裁剪目标函数稳定策略梯度更新 | 机器人控制、游戏 AI 与基于人类反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF)的主力算法 |
3D 与空间感知
| 论文(年份) | 理论奠基 | 工程应用 |
|---|
PointNet(2017) 1612.00593 | 以对称函数直接处理无序点云 | 激光雷达感知的基础 |
NeRF(2020) 2003.08934 | 隐式神经场与可微体渲染 | 应用于三维重建与驾驶仿真,并引出 3D Gaussian Splatting |
BEVFormer(2022) 2203.17270 | 用 BEV query 做时空注意力,统一多相机特征 | BEV 感知成为量产自动驾驶的主流方案 |
语音
| 论文(年份) | 理论奠基 | 工程应用 |
|---|
Connectionist Temporal Classification(CTC,2006) cs.toronto.edu | 无需帧级对齐的序列损失 | 应用于端到端语音识别与 OCR |
WaveNet(2016) 1609.03499 | 以自回归方式直接生成原始波形 | 作为神经声码器,大幅提升语音合成(Text-to-Speech,TTS)质量 |
Robust Speech Recognition via Large-Scale Weak Supervision(Whisper,2022) 2212.04356 | 以大规模弱监督训练获得强鲁棒性 | 开箱即用的多语种自动语音识别(Automatic Speech Recognition,ASR) |
Whisper 主要是工程贡献,理论创新有限;因为应用影响很广,我们还是收录了。
模型高效化与部署
| 论文(年份) | 理论奠基 | 工程应用 |
|---|
Distilling the Knowledge in a Neural Network(Hinton 等,2015) 1503.02531 | 以教师模型的软标签传递知识 | 模型压缩的通用手段 |
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference(Jacob 等,2018) 1712.05877 | 量化感知训练与纯整数推理方案 | 移动端与 NPU 部署的基础 |
LoRA(2021) 2106.09685 | 权重更新具有低秩结构 | 大模型微调的默认方法 |
传统机器学习
图学习与科学计算
| 论文(年份) | 理论奠基 | 工程应用 |
|---|
Semi-Supervised Classification with Graph Convolutional Networks(GCN,2017) 1609.02907 | 将卷积推广至图结构 | 应用于推荐系统与分子建模 |
Highly accurate protein structure prediction with AlphaFold(AlphaFold 2,2021) 10.1038/s41586-021-03819-2 | 端到端地预测蛋白质结构 | 结构数据库覆盖逾 2 亿个蛋白质,获 2024 年诺贝尔化学奖 |
贯穿多个领域的四条主线
- 残差连接(ResNet)让网络能够加深,Transformer、U-Net 和扩散模型都继承了这一结构。
- 注意力(Bahdanau → Transformer → ViT → DETR → BEVFormer)从自然语言处理扩展到视觉和 3D。
- 预训练(word2vec → BERT → GPT-3 → CLIP)从特征学习发展为通用基础模型。
- 潜空间(VAE → Latent Diffusion)把生成模型的计算量降到了可承受的范围。
优质博客
注意:Distill 在 2021 年停止更新,但已有的文章仍然值得读。
综述型长文
从零实现与直觉讲解
生成模型
工程与部署
其他方向
AI 工程实践
| 博客 | 作者 | 特点 |
|---|
| claude.dev | Anthropic 开发者团队 | 2026 年 9 月上线;内容涵盖评测自动化、上下文工程、Agent Harness 以及 Claude Code 的内部用法 |
| Engineering at Anthropic | Anthropic 工程团队 | Building Effective Agents 所在的工程博客,是 Agent 设计的常用参考 |
claude.dev 上建议先读这三篇:
视频与播客
X 上流传的 Claude 团队视频,大多剪自下面这些来源,完整版发在 YouTube。
注意:人员和账号可能变动。 另有一些视频是员工自己录的屏幕演示,只发在个人 X 账号上,发得较多的有 Claude Code 团队的 Boris Cherny(@bcherny)和开发者关系团队的 Alex Albert(@alexalbert__)。