AI 经典论文与优质博客导读

2026-10-03笔记阅读清单文献综述

这份清单收录 12 个细分领域的 39 篇论文和 24 个技术博客,都附原文地址。

论文入选要同时满足两个条件:

  1. 提出了后续研究无法回避的核心思想。
  2. 在工业界实现了大规模应用。

每个领域选 2 到 5 篇。

训练基础

论文(年份)理论奠基工程应用
Learning representations by back-propagating errors(Rumelhart, Hinton, Williams,1986) 10.1038/323533a0以链式法则高效计算多层网络的梯度所有框架自动微分的基础
Adam: A Method for Stochastic Optimization(Kingma, Ba,2014) 1412.6980以梯度的一阶矩与二阶矩估计自适应学习率Adam / AdamW 是大模型训练的默认优化器
Batch Normalization(Ioffe, Szegedy,2015) 1502.03167对中间激活做归一化,让深层网络的训练更稳定衍生出 LayerNorm、GroupNorm;部署时与卷积层融合

视觉骨干

论文(年份)理论奠基工程应用
ImageNet Classification with Deep Convolutional Neural Networks(AlexNet,2012) papers.nips.cc证明深层卷积神经网络(Convolutional Neural Network,CNN)结合大规模数据能够端到端地学习特征开启 GPU 训练时代
Deep Residual Learning for Image Recognition(ResNet,2015) 1512.03385以残差学习解决深层网络的退化问题至今仍是检测与分割中常用的骨干网络(backbone)
An Image is Worth 16x16 Words(ViT,2020) 2010.11929将图像划分为小块(patch)后,可直接以纯 Transformer 建模统一视觉与语言的架构,是视觉语言模型(Vision-Language Model,VLM)视觉编码器的标准形态

检测与分割

论文(年份)理论奠基工程应用
Faster R-CNN(2015) 1506.01497以区域建议网络(RPN)与锚框(anchor)实现两阶段检测的端到端训练高精度检测的长期基线
You Only Look Once(YOLO,2016) 1506.02640将检测建模为单次回归问题实时检测的工业标准,该系列持续迭代至今
U-Net(2015) 1505.04597编码器—解码器结构与跳跃连接医学影像分割的标准结构,亦为扩散模型的去噪骨干网络
End-to-End Object Detection with Transformers(DETR,2020) 2005.12872以集合预测与二分图匹配取代锚框和非极大值抑制(Non-Maximum Suppression,NMS)query 式检测成为鸟瞰图(Bird’s-Eye View,BEV)感知与端到端驾驶的基础

语言模型

论文(年份)理论奠基工程应用
Efficient Estimation of Word Representations in Vector Space(word2vec,2013) 1301.3781分布式词向量可通过简单的预测任务习得嵌入(embedding)广泛应用于搜索与推荐系统
Neural Machine Translation by Jointly Learning to Align and Translate(Bahdanau Attention,2014) 1409.0473首次提出注意力机制,解决序列到序列(seq2seq)模型的信息瓶颈推动神经机器翻译投入商用
Attention Is All You Need(Transformer,2017) 1706.03762纯自注意力架构,可完全并行计算当前几乎所有大模型的基础架构
BERT(2018) 1810.04805基于掩码语言建模的双向预训练确立预训练—微调范式,应用于检索与文本理解
Language Models are Few-Shot Learners(GPT-3,2020) 2005.14165模型规模的扩大带来上下文学习(in-context learning)能力提示词成为人机接口,催生大语言模型(Large Language Model,LLM)产业

生成模型

论文(年份)理论奠基工程应用
Auto-Encoding Variational Bayes(VAE,2013) 1312.6114变分推断与重参数化技巧将数据压缩至潜空间,构成潜扩散模型的前端
Generative Adversarial Networks(GAN,2014) 1406.2661生成器与判别器的对抗博弈应用于超分辨率与图像翻译;对抗损失用于蒸馏加速
Denoising Diffusion Probabilistic Models(DDPM,2020) 2006.11239将生成过程建模为逐步去噪图像、视频与音频生成的主流方法
High-Resolution Image Synthesis with Latent Diffusion Models(2022) 2112.10752在压缩后的潜空间里做扩散,并用交叉注意力引入条件控制催生 Stable Diffusion,使扩散模型可在消费级硬件上运行

多模态

论文(年份)理论奠基工程应用
Learning Transferable Visual Models From Natural Language Supervision(CLIP,2021) 2103.00020以大规模图文对比学习获得对齐的语义空间应用于零样本分类与图文检索,是 VLM 视觉编码器的源头
BLIP-2(2023) 2301.12597以轻量的 Q-Former 连接冻结的视觉编码器与 LLM提供低成本构建 VLM 的技术路线
Visual Instruction Tuning(LLaVA,2023) 2304.08485仅需简单的投影层与视觉指令微调即可获得多模态对话能力成为开源 VLM 的通用架构模板

强化学习

论文(年份)理论奠基工程应用
Human-level control through deep reinforcement learning(DQN,2015) 10.1038/nature14236深度网络结合经验回放与目标网络,使值函数学习趋于稳定深度强化学习的起点
Mastering the game of Go with deep neural networks and tree search(AlphaGo,2016) 10.1038/nature16961结合策略网络、价值网络与蒙特卡洛树搜索衍生出 AlphaZero 与 MuZero,应用于芯片布局等搜索问题
Proximal Policy Optimization Algorithms(PPO,2017) 1707.06347以裁剪目标函数稳定策略梯度更新机器人控制、游戏 AI 与基于人类反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF)的主力算法

3D 与空间感知

论文(年份)理论奠基工程应用
PointNet(2017) 1612.00593以对称函数直接处理无序点云激光雷达感知的基础
NeRF(2020) 2003.08934隐式神经场与可微体渲染应用于三维重建与驾驶仿真,并引出 3D Gaussian Splatting
BEVFormer(2022) 2203.17270用 BEV query 做时空注意力,统一多相机特征BEV 感知成为量产自动驾驶的主流方案

语音

论文(年份)理论奠基工程应用
Connectionist Temporal Classification(CTC,2006) cs.toronto.edu无需帧级对齐的序列损失应用于端到端语音识别与 OCR
WaveNet(2016) 1609.03499以自回归方式直接生成原始波形作为神经声码器,大幅提升语音合成(Text-to-Speech,TTS)质量
Robust Speech Recognition via Large-Scale Weak Supervision(Whisper,2022) 2212.04356以大规模弱监督训练获得强鲁棒性开箱即用的多语种自动语音识别(Automatic Speech Recognition,ASR)

Whisper 主要是工程贡献,理论创新有限;因为应用影响很广,我们还是收录了。

模型高效化与部署

论文(年份)理论奠基工程应用
Distilling the Knowledge in a Neural Network(Hinton 等,2015) 1503.02531以教师模型的软标签传递知识模型压缩的通用手段
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference(Jacob 等,2018) 1712.05877量化感知训练与纯整数推理方案移动端与 NPU 部署的基础
LoRA(2021) 2106.09685权重更新具有低秩结构大模型微调的默认方法

传统机器学习

论文(年份)理论奠基工程应用
Support-Vector Networks(Cortes, Vapnik,1995) 10.1007/BF00994018最大间隔与核方法深度学习之前的主流分类器
Random Forests(Breiman,2001) 10.1023/A:1010933404324基于 Bagging 与随机特征子集的集成方法稳健的表格数据基线
XGBoost(2016) 1603.02754带正则项的二阶梯度提升与系统级优化风控、广告与推荐领域处理表格数据的主要方法

图学习与科学计算

论文(年份)理论奠基工程应用
Semi-Supervised Classification with Graph Convolutional Networks(GCN,2017) 1609.02907将卷积推广至图结构应用于推荐系统与分子建模
Highly accurate protein structure prediction with AlphaFold(AlphaFold 2,2021) 10.1038/s41586-021-03819-2端到端地预测蛋白质结构结构数据库覆盖逾 2 亿个蛋白质,获 2024 年诺贝尔化学奖

贯穿多个领域的四条主线

  1. 残差连接(ResNet)让网络能够加深,Transformer、U-Net 和扩散模型都继承了这一结构。
  2. 注意力(Bahdanau → Transformer → ViT → DETR → BEVFormer)从自然语言处理扩展到视觉和 3D。
  3. 预训练(word2vec → BERT → GPT-3 → CLIP)从特征学习发展为通用基础模型。
  4. 潜空间(VAE → Latent Diffusion)把生成模型的计算量降到了可承受的范围。

优质博客

注意:Distill 在 2021 年停止更新,但已有的文章仍然值得读。

综述型长文

博客作者特点
Lil’LogLilian Weng每篇文章系统综述一个方向,涵盖 Agent、扩散模型与强化学习等
ruder.ioSebastian Ruder自然语言处理综述;优化算法与迁移学习方面的文章已成经典
sebastianraschka.com 与 Ahead of AISebastian RaschkaLLM 的训练、微调与论文梳理,附代码
科学空间苏剑林中文博客里数学推导最严谨的之一;扩散模型、VAE 与优化器均有系列文章

从零实现与直觉讲解

博客作者特点
karpathy.github.ioAndrej KarpathyRNN、训练调参经验与从零实现的示例
jalammar.github.ioJay AlammarThe Illustrated Transformer 系列,图解质量突出
Transformers from scratchPeter Bloem推导与代码均简洁清晰
GPT in 60 Lines of NumPyJay Mody篇幅短,讲得透彻
colah’s blogChris OlahLSTM 与反向传播的经典讲解
Distill多位作者交互式可视化文章

生成模型

博客作者特点
Diffusion Meets Flow MatchingGoogle DeepMind 研究者阐明扩散模型与 flow matching 是同一框架的两种表述
sander.aiSander Dielemanguidance、噪声调度以及扩散与自回归的关系,观点鲜明
yang-song.netYang Songscore-based 生成模型原作者的讲解
inFERENCeFerenc Huszár从概率论与信息论的角度分析生成模型与表征学习

工程与部署

博客作者特点
Lei Mao’s Log BookLei Mao量化、TensorRT、CUDA 与分布式训练,侧重底层实现
timdettmers.comTim DettmersGPU 选型与量化;作者为 bitsandbytes 与 QLoRA 的开发者
huyenchip.comChip Huyen机器学习系统设计与 LLM 应用的工程化
eugeneyan.comEugene Yan推荐系统与 LLM 应用的模式总结

其他方向

博客作者特点
Transformer Circuits ThreadAnthropic 可解释性团队机械可解释性的系列研究文章
Sorta InsightfulAlex Irpan强化学习;Deep RL Doesn’t Work Yet 为必读文章
BAIR Blog伯克利 AI 实验室研究解读,涵盖机器人、强化学习与视觉
simonwillison.netSimon Willison跟踪 LLM 最新进展最及时的个人博客,侧重应用与工具

AI 工程实践

博客作者特点
claude.devAnthropic 开发者团队2026 年 9 月上线;内容涵盖评测自动化、上下文工程、Agent Harness 以及 Claude Code 的内部用法
Engineering at AnthropicAnthropic 工程团队Building Effective Agents 所在的工程博客,是 Agent 设计的常用参考

claude.dev 上建议先读这三篇:

视频与播客

X 上流传的 Claude 团队视频,大多剪自下面这些来源,完整版发在 YouTube。

来源类型内容
YouTube @claude官方频道Claude Code 团队的使用经验分享,以及 Ramp、DoorDash 等公司的实践;claude.dev 首页视频的出处
YouTube @anthropic-ai官方频道侧重研究与公司层面:可解释性与安全方面的访谈和圆桌讨论
@claudeaiX 账号产品演示
@ClaudeDevsX 账号面向开发者的更新与教程,可作为跟踪信息的来源
@AnthropicAIX 账号研究与公司动态
Latent Space播客AI 工程方向,常邀请 Anthropic 工程师参与
Lenny’s Podcast播客关于产品与团队工作方式的访谈
Dwarkesh Podcast播客研究者长访谈
Code with Claude 大会开发者大会由 Anthropic 主办,演讲录像之后会发到 YouTube

注意:人员和账号可能变动。 另有一些视频是员工自己录的屏幕演示,只发在个人 X 账号上,发得较多的有 Claude Code 团队的 Boris Cherny(@bcherny)和开发者关系团队的 Alex Albert(@alexalbert__)。