2025 AI Engineering Reading List - 论文索引

本索引整理自 Latent Space 2025 AI Papers Reading List

共收录 120+ 篇 AI 领域重要论文，涵盖大语言模型、多模态、Agent、RAG、扩散模型等前沿方向

目录

• 1. Frontier LLMs - 前沿大语言模型
• 2. Benchmarks & Evaluations - 基准测试与评估
• 3. Prompting & Chain-of-Thought - 提示工程与思维链
• 4. Retrieval Augmented Generation - 检索增强生成
• 5. Agents - 智能体
• 6. Code Generation - 代码生成
• 7. Vision - 视觉模型
• 8. Voice & Audio - 语音与音频
• 9. Image/Video Diffusion - 图像视频扩散模型
• 10. Finetuning - 微调技术

---

1. Frontier LLMs - 前沿大语言模型

GPT 系列

⭐⭐⭐⭐⭐ GPT-1

一句话介绍: 开创性地证明了无监督预训练+有监督微调的范式在 NLP 任务上的有效性 推荐理由: 奠定了现代大语言模型的基础范式，必读的历史性论文

⭐⭐⭐⭐⭐ GPT-2

一句话介绍: 展示了更大规模语言模型的零样本学习能力 推荐理由: 提出"语言模型即多任务学习器"的重要观点，引发行业对模型规模的重新思考

⭐⭐⭐⭐⭐ GPT-3

一句话介绍: 证明了 175B 参数规模模型具有强大的少样本学习能力 推荐理由: 开启大模型时代，展示了 in-context learning 的惊人能力，必读经典

⭐⭐⭐⭐⭐ Codex

一句话介绍: GPT-3 在代码数据上微调，开创了 AI 辅助编程的新时代 推荐理由: GitHub Copilot 的技术基础，证明了 LLM 在代码生成上的潜力

⭐⭐⭐⭐⭐ InstructGPT

一句话介绍: 通过 RLHF 让模型更好地遵循人类指令 推荐理由: 奠定了 ChatGPT 的技术基础，RLHF 成为业界标准做法

⭐⭐⭐⭐⭐ GPT-4

一句话介绍: OpenAI 首个多模态大模型，在多项基准测试上达到人类水平 推荐理由: 展示了多模态能力和更强的推理能力，定义了 GPT 时代的新标准

Claude 系列

⭐⭐⭐⭐ Claude 3

一句话介绍: Anthropic 推出的高性能 LLM，强调安全性和有用性 推荐理由: 在多项基准上与 GPT-4 竞争，提供了更长的上下文窗口

⭐⭐⭐⭐⭐ Claude 4

一句话介绍: Claude 最新一代模型，在推理和长文本处理上有显著提升 推荐理由: 代表了当前 AI 安全对齐的最高水平，值得研究其技术细节

Google 系列

⭐⭐⭐⭐⭐ Gemini 1.0

一句话介绍: Google 原生多模态模型，设计之初就考虑了文本、图像、视频等多种模态 推荐理由: 展示了原生多模态架构的优势，在多项测试中超越 GPT-4V

⭐⭐⭐⭐ Gemini 2.5

一句话介绍: 加入思维过程展示的实验性版本，提升推理透明度 推荐理由: 探索了 LLM 推理过程可解释性的新方向

⭐⭐⭐⭐ Gemma 2

一句话介绍: Google 开源的轻量级高性能语言模型 推荐理由: 证明了小模型也能达到优秀性能，适合资源受限场景

⭐⭐⭐ Gemma 3

一句话介绍: Gemma 系列最新版本，进一步优化效率和性能 推荐理由: 持续推进开源小模型的性能边界

Meta Llama 系列

⭐⭐⭐⭐ Llama 1

一句话介绍: Meta 开源的基础语言模型，引发开源 LLM 浪潮 推荐理由: 开源运动的里程碑，展示了开源模型的潜力

⭐⭐⭐⭐⭐ Llama 2

一句话介绍: 加入 RLHF 的 Llama 版本，可商用的高质量开源模型 推荐理由: 开源社区的基石，详细披露了 RLHF 训练细节

⭐⭐⭐⭐⭐ Llama 3

一句话介绍: Meta 最强开源模型系列，包含多种规模和能力变体 推荐理由: 在多项基准上接近闭源模型，推动了开源 AI 的发展

Mistral 系列

⭐⭐⭐⭐ Mistral 7B

一句话介绍: 7B 参数的高效语言模型，性能超越 Llama 2 13B 推荐理由: 证明了架构优化的重要性，小模型也能有大性能

⭐⭐⭐⭐⭐ Mixtral

一句话介绍: 采用稀疏混合专家架构的开源模型，效率极高 推荐理由: MoE 架构在开源领域的成功应用，值得深入研究

⭐⭐⭐ Pixtral

一句话介绍: Mistral 的多模态版本，支持图像理解 推荐理由: 展示了如何将现有 LLM 扩展到多模态

DeepSeek 系列

⭐⭐⭐⭐ DeepSeek V1

一句话介绍: 中国团队开源的大规模语言模型 推荐理由: 展示了中国 AI 团队的技术实力

⭐⭐⭐⭐⭐ DeepSeek Coder

一句话介绍: 专注代码生成的开源模型，性能接近 Codex 推荐理由: 开源代码模型的标杆，详细披露了代码预训练技术

⭐⭐⭐⭐ DeepSeek Math

一句话介绍: 专注数学推理的语言模型 推荐理由: 在数学问题上表现优异，揭示了数学推理的训练方法

⭐⭐⭐⭐ DeepSeek MoE

一句话介绍: 探索混合专家架构的极限专家化 推荐理由: MoE 架构的深入研究，提出了新的专家分配策略

⭐⭐⭐⭐⭐ DeepSeek V2

一句话介绍: 结合 MoE 和新架构的高效强大模型 推荐理由: 在效率和性能上达到新的平衡点，技术报告详实

AI2 开源系列

⭐⭐⭐⭐ OLMo

一句话介绍: AI2 完全开源的语言模型，包括数据、代码、训练过程 推荐理由: 真正的全栈开源，对研究社区极具价值

⭐⭐⭐ Molmo

一句话介绍: AI2 开源的多模态模型 推荐理由: 开源多模态模型的重要贡献

⭐⭐⭐⭐ OLMoE

一句话介绍: 开源的混合专家语言模型 推荐理由: 为研究 MoE 架构提供了完整的开源实现

Scaling Laws & 优化

⭐⭐⭐⭐⭐ Scaling Laws (Kaplan)

一句话介绍: 首次系统性研究语言模型的缩放规律 推荐理由: 奠定了大模型时代的理论基础，必读经典

⭐⭐⭐⭐⭐ Chinchilla

一句话介绍: 证明了之前的模型都训练不足，提出新的最优缩放规律 推荐理由: 改变了行业对模型规模和训练数据的认知

⭐⭐⭐⭐ Emergent Abilities

一句话介绍: 研究大模型的涌现能力现象 推荐理由: 揭示了模型规模增长带来的质变

⭐⭐⭐ The Mirage of Emergence

一句话介绍: 质疑涌现能力，认为可能是评估指标导致的假象 推荐理由: 提供了批判性视角，引发重要学术讨论

⭐⭐⭐ Post-Chinchilla Scaling Laws

一句话介绍: 重新审视 Chinchilla 之后的缩放规律 推荐理由: 持续更新对 scaling laws 的理解

⭐⭐⭐⭐ Muon Optimizer

一句话介绍: 新型优化器，结合动量和正交化牛顿方法 推荐理由: 可能改进大模型训练效率的新方向

⭐⭐⭐⭐ Let's Verify Step by Step

一句话介绍: 通过过程监督提升数学推理能力 推荐理由: 重要的对齐技术，改进了模型推理质量

⭐⭐⭐⭐ s1 - Scaling Test-Time Compute

一句话介绍: 研究如何有效扩展测试时计算以提升性能 推荐理由: 探索了训练之外提升模型能力的新维度

---

2. Benchmarks & Evaluations - 基准测试与评估

通用能力测试

⭐⭐⭐⭐⭐ MMLU

一句话介绍: 涵盖 57 个学科的大规模多任务理解基准 推荐理由: 业界最广泛使用的通用能力测试，必须了解

⭐⭐⭐⭐ MMLU Pro

一句话介绍: MMLU 的加强版，更难、更具挑战性 推荐理由: 提高了测试难度，减少了题目泄露问题

⭐⭐⭐⭐ GPQA

一句话介绍: 研究生级别的问答基准，专家都难以作弊 推荐理由: 测试真正的深度理解和推理能力

⭐⭐⭐⭐ BIG-Bench

一句话介绍: 包含 200+ 任务的大规模基准测试集 推荐理由: 多样化的任务设计，全面评估模型能力

⭐⭐⭐⭐ BIG-Bench Hard

一句话介绍: BIG-Bench 中模型表现不佳的困难任务子集 推荐理由: 聚焦模型弱点，推动能力边界

推理与理解

⭐⭐⭐ [MRCR](MRCR_Multimodal Reverse_Chain_Reasoning_2024.pdf)

一句话介绍: 多模态逆向链式推理基准 推荐理由: 测试逆向思维和因果推理能力

⭐⭐⭐⭐ MuSR

一句话介绍: 多步骤软推理基准测试 推荐理由: 评估复杂推理链的处理能力

长文本处理

⭐⭐⭐⭐ LongBench

一句话介绍: 双语多任务长文本基准，支持中英文 推荐理由: 全面评估长上下文理解能力

⭐⭐⭐ BABILong

一句话介绍: 测试超长上下文中的推理能力 推荐理由: 挑战模型在海量信息中的检索和推理

数学能力

⭐⭐⭐⭐⭐ MATH

一句话介绍: 高中竞赛级数学问题数据集 推荐理由: 数学推理能力的黄金标准

⭐⭐⭐⭐⭐ FrontierMath

一句话介绍: 包含前沿未解决数学问题的极难基准 推荐理由: 展示了 AI 数学能力的真实天花板

指令遵循

⭐⭐⭐⭐ IFEval

一句话介绍: 评估模型遵循复杂指令的能力 推荐理由: 指令遵循是实用性的关键指标

⭐⭐⭐ Multi-IF

一句话介绍: 多方面指令遵循评估 推荐理由: 更全面地测试指令理解和执行

⭐⭐⭐⭐ Scale MultiChallenge

一句话介绍: Scale AI 推出的多维度挑战基准 推荐理由: 综合评估模型的多方面能力

---

3. Prompting & Chain-of-Thought - 提示工程与思维链

⭐⭐⭐⭐⭐ The Prompt Report

一句话介绍: 系统性总结提示工程技术的综述论文 推荐理由: 全面了解提示工程的必读综述

⭐⭐⭐⭐⭐ Chain-of-Thought Prompting

一句话介绍: 通过引导模型展示推理步骤来提升推理能力 推荐理由: 开创性工作，CoT 成为标准技术

⭐⭐⭐⭐ Show Your Work: Scratchpads

一句话介绍: 让模型使用"草稿纸"进行中间计算 推荐理由: CoT 的早期探索，启发性强

⭐⭐⭐⭐ Let's Think Step by Step

一句话介绍: 证明简单的提示词就能激发零样本推理能力 推荐理由: 极简但有效的技术，广泛应用

⭐⭐⭐⭐ Tree of Thoughts

一句话介绍: 通过树状搜索探索多条推理路径 推荐理由: 扩展了 CoT，适合复杂问题求解

⭐⭐⭐ Prefix-Tuning

一句话介绍: 通过优化连续前缀向量来适配任务 推荐理由: 参数高效的提示优化方法

⭐⭐⭐ Adjusting Decoding

一句话介绍: 通过调整解码策略改进 ICL 效果 推荐理由: 从解码角度优化提示学习

⭐⭐⭐⭐ Automatic Prompt Engineering

一句话介绍: 自动搜索和优化提示词 推荐理由: 减少人工设计提示的成本

⭐⭐⭐⭐⭐ DSPy

一句话介绍: 将提示工程系统化为可编程框架 推荐理由: 改变提示工程的工作方式，值得深入学习

---

4. Retrieval Augmented Generation - 检索增强生成

⭐⭐⭐⭐⭐ RAG (Meta)

一句话介绍: 提出结合检索和生成的 RAG 范式 推荐理由: 开创性工作，解决了 LLM 知识更新问题

⭐⭐⭐⭐ MTEB

一句话介绍: 大规模文本嵌入基准测试 推荐理由: 评估检索模型的标准基准

⭐⭐⭐⭐ GraphRAG

一句话介绍: 基于知识图谱的 RAG，支持全局推理 推荐理由: 突破传统 RAG 的局部检索限制

⭐⭐⭐⭐ RAGAS

一句话介绍: RAG 系统的自动化评估框架 推荐理由: 系统化评估 RAG 质量的工具

⭐⭐⭐ Nvidia FACTS Framework

一句话介绍: 评估 RAG 系统事实性和一致性 推荐理由: 关注 RAG 的关键质量指标

⭐⭐⭐⭐ RAG vs Long Context

一句话介绍: 对比 RAG 和长上下文在 QA 任务上的效果 推荐理由: 帮助选择合适的技术方案

---

5. Agents - 智能体

编程 Agent

⭐⭐⭐⭐⭐ SWE-Bench

一句话介绍: 基于真实 GitHub issue 的软件工程基准 推荐理由: 编程 Agent 的黄金标准，极具实用价值

⭐⭐⭐⭐⭐ SWE-Agent

一句话介绍: 为软件工程任务设计的 Agent 系统 推荐理由: 展示了 Agent-Computer Interface 的设计原则

⭐⭐⭐⭐ SWE-Bench Multimodal

一句话介绍: 加入视觉能力的编程基准 推荐理由: 证明视觉对编程任务的帮助

Agent 基准

⭐⭐⭐⭐ TauBench

一句话介绍: 测试 Agent 工具学习和使用能力 推荐理由: 评估 Agent 的工具使用能力

⭐⭐⭐⭐ GAIA

一句话介绍: 通用 AI 助手的基准测试套件 推荐理由: 全面评估 Agent 的实际应用能力

Agent 架构

⭐⭐⭐⭐⭐ ReAct

一句话介绍: 结合推理和行动的 Agent 范式 推荐理由: Agent 架构的奠基性工作，影响深远

⭐⭐⭐⭐ Toolformer

一句话介绍: 让 LLM 自学如何使用工具 推荐理由: 工具使用的自监督学习方法

⭐⭐⭐ HuggingGPT

一句话介绍: 用 LLM 协调多个 AI 模型完成任务 推荐理由: 展示了 LLM 作为控制器的潜力

⭐⭐⭐⭐ MemGPT

一句话介绍: 将操作系统的内存管理思想应用到 LLM 推荐理由: 创新性地解决了上下文限制问题

⭐⭐⭐⭐ MetaGPT

一句话介绍: 多 Agent 协作的元编程框架 推荐理由: 软件开发流程的 Agent 化

⭐⭐⭐⭐⭐ AutoGen

一句话介绍: 微软推出的多 Agent 对话框架 推荐理由: 工程化程度高，易于使用的 Agent 框架

⭐⭐⭐⭐ Voyager

一句话介绍: 在 Minecraft 中持续学习的具身 Agent 推荐理由: 展示了 Agent 的持续学习和探索能力