一、LLM → LLM Reasoning 的学术、工程研究脉络

0. Phase 0（~2010s–2019，前 LLM 时代 / 早期神经网络时代）

更像是背景层：“什么叫推理”，在 LLM 火之前，分别在三个传统里被定义清楚。

• 如何在形式系统 / 程序 / 决策过程中刻画“推理”，并让模型可验证地完成多步推理？

• 符号推理与定理证明：SAT/SMT、自动定理证明器、Coq/Isabelle/Lean 等 proof assistant；强调 soundness / completeness / proof search。

• Program Induction / Differentiable Programming：Neural Turing Machine、Neural Programmer-Interpreter 等，把“程序”视为推理载体。

• RL & Planning：MCTS、value function、options、hierarchical RL、model-based RL，把推理视作“多步决策 + 规划”。

• SAT/SMT solver、自动定理证明、proof assistant 体系，确立了“形式推理”的金标准。

• MCTS + 深度网络（AlphaGo 系列）把「搜索 + 价值评估」整合起来，展示了高水平决策推理。

• 各类 Neural Program / Neural Turing Machine 展示了“可微分的程序执行”这一思路。

• Coq / Isabelle / Lean 等 proof assistant 的生态。

• Atari / MuJoCo / AlphaGo/AlphaZero 等 RL 系统，成为“机器规划与推理”的工程范型。

你在后面 Phase 3、4 看到的 PRM、tool use、多步 search，其实都和这里这些传统视角发生重新“接头”。

1. Phase 1（2020–2022）Scaling 时代：从“loss 曲线”到“涌现能力”

• 只用一个极其简单的目标 —— 预测下一个 token，再加上疯狂 scaling，到底能不能“长出推理”？

• Scaling Laws：loss 与参数量、数据量、算力之间的幂律关系；如何在给定算力下最优配置模型大小和数据量。arXiv+1

• Compute-optimal 训练：Chinchilla 风格——更多数据、较小模型，在相同算力下更优。langchain.com+1

• Emergent Abilities：在某些任务上能力随规模“跳变”，而不是平滑线性外推。Bluetick Consultants Inc.+2GitHub+2

• Few-shot / In-context Learning：GPT-3 显示出强大的 few-shot / zero-shot 适应能力。arXiv

• Scaling Laws for Neural Language Models（Kaplan et al., 2020）：提出 loss ∼ power law，给出“堆就会好”的经验定律。arXiv+1

• Language Models are Few-Shot Learners（GPT-3，Brown et al., 2020）：展示大模型的 few-shot 能力，奠定 in-context learning 叙事。arXiv

• Training Compute-Optimal LLMs / Chinchilla（Hoffmann et al., 2022）：提出 compute-optimal scaling，修正“只堆参数”的训练范式。langchain.com+1

• Emergent Abilities of LLMs（Wei et al., 2022）：系统提出“涌现能力”概念。Bluetick Consultants Inc.+2GitHub+2

• GPT-3（175B）：作为通用 few-shot LLM 的第一代代表。arXiv+1

• 大规模 dense 模型（Gopher、Megatron-Turing NLG 等）在 MMLU 等基准上刷新 SOTA。LangChain Docs

1.1 支线议题 1：架构与参数扩展（MoE / 稀疏化）

• Mixture-of-Experts（MoE）：通过稀疏激活，在不增加 per-step 计算量前提下扩大总参数。

• 深宽度折中：深 vs 宽、并行化、pipeline parallelism 等。

• Switch Transformer / GShard 等 MoE 模型，展示 trillion-scale 参数可训练、可推理的可行路径。

• 大规模 MoE 模型在机器翻译、语言建模上实现“参数超大、推理可控”的落地，为后面各种 billion / trillion 级模型铺了路。

1.2 支线议题 2：多模态预训练（CLIP 等）

• 对比学习：图像–文本对齐，通过对比损失学习共享语义空间。

• Zero-shot 视觉识别：用自然语言 prompt 实现零样本分类、检索。

• Learning Transferable Visual Models From Natural Language Supervision（CLIP, Radford et al., 2021）：提出图文对比学习，展示大规模图文预训练的强 zero-shot 迁移能力。

• CLIP、ALIGN 等模型成为后续多模态 LLM（GPT-4V、LLaVA 系）视觉表征的标准起点。

1.3 支线议题 3：检索增强（早期 RAG）

• REALM / RETRO：在生成过程中引入检索，缓解事实记忆瓶颈。

• Retriever–Reader 构架重新流行：双塔检索 + LLM 阅读器。

• REALM、RETRO 等，证明“检索 + LM”可以显著提升 factual QA 性能，并给出 RAG 的雏形。

• 大规模检索+生成系统，在产品侧为搜索增强回答、企业知识库问答打基础。

2. Phase 2（2022–2023）Alignment 时代：从“强但失控”到“听人话”

• 大模型很强，但不受控、不安全、不懂指令。

• 如何让模型“按人类意图”输出，从而变成可用的推理/对话工具？

• RLHF：用人类偏好训练 reward model + PPO 进行策略优化。GitHub

• DPO & 其它偏好优化：用 closed-form 方法直接在偏好数据上优化策略，替代复杂 RL。langchain.com+1

• Instruction Tuning（FLAN / T0）：用大规模指令数据进行监督微调。

• Safety / Bias：有害内容、偏见缓解、红队测试。

• Training Language Models to Follow Instructions with Human Feedback（InstructGPT, Ouyang et al., 2022）：提出 RLHF 三阶段 pipeline，验证“小参数 + RLHF 可以超越大参数未对齐模型”的结论。arXiv+1

• Direct Preference Optimization（Rafailov et al., 2023）：把 RLHF 中的 reward–policy 关系封闭化，提出 DPO，简化训练流程。langchain.com+2IBM+2

• FLAN / T0 系列：证明大规模指令监督能极大提升 zero-shot / generalization 能力。

• InstructGPT → ChatGPT 一条线：把 RLHF 对齐模型变成真正可用的产品。GitHub

• 各家对齐后的大模型（GPT-3.5、GPT-4、Claude、PaLM 2 等）成为通用助手，奠定后续 reasoning 研究的交互基础。

2.1 支线议题 1：Instruction Tuning / Multi-task 指令模型

• 大规模指令数据（multi-task instruction）收集、自动构造、多语言覆盖。

• “自然语言接口”统一多任务：翻译、QA、推理、摘要都变成“指令 + 示例”的形式。

• FLAN / FLAN-T5、T0 等：证明在上百个任务上进行指令微调，可显著提升 new task zero-shot performance。

• 各种开源指令模型（LLaMA-2/3-Instruct、Mistral-Instruct 等）成为“穷人版 ChatGPT”基石，推动 Agent/RAG/Reasoning 的大面积实验。

2.2 支线议题 2：Safety / 有害内容 & 偏见

• 有害对话检测、安全策略学习、拒答机制。

• 社会偏见、公平性评估。

• 多篇安全相关 work 对 LLM 在仇恨、偏见、错误医疗建议等方面进行系统测评，提出安全对齐框架。DEV Community

• 大厂统一上线“安全层”：内容过滤器 + 安全微调，使得 reasoning 能力可以在受控环境里应用。

2.3 支线议题 3：代码模型（Codex 等）

• 专门用代码语料预训练 / 微调（Codex、CodeGen、StarCoder、Code Llama）。

• 代码作为“可执行推理步骤”的载体：Program-of-Thoughts 的雏形。

• Codex 论文展示：在代码任务上的 few-shot / zero-shot 能力，奠定“代码 = reasoning tool”这一认识。

• GitHub Copilot 等代码补全工具落地，把“LLM 辅助推理”第一次和大规模生产环境（开发者）紧密结合。

3. Phase 3（2022–2024）Prompted Reasoning 时代：用 Prompt / Search 诱导推理

• 在不改模型结构的情况下，能否通过 prompt、CoT、搜索，把隐藏的推理能力“唤醒 / 放大”？

• Chain-of-Thought（CoT）prompting：通过给示例展示推理步骤，提高复杂题 accuracy。arXiv+1

• Self-Consistency：多采样、多路径 CoT 投票。GitHub+1

• Tree-of-Thoughts（ToT）：把 CoT 变成显式搜索树。arXiv+1

• ReAct：交替生成“推理痕迹 + 行动指令”，在环境中交互。

• Chain-of-Thought Prompting Elicits Reasoning in LLMs（Wei et al., 2022）：首次系统证明 CoT 对复杂推理任务的巨大收益。arXiv+2arXiv+2

• Self-Consistency Improves CoT Reasoning（Wang et al., 2022）：提出多路径采样+投票，大幅提升 CoT 性能。Bluetick Consultants Inc.+2GitHub+2

• Tree of Thoughts（Yao et al., 2023）：把 LLM 推理正式转化为 search problem。arXiv+1

• ReAct（Yao et al., 2022/23）：提出 reasoning + acting 交替的统一框架。

• 各类 CoT/ToT/ReAct 在 QA、数学题、Web 代理、工具调用里的 demo 成为“慢思考 LLM”的原型。

• 产品里开始出现“让模型解释中间步骤”的选项（CoT 可视化）。

3.1 支线议题 1：Prompt Engineering（系统化工程）

• System prompt、role prompt、few-shot 示例设计、思维链模板、反思式 prompt。

• Automatic prompt search / prompt tuning / soft prompt。

• 大量工作展示：只改 prompt，不改参数，性能可以大幅变化，形成“prompt engineering”这一独立方向。

• 工程实践中形成 prompt 模版库、封装 prompt 组件的工具链（LangChain 等），让“设计 prompt 诱导推理”成为工程岗位的一部分。

3.2 支线议题 2：RAG 2.0 / 检索 + 推理

• Multi-hop 检索、Graph RAG、rerank、长证据链推理。

• Retrieval-augmented CoT：先检索再在证据上展开推理。

• 多篇 RAG 系 work 展示：检索 + CoT 能显著提升事实性推理（multi-hop QA、知识密集问答）。

• 企业知识库问答、法律 / 医疗文档 QA 等，普遍采用“RAG + LLM”架构，开始谈“证据链推理”。

3.3 支线议题 3：Agent 框架（LangChain / AutoGPT / LangGraph / Coze 等）

• 单 Agent vs 多 Agent：如何建模任务规划、工具调用、记忆、状态机。

• 任务拆解：多步计划、执行监控、错误恢复。

• Agent 可靠性和评估。

• ReAct → 各种 Agent 论文：证明“推理 + 行动 + 观测”可以统一框架来研究。

• LangChain / LangGraph：提供工程化的 Agent & workflow 框架。

• AutoGPT / AgentGPT：把“自主执行多步任务”的概念通过开源项目推向大众。

• 国内 Coze / FastGPT / Dify 等，把「Agent + 工作流」做成低代码平台，让“prompted reasoning + 工具流水线”大规模实验化。

3.4 支线议题 4：Program-of-Thoughts / Code-as-Reasoning

• 让 LLM 输出 Python / DSL / SQL 等可执行中间程序，再由解释器求解。

• 把逻辑推理转化为“程序生成 + 执行 + 验证”。

• Program-of-Thoughts 系列，证明“生成程序再执行”在数学与逻辑任务上的优势。

• 强代码模型 + Sandboxed 执行环境，成为“可执行推理”的基础设施。

4. Phase 4（2023–现在）Compute-as-Reasoning 时代：推理时间 & 过程监督

• 预训练阶段“书基本读完了”，继续堆参数边际收益变小。

• 能否通过：推理时间（test-time compute）+ 推理过程监督（PRM）+ 自我修正，真正把直觉机器变成“慢思考的推理机器”？

• Test-time Compute / Slow Thinking：允许模型在推理时多想、多分支、多回退。Bluetick Consultants Inc.+3GitHub+3Bluetick Consultants Inc.+3

• Process Reward Models（PRM）：对 CoT 每一步给分，而不止看最终答案。Semantic Scholar+3arXiv+3Proceedings of Machine Learning Research+3

• Self-correction / Meta-cognition：模型自己检查、自己修改、反复 refine。GitHub+2IBM+2

• Let’s Verify Step by Step（Lightman et al., 2023）：系统比较 outcome vs process supervision，在 MATH 上证明 PRM 显著更强，并发布 PRM800K。Semantic Scholar+3arXiv+3Proceedings of Machine Learning Research+3

• Math-Shepherd（Wang et al., 2023/24）：用自动构造的过程标注训练数学 PRM，用于重排 CoT 或 RL PPO 强化基础模型。IBM+2LangChain Docs+2

• OpenAI Learning to Reason with LLMs（o1 技术博客）：明确提出“推理型模型”，展示 train-time RL + test-time compute scaling 对 reasoning 的持续收益。GitHub+1

• OpenAI o1 / o3 “reasoning models”：以“慢思考”“reasoning tokens”为卖点，开放 test-time compute 维度（reason 模式）。

• DeepSeek-R1 等开源 reasoning 模型：展示“长 CoT + 自我修正 + RL”在开源生态中的可行性。Bluetick Consultants Inc.+1

4.1 支线议题 1：Distilled Reasoning 模型（s1 等）

• 用极少量 reasoning traces（如 1k 样本）蒸馏强 reasoning 模型（Gemini / o1 / R1）的能力到便宜模型上。arXiv+2arXiv+2

• Test-time compute scaling + 蒸馏：把“慢思考模式”压缩到小模型。

• s1：用约 1000 个精心 curated 的问题 + 推理轨迹微调 Qwen2.5-32B，在 GSM8K/MATH 上接近或匹配 o1-preview / DeepSeek-R1 的 reasoning 表现。arXiv+2arXiv+2

• “50 美金级” reasoning 模型的出现，说明 reasoning 能力可迁移 / 可压缩，不是只能靠万亿算力堆出来。

4.2 支线议题 2：Latent Reasoning / Hidden CoT

• 隐式 CoT / latent reasoning：不再向用户暴露完整思维链，而是在内部保留思维 token。

• 分析 hidden states / 轨迹，尝试理解“推理结构”而非“推理文本”。

• 多篇工作（含 OpenAI 对 o1 的分析）指出：test-time compute 提升性能，并不等同于“输出更多 CoT 文本”；真正重要的是内部搜索过程。GitHub+2Bluetick Consultants Inc.+2

• 产品中普遍采用“隐式慢思考 + 精简输出”的模式（例如 reason toggle 仅影响内部计算，不一定给出长 CoT）。

4.3 支线议题 3：World Models / 结构化表示 / Graph Reasoning

• World model + LLM：用结构化 latent（state / graph /场景）表示长期环境。

• Graph reasoning / knowledge graph + LLM：多跳推理、因果推理。

• 一系列 world model / graph reasoning work 把“推理”从题目级拓展到“世界级”，强调长期一致性、因果结构。

• 在机器人、自动驾驶、复杂仿真环境中，LLM 被作为高层 planner / world model 使用，实现 perception–understanding–reasoning–action 的闭环。

4.4 支线议题 4：长上下文 & 记忆系统

• 长上下文 Transformer、窗口注意力、精细缓存管理。

• 外部记忆：KV-store、检索式长期记忆、会话记忆系统。

• 多篇长上下文 work 展示：对于“长文档推理 / 长期对话”，记忆瓶颈和对齐上下文往往比纯逻辑更关键。

• 商业模型普遍开放 128K+ 甚至 1M context，配合 RAG / 记忆系统，使“跨多文档的 reasoning”成为实用功能。

4.5 支线议题 5：多模态推理 & 机器人（Perception–Understanding–Reasoning–Action）

• Vision-Language-Action 模型：以视频/图像为输入，输出动作序列。

• 多模态 CoT：图表推理、科学图像推理、机器人场景理解。

• 感知–理解–推理 耦合：视觉表征质量如何影响下游规划。

• 各种 VLA / VLM + 控制器 工作，展示“从视觉输入直接生成策略”的可能。

• 家用机器人、操作臂、自动驾驶等试验性系统，引入 LLM/VLM 作为高层决策模块，让“推理”首次直接和物理行动绑定。

二、MLLM → MLLM Reasoning 的学术、工程研究脉络

• 面向 AI/LLM 大图景（给导师/评审讲“意义”）：

「Reasoning 是当前 LLM/AI 发展中的主线问题，而 MLLM Reasoning 是这条主线在多模态条件下的自然延伸。我的研究试图回答：在视觉/图表/文档等复杂感知条件下，如何构建更可靠的推理过程。」

• 面向 MLLM 具体社区和落地（保持清醒、不自嗨）：

「在当前的 MLLM 社区里，多模态 Reasoning 并不是唯一主流，更多工作仍集中在感知、对齐和落地。我的工作属于其中相对偏机制、偏推理的一支，是‘重要但不唯一’的方向。」

0. Phase 0 VQA / 诊断多模态时代（~2015–2019）

• 怎样用“看图回答问题”的方式，定义和测量视觉相关的推理能力？

• 模型到底是在做推理，还是在撞数据偏差？

1. 开放域 VQA（VQA v1/v2）

2. 合成场景 + 组合推理（CLEVR）

3. 场景图（scene graph）上的逻辑推理（GQA 等）

• VQA 数据集：首次系统提出视觉问答，成为多模态“理解+推理”标准任务。

• CLEVR：构造合成 3D 场景，精细标注问题所需的推理类型（count, compare, logical and/or 等），强调 compositional reasoning 和去偏差。

• GQA：从真实图像生成基于 scene graph 的问答，专门评估组合推理、一致性、grounding 等属性。

• VQA 挑战赛/竞赛常态化，工业界开始用 VQA 作为“视觉智能”的代表指标。

0.1 支线议题 1：可组合神经结构（Neural Module / MAC 等）

1. Neural Module Networks：面向 CLEVR，把问题解析成程序树，每个节点对应一个“神经模块”（filter, relate, and…）。

2. MAC Network、FiLM 等“显式多步推理”结构，把推理步数映射到网络的循环/层。

• MAC Network 等在 CLEVR 上接近满分，证明“显式结构化网络 + 诊断数据集”能真提高组合推理，而不是靠数据偏差。

• 虽然这类结构没直接进大规模产品，但为后面“程序化多模态推理”“vision program”提供了很多灵感（后面 VisProg / ViperGPT 就是明显的继承）。

0.2 支线议题 2：图表/文档/科学图像 VQA 雏形

1. 图表 QA：FigureQA, DVQA, ChartQA 等，聚焦图表理解 + 数学/逻辑推理。

2. 文档问答：DocVQA、TextVQA，把 OCR + layout 分析 +问答结合起来。

• 早期图表/文档 QA 系列数据集，为后来的 MathVista / MMMU 这类“图文+高难推理”基准打下原型。

• 搜索、办公、金融等产品开始尝试“基于图表的问答 / 报表 QA”，但当时还不是真正意义上的 LLM/MLLM。

1. Phase 1 CLIP 表征时代（~2020–2021）

• 怎样训练一个统一的视觉–文本表示空间，可以“一次预训练，多任务复用”？

• 视觉和文本能否像 word embedding 一样“对齐到同一语义空间”？

1. 双塔/跨模态 Transformer：ViLBERT、LXMERT、UNITER 等。

2. 大规模对比学习：CLIP / ALIGN 图文对比。arXiv+1

3. Perceiver 类统一架构：一个 backbone 吃图像、音频、视频等模态。

• CLIP：通过 4 亿图文对训练，证明自然语言监督就能学到“通用视觉语义”，零样本分类、检索效果极好。arXiv

• ALIGN：使用更多、更“脏”的图文数据，验证了 web-scale 对比学习的可行性。arXiv

• CLIP 成为工业界图像检索、内容审核、安全过滤、文生图检测的标准组件。arXiv

1.1 支线议题 1：零样本识别 & 检索

1. 开放词表分类：用文本描述直接当“分类器”；

2. 跨模态检索：文本→图像、图像→文本检索。

• 大量工作展示：CLIP 在零样本识别上的效果，几乎把“手工标注类标签”的老范式直接替换。arXiv+1

• 搜索/内容平台快速接入 CLIP 类模型做相似图检索、“以图搜图”、不良内容识别等。

1.2 支线议题 2：视频/音频多模态 Backbone

1. 视频–文本对比学习（类似 CLIP 的视频版）；

2. Perceiver、VideoCLIP 等统一处理视频、音频、图像。

• Perceiver 系列、早期 VideoCLIP 工作，提供“统一模态编码器”的概念证明。

• 为后续 Gemini、GPT-4.1 这种 Any-to-Any 能力奠定了“多模态 backbone”基础。

2. Phase 2 MLLM架构形成期（~2022）

• 能不能像 GPT 那样，用一个 语言模型做大脑，外接视觉 encoder，搞一个“多模态 GPT”？

• 如何在冻结 LLM 的前提下，高效接入视觉信息？

1. Flamingo：冻结 LLM + 视觉 cross-attention 接口，实现 few-shot MLLM。arXiv

2. PaLI / PaLI-X：统一 OCR + caption + VQA + 翻译的超大多语言多模态模型。arXiv

3. BLIP → BLIP-2：双阶段预训练 + Q-Former 作为视觉–LLM 桥。arXiv

• Flamingo：率先展示“LLM + 视觉 cross-attention”范式，在多模态 few-shot 任 务上效果出色。arXiv

• PaLI：多语言多模态 joint training，提出 multi-task scaling 的经验规律。arXiv

• 这代模型多数在 Google/DeepMind 内部用于 OCR、翻译、搜索等产品，定下“LLM + 视觉接头”的基本配方。arXiv+1

2.1 支线议题 1：视频 MLLM

1. 把 Flamingo 思路扩展到视频（Video Flamingo 等），支持视频 QA、理解、描述。

• 多篇工作证明：只要有合适的 cross-attention 接口，LLM 可以处理视频 token 序列，做简单时序推理。

• 直接影响了后来的 Gemini/GPT-4.1 这类“统一文本+图像+视频”的基础架构设计。

2.2 支线议题 2：多语言–多模态统一建模

1. PaLI-style：用多语种 + 多模态 joint training；

2. 用多语言文本 supervision 提升视觉语义覆盖面。

• PaLI 显示多语言 supervision 确实能提升多语种图文任务性能，是后续 Qwen-VL/Gemini 多语 MLLM 的理论依据之一。arXiv

• 为全球化产品（跨语言 OCR/翻译/搜索）提供同一套 backbone，而不是每语言开一个模型。

3. Phase 3 MLLM 指令对齐/Chat化 期（~2022–2023）

• 怎样让 MLLM 像 ChatGPT 一样对图文聊天？

• 多模态任务上，CoT 讲解是否同样有效？

1. ScienceQA + Multimodal-CoT：多模态科学题 + 讲解，首次系统验证 CoT 在多模态 QA 中的作用。

2. LLaVA：Visual Instruction Tuning，用 GPT-4 生成图文指令数据，对 MLLM 做“视觉指令微调”。

3. MiniGPT-4 / Otter / mPLUG-Owl 等一批开源 MLLM 跟进。

• ScienceQA：构建 21K 多模态科学题，并为每个题标注“讲解/CoT”，证明 CoT 在多模态 QA 上也能显著提升性能。

• LLaVA：提出 Visual Instruction Tuning 范式，是开源 MLLM 的决定性转折点：只用 GPT-4 合成的图文指令数据，就能实现不错的多模态聊天和推理能力。

• GPT-4V、Gemini 等闭源模型，对外启用“上传图片聊天”，在 ScienceQA、MMBench 等多模态 benchmark 上给出很强基线。

• LLaVA 系列在 GitHub 上爆火，形成“自己把视觉接头 + 指令数据拼起来”的开源范式。

3.1 支线议题 1：Tool-augmented 多模态 Chat（Visual ChatGPT / MM-REACT）

1. Visual ChatGPT：用 ChatGPT 调用一堆视觉工具（分割、上色、风格迁移…）。

2. MM-REACT：把 ReAct 思路扩展到多模态，让 LLM 在图像+文本+工具之间切换。

• MM-REACT 等证明：在多模态场景下，**“推理 + 工具调用”**框架依然有效，为后续多模态 Agent 奠基。

• 各大 demo 表明：不需要训练一个“无所不能”的 End-to-End 模型，只要 LLM + 多个视觉工具，就能完成复杂编辑和理解任务。

3.2 支线议题 2：多模态基准体系成型（MMBench 等）

1. MME、MMBench 等开始系统拆解 MLLM 能力：感知/语言/推理/安全。

• MMBench 系列提出细粒度指标，为后续“MLLM Reasoning”研究提供统一 benchmark 视角。

• 工业界评估新 MLLM 时基本都要过一遍 MMBench / MME / VQAv2 / TextVQA 等一揽子测评，benchmark 化成为默认流程。

4. Phase 4 MLLM 显式推理 / 高难基准期（~2023–2024）

• MLLM 能不能在“图表 / 文档 / 科学图像 / 数学题”中做真正的多步推理，而不是瞎蒙？

• 如何构造 高难、多模态推理 benchmark 来压出模型短板？

1. 扩展的 Multimodal CoT：从 ScienceQA 扩展到一般 VQA、图表题。

2. 程序化视觉推理：VisProg、ViperGPT 等，用 LLM 写程序调度感知模块。

3. 高难视觉数学/专业推理 benchmark：MathVista / MATH-Vision / VCBench / MMMU / MMMU-Pro 等。

4. 高分辨率、多区域感知的 MLLM（LLaVA-UHD、InternVL、Qwen2-VL 等）。

• MathVista：整合 28 个视觉数学数据集并新建 3 个子集（IQTest, FunctionQA, PaperQA），系统评估 foundation models 在“视觉上下文中的数学推理”性能，证明 GPT-4V 仍明显落后人类。

• MATH-Vision：从真实竞赛中构造 3040 道视觉数学题，细分学科和难度，用来评估 LMM 的多模态数学推理能力。

• VCBench：面向更基础的 K12 场景，强调“多图像 + 显式视觉依赖”的推理评价。

• MMMU / MMMU-Pro：跨 30 学科、183 子领域，过滤掉纯文本可解问题，聚焦“必须看图”的专业级多模态推理。

• GPT-4V、Gemini Ultra、各类 InternVL/LLaVA-Next 等在这些 benchmark 上不断刷新 SOTA，但仍显著落后专家 → 正式暴露出“MLLM Reasoning Gap”。

4.1 支线议题 1：图表 / 文档 / 科学图像推理

1. ChartQA / PlotQA / DocVQA / TextVQA 等，把 OCR+layout+推理结合；

2. MathVista 中 PaperQA 这类“论文图+数学推理”的子任务，非常贴近“科研场景”。

• 这些数据集说明：“读懂图/表/布局”本身就很难，推理只是更上层一层 → 感知错误会直接毁掉 reasoning。

• 企业报表分析、科研 PDF 理解、法律/财务文档智能审阅等，都开始试用“文档/图表+MLLM”路线，但稳定性仍远不够。

4.2 支线议题 2：医疗多模态推理 & 安全性

1. GMAI-MMBench 等医疗多模态 benchmark，系统评估 LMM 在 X-Ray / CT / 病理图 + 文本下的诊断推理能力。

2. 多模态安全：图文联合 jailbreak、视觉幻觉、错误诊断风险分析。

• 相关工作普遍发现：即便是 GPT-4V / Gemini，在医疗推理场景中仍远低于专家，暴露出“领域知识+视觉细节+推理”的复合难度。

• 各家医疗 AI 产品在尝试用 MLLM 做“辅助阅读/解释”，但暂时大多停在“辅助工具”，强调人类在环。

5. Phase 5 MLLM 结构化 & Agentic 期（~2024–2025+）

• 如何让 MLLM 的视觉推理不只是“长段文字”，而是结构化、多阶段、可监督、可审计？

• 如何把这种多模态推理嵌入 Agent / UI 操作 / 现实环境？

1. Visual CoT：显式标注图片中的关键区域 + 多步文字推理，形成视觉链式思考数据集和基准。

2. Argus：用 object-centric grounding 作为“视觉 chain-of-thought”，强调视觉中心视角的推理。

3. LLaVA-CoT 等“多阶段视觉 CoT”方法：把多模态推理拆成“观察→找关键信息→逻辑推演→答案”。

4. 视觉 Agent：具备“看屏幕→理解 UI 元素→调工具→点击操作”的 MLLM（如部分 Qwen2.5-VL/Qwen3-VL 类工作）。

• Visual CoT (NeurIPS 2024)：构建 43.8 万带关键区域框标注的问题 + 9.8 万带详细推理步骤的样本，并提出多轮聚焦视觉输入的推理 pipeline，显著提升多模态 reasoning。

• Argus (CVPR 2025)：提出“vision-centric grounded CoT”，把对象级 grounding 当作视觉 chain-of-thought，用于引导注意力和推理，在多模态 reasoning + referring grounding 上均 SOTA。

• 新一代开源 MLLM（如 InternVL2.5、LLaVA-UHD v2 等）在高分辨率场景 + 多模态 reasoning benchmark 上逼近或超越部分闭源模型，强调“先看清 → 再推理”的 pipeline。

• 视觉 Agent 型模型开始用于文档自动化、网页/桌面 UI 操作（RPA 风格），把多模态 reasoning 带入“能真的动手”的场景。

5.1 支线议题 1：多模态 Process Supervision / PRM 雏形

1. 利用 Visual CoT、ScienceQA 这类“图+局部区域+推理步骤”数据训练多模态 PRM/Verifier，对每一步视觉推理给过程奖励。

2. 将文字 CoT PRM 中的思想迁移到多模态：例如，对“先看哪个区域、再说什么”进行评价。

• 当前多是早期探索，但 Visual CoT 已经在论文中展示出“用 step-level/region-level 信息改进推理”的效果，被普遍视为多模态 PRM 的数据雏形。

• 尚未形成像文本 PRM 那样成熟的工业 pipeline，但在医学/金融等场景已有“过程打分/审计”的原型系统。

5.2 支线议题 2：可解释性 & 安全导向的多模态推理

1. 用 grounded CoT（带区域框的链式说明）来帮助人类审计模型决策。

2. 多模态 jailbreak、幻觉、错误定位场景下的安全分析。

• 相关综述和实证研究指出：“看得见的推理链 + 位置对齐” 对安全审计、误用监控非常重要，尤其是医疗/金融/自动驾驶图片。

• 部分行业原型系统要求模型给出“解释图 + 解释文本”，而不是只给一个结论，用来满足监管与合规。

5.3 支线议题 3：垂直领域 MLLM Reasoning

1. 医疗图像 + 报告，多模态诊断/分期推理（GMAI-MMBench 等）。

2. 教育：图表题、几何题、奥数题的多模态自动讲解与出题（MathVista / MATH-Vision / VCBench / VisioMath 等）。

3. 自动驾驶/现实场景 QA（如 RealWorldQA 等），测试“真实世界视觉 + 常识 + 推理”。

• 多个垂直 benchmark 一致发现：MLLM 在真实复杂场景中的 reasoning 与人类差距更大，远超文本任务。

• 垂直场景中，MLLM 多作为“辅助智能系统组件”：辅助诊断、辅助出题、辅助驾驶决策等，很少直接单独负责关键决策。