图 1：三代方法的差别不在提示词，而在推理的拓扑结构。
这篇文章延伸自一道经典面试题「思维树 ToT 是怎么把思维链扩展成搜索的」。真题解析聚焦 ToT 内部的状态、生成、评估、搜索四要素，本文退后一步看整条演进线：从链到树再到图，每一代结构多出来的是什么能力，代价是什么，以及面对具体任务该怎么选。
第一代：CoT，把中间步骤写出来。
2022 年的思维链论文发现了一件朴素但影响深远的事：在提示里给几个「带中间推理步骤」的示例，足够大的模型就会模仿着把推理过程写出来，而不是直接蹦答案。效果在当时相当惊人——5400 亿参数的模型只靠八个思维链示例，就在 GSM8K 数学应用题基准上超过了专门微调过的模型。它有效的机理可以拆成三层：复杂问题被分解成小步，每步都更容易做对；中间步骤占用了更多的推理计算量，相当于给了模型「打草稿」的时间；外化的中间状态也让错误变得可见、可检查。
同年还有一个轻量发现：连示例都可以省掉。Zero-shot-CoT 的做法只是在问题后面加一句「让我们一步步思考」，模型就会自发展开推理。论文报告在 MultiArith 基准上，这一句话把准确率从 17.7% 拉到 78.7%。这使 CoT 从「需要精心设计示例」的技巧变成了近乎零成本的基础操作。
第二代：ToT，允许走错路。
链式结构的天花板在于没有回头路：一步踏错，满盘皆输。2023 年的 ToT 论文把推理组织成树——每个节点是一段部分解，模型在每个节点生成多个候选分支、自评打分、由搜索算法决定沿谁深入，碰壁就回溯。同一篇论文里，GPT-4 解 24 点的成功率从 CoT 的 4% 跳到 ToT 的 74%。ToT 买到的能力是探索与纠错，付出的价格是调用次数随分支数成倍上涨。
第三代：GoT，允许合并与重组。
树结构还有一个隐性限制：信息只能自根向叶单向流动，两条分支的结论无法汇合。2023 年的 GoT 论文把结构放松成任意的有向图：每个「想法」是顶点，边表示依赖关系，于是一个节点的输出可以聚合多个上游节点的结果，也可以让已有想法进入反馈循环继续精炼。大任务因此可以先拆成子任务并行推理，再把局部结论聚合重组——比如长文档分块汇总后再归并成总摘要。论文报告在排序任务上，GoT 的结果质量比 ToT 高出 62%，同时成本还低了 31%——图结构换来的不只是能力，有时候还是效率。
图 2：三列对比——结构、适用任务、成本各一行。
选型：让结构跟着任务走。
三代的差异收敛到一张坐标系里就很清楚。推理结构：CoT 是线性链，ToT 是可回溯的树，GoT 是可聚合的图。核心动作分别是「写出中间步骤」「分支加评估加回溯」「拆分加并行加重组」。成本依次抬升：CoT 几乎零额外开销，ToT 的调用次数随分支规模成倍涨，GoT 还要额外维护图状态的编排逻辑。
选型因此是三个问题。第一，任务能不能顺着一条链推到底？算术、常识、常规问答，CoT（乃至 Zero-shot-CoT）就够了，上树是浪费。第二，走错了需不需要回头？需要试错与前瞻的任务——24 点、创意写作的多稿权衡、多步规划——树的回溯能力物有所值。第三，任务能不能拆成可独立求解再聚合的子任务？能拆且结论需要汇合的，图的聚合机制是链和树都给不了的。三个问题有一个答「是」再升级结构，否则守住更简单的那一代。
这条演进线的启发在于：推理增强的主战场不在提示词措辞，而在推理过程的拓扑结构。每一代方法都是先认清上一代结构的表达力边界，再针对性地放宽一个约束——链不允许回溯，树不允许汇合。下次再看到新的「X-of-Thought」，先问它放宽的是哪条边。你在业务里为推理结构付过成本吗？哪一档的性价比最符合你的场景？欢迎交流。