你有莫得想过这么一个问题：当一个大讲话模子解题解错了，它到底是哪一步"想歪了"？

如若你去问 ChatGPT 或者其他大模子，它会写出一长串念念维链，一步一步推理，终末给出谜底。这套"念念维链"（Chain-of-Thought，简称 CoT，一种让模子把中间推理历程用翰墨写出来的辅导门径）如实好用，谷歌的商讨者在 2022 年就发现，只消让模子"一步一步想"，许多正本作念不合的数学题就能作念对了。

但这里有个问题很少有东谈主细想：模子写出来的那些翰墨，确切是它"脑子里"发生的事情吗？

如故说，那些翰墨仅仅一个门面，模子里面的确的诡计历程，其实皆备是另一趟事？

这篇来自北京通用东谈主工智能商讨院（BIGAI）等机构的论文，便是冲着这个问题去的。他们不自满于让模子"多写点字"来普及推贤达商，而是想办法平直钻进模子里面，去优化那些看不见摸不着的保密情景，也便是所谓的"潜在推理"（latent reasoning，用连气儿的数值向量而不是翰墨token来承载推理历程的门径）。

这事儿听起来有点玄乎，但请耐烦往下看，因为里面藏着一个相称践诺的工程困难，以及一个挺巧妙的解法。

问题出在哪：测试时优化的"寄语游戏"

先说说配景。

近两年出现了一类新门径，叫"测试时优化"（Test-Time Optimization），中枢念念路是：模子参数毋庸动，但在回复具体某个问题的本领，允许模子在推理阶段作念一些"临时诊治"，等回复完这谈题，诊治的印迹就清空，下一题重新脱手。

> 测试时优化：模子权重全程冻结，只在推理阶段针对现时这谈题作念局部诊治，宗旨是毋庸重新锤真金不怕火就能普及单次回复质料。

这类门径里比拟有代表性的是 LatentSeek（2025 年冷落），它的作念法是这么的：先给模子一小段不错调遣的"潜在变量"，把这些变量解码成一小段翰墨前缀，然后让模子接着往下生成完好谜底，用一个奖励模子给这个谜底打分，再凭证分数去诊治那些潜在变量，如斯反复迭代，直到谜底被判定为正确。

这个念念路自身没谬误，问题出在"若何把奖励信号传回潜在变量"这一步。

LatentSeek 的作念法是：潜在变量先被解码成具体的词（token），然后模子基于这些词接续往青年景。等生成结束，打分反应要往回传的本领，只可沿着这几个被解码出来的词的对数概率往回传，因为潜在变量和背面几百个token之间，独一的桥梁便是这几个脱手词。

这就好比你在公司里想给样式组的中枢决策者提意见，但组织架构章程你只可把意见写在一张纸条上，塞给刚入职的实习生，实习生再凭我方的线路转述给决策者。如若终末样式收尾不好，你想复盘"到底是哪个枢纽出了问题"，你会发现根本没法追想，因为你的原始意见早就在实习生那层被压缩、误会、甚而丢失了信息。你能作念的诊治，也只但是改写你写给实习生的纸条内容，至于实习生若何线路、决策者最终若何践诺，你皆备够不着。

如若不意理这个问题会若何？

论文里指出了两个具体后果：一是"迤逦优化"，解码这个动作在潜在变量和它践诺产生的收尾之间造出了一个信息瓶颈，优化信号变得又绕又混；二是"潜在动态不透明"，你根柢说不明晰某个具体的潜在变量到底是若何影响背面推理的，这关于想线路和调试模子活动的东谈主来说，险些是一个黑箱中的黑箱。

GradCuit 的解法：让梯度平直走"电路"

论文冷落的门径叫 GradCuit（gradient through circuit，意为"通过电路的梯度"），中枢调动其实提及来很精炼：**别把潜在变量放在模子输出层去解码成词，而是平直把它插进 Transformer 里面某一层的保密情景空间里。**

这句话信息量很大，拒绝讲。

> Transformer：面前险些统统主流大讲话模子都基于的神经鸠合架构，中枢理制是自综合力（self-attention），让序列里的每个位置都能"看到"并加权祥和其他位置的信息。

> 自综合力（Self-Attention）：Transformer 里面让每个 token 都能诡计出"我应该多猛进度祥和前边每一个 token"的机制，是模子线路曲折文相干的中枢引擎。

具体来说，假定模子统共有 M 层（比如 LLaMA-3.2-3B 是 28 层），商讨者选择某一层，比如第 14 层，作为"手术位置"。他们先把辅导词（prompt）过一遍模子的前 14 层，拿到对应的保密示意；再插入一组可优化的潜在情景，把它们和辅导词的保密示意、以及后续生成词的保密示意，通盘拼接成一个序列，送进剩下的 14 层接续诡计，终末得到下一个词的概率分散。

这么一改，会发生一件很环节的事：因为自综合力的机制是"任何一个位置都能看到它前边统统位置"，是以背面生成的每一个词，都能平直"综合"到前边插入的统统潜在情景。这意味着，从任何一个生成词的对数概率往回求梯度，都不错一齐顺着自综合力通顺，平直传到每一个潜在变量身上，中间不再需要经过解码这谈关卡。

这就好比正本阿谁"纸条传实习生"的场景，当今变成了什么？变成了你平直坐进了会议室，决策者作念的每一个后续决定，你都能及时看到、及时插话诊治，不需要通过任何中间东谈主转述。如若决策终末出了问题，你能精准知谈是哪句话的哪个措辞导致了偏差，因为信息流通的旅途是全程可见、可微分的。

论文里管这个设想念念路叫"电路"（circuit），这个说法其实借用了 Anthropic 团队 2021 年冷落的"Transformer 电路"（Transformer Circuits）视角，把自综合力鸠合算作一张由交互组成的诡计电路图。GradCuit 这个名字，便是"gradient"（梯度）加上"circuit"（电路）拼出来的，风趣是梯度沿着这个电路结构平直流动。

用数学讲话讲，这个新的生成概率理会写成：

π(x | z, c) = ∏ π(xt | x

对比原来 LatentSeek 那种"先解码潜在变量成词，再让模子自追念生成"的两段式理会，GradCuit 的这个公式里莫得"潜变量到token"这个中间解码法子，每个生成词的概率都平直、显式地依赖澌灭组潜在情景 z。

具体的优化更新法律解说是战术梯度式的：

z ← z + η?z J(z)

其中每个潜在变量收到的梯度，是把统统后续生成token的对数概率梯度，按奖励值加权乞降之后团员出来的收尾。也便是说，一个潜在变量最终收到的"修改建议"，来自整段生成文本的举座反应，而不仅仅它我方对应的那一个词。

> 战术梯度（Policy Gradient）：强化学习里的一种优化门径，中枢念念路是凭证获取的奖励，诊治让"好收尾更容易出现、坏收尾更进犯易出现"的地点去更新参数或变量。

实考据据：五个模子、三个基准、六项对比

门径讲结束，接下来的问题当然是：这套调动到底管岂论用？

商讨者在五个主流的指示微调模子上作念了测试，包括 LLaMA-3.2-3B-Instruct、LLaMA-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct 和 Qwen3-4B-Instruct-2507，掩盖了从 3B 到 14B 不同范围的模子。测试的题目来自三个基准：GPQA-Diamond（商讨生水平的科学问答，堪称"谷歌都搜不出来"的困难库）、GSM8K（小学数学应用题）、MATH-500（更难的数学题）。每个基准还用两种谜底体式测试，一种是常见的 boxed{} 体式，一种是 JSON 体式。

对比的门径包括圭表 CoT、自反念念（Self-Reflection）、自一致性（Self-Consistency，采样多个谜底投票）、自评分最优聘任（Self-Scored Best-of-N）以及 LatentSeek。

收尾是这么的：

| 门径 | 平均准确率 |

|---|---|

| CoT | 57.9% |

| LatentSeek | 62.1% |

| **GradCuit** | **64.5%** |

GradCuit 平均准确率比 CoT 高出 6.6 个百分点，比发挥最好的竞争门径（LatentSeek）还要高出 2.4 个百分点。在三十个"模子-基准-体式"组合里，GradCuit 拿到了其中 23 个的最好获利。

拆到具体基准看更精良的数字。在 MATH-500 上，用 Boxed 体式时，GradCuit 达到 72.0%，而 LatentSeek 是 69.2%，CoT 只消 66.1%；用 JSON 体式时差距更大，GradCuit 是 65.0%，LatentSeek 是 56.1%，足足高了 8.9 个百分点。在 GSM8K 上，GradCuit 平均是 88.8%（Boxed）和 84.8%（JSON），也都是统统门径里最高的。

8.9 个百分点是什么意见？意味着每 100 谈题里，GradCuit 比 LatentSeek 多作念对了快要 9 谈，接近十分之一的题目差距，这在数学推理这种"对便是对、错便是错"的严格评测里，依然是特殊可不雅的普及。

稳不稳？两组鲁棒性实验

准确率普及是一趟事，但一个门径好不好用，还得看它是不是"经不刮风吹草动"。商讨者作念了两组专门考据慎重性的实验。

第一组是学习率明锐性测试。他们把 GradCuit 和 LatentSeek 各自的学习率，按照原始值的 40%、60%、80%、100%、120%、140%、160% 分袂诊治，然后看准确率波动情况。

收尾自大，LatentSeek 的准确率在 47.6% 到 51.8% 之间跨越，圭表差是 1.53；而 GradCuit 只在 51.4% 到 53.8% 之间波动，圭表差降到了 0.82。

这个对比诠释什么？诠释 GradCuit 对学习率这种超参数的聘任没那么"抉剔"。

这就好比调收音机频谈。LatentSeek 的调频旋钮止境明锐，你略微多拧少量点，信号就从深刻变成噪音一派；而 GradCuit 的旋钮有个更宽的"甜密区间"，你就算手抖一下，多拧了少量或少拧了少量，声息依然明晰。对使用者来说，这意味着你毋庸为了找到阿谁"刚刚好"的学习率反复试错，省下的是实实在在的调参时辰和算力本钱。

第二组实验更特地念念，是"去掉奖励疏通"的测试。商讨者把正本凭证奖励诡计出来的梯度，替换建树地地点（用高斯分散采样，再归一化），也便是让潜在变量作念一场莫得宗旨的"立地游走"，独一保留的是判断谜底对错的考据枢纽，作为提前终止的依据。

按理说，莫得奖励信号指路，收尾应该会大打扣头。但收尾是，这个"立地游走版" GradCuit 平均准确率达到 60.6%，尽然还略高于使用的确奖励梯度的 LatentSeek 的 60.3%。

这个收尾挺出东谈主预想的，因为你会本能认为，莫得地点指引的优化应该是没头苍蝇乱撞。但它揭示了一个更深层的事实：GradCuit 之是以好用，一部分原因如实是奖励信号指路指得准，但另一部分原因，是它把潜在变量插入的这个"位置"自身，便是一个信息更丰富、更容易探索出灵验旅途的空间。哪怕是瞎撞，撞到有用谜底的概率也比原来的框架高。

论文用一个具体案例诠释了这种各异（原文表 4）。题目是求一个模运算下的逆元，正确谜底是 17。LatentSeek 优化后的输出里出现了"that that"这种语法都欠亨顺的类似翰墨，如故给出了乌有谜底 20；而 GradCuit 优化后莫得引入任何翰墨层面的絮叨，保密情景被暗暗诊治，最终把谜底从正本乌有的 20 改正为正确的 17。

这个案例很直不雅地诠释了两种门径的践诺区别：LatentSeek 要动的是"嘴巴说出来的话"，改多了容易杂然无章；GradCuit 动的是"脑子里的想法"，外皮抒发不错皆备绽开，内在逻辑却在暗暗修正。

拆解实验：三个部件谁的功劳最大

光看举座收尾还不够，商讨者进一步作念了消融实验（ablation study，一一去掉某个组件看收尾变化，用来证明每个部件各自的孝敬），拆出三个变体作念对比：去掉梯度疏通（换建树地地点）、只插前缀不作念任何更新、以及透顶退回到庸碌 CoT（连前缀都不插）。

收尾自大一个层层递进的限定。平均而言，光插入一个固定的翰墨前缀（不作念任何优化更新），能把准确率从 60.5% 提到 62.0%，但在 15 个测试建立里有 6 个反而变差了，诠释单纯多写一句"让咱们一步一步念念考这个问题"这么的辅导语，收尾并不服定，甚而可能帮倒忙。

如若在这个基础上开启立地地点的探索（毋庸奖励疏通），准确率在 14 个建立里都高出了固定前缀版块，诠释"能在选择层的潜在空间里动一动"这件事自身就有价值。

终末换成的确的奖励梯度疏通，平均再普及 2.4 个百分点，达到 66.6%，在 14 个建立里高出立地探索版块，1 个打平。

这组数据诠释了一件挺朴素的道理：好的架构（在那处插、若何插）和好的疏通信号（往哪个地点调）是两件彼此零丁又互补的事情，不能偏废。就像盖屋子，光有好地基不代表屋子会我方建好，还得有施工图纸；但莫得好地基，图纸画得再精细也空费。

该往哪一层插？层位置的奥密

既然潜在变量要插进某一个 Transformer 层，那插在哪一层收尾最好？

商讨者用 LLaMA-3.2-3B-Instruct 作念了专门测试，把插入位置分袂设在词镶嵌层（0% 深度）、25% 深度、50% 深度、75% 深度四个位置。

收尾发现一个挺一致的限定：25% 到 50% 深度这个区间收尾最好，插得太浅（词镶嵌层）或太深（75%）都不如中间层。

在 MATH-500 上这个各异尤其明显：0% 位置只消 49.6% 准确率，50% 位置飙升到 53.6%，但到了 75% 位置又跌回 50.8%。GPQA-Diamond 上亦然类似的趋势，25% 和 50% 位置都达到 30.3% 的最高值，比 0% 位置的 29.8% 略高，75% 位置反而跌到 28.8%，是统统位置里最差的。

为什么会这么？论文给出的解说挺合理：插得太浅，保密情景还没被充分"语境化"，捎带的信息量不够丰富，没法给出特地旨的优化信号；插得太深，固然信息饱和丰富，但留给背面接续诡计和传播这个诊治收尾的层数又不够了，来不足把调动的影响充分扩散出去。

这就像你要在一条河的某个位置投下一块石头去改变下贱的水流走向。如若投在河的最上游泉源隔邻，水流还没形成景色，这块石头能酿成的偏转有限；如若投在河快要入海的地方，水流依然定型了，剩下的河谈太短，来不足被这块石头的确改谈。只消投在河流中段，前边蕴蓄的水量饱和形成明显的推力，背面又留有饱和长的河谈让改谈收尾充分展现，才是最优的侵扰点。

梯度告诉你的奥密：模子在"想"什么词最伏击

前边讲的是准确率普及，这一节讲一个更特地念念的东西：可解说性（interpretability，指大要线路妥协说模子里面决策历程的性质）。

因为 GradCuit 的梯度是平直从生成的每一个词流回潜在变量的，这意味着商讨者不错反过来问：哪些词对潜在变量的影响最大？换句话说，模子的"潜在推理"到底在往哪些具体的词上用劲？

他们用 LLaMA-3.2-3B-Instruct 在三个基准上作念了分析，把生成的每个词凭证脚色分红五类：体式记号（比如句号、逗号、井号）、推理通顺词（比如 because、therefore、then、however，也便是汉文里"因为""是以""然后""但是"这类词）、内容解说词（比如 compute、equation、value）、谜底标记（比如 boxed、final、answer）、谜底内容自身（比如具体数字 42、选项 C）。

然后诡计每一类词对应的梯度强度（用梯度的 L2 范数估计）。

收尾相称一致：在 GPQA-Diamond、GSM8K、MATH-500 三个基准上，推理通顺词的梯度强度都排第一，分袂是 0.308、0.303、0.256，明显高于其他四类。以 GSM8K 为例，排第二的内容解说词只消 0.104，谜底内容自身只消 0.018，差了十几倍。

这个发现挺耐东谈主寻味的。它诠释模子里面那套潜在推理机制，主要的"用力点"不是具体的数字或谜底自身，而是那些串联逻辑相干的通顺词，"因为""是以""但是"这类看似不起眼的功能词，恰正是决定推理走向的环节转换点。

打个譬如，这就好像你去看一场狡辩赛的摄像回放，如若你只盯着辩手说的具体论据和数字，你可能认为每句话都差未几伏击；但如若你去看辩手说"但是""然而""因此"这些转换词出现的须臾，你会发现整场狡辩的确的输赢手，经常就藏在这几个字若何用上。GradCuit 的梯度分析特殊于给了咱们一台"回放镜头切换器"，让咱们能精细则位到模子念念考历程里那些的确的转换点，而不是被名义的数字谜底分散综合力。

这个收尾也呼应了论文提到的一个并行商讨，Anthropic 团队 2026 年的 J-lens 样式，探索的是类似的地点，只不外他们的方针是纯正的可解说性商讨，而 GradCuit 的方针是借助这个可微分的通路平直蜕变推理收尾自身。两者同归殊涂，都在诠释 Transformer 里面有一套不错被"看见"的、连贯的信息传递结构，而不是一个纯正的黑箱。

服从账：花的力气反而更少

有一个容易被忽略但很伏击的数据点：Self-Consistency 和 Self-Scored BoN 这类门径，固定要采样 5 次才智给出谜底；而 GradCuit 平均迭代轮数在三十个测试建立里只消 2.42 轮，最少的情况只需要 1.32 轮，最多也不高出 4.98 轮，全程都戒指在 5 轮以内。

也便是说，GradCuit 不仅准确率更高，耗尽的诡计资源反而更少。这碎裂了一个常见的默许预期，便是"收尾更好时时意味着算力支拨更大"，但这里的情况正值相背，因为平直在保密情景层面优化的服从，比反复采样、反复生成完好谜底要高得多。

写在背面

读完这篇论文，最让我不测的少量其实是阿谁"立地游走"实验的收尾。按照知识，莫得方针指引的优化应该是一场絮叨的碰命运，但它的发挥尽然能追平甚而略高出有明确奖励疏通的 LatentSeek。这诠释有本领一个门径好不好用，架构设想自身占的权重，可能比咱们以为的优化算法要高得多。

这让我梦猜度一个很不商量的界限，便是城市计划里的"路网设想"。有本领一条新修的路自身莫得任何特殊标记和红绿灯优化，但只因为它通顺的位置对了，车流量便是比另一条用心设想过信号灯配时的路更顺畅。位置和结构，有本领比后期的精细调优更伏击。

论文里还有一个细节我认为值得单独说一句：阿谁 GPQA-Diamond 案例里，模子正本的输出里明明依然写出了"这个决策包含一个不必要的特地法子"这么的自我怀疑句子，但它如故聘任了阿谁有问题的谜底。这其实走漏了一件挺神秘的事，模子有本领"心里"依然意志到不合劲，但抒发出来的最终论断却莫得跟上这个怀疑。GradCuit 能作念的，某种进度上正是在这种"心里犯陈思但嘴上说不出来"的短处里，平直把阿谁徬徨的信号放大成了一次的确的修正。

一个还没被回复的问题是：如若这套门径扩充到更长的推理链条,比如需要几十步甚而上百步的复杂任务上,潜在情景需要插入的位置和数目会不会也要随着动态诊治?毕竟当今测试的题目大多是单轮问答,而真实宇宙里的复杂任务经常需要更万古辰的合手续推理。

Q&A

Q1：GradCuit是什么？

A：GradCuit是一种让大讲话模子在测试阶段进行"潜在推理"优化的门径，它把可调遣的潜在情景平直插入Transformer中间某一层的保密空间，欺骗自综合力机制让生成的每个词都能平直把梯度信号传回这些潜在情景，从而幸免了传统门径中"先解码成词再传梯度"酿成的信息亏损。

Q2：GradCuit和LatentSeek有什么区别？

A：LatentSeek把潜在变量解码成具体的词，再让模子接着生成，奖励信号只可通过这几个解码词的对数概率往回传；GradCuit则把潜在情景平直放进模子中间层，让后续统统生成词都能平直对潜在情景求梯度，信号传递更平直，实验自大准确率平均高出LatentSeek约2.4个百分点，且对学习率变化更不解锐。

Q3：GradCuit的收尾具体好在那处？

A：在五个大模子、三个推理基准（GPQA-Diamond、GSM8K、MATH-500）上测试，GradCuit平均准确率达到64.5%，比圭表念念维链辅导高6.6个百分点；同期它对学习率的鲁棒性更强尊龙体育网，准确率圭表差从LatentSeek的1.53降到0.82，何况平均迭代轮数只需2.42次，比需要采样5次的门径更省算力。