Hi，我是 Chiwun 👋

dlt-proof-writing 是我做的一个 Agent Skill，把数学证明里 bookkeeping 那一面自动化掉。写一份证明的工作量大致分两块：找结构、挑假设是一块；画依赖图、查引用、对齐格式、跑 lint、提交前来回读两遍找 bug——是另一块。Skill 接手第二块；第一块留给我。 适用于 Claude Code 或任何兼容 Anthropic Agent Skills 的 runtime。CC BY-NC 4.0 开源，源码在 github.com/ChristianYang37/DLT-Proof-Writing-Skill。 一、一个具体例子 配套的 Reasoning as Optimization 是用这个 skill 端到端跑出来的一份具体结果。问题来自当前正在讨论的研究方向：o1 / R1 风格的推理模型在「思考」上投入更多算力时，准确率提升的机制性速率是多少？ 证明从头到尾由 dlt-proof-writing 起草。Output 是一份 20 页的 PDF，里面有 3 个定理、2 个推论、7 条引理，加一个讨论章节。下面是承载主结果的那一页： 在 5 条全部由推理时可观测量定义的对模型 policy 的假设下，思考过程的失败概率沿推理时长 $T$ 指数级衰减，速率由 anchor emission probability $p_0$ 决定： $$\Pr[\text{failure}] \;\le\; 2 \exp\!\Bigl(-\frac{p_0\, T}{8}\Bigr).$$两行 tail-to-expectation 给出 expected-error 推论： ...

推理 LLM 在 <think> 和 </think> 之间多花算力、准确率随之上升——这件事从 OpenAI o1 和 DeepSeek R1 起家时还是发布会的核心卖点，到现在 GPT-5.5、Opus 4.7、Gemini 3.5、Qwen 3.6、Kimi K2.5 等等都默认带 thinking 模式，曲线已经从「卖点」变成「基本面」：没人再单独宣传它了，但每条产品线都还在跟着这条曲线走 (Snell 2024; OpenAI 2024; DeepSeek 2025; Muennighoff 2025)。问题反而更尖锐了——这个速率到底是多少、由什么决定？ 本文我们从一个具体的角度切入：固定 transformer 某一层、某一个注意力头，看 </think> 这个位置上的注意力输出随推理轨迹增长怎么演化。结论是：这个注意力输出在结构上就是一个对所有已生成 token 的值向量做的 softmax 加权平均。在对模型的一组温和条件下，它指数级地收敛到正确答案对应向量的小邻域——具体地，对任意推理步数 $T \ge 1$： $$\Pr[\text{fail}] \;\le\; 2\exp\!\Big(-\frac{p_0\, T}{8}\Big),$$其中 $p_0$ 是「答案相关 token 在每一步被生成的概率」的下界（下文细说）。 下面我们一步一步推。 一、先看看已有的视角 文献里的回答主要有几条线。 思维链 ≈ 多步梯度下降。von Oswald 等 2022 和 Akyürek 等 2022 证明线性自注意力加合适的权重，就能实现一步对上下文回归任务的梯度下降；近期 Cheng 等 ICLR 2025 进一步证明，思维链让单层 transformer 从一步回归升级到可证明的多步优化。这是「推理即优化」最干净的形式化版本——但停留在合成的上下文学习任务 + 训练时。 多样本聚合带来的缩放律。Wang 等 2022 的 self-consistency、Yao 等 2023 的 tree-of-thoughts、Chen 等 NeurIPS 2025 都证明：在测试时算力上，失败概率指数衰减或者幂律衰减。但作用机制是 跨多条并行采样的聚合，不是单条思考链内部的动力学。 ...