精华速览

图灵奖得主姚期智与月之暗面创始人杨植麟首次联合署名,提出理论计算机科学评测体系TCSExam,用100项研究级任务检验AI能否从事数学研究而非仅解题。实验中,Kimi K3在124个点、禁止三角形与四边形的图构造任务中构造出630条边,超过此前629条的人类参考纪录并通过程序验证;GPT-6 Astra在20项定理证明中完成14项,并将一个有限域矩阵猜想的已知证明范围从8维推进到9维。研究团队同时强调,局部进展不等于完整证明,AI在自主发现关键引理和规划长程证明上仍有明显差距。

要点透视

  • TCSExam包含100项理论计算机科学任务,分为定理证明20项、Solver工程30项、数学构造20项、开放猜想30项四条轨道。
  • Kimi K3在124点无三角形、无四边形的图构造任务中给出630条边,超过此前629条的参考纪录,并通过程序验证。
  • GPT-6 Astra完成20项研究级定理中的14项,并将五元有限域上Alon–Jaeger–Tarsi猜想的已知证明范围从8维推进到9维,完整猜想仍未解决。
  • 该9维证明被整理为71个Lean模块,在独立环境中重新编译并通过公理依赖检查;核心证书由143条方程组合出204个非负变量的矛盾关系。
  • 验证体系采用Lean 4、程序检查器和Checkpoint机制:Kimi K3曾完成7个中间Checkpoint、覆盖87.5%,但未完成主定理最终推导,系统拒绝认定为完整证明。
  • 在Bare、Ladder、Guided三种指导下,Kimi K3分别至少完成3、4、7道不同定理,DeepSeek V4.1 Flash 0910分别完成0、2、6道。
  • 在IWLS 2023逻辑综合任务中,GPT-6 Astra对100个实例均生成有效电路,其中22个优于公开参考、31个达到参考水平、47个使用更多AND门。
  • 开发过程中超过40道候选定理因试运行阶段已被解决而退出题库;其余28项开放猜想未获得完整解决方案。

文章拆解

这项研究的背景是AI在数学基准上的分数不断走高,但外界难以判断模型究竟理解了数学结构,还是靠搜索和记忆撞上答案。姚期智代表理论计算机科学的严谨传统,杨植麟代表大模型工程的一线实践,两人联合署名的意义在于先定义“什么算做出来了”,再谈能力高低。TCSExam把科研任务拆成定理证明、Solver工程、数学构造和开放猜想四条轨道,并用Lean 4、程序检查器和Checkpoint三层机制分别核验证明、算法与中间推导,试图把“局部进展”和“完整成果”区分开。

从结果看,AI的能力边界呈现明显的不对称。在数学构造这类目标明确、验证成本低的任务上,Kimi K3能把629条边的纪录推到630条,说明模型具备在巨大组合空间中重新组织全局结构的能力;在定理证明上,GPT-6 Astra完成14项研究级定理并把一个特殊情形从8维推到9维,证明路线包含极小反例、坐标计数、有限类别压缩和整数矛盾证书,体现出将结构分析与计算工具结合的能力。但同一实验也显示,模型在Bare模式下完成数量明显低于Guided模式,困难集中在发现关键引理和组织长程证明,而非执行已知步骤。

对行业而言,TCSExam的价值可能不亚于单条纪录:它提供了一套可复用、可独立核验的评测框架,使AI for Science从演示走向可比较的研究产出。对数学界,机器可核验的证书降低了审查成本,但也带来新问题——形式化转写是否忠实于原始命题、Checkpoint成绩是否会被误读为完整证明,这些都需要制度性约束。值得关注的变量包括:模型能否在无提示条件下自主提出关键引理;特殊情形结论能否推广到一般猜想;以及评测任务是否会因模型能力提升而快速饱和。潜在风险在于,若把“多一条边”或“多一维”直接等同于科学突破,可能高估AI的自主研究能力;素材中Ryser和MIRUP部分反证来自对已公开成果的检索与适配,也提示成果溯源与原创性界定尚待确认。

查看原文