1. 项目缘起当智能体面对“未知的未知”最近在跟进一些前沿的AGI基准测试时一个名为“ARC-AGI”的挑战赛引起了我的注意。它和我们熟悉的ImageNet、GLUE这类基准完全不同。如果说后者是让模型在已知的规则和分布里“刷题”那么ARC-AGI更像是一场开卷的“智商测试”题目你从未见过规则需要你当场从几个例子中自己悟出来。这让我想起了一个经典的认知科学概念“未知的未知”——你甚至不知道有哪些知识是你不知道的。我手头这个项目标题叫“Explore Before You Solve: The Speed--Depth Trade-off in Epistemic Agents for ARC-AGI-3”。光看名字就很有意思。“Explore Before You Solve”先探索再解决点明了核心策略“Speed--Depth Trade-off”速度与深度的权衡揭示了核心矛盾而“Epistemic Agents”认知智能体则指明了我们研究的对象是一种具备“求知”能力的智能体它知道自己“不知道”并会主动去探索。这一切的背景就是ARC-AGI这个号称要挑战当前AI系统抽象推理能力的“硬骨头”基准的第三个版本。简单来说这个项目探讨的是当一个智能体面对一个完全陌生、规则未知的ARC-AGI题目时它应该如何分配自己有限的“认知资源”是应该快速生成一个看似合理的答案追求速度还是应该花更多时间去系统地探索可能的规则空间以求一个更稳妥、更深刻的解追求深度这不仅仅是算法设计问题更触及了智能体如何“思考”的本质。接下来我将结合我对这类问题的理解和一些公开的讨论深入拆解这个标题背后的技术内涵、实现思路以及其中蕴含的深刻权衡。2. 理解战场ARC-AGI究竟是什么为何如此棘手要理解“探索”的必要性首先得明白ARC-AGI这个战场有多特殊。它由François CholletKeras之父提出全称是“Abstraction and Reasoning Corpus for Artificial General Intelligence”。它的目标不是测试模式匹配能力而是测试核心知识泛化能力——即从极少数例子中抽象出底层规则并将其应用到全新情况下的能力。2.1 ARC-AGI题目的典型结构一道典型的ARC-AGI题目通常包含两部分演示集提供2到5个“输入-输出”对。这些对子展示了题目希望实现的转换规则。测试集提供1个或多个只有输入、没有输出的网格。智能体的任务就是根据从演示集中推断出的规则为测试集生成正确的输出。题目形式通常是简单的彩色网格比如10x10但规则可能涉及物体识别、空间关系、数量变化、模式延续、对称操作等极其抽象的概念。关键在于这些规则是组合的、新颖的且几乎不可能在训练数据中见过。这就彻底堵死了靠大数据“记忆”和“拟合”的捷径。2.2 为何传统AI方法在此折戟像Transformer这类基于统计的模式匹配模型在ARC-AGI上表现不佳原因在于数据饥饿与分布外泛化它们需要大量相似数据来学习统计规律。而ARC-AGI每个题目都是一个独立的新分布演示集只有寥寥几个样本不足以支撑统计学习。缺乏主动推理过程这些模型是“一次性”的映射输入问题输出答案中间没有可解释的、逐步的假设生成与验证循环。无法处理“未知”模型没有“我不知道这个规则”的元认知只会硬着头皮给出一个基于错误相似性的答案。正是这些特性使得“探索”成为了解决ARC-AGI问题的先决条件。智能体不能直接“求解”因为它连“题面”规则都还没完全搞清楚。它必须首先探索可能的规则空间。3. 核心角色何为“Epistemic Agent”认知智能体“Epistemic”这个词源于哲学认识论关心“知识”和“证明”。在AI语境下一个Epistemic Agent指的是具备以下特质的智能体拥有信念与知识状态它能明确表示“我相信当前规则可能是A、B或C”而不仅仅是一个黑箱的权重参数。具备求知欲与不确定性感知它能量化自己对不同可能性的不确定程度例如通过概率分布或逻辑约束集。它知道自己“不知道”并且这种“不知道”会驱动它采取行动。能执行信息搜集行动它的行动不仅是为了达成最终目标解出测试题还包括为了减少不确定性而设计的“探索性行动”。在ARC-AGI上下文中这种行动通常表现为生成并测试假设。一个简单的类比一个非认知智能体像是一个背熟了所有题库的学生遇到新题就懵了。而一个认知智能体像是一个聪明的侦探拿到几个线索演示集后会先列出几种可能的作案手法假设然后设计实验或寻找新线索探索来排除错误假设最终锁定真相规则再破解最终谜题测试集。在技术实现上构建这样的智能体通常需要一套程序合成、符号推理或神经符号的框架。智能体内部维护一个假设空间可能是一组程序、逻辑表达式或生成规则并利用贝叶斯更新、启发式搜索或学习到的策略来动态管理这个假设空间。4. 战略核心“Explore Before You Solve”的必然性与实现路径“先探索再解决”不是一种可选的策略而是在ARC-AGI这类问题约束下的必然选择。因为不经过探索你连“解决”的对象正确的规则都无法确定。4.1 探索的具体形式假设生成与测试探索过程可以形式化为一个循环假设生成基于演示集的输入输出对利用一个“程序生成器”或“规则提议器”生成一系列可能解释这些对的候选程序/规则。例如看到网格中红色物体移动了可能生成“移动所有红色物体向右一格”、“按颜色分类并平移”等多种假设。假设精炼与测试这些初始假设往往是粗糙且大量的。智能体需要设计“信息性”的测试。最直接的测试就是看候选规则能否完美复现所有演示集。不能的立即淘汰。但更高级的探索会进行“主动查询”——例如在思维中构建一个新的、虚拟的输入网格应用候选规则观察产生的输出并思考这个输出是否合理、是否有助于区分相似假设。这个过程可能依赖一个学习到的“合理性”模型。信念更新根据测试结果更新各个候选假设的可信度概率。排除被证伪的聚焦于留存下来的。终止判断当某个假设的可信度远超其他或所有假设被排除或探索资源时间/计算步数耗尽时探索阶段终止。4.2 一个简化的技术栈设想要实现上述循环一个可能的技术栈组合是领域特定语言定义一套用于描述网格变换的微型编程语言DSL。这限定了假设空间的范围使搜索可行。概率程序归纳将规则生成视为在DSL上的概率性程序合成问题。先验知识可以编码为生成程序的概率偏好例如更短的、更对称的程序先验概率更高。贝叶斯推理引擎用于根据演示集数据更新每个候选程序的后验概率。信息增益引导的搜索在假设空间中进行搜索时优先探索那些能最大程度区分高概率候选假设的路径。这个“探索”阶段本质上是在求解一个反问题给定输入输出的观察反推生成它们的程序。5. 根本矛盾深度与速度的权衡及其量化探索得越充分对规则的理解就越深最终解题的正确率理论上就越高。但探索是需要时间和计算资源的。这就是标题中核心的“Speed--Depth Trade-off”。速度指智能体从看到题目到提交最终答案的总耗时。在资源受限的现实场景或竞赛中这是一个硬性约束。深度指探索的彻底程度。可以量化为假设空间被搜索的比例、剩余假设的不确定性熵、对最终采纳规则的置信度等。深度探索意味着考虑了更多可能性进行了更多交叉验证规则更可靠。5.1 权衡的具体体现搜索广度 vs. 时间是优先用广度优先搜索快速覆盖大量简单假设还是用深度优先搜索深入挖掘一个复杂但可能更正确的假设分支假设生成数量每次迭代生成100个候选还是1000个越多越可能包含真解但计算开销呈指数增长。测试的严格性是否要求候选规则必须100%匹配所有演示样例还是允许一定的容错这可能引入错误规则更严格的测试需要更精细的推理更慢。主动查询的复杂度设计的虚拟测试输入是简单的还是复杂的复杂的查询可能一次性区分多个假设但设计它本身就需要计算。5.2 建模权衡一个决策优化问题我们可以将智能体的决策过程建模为一个序列决策问题比如在部分可观测马尔可夫决策过程框架下思考。智能体的状态是其当前的信念分布对各个假设的概率估计动作是选择下一个“探索行动”如深入推演某个假设、生成新假设、对比某两个假设等奖励则结合了最终解题的正确性鼓励深度和负的时间惩罚鼓励速度。智能体需要学习一个策略在每一步决定是继续投入资源探索以获取更确定的信念增加深度还是基于当前已有信念“赌一把”直接解题追求速度。这个策略可以通过强化学习来训练其目标是在期望时间约束下最大化解题成功率。6. 实战推演构建一个简单认知智能体的设计蓝图理论说了很多我们试着勾勒一个极度简化的、用于说明原理的Epistemic Agent设计蓝图它旨在体现“探索-解决”权衡。6.1 阶段一轻量级快速扫描追求速度目标在极短时间内利用启发式规则生成一批“高潜力”假设。动作实现一个快速假设生成器。它不进行复杂的程序合成而是匹配一些预定义的、常见的ARC模式模板例如“找出所有某种颜色的物体”、“按行/列排序”、“填充最小边界矩形”等。这些模板来自对ARC题目的经验总结。策略对每个模板尝试用演示集的数据进行参数拟合例如颜色是什么方向是什么。能在演示集上完全匹配的模板立即作为候选假设加入列表。终止条件时间预算用尽或找到至少一个匹配演示集的假设。输出一个或多个候选假设。如果此时时间非常紧迫智能体可能直接选择置信度最高的假设应用于测试集。这就是“速度优先”策略。6.2 阶段二系统性假设演绎与淘汰追求深度如果时间预算尚有盈余或阶段一产生了多个竞争假设则进入深度探索。动作对每个候选假设进行更严格的“思想实验”。一致性检查不仅看输入输出是否匹配检查转换过程的中间状态是否合理。例如一个“移动”规则检查移动过程中是否与其他物体有不可能的重叠。可逆性思考如果规则可逆尝试用输出反推输入看是否与原始输入一致。生成对抗样例主动构造一个与演示集输入相似但略有不同的新输入分别用不同候选假设推导输出。思考哪个假设产生的输出更“自然”、更“简单”、更符合ARC题目常见的审美如对称性、最小性。策略采用辩论式淘汰。让假设相互竞争。设计一个“合理性评分器”可以基于规则的长度、执行步骤数、网格变化的简洁性等奥卡姆剃刀原则进行打分。同时寻找能证伪某个假设的关键证据。资源分配采用汤普森采样或UCB等算法将更多计算时间分配给当前置信度不高但潜力大不确定性高的假设以平衡探索与利用。6.3 阶段三决策与执行根据最终时间窗口和信念状态做出决策高置信度单假设如果某个假设的后验概率远高于其他如 0.9则直接采用它解决测试题。多假设竞争如果时间耗尽仍有多个假设概率相近则需要一个风险决策。保守策略选择最简单的那个假设奥卡姆剃刀。集成策略如果可能尝试找到这几个假设对测试集输入产生的共同输出部分。但这在ARC中通常很难。元策略训练一个小的神经网络根据当前信念分布、题目特征和时间剩余直接预测应该选择哪个假设或者预测直接放弃本题如果预计正确率太低。7. 经验之谈实现中的陷阱与调优心得在设计这类系统时有一些坑是几乎必然要踩的这里分享几点基于类似项目经验的思考陷阱一假设空间定义不当导致探索效率极低。DSL的设计是重中之重。如果DSL过于简单无法表达真实ARC题目中的复杂规则那么探索再深也是徒劳。如果DSL过于复杂假设空间会爆炸搜索如同大海捞针。心得是仔细分析ARC题目的历史数据归纳出最常见的操作原语如选择、变换、组合并允许这些原语的嵌套和循环但要对循环深度和程序长度施加严格先验。一个好的DSL应该让正确答案的程序尽可能短而优雅。陷阱二合理性评分器带有偏见误导探索方向。我们倾向于认为“简洁的就是美的”但ARC的某些题目答案可能并不简洁。如果评分器过分偏好短程序可能会过早淘汰真正的复杂规则。解决方案不要完全依赖静态的简洁性先验。尝试引入一个从大量ARC演示中学习到的“程序先验模型”让它来评估一个程序“像不像”一个典型的ARC解决方案。同时评分器应综合考虑拟合度、简洁性和与已有知识的连贯性。陷阱三在“探索”中陷入局部最优过度拟合演示集。智能体可能找到一组复杂规则完美解释了演示集但却是过度特化的无法泛化到测试集。应对策略在探索循环中引入“泛化性测试”。除了完美匹配演示集还要检查规则是否过度指定了无关细节。例如一个规则如果精确指定了某个物体的坐标而不是其相对位置那就值得怀疑。可以尝试对规则进行抽象化或参数化看是否能得到一个更一般、同样能解释演示集的版本。陷阱四忽略计算开销的实时性理论设计无法落地。深度探索的每一步都可能很昂贵。在实现时必须为每一个组件假设生成、测试执行、信念更新设置严格的计算预算和超时机制。实用技巧采用anytime算法的设计思想。即算法在任何时刻被中断都能立即给出一个当前最好的答案。这样我们可以将总时间预算动态分配给探索和解决阶段甚至在最后时刻强行终止深度探索回退到快速扫描的最佳结果。8. 超越ARC权衡思想的更广泛启示“Speed--Depth Trade-off”并非ARC-AGI独有它普遍存在于任何需要在线推理、资源受限的智能系统中。自动驾驶感知系统是直接基于当前帧数据快速做出决策速度还是融合多帧信息、甚至预测其他交通参与者意图以进行更深入的场景理解深度医疗诊断AI是直接根据主要症状给出最高概率的疾病判断速度还是建议进行一系列鉴别诊断检查探索尽管这会延误治疗时间金融交易高频交易算法追求极致的速度而量化分析模型则追求更深度的基本面分析。这个项目的核心价值在于它用一个高度简化和形式化的问题ARC-AGI清晰地揭示并建模了这个普遍存在的权衡。它促使我们思考智能在很多时候并非追求绝对的正确而是在有限资源下对“探索未知”和“利用已知”进行最优动态分配的能力。一个强大的Epistemic Agent应该像一个老练的决策者知道何时应该深思熟虑、广纳信息何时又必须当机立断、承担风险。回到我们的智能体它的终极目标或许不是在任何一道ARC题目上都达到100%的准确率而是在一个固定的、有限的总时间预算内在整个ARC测试集上获得最高的总分。这意味着它必须学会为简单的题目分配更少时间快速通过为复杂的题目分配更多时间深度探索甚至学会明智地放弃那些一眼看上去就需要天文数字时间才可能解决的难题。这种动态资源分配策略本身就是一种更高级别的元认知也是通向更通用人工智能的关键一步。