逆向博弈论如何约束 AI 智能体
一种名为“逆向博弈论”(机制设计)的新思路试图通过设计激励机制让 AI 智能体守规矩,而非窥探模型内部或训练价值观。MIT 经济学家 Stephen Morris 等的预印本论文提出让模型互相预测答案、互相对抗或配对偏向相反的智能体,以阻止测试中“放水”;普林斯顿 Elad Hazan 则让模型轮流扮演解题者与审计者,并对失职审计者施罚。该思路假设智能体行为理性,但机制设计在人类身上效果参差。
一种名为“逆向博弈论”(机制设计)的新思路试图通过设计激励机制让 AI 智能体守规矩,而非窥探模型内部或训练价值观。MIT 经济学家 Stephen Morris 等的预印本论文提出让模型互相预测答案、互相对抗或配对偏向相反的智能体,以阻止测试中“放水”;普林斯顿 Elad Hazan 则让模型轮流扮演解题者与审计者,并对失职审计者施罚。该思路假设智能体行为理性,但机制设计在人类身上效果参差。
Import AI 第 478 期汇总多项 AI 研究进展:AI 安全初创公司 Resolution 用智能体自动形式化了奇点消解相关数学证明,耗时约一周、消耗约 100B 输入 token 和 3 亿输出 token,花费约 13.5 万美元,产出约 60 万行 Lean 代码。
Import AI 第 475 期汇总多项 AI 研究动态。Toby Ord 分析认为,AI 群体(swarm)可视为一种新的推理扩展方式,4 个智能体的群体完成任务所需 token 总量约为单智能体的两倍,但每个智能体只需一半 token,并行运行理论上可将耗时减半;不过群体规模扩大存在收益递减,10 倍智能体带来的性能提升约为 3 到 5 倍。
Chen 等人在 Patterns 发表观点文章,认为大语言模型与 AI 智能体的安全不能拆成彼此独立的防御问题,越狱、幻觉、公平与自主控制等失效会相互叠加放大。作者据此归纳出四类安全挑战,用真实事件和一次受控临床审计说明这些挑战之间的交互,并提出三条面向集成式安全架构的设计原则。
UC Berkeley EPIC Data Lab 的 Aditya G. Parameswaran 等人发表观点文章,讨论推理成本快速下降后数据系统面临的三个方向:为智能体设计的数据系统、支撑智能体集群运行的数据系统、以及由智能体合成的数据系统。
推荐理由:作者结合自身在结构化记忆与系统合成上的工作,梳理近零推理成本下数据系统的三个研究方向。
普林斯顿助理教授刘壮在《信息瓶颈》播客访谈中表示,只要残差连接、自注意力、归一化层和线性层这四大基础做对,ConvNet 与 Transformer 最终会落在同一条性能曲线上,过去十年真正推动 AI 进步的是数据规模和计算规模。