arXiv · cs.AI 人工智能· Yuchuan Fu, Minghe Wang, Xiaohan Yuan, Chenlin Zou, Kaitong Jia, Jinfeng Li, Dongxia Wang·· 4 小时前精选AI 评分68
RAS-Eval：用线性时序逻辑规约评估长程任务中智能体工具调用的安全性
Specification-based Security Evaluation of Real-World Agents Tool-Calling under Long-Horizon Context Tasks
AI 导读
作者提出 RAS-Eval，将智能体的效用与安全目标统一表达为工具调用轨迹和环境观测上的线性时序逻辑（LTL）规约，并用现成模型检查器验证，从而给出确定性判定，避免 LLM-as-a-Judge 和 Agent-as-a-Judge 的评估器侧不确定性，同时只观测判定所依赖的状态，以较低成本捕获日志和最终环境状态中不留痕迹的瞬时违规。
推荐理由
针对 LLM 智能体长程工具调用中的瞬时违规难以被日志捕获的问题，该工作用形式化规约替代 LLM 评判，并配套构建了 1000 条任务的基准。
来源：arXiv · cs.AI 人工智能 · arxiv.org