载入中… | 今日精选 · 实时更新
每日精选全球 AI 与科技资讯
编辑部 · 北京时间 每日 08:00 更新
首页 ›

Navital Gym:印度场景 AI Agent 测试集

· · 阅读 5 分钟

Navital Labs 发布 Navital Gym,一套面向印度本土任务的 AI agent 开源测试环境,任务由确定性规则自动评分,不引入 AI 裁判,首轮基线跑分已公布在项目的 GitHub 仓库。测试集覆盖 6 类任务,代码处于活跃开发期,跑分结果随完成的批次补进文档。

六类任务分别是:

  • trip:印度火车配额、候补名单、航班、公路、酒店、季节和许可证约束下的行程规划,55 个任务,其中 17 个无可行解
  • gst:GST 发票开具与申报数额计算,50 个任务
  • form:表单填写与校验,50 个任务
  • support:印地语与印英混用场景的退货、退款、隐私请求客服,50 个核心任务和 26 个实验任务
  • form_multidoc:跨身份证件和记录比对、登记冲突与 OCR 修复等,40 个任务
  • upi:UPI 支付尝试与纠纷处理,50 个任务

每套环境使用简化版的印度实务规则和合成数据,环境 README 写明规则出处和版本日期。评分是确定性执行的:agent 声称的成本、得分和“已完成”表述一律不采信,垃圾输入得 0 分,评分器不会崩溃。不可行任务是测试的一部分,agent 需要明确说明不可行并给出理由,理由错误即扣分。预期答案、可行性判定和设计备注留在环境内部,agent 只能拿到提示、工具和规则文本,失败测试强制这一隔离。核心和各环境只在 Python 3.10+ 标准库上运行,Inspect AI、verifiers 和 OpenEnv 适配器为可选组件。

claude-haiku-4-5 在 40 个 multi-doc 任务上 pass@1 为 0.98,form 上为 0.82,55 个 trip 任务上为 0.31,76 个 support 任务上为 0.24。gpt-4o-mini 在 form 上 0.54,trip 上 只有 0.05,support 上 0.09。表内单独列出 easy 难度档,claude-haiku-4-5 的 gst easy 拿到 1.00,trip easy 为 0.67;这一档的设计目标是让 7B 到 30B 量级的模型偶尔解出部分任务。

三套适配器都带离线端到端测试。verifiers 0.4.0 v1 与 openenv-core 0.3.0 接口较新,项目方写明这些适配器尚未在容器或托管空间内实际运行。项目以 v1.0.1 版本号固定评分代码,docs/RESULTS.md 的结果表由 scripts/regrade.py 重新评分后随新完成批次更新。

· END ·